当中国男篮再次踏上奥运会男篮赛场时，距离他们上次参加比赛已经过去了36年。在第23届洛杉矶奥运会上，中国男篮对阵美国队，中国男篮以49比97不敌美国队。这支中国男篮的主力队员有王立彬、张斌、刘建立、胡章宝、匡鲁斌、郭永林、黄云龙、孙凤武等，其中王立彬担任中国体育代表团旗手。中国男篮宋涛的缺席给中国队留下了很大的遗憾。美国队里有未来的巨星迈克尔·乔丹、超级中锋帕特里克·尤因以及乔丹在北卡的队友萨姆·帕金斯。本届奥运会，美国队在决赛中战胜西班牙队，夺得冠军。
1988年在韩国汉城举行的第24届奥运会上，中国男篮还和美国队分在一组，比赛中以57比108不敌“海军上将”大卫·罗宾逊领衔的美国队。参加这届奥运会的中国男篮队员中有原八一队主教练王非、原中国男篮主教练宫鲁鸣、原广东男篮主教练张永军，还有徐晓亮、沙国立、孙凤武等。美国男篮除了大卫·罗宾逊外，还有丹尼·曼宁、JR·里德、米切尔·里奇蒙德等日后的NBA大牌球星。这届奥运会，中国男篮在9、12名交叉赛中以90比93不敌东道主韩国队，名列第11位。 美国男篮在半决赛中不敌萨博尼斯领衔的苏联队止步于决赛之外，最终获得季军。本届奥运会也是苏联最后一次以苏联的名义参加国际比赛，是他们在奥运会历史上的绝唱。
1992年巴塞罗那第25届奥运会上，美国队在1988年奥运会和1990年世界男篮锦标赛上均无缘冠军，于是美国篮协决定派NBA职业篮球运动员参加奥运会。这就是传说中的“梦一号”队。然而，中国队却十分遗憾没能与这支被誉为“人类历史上最完美的篮球队”的队伍交手，5场小组赛均以大比分败给对手，在争夺第11名的比赛中，更是以97比100不敌委内瑞拉队，获得本届奥运会男篮最后一个名额。但需要注意的是，从本届奥运会开始，中国男篮的“黄金一代”开始成型，胡卫东、孙俊、巩晓彬、单涛、阿的江组成了“黄金一代”的雏形。 这届奥运会中国男篮最出名的应该就是当时效力于河北队的马建了，他在参加完这届奥运会之后，就去美国留学，成为第一个出国打球的中国篮球运动员。
1994年多伦多世锦赛中国队历史首次闯入8强后，“黄金一代”已全面成熟。1996年亚特兰大第26届奥运会，中国男篮与美国“梦三”队分在一组，最终以70比133的比分惜败。不过，本届奥运会，中国男篮先后战胜安哥拉和阿根廷，历史首次闯入奥运会8强，这也是“黄金一代”的巅峰时刻。美国男篮在决赛前半段的艰难表现，预示着梦想破灭的时刻已为期不远。
当“黄金一代”开始没落之时，中国男篮迎来了“移动长城”时代。姚明、巴特尔、王治郅的崛起，终于让中国男篮有了脱颖而出的资本。2000年悉尼第27届奥运会男篮首场比赛，中国男篮在比赛开始5分钟发挥十分出色，一度领先美国“梦四”队。但随着比赛的进行，实力差距还是十分明显，最终以72比119不敌美国队。这应该是奥运会历史上中美男篮比分差距最小的一场比赛。 可惜，被誉为“史上最佳体能”的中国男篮在与法国队的较量中，在大比分领先的情况下，被对手逆转，以70比82不敌法国队。虽然在上一场比赛中以85比76战胜了欧洲冠军意大利队，但因积分不足被挤出8强。回国后，全民“翻江倒海”，给中国篮坛带来了不小的冲击。美国队一路走来也并不顺利，半决赛仅以2分之差险胜立陶宛队，勉强闯入决赛。这也是“梦”队参加国际比赛以来，赢得的最艰苦的一场比赛。
经过2002年世锦赛的失利和釜山亚运会的羞辱，被寄予厚望的王非下台，曾被哄哄的蒋兴权再度出山，率领中国男篮闯入2004年雅典第28届奥运会。蒋兴权没有机会第三次率领中国男篮征战奥运会。篮球运动管理中心决定聘请外籍教练带领中国男篮参加奥运会。前NBA湖人队主教练德尔哈里斯有幸成为中国篮球历史上第一位外籍主教练，助理教练则是现任国家队主教练乔纳斯。本届奥运会，中国男篮与美国“梦六”队并不在同一组，小组赛中国男篮先后战胜新西兰和世界冠军塞黑，第二次进入八强。 另一组美国队首场比赛就大比分输给了波多黎各队，最终仅获得本届奥运会第三名。
