1952年赫尔辛基奥运会举行之前，中华人民共和国当时尚未获得国际承认，故而未接获邀函，遂在苏联协助下，迳向国际田径联合会及国际篮球总会缴交会费，试图参加奥运。当时两会的57位委员结果以33票对20票决议通过，两岸体育运动队伍可以同时参加该届奥运会，但中华民国代表团受政府指令，以“汉贼不两立”的原则退出比赛。另一方面当时奥运会主办国芬兰希望邀请中华人民共和国组成代表团参加奥运会，但基于国际奥委会承认中华民国代表参加该届奥运会，中华人民共和国方面拒绝与中华民国一同参加比赛。经过多时的争议，奥运会举行前一日，中华人民共和国决定接受邀请参加比赛，但奥运会举行在即中华人民共和国仍未组成代表团。奥运会举行第五日，中华人民共和国组成40人的临时代表团，成员包括一支足球队，一支篮球队以及一名曾经代表中华民国出席1948年伦敦奥运会游泳选手吴传玉，代表团于25日正式从北京出发至芬兰赫尔辛基，可惜的是代表团赶到之时奥运会只有五日就结束，当时大部分比赛已经完成，只有吴傅玉参加翌日举行的男子100米仰泳预赛，以1分12秒9得到第5名，虽然未能晋级复赛，但为中华人民共和国在奥林匹克运动会写下新的一页。
由于国际奥委会继续承认中华民国的资格，中华人民共和国于1958年8月19日宣布与国际奥委会断绝关系。直到1979年10月25日中华人民共和国正式与国际奥委会达成协议，国际奥委会以中国的名称确认使用于中华人民共和国，而中华民国则以“Chinese Taipei”（洛桑协议）（1988年正式将中文译名命为中华台北）的名称确认使用于台湾，并且禁止使用中华民国的国旗与国歌。
1980年，因苏联入侵阿富汗，中国抵制莫斯科奥运会。
1984年，中华人民共和国首次以中国名义参加夏季奥运会，当届赛事首面金牌由中国射击选手许海峰凭男子50米手枪60发夺得，并且为中国代表团取得在夏季奥林匹克运动会首面奥运金牌；体操选手李宁以惊人的演出一人独得男子体操单项自由体操、鞍马和吊环共3面金牌，以3金2银1铜成为该届奥运夺得最多的运动员。总结该届洛杉矶奥运会中国代表团一共取得32面奖牌的不俗的佳绩，当中包括15面金牌（射击3面，跳水1面，体操5面，举重4面，击剑1面，排球1面），奖牌榜只仅次于主办国美国，罗马尼亚及西德。
1988年汉城奥运会，中国代表团未能发挥出最佳水准，在获得28面奖牌中只有5面金牌，当中2面来自新加入成为奥运会项目的乒乓球，另外3面金牌分别在跳水及体操项目夺得。
1992年巴塞罗那奥运会，中国代表团共合取得54面奖牌，当中的16面金牌显示出在个别比赛项目有突破性的水准，并且冒出了不少后起之秀：有“五朵金花”之称的王晓红、杨文意、庄泳、钱红与林莉在该届游泳项目大放异彩，庄泳在女子100米自由泳决赛中，意外地压倒当时世界纪录保持者Jenny Thompson，为中国夺得首面游泳金牌，及后杨文意、钱红与林莉先后夺得50米自由泳、100米蝶泳以及200米混合泳金牌；年仅14岁的跳水选手伏明霞首次参加奥运便获得女子10米高台项目金牌，成为中国及奥运会跳水历史上最年轻的奥运金牌得主；体操项目中，陆莉在高低杠项目以10分满分赢得金牌，李小双获得男子个人全能亚军，自由体操冠军及男子团体冠军；乒乓球选手邓亚萍成功为中国队夺得女子单打及女子双打冠军；陈跃玲在女子10公里竞走亦为中国队取得史上首面田径奥运金牌。
1996年亚特兰大奥运会，中国代表团在该届奥运会取得16面金牌，成绩虽然与上届赛事相同，半数金牌来自跳水及乒乓球，其中乒乓球项目凭刘国梁及邓亚萍带领夺得四项所有单项比赛；“跳水王后”伏明霞连同熊倪取得3面金牌。可惜的是随着“五朵金花”的隐退令中国队在游泳项目表现失色，只能凭乐靖宜夺得女子50米自由泳银牌及女子100米自由泳金牌。反观中国队在球类运动获得不错的成绩：女子足球项目虽然分组赛阶段压倒主办国美国，但在决赛阶段以一比二不敌主队；新加入的垒球项目中国再一次落败于美国之下获得银牌；曾夺得1984年奥运金牌的中国女排亦屈居于世界冠军古巴女排。
2000年悉尼奥运会，中国以28面金牌首次跻身奥运会金牌榜前三名，取得了历史性的突破，主要原因的是中国队在部分强项取得成功，包括乒乓球、举重、射击、体操、跳水，其中7人蝉联9个小项奥运金牌。伏明霞在女子3米跳板达成连续两届奥运会夺得金牌的创举；中国体操队在前两届屈居亚军的阴影下，终于在男子团体体操首次夺得金牌。
2004年雅典奥运会，中国派出运动员407人、官员226人，参加除了棒球和马术之外其他所有比赛项目。代表团在该届奥运会取得了32枚金牌，首次超越俄罗斯位居金牌榜第二位，落后金牌大户美国只有3块金牌，奖牌总数亦达到63块，分别在19个分项目夺得，当中部分金牌为中国队在奥运历史上取得重大的突破：刘翔乘着美国选手阿兰·约翰逊未能出线决赛，在男子110跨栏决赛以平世界纪录成绩夺得中国首面男子田径奥运会金牌；李婷伙拍孙甜甜勇夺女子网球双打金牌；在首次参加的皮划艇项目，孟关良与杨文军夺得男子双人划艇500米金牌；罗雪娟以打破奥运纪录夺得女子100米蛙泳金牌；被视为中国强项的举重项目亦夺得5金3银的佳绩；中国女子排球队在陈忠和带领下，事隔二十年后再次成为奥运冠军；张怡宁在女子乒乓球单打决赛首度摘下奥运金牌，该面金牌除了是该届奥运会第20面金牌，同时达成中国代表团自1984年后第100面的里程碑，亦是继日本后第二个亚洲国家达成该个里程碑。
2008年北京奥运会，中国队借东道主之力，派出了1099人的代表团参赛，其中运动员639人，首次参加全部28个大项的比赛，其中马术和棒球两个项目是首次参赛。代表团在该届奥运取得了51金21银28铜共100枚奖牌，在金牌榜上首次超越美国，列第一，但奖牌仍列第二。在本届比赛中，中国队在多个单项上实现了金牌或奖牌的突破，其中，仲满夺得中国男子击剑首枚金牌；殷剑夺得中国首枚帆船金牌；陆春龙和何雯娜夺得中国首面男女子蹦床金牌；中国艺术体操队和花样游泳队分获银牌和铜牌，实现了这两个单项上奖牌的突破；中国女子曲棍球队获得首枚曲棍球奖牌。在传统优势项目上，男子体操队包揽了除跳马单项(因动作相同认定程度原因未参加)以外的所有金牌，中国乒乓球队包揽了2枚团体金牌和6枚个人奖牌，中国跳水队获得了除男子单人10米跳台以外的7枚金牌。此外，钱震华在男子现代五项比赛中，以2分之差列第四，创造了中国代表团的最好成绩。而在男子4X100米接力跑中，由于预赛多个队伍犯规或失误，中国队创纪录地进入决赛。在男子游泳比赛中，张琳获得中国首枚男子游泳奖牌。
2010年4月28日，国际奥会宣布，因参加2000年悉尼奥运会的中国女子体操队中包括了当年未满16周岁的选手董芳霄，剥夺中国队所获得的体操女子团体铜牌，改授美国。
2012年伦敦奥运会上，中国代表团共派出396名运动员，参加23大项31分项212小项的比赛，最终取得了38金27银23铜共88枚奖牌，在11个大项获金牌，在17个大项73小项获奖牌，是中国代表团在境外参加奥运会的最好成绩，其中中国选手打破6项世界纪录和6项奥运会纪录。在本届奥运中中国代表团取得众多突破，有8个单项首次获得奥运会金牌，17个单项首次获得奥运会奖牌。本届赛事中，游泳队缔造了自“五朵金花”时代以来的最好成绩：孙杨、叶诗文各获两金，并且都打破了奥运会纪录和世界纪录；焦刘洋获得了200米蝶泳比赛金牌。羽毛球队虽受到消极比赛事件的影响，但最终史无前例地实现了对所有单项金牌的包揽。乒乓球队也继续捍卫了其霸主地位，继续包揽了男女子单人、团体的全部四面金牌。田径赛场上，中国队共获得1金5铜，创下了单届奥运田径奖牌数量之最。击剑赛场上，雷声夺得第一枚男子花剑金牌，弥补了昔日男子花剑“三剑客”（叶冲、董兆致、王海滨）留下的遗憾；女子重剑团体则在决赛上击败韩国队，首次获得击剑项目的团体金牌；中国体操男队虽开局不佳，仅取得预赛阶段的第六名，但在随后的决赛阶段中以零失误的表现夺冠；单项赛事上，邹凯卫冕了自由体操冠军，成为史上获得奥运金牌数量最多（5枚金牌）的中国运动员。冯喆也在双杠项目上夺冠。陈一冰在吊环决赛上表现近乎完美，却输给了表现明显存在瑕疵的巴西选手阿图尔·扎内蒂，但他在赛后的大度作风赢得了赞誉。邓琳琳则在平衡木项目为表现低迷的体操女队夺得唯一一枚金牌。董栋获得男子蹦床冠军。徐莉佳获得的帆船单人艇镭射雷迪尔级金牌，是中国选手首次获得的帆船项目金牌。射击队的表现相比前几届有所回落，但易思玲获得了本届奥运会赛事的第一枚金牌，郭文珺成为继杨凌之后第二位在射击项目实现卫冕的中国选手，都是本届赛事的亮点。被誉为“梦之队”的跳水队获得6枚金牌，其中陈若琳在女子单人十米跳台项目获得的金牌，是中国代表团在夏季奥林匹克运动会赛场上获得的第200枚金牌。另一支夺金大户——举重队取得了5金2银的成绩。另外，场地自行车组合郭爽/宫金杰虽因被判犯规屈居亚军，但先后两次刷新女子团体争先赛的世界纪录；刘鸥/黄雪辰获得花样游泳双人项目的铜牌；中国团体获得花样游泳团体比赛的银牌；曹忠荣成为第一位获得现代五项奥运奖牌的中国选手，都是中国代表团在本届赛事的重要突破。