1979年6月，中央军委决定调整三总部、各大军区、各大单位领导班子。由于邓小平是中共中央副主席、中央军委副主席、国务院副总理，还兼任着总参谋长，事情太多，总参的工作实在顾不过来。因此中央决定，邓小平不再兼任总参谋长，并在此次军队领导干部调整中统筹考虑总参谋长接替人选。
对于此次调整三总部、各大军区、各大单位领导班子，中央明确由军委副主席聂荣臻负责牵头。在酝酿总参谋长接替人选时，聂荣臻对前代总长杨成武的情况很了解和熟悉。当时的杨成武65岁，离京任副总参谋长兼福州军区司令员已逾两年。在那时军队高级干部年龄都比较老化的情况下，聂荣臻认为杨成武年龄不算大，身体还比较好，并有长期在总参谋部做领导工作的经验，比较熟悉军队的情况。因此他认为杨成武重回总参谋部工作比较合适。为此，聂荣臻专门给军委写信，谈他对杨成武为总参谋长接替人选的看法，并安排秘书周均伦去向主持军委日常工作的领导同志当面汇报他的意见。但是，由于杨成武长期在军队中枢总参谋部工作，在那个特殊的年代里，他和文革时期的军内问题不可避免有这样和那样或多或少的牵连。因此，当时军内对杨成武作为总参谋长接替人选的异议不少。
在物色总参谋长接替人选的过程中，邓小平广泛征求党内、军内一些老同志的意见后，认为杨勇打仗不错，团结同志，主持总参谋部时工作认真负责，拟由他接任总参谋长，并准备将总后勤部部长张震调任第一副总参谋长，协助杨勇主持总参谋部工作。当时，军委一位领导还找张震谈话，向他说明军委“考虑到杨勇一直当指挥员，对参谋业务不太熟悉，决定调你任第一副总长，协助他工作”的意图。
就在此时，情况发生了一些变化。由于杨勇在主持总参谋部日常工作期间，比较坚持原则，得罪了一部分人，有些人不愿意看到杨勇接任总参谋长，于是关于杨勇的流言蜚语又多起来，不少匿名的告状信也寄到了军委等有关部门。面对出现的新情况，军委对总参谋长人选又有了新考虑。
11月底，邓小平召见中央军委常委、秘书长耿飚，谈了他对总参谋长接替人选的意见，并安排耿飚向军委副主席聂荣臻、徐向前作了汇报。之后，邓小平又指示耿飚向在广东休息的军委副主席叶剑英征求意见。11月30日到12月5日，耿飚和总政治部主任韦国清专程到广州向叶剑英汇报总参谋长接替人选问题。叶剑英在听了耿飚与韦国清的汇报后，十分重视总参谋长接替人选问题，并为此专门写了一封信，让耿飚和韦国清回京带给邓小平。
12月6日，耿飚和韦国清回到北京后向邓小平汇报了广州之行的情况。为确定好总参谋长人选，12月14日、19日，邓小平又冒着北京的严冬亲自赶到徐向前、聂荣臻家中，和他们交换总参谋长人选及其他相关事宜。亲自出门拜访有关领导，对那时及之后的邓小平来说，是不多见的。最终，经过邓小平和几位老帅的反复协商，终于确定下来新的总参谋长接替人选：杨得志。在酝酿杨得志作为总参谋长接替人选时，很多同志都谈到，杨得志是我军有名的战将，从一名普通战士逐级成长为大军区司令员，有丰富的作战经验，为人正直，能团结同志，善于联系群众，领导作风民主，是比较合适的总参谋长人选。
1980年1月，总参谋部领导班子开始调整，杨成武、张才千、李达不再担任副总参谋长，张震、刘华清任副总参谋长。杨成武继续担任福州军区司令员，张才千任武汉军区司令员，李达任军委顾问。2月中旬的一天，邓小平专门会见杨得志，向他传达了中央让他接任总参谋长的决定。
2月20日下午，总参谋部召开所属部局正职以上领导干部大会。中央政治局委员、中央军委秘书长耿飚主持会议，并宣布中共中央决定：邓小平免兼中国人民解放军总参谋长、总参谋部党委第一书记；杨得志为中国人民解放军总参谋长、总参谋部党委第一书记、中央军委副秘书长、军委办公会议成员。