1956年，刚授衔1年的宋任穷上将，申请调离军队，到部委任职。
相比很多军队将领来说，他似乎对“军队”感情不是很深，导致他离开军队有内因，加上外因的契机。
宋任穷是新中国开国将领中的老资格，曾经在1955年大将初选时，是大将人选之一。根据他的资历、职务、能力是符合要求的。那时候的大将初选有多个方案，他在15人、22人版本中。除他之外，还有张宗逊、萧克、王震等人。
战争年代宋任穷虽然身穿军装，可他在抗战时就负责地方建设工作了，解放战争时干组织工作、地方工作等。
1954年，如果不是罗荣桓调他来担任总干部部副部长，或许真与军衔无缘。从1952年，他从云南省委书记调任西南局第一副书记了，完全地方化。
自1954年兼任总干部部第一副部长，他的精力主要部队。
1956年，总干部部召开全局任免组织工作会议，对在职干部缺额很大的情况提出大胆提拔的方针，在执行过程中暴露出缺点，因强调大胆提拔，导致干部提拔不当，提拔超编等现象。对此，宋任穷担负起了责任，作出了检讨。
这件事的发生，或许是导致他想离开军队的内因。
几个月后，周总理找他，希望他从军队调个中央委员到地质战线工作。
当时，八大还有几个月才召开，而在七大担任中央委员到军队干部，职务都不低，都是后路的元帅、大将级别，显然是不合适。
从候补委员中选出来，而军队候补委员有：黄克诚、谭政、粟裕、王震、宋任穷、乌兰夫、万毅、吕正操、罗瑞卿、张宗逊、陈赓、萧劲光，调谁都不容易，他们有大将，有上将，万毅虽然是中将，党内资历浅一些。
思索再三，觉得自己穿不惯新军装，干脆离开部队。宋任穷找到总理说：把自己调出来吧！领导说：你走了总干部部怎么办！他说：总干部有人，经过中央领导的研究决定，把他调离军队，但也没有让他去地质战线工作，而是到新组建的三机部任部长。
该部是负责原子弹的，任务重大，需要一个有资历，有组织协调能力的老将担任，宋任穷擅长组织工作，非常合适。这样一个契机，让他离开军队，从此以后再也没有回去。
