1956年，剛授銜1年的宋任窮上將，申請調離軍隊，到部委任職。
相比很多軍隊將領來說，他似乎對「軍隊」感情不是很深，導致他離開軍隊有內因，加上外因的契機。
宋任窮是新中國開國將領中的老資格，曾經在1955年大將初選時，是大將人選之一。根據他的資歷、職務、能力是符合要求的。那時候的大將初選有多個方案，他在15人、22人版本中。除他之外，還有張宗遜、蕭克、王震等人。
戰爭年代宋任窮雖然身穿軍裝，可他在抗戰時就負責地方建設工作了，解放戰爭時干組織工作、地方工作等。
1954年，如果不是羅榮桓調他來擔任總幹部部副部長，或許真與軍銜無緣。從1952年，他從雲南省委書記調任西南局第一副書記了，完全地方化。
自1954年兼任總幹部部第一副部長，他的精力主要部隊。
1956年，總幹部部召開全局任免組織工作會議，對在職幹部缺額很大的情況提出大膽提拔的方針，在執行過程中暴露出缺點，因強調大膽提拔，導致幹部提拔不當，提拔超編等現象。對此，宋任窮擔負起了責任，作出了檢討。
這件事的發生，或許是導致他想離開軍隊的內因。
幾個月後，周總理找他，希望他從軍隊調個中央委員到地質戰線工作。
當時，八大還有幾個月才召開，而在七大擔任中央委員到軍隊幹部，職務都不低，都是後路的元帥、大將級別，顯然是不合適。
從候補委員中選出來，而軍隊候補委員有：黃克誠、譚政、粟裕、王震、宋任窮、烏蘭夫、萬毅、呂正操、羅瑞卿、張宗遜、陳賡、蕭勁光，調誰都不容易，他們有大將，有上將，萬毅雖然是中將，黨內資歷淺一些。
思索再三，覺得自己穿不慣新軍裝，乾脆離開部隊。宋任窮找到總理說：把自己調出來吧！領導說：你走了總幹部部怎麼辦！他說：總幹部有人，經過中央領導的研究決定，把他調離軍隊，但也沒有讓他去地質戰線工作，而是到新組建的三機部任部長。
該部是負責原子彈的，任務重大，需要一個有資歷，有組織協調能力的老將擔任，宋任窮擅長組織工作，非常合適。這樣一個契機，讓他離開軍隊，從此以後再也沒有回去。
