1916年6月，任昌輝出生在江西吉水的一個貧寒之家，生活的艱辛讓他無法上私塾，很小的時候就跟著父母一起幹活，8歲時就開始到了一個木匠鋪當學徒，這樣不僅能吃飽飯，還能學到一門手藝。
1926年，在木匠鋪當了兩年學徒之後，10歲的任昌輝開始能獨自做一些木匠活，於是他就跟著同村的一位木匠老師傅一起，遊走到各村去做木匠活，年少時的任昌輝生活過得十分艱辛，可謂是嘗盡苦楚。
1929年，13歲的任昌輝參加了農協，還參加了攻打吉安的戰鬥，任昌輝知道紅軍是為老百姓的隊伍，於是在1930年初，14歲的任昌輝參加紅軍，成為了一名紅軍戰士，當時都喊他「紅小鬼」。
參加紅軍之初由於年紀小，任昌輝被分配到了紅12軍第36師的一個連隊里當通訊員，主要負責跑腿傳遞消息，後來由於表現出色，加上他的經驗越來越豐富，才被安排進入了戰鬥班，他先後當過副班長、班長。
任昌輝參加了蘇區的歷次反「圍剿」戰鬥，在龍崗戰鬥、白沙戰鬥和建寧等戰鬥中，任昌輝作戰英勇多次立功，期間也多次負傷，有一次重傷差點犧牲了，傷愈後任昌輝被評為二等殘疾。
不過任昌輝仍堅持在前線繼續戰鬥，他受到了組織的重點培養，被派往紅軍大學學習。在參加紅軍的多年裡，任昌輝一直在堅持學習文化知識，經過紅軍大學的軍事學習之後，他的軍事素養有了更大的提升。
任昌輝從紅軍大學學習結束不久，就跟隨紅軍主力進行了長征，任昌輝是帶著傷走完長征的。抵達陝北之後，任昌輝被任命為陝甘寧幹部教導大隊隊長兼教員，後被調往獨立一師擔任參謀長、團長。
紅軍改編為八路軍之後，任昌輝被編入了留守警備第7團，擔任第2營營長。1942年5月，任昌輝被調往晉察冀軍區第三分區擔任武裝部長、第2團團長，期間多次粉碎了日軍的「掃蕩」。
直到抗戰勝利，任昌輝一直在晉察冀軍區任職。抗戰勝利之後，任昌輝被調往東北戰場，擔任第9縱隊第27師師長，參加了錦州戰役、遼西會戰和營口戰役。1948年11月，任昌輝被任命第46軍第138師師長，隨後參加了平津戰役。
任昌輝跟隨隊伍南下，在長沙解放之後任昌輝沒有繼續南下，而是率部留在長沙負責警備任務，兼任長沙警備司令。新中國建立後，任昌輝被安排進入了武漢高級幹部速成班學校，任昌輝被評為優秀學員。
1955年，任昌輝被評為少將銜，成為了新中國的開國少將。1956年3月，任昌輝被調任河南省軍區參謀長，5年後任昌輝被提升為河南省軍區副司令兼鄭州的衛戍司令。由於身體原因，1965年3月，任昌輝離職休養。
在大授銜之後，任昌輝只工作了10年，頗為遺憾。不過離休後的任昌輝仍心繫我軍的建設工作，為軍隊的發展積極獻言獻策。晚年的任昌輝生活在鄭州，他撰寫了許多回憶錄，直到1989年病逝，享年73歲。
