1916年6月，任昌辉出生在江西吉水的一个贫寒之家，生活的艰辛让他无法上私塾，很小的时候就跟着父母一起干活，8岁时就开始到了一个木匠铺当学徒，这样不仅能吃饱饭，还能学到一门手艺。
1926年，在木匠铺当了两年学徒之后，10岁的任昌辉开始能独自做一些木匠活，于是他就跟着同村的一位木匠老师傅一起，游走到各村去做木匠活，年少时的任昌辉生活过得十分艰辛，可谓是尝尽苦楚。
1929年，13岁的任昌辉参加了农协，还参加了攻打吉安的战斗，任昌辉知道红军是为老百姓的队伍，于是在1930年初，14岁的任昌辉参加红军，成为了一名红军战士，当时都喊他“红小鬼”。
参加红军之初由于年纪小，任昌辉被分配到了红12军第36师的一个连队里当通讯员，主要负责跑腿传递消息，后来由于表现出色，加上他的经验越来越丰富，才被安排进入了战斗班，他先后当过副班长、班长。
任昌辉参加了苏区的历次反“围剿”战斗，在龙岗战斗、白沙战斗和建宁等战斗中，任昌辉作战英勇多次立功，期间也多次负伤，有一次重伤差点牺牲了，伤愈后任昌辉被评为二等残疾。
不过任昌辉仍坚持在前线继续战斗，他受到了组织的重点培养，被派往红军大学学习。在参加红军的多年里，任昌辉一直在坚持学习文化知识，经过红军大学的军事学习之后，他的军事素养有了更大的提升。
任昌辉从红军大学学习结束不久，就跟随红军主力进行了长征，任昌辉是带着伤走完长征的。抵达陕北之后，任昌辉被任命为陕甘宁干部教导大队队长兼教员，后被调往独立一师担任参谋长、团长。
红军改编为八路军之后，任昌辉被编入了留守警备第7团，担任第2营营长。1942年5月，任昌辉被调往晋察冀军区第三分区担任武装部长、第2团团长，期间多次粉碎了日军的“扫荡”。
直到抗战胜利，任昌辉一直在晋察冀军区任职。抗战胜利之后，任昌辉被调往东北战场，担任第9纵队第27师师长，参加了锦州战役、辽西会战和营口战役。1948年11月，任昌辉被任命第46军第138师师长，随后参加了平津战役。
任昌辉跟随队伍南下，在长沙解放之后任昌辉没有继续南下，而是率部留在长沙负责警备任务，兼任长沙警备司令。新中国建立后，任昌辉被安排进入了武汉高级干部速成班学校，任昌辉被评为优秀学员。
1955年，任昌辉被评为少将衔，成为了新中国的开国少将。1956年3月，任昌辉被调任河南省军区参谋长，5年后任昌辉被提升为河南省军区副司令兼郑州的卫戍司令。由于身体原因，1965年3月，任昌辉离职休养。
在大授衔之后，任昌辉只工作了10年，颇为遗憾。不过离休后的任昌辉仍心系我军的建设工作，为军队的发展积极献言献策。晚年的任昌辉生活在郑州，他撰写了许多回忆录，直到1989年病逝，享年73岁。
