1908年8月,甘渭汉出生在湖南平江县的一个贫寒之家,从9岁起他就没能读书,为了帮助家中减轻负担,9岁的甘渭汉当起了放牛娃。在11岁时,他去了理发店当学徒,当了5年的理发工人,期间过得非常艰辛。
1926年,为了摆脱穷苦的处境,甘渭汉当兵参加了北伐。期间甘渭汉接受到了许多进步思想,于是在1927年7月他加入了我党,并在第二年参加了平江游击队,参与了攻打平江的战斗,甘渭汉作战英勇。
1928年10月,平江游击队被编入了红5军,甘渭汉从此成为了红军战士。由于甘渭汉表现出色,他在红军之中很快就得到了晋升,先后担任过班长、排长和连长等职,参加了修水、安福和长沙等战斗。
甘渭汉参加了苏区的历次反“围剿”作战,因功被提升为红3军团供给部政委,后被提升为团政治处主任。由于甘渭汉作战勇猛,多次带着战士们冲锋,也多次负伤,其中最为严重的一次是在浒湾战斗中,他差点牺牲了。
当时甘渭汉身负重伤,好在他有着顽强的生命力被抢救了过来,在医院养了一个多月才伤愈。1934年4月,甘渭汉被调往红军总政治部担任干事,同年10月,甘渭汉跟着主力队伍进行了长征。
1934年11月,甘渭汉被任命为红23师政治部主任,一路上他亲自带着一个营的战士担负收容任务,挽救了许多负伤掉队的战友。在一方面军和四方面军会师之后,甘渭汉继续跟随一方面军北上,最终抵达了陕北。
1936年夏,由于在保卫陕北根据地的战斗中立功,甘渭汉被提升为任红29军政委,成为了军级干部。在日寇全面侵华之后,红军改编为八路军,甘渭汉被降级任命为八路军后方留守处警备第2团政委。
实际上当时许多将领的职务级别都降低了,因此甘渭汉遇到的降职是部队改编过程中的正常情况,而非是处分性质的降职。后来甘渭汉还担任过八路军第129师385旅副政委、政委等职。
甘渭汉参加了保卫陕甘边的战斗,还参加了根据地的生产建设工作,为抗战胜利做出了贡献。1946年,甘渭汉被调往冀鲁豫军区担任政治部主任,后被提升为第三副政委,参与指挥了诸多战役。
1949年2月,甘渭汉被任命为二野第5兵团政治部主任,参加了豫北、安新等战役,为保障刘邓大军渡过黄河做出了贡献,同时也配合了四野大军南下,甘渭汉为解放事业做出了贡献。
新中国成立之初,甘渭汉调任第20兵团政治部主任,后又升任东北军区政治部副主任兼干部管理部部长。1955年3月,甘渭汉被任命为沈阳军区副政委,同年大授衔被授予中将衔,兼任干部部部长。
甘渭汉为军队建设和军中干部的选拔做出了贡献,在1965年被调往成都军区担任第四政委。1967年,甘渭汉遭受错误对待,直到1972年10才恢复工作,出任沈阳军区第二政委。
1980年1月,甘渭汉被任命为总政副主任,后来施行精简整编,1982年时甘渭汉主动请辞,以推动精简整编的落实工作,不过他的请求没有被批准,直到1985年他的请求才被批准。1986年4月1日,甘渭汉在北京病逝,享年78岁。