1908年8月，甘渭汉出生在湖南平江县的一个贫寒之家，从9岁起他就没能读书，为了帮助家中减轻负担，9岁的甘渭汉当起了放牛娃。在11岁时，他去了理发店当学徒，当了5年的理发工人，期间过得非常艰辛。
1926年，为了摆脱穷苦的处境，甘渭汉当兵参加了北伐。期间甘渭汉接受到了许多进步思想，于是在1927年7月他加入了我党，并在第二年参加了平江游击队，参与了攻打平江的战斗，甘渭汉作战英勇。
1928年10月，平江游击队被编入了红5军，甘渭汉从此成为了红军战士。由于甘渭汉表现出色，他在红军之中很快就得到了晋升，先后担任过班长、排长和连长等职，参加了修水、安福和长沙等战斗。
甘渭汉参加了苏区的历次反“围剿”作战，因功被提升为红3军团供给部政委，后被提升为团政治处主任。由于甘渭汉作战勇猛，多次带着战士们冲锋，也多次负伤，其中最为严重的一次是在浒湾战斗中，他差点牺牲了。
当时甘渭汉身负重伤，好在他有着顽强的生命力被抢救了过来，在医院养了一个多月才伤愈。1934年4月，甘渭汉被调往红军总政治部担任干事，同年10月，甘渭汉跟着主力队伍进行了长征。
1934年11月，甘渭汉被任命为红23师政治部主任，一路上他亲自带着一个营的战士担负收容任务，挽救了许多负伤掉队的战友。在一方面军和四方面军会师之后，甘渭汉继续跟随一方面军北上，最终抵达了陕北。
1936年夏，由于在保卫陕北根据地的战斗中立功，甘渭汉被提升为任红29军政委，成为了军级干部。在日寇全面侵华之后，红军改编为八路军，甘渭汉被降级任命为八路军后方留守处警备第2团政委。
实际上当时许多将领的职务级别都降低了，因此甘渭汉遇到的降职是部队改编过程中的正常情况，而非是处分性质的降职。后来甘渭汉还担任过八路军第129师385旅副政委、政委等职。
甘渭汉参加了保卫陕甘边的战斗，还参加了根据地的生产建设工作，为抗战胜利做出了贡献。1946年，甘渭汉被调往冀鲁豫军区担任政治部主任，后被提升为第三副政委，参与指挥了诸多战役。
1949年2月，甘渭汉被任命为二野第5兵团政治部主任，参加了豫北、安新等战役，为保障刘邓大军渡过黄河做出了贡献，同时也配合了四野大军南下，甘渭汉为解放事业做出了贡献。
新中国成立之初，甘渭汉调任第20兵团政治部主任，后又升任东北军区政治部副主任兼干部管理部部长。1955年3月，甘渭汉被任命为沈阳军区副政委，同年大授衔被授予中将衔，兼任干部部部长。
甘渭汉为军队建设和军中干部的选拔做出了贡献，在1965年被调往成都军区担任第四政委。1967年，甘渭汉遭受错误对待，直到1972年10才恢复工作，出任沈阳军区第二政委。
1980年1月，甘渭汉被任命为总政副主任，后来施行精简整编，1982年时甘渭汉主动请辞，以推动精简整编的落实工作，不过他的请求没有被批准，直到1985年他的请求才被批准。1986年4月1日，甘渭汉在北京病逝，享年78岁。
