1908年8月，甘渭漢出生在湖南平江縣的一個貧寒之家，從9歲起他就沒能讀書，為了幫助家中減輕負擔，9歲的甘渭漢當起了放牛娃。在11歲時，他去了理髮店當學徒，當了5年的理髮工人，期間過得非常艱辛。
1926年，為了擺脫窮苦的處境，甘渭漢當兵參加了北伐。期間甘渭漢接受到了許多進步思想，於是在1927年7月他加入了我黨，並在第二年參加了平江游擊隊，參與了攻打平江的戰鬥，甘渭漢作戰英勇。
1928年10月，平江游擊隊被編入了紅5軍，甘渭漢從此成為了紅軍戰士。由於甘渭漢表現出色，他在紅軍之中很快就得到了晉陞，先後擔任過班長、排長和連長等職，參加了修水、安福和長沙等戰鬥。
甘渭漢參加了蘇區的歷次反「圍剿」作戰，因功被提升為紅3軍團供給部政委，後被提升為團政治處主任。由於甘渭漢作戰勇猛，多次帶着戰士們衝鋒，也多次負傷，其中最為嚴重的一次是在滸灣戰鬥中，他差點犧牲了。
當時甘渭漢身負重傷，好在他有着頑強的生命力被搶救了過來，在醫院養了一個多月才傷愈。1934年4月，甘渭漢被調往紅軍總政治部擔任幹事，同年10月，甘渭漢跟着主力隊伍進行了長征。
1934年11月，甘渭漢被任命為紅23師政治部主任，一路上他親自帶着一個營的戰士擔負收容任務，挽救了許多負傷掉隊的戰友。在一方面軍和四方面軍會師之後，甘渭漢繼續跟隨一方面軍北上，最終抵達了陝北。
1936年夏，由於在保衛陝北根據地的戰鬥中立功，甘渭漢被提升為任紅29軍政委，成為了軍級幹部。在日寇全面侵華之後，紅軍改編為八路軍，甘渭漢被降級任命為八路軍後方留守處警備第2團政委。
實際上當時許多將領的職務級別都降低了，因此甘渭漢遇到的降職是部隊改編過程中的正常情況，而非是處分性質的降職。後來甘渭漢還擔任過八路軍第129師385旅副政委、政委等職。
甘渭漢參加了保衛陝甘邊的戰鬥，還參加了根據地的生產建設工作，為抗戰勝利做出了貢獻。1946年，甘渭漢被調往冀魯豫軍區擔任政治部主任，後被提升為第三副政委，參與指揮了諸多戰役。
1949年2月，甘渭漢被任命為二野第5兵團政治部主任，參加了豫北、安新等戰役，為保障劉鄧大軍渡過黃河做出了貢獻，同時也配合了四野大軍南下，甘渭漢為解放事業做出了貢獻。
新中國成立之初，甘渭漢調任第20兵團政治部主任，後又升任東北軍區政治部副主任兼幹部管理部部長。1955年3月，甘渭漢被任命為瀋陽軍區副政委，同年大授銜被授予中將銜，兼任幹部部部長。
甘渭漢為軍隊建設和軍中幹部的選拔做出了貢獻，在1965年被調往成都軍區擔任第四政委。1967年，甘渭漢遭受錯誤對待，直到1972年10才恢復工作，出任瀋陽軍區第二政委。
1980年1月，甘渭漢被任命為總政副主任，後來施行精簡整編，1982年時甘渭漢主動請辭，以推動精簡整編的落實工作，不過他的請求沒有被批准，直到1985年他的請求才被批准。1986年4月1日，甘渭漢在北京病逝，享年78歲。
