元屬吐蕃等處宣慰司轄,明為積石州千戶和歸德守御千戶所轄,清屬欽差辦理青海蒙古番子事務大臣和循化廳管轄,民國十八年(1929年)置同仁縣。民國二十九年(1940年)今同仁、澤庫兩縣的大部分地區,隸屬青海省第七督察專員公署。河南地區仍沿襲清代舊制,由蒙古族親王統轄,尖扎地區屬貴德縣管轄。
明洪武三年(1370年),設河州衛、改必里萬戶府為必里千戶所,轄黃南南部游牧部落。八年(1375年)改貴德為貴德守御千戶所,下設10屯,今黃南州有其7。宣德元年(1426年),今同仁、澤庫地區遂由隆務寺夏日倉活佛─隆務囊索代而治之,逐漸形成熱貢地區政教合一統治制度。萬曆年間(1537─1619年),黃南地區為蒙古土默特部洪薩巴圖爾控制。清雍正四年(1726年)置駐西寧辦事大臣,今河南縣由該辦事大臣節制。今同仁、尖扎、澤庫地區先後屬甘肅臨洮府、西寧府、河州府、蘭州府,分別由貴德廳、循化廳轄治。1929年7月,由甘肅省析置青海省,由循化縣析置同仁縣,今河南縣由省直轄。1937年,省在隆務鎮 設第七專員公署,轄同仁同德兩縣。
1949年黃南地區解放,1949年9月22日成立同仁縣人民政府,1952年3月17日成立同仁藏族自治區(縣級、1953年7月改為縣)。1952年7月3日由貴德縣析置尖扎藏族自治區(縣級、1953年7月改為縣),由同仁縣析置澤庫縣。1953年9月30日,政務院批准設立黃南藏族自治區(地級),自治區人民政府駐同仁縣隆務寺,轄尖扎、同仁、澤庫3縣;1953年12月22日正式成立。1955年7月28日,國務院批准黃南藏族自治區更名為黃南藏族自治州。1954年10月成立河南蒙族自治區(縣級,1955年6月改稱自治縣)。1959年1月,經國務院批准,原由省直轄的循化撒拉族自治縣、河南蒙古族自治縣由黃南州代管。1962年12月,循化撒拉族自治縣又恢復省直屬地位。1964年,原由省直轄、委託黃南藏族自治州代管的河南蒙族自治縣更名為河南蒙古族自治縣。1987年設李家峽行委(縣級)。2002年,撤銷李家峽行委。
每年10月15日為自治州建州紀念日。
2001年3月19日,青海省人民政府青政函[2001]21號文批複:①撤銷澤庫縣夏德日鄉,設立並命名為澤曲鎮(鎮政府駐地不變)。②撤銷河南縣智後茂鄉,設立並命名為優干寧鎮(鎮政府駐地不變)。③撤銷尖扎縣坎布拉、多加、直崗拉卡3鄉,合併設立坎布拉鎮(鎮政府駐地設在李家峽);撤銷加讓鄉,併入馬克唐鎮。④撤銷同仁縣保安、麻巴2鄉,合併設立保安鎮(鎮政府駐地設在原保安鄉)。
2006年8月,黃南州:新增1個鎮,鄉鎮總數由35個(7鎮28鄉)調整為32個(8鎮24鄉)。
同仁縣:撤銷牙浪鄉,併入隆務鎮。
澤庫縣:撤銷恰科日鄉,併入澤曲鎮;撤銷多福順鄉,設立麥秀鎮。
河南縣:撤銷托葉瑪鄉,併入優干寧鎮。