古為羌地。漢元始四年(公元4年),王莽在今海晏縣三角城設置「西海郡」,轄海晏、剛察等地區。後因王莽篡政紛亂,郡邑廢棄。東漢永元十四年(公元102年),復置「西海郡」(以上見《西寧府新志》)。晉和十六國時(公元265-420年),設置西平郡,海北州屬西秦、北涼、南涼統治(見《甘肅通志稿》)。隋大業五年(公元609年),煬帝擊敗吐谷渾伏允主力後,又設置「西海郡」,郡治多至伏俟城,海晏、剛察仍屬期管轄(見隋書)。唐貞觀五年(公元631年),設置米川縣,轄門源地區。唐咸亨三年(公元672年),徒吐谷渾諾曷缽於浩門水南。唐廣德元年(公元763年),徒蕃佔據青海,海北州屬其域(以上見《甘肅通志稿》)。
元朝設吐蕃等處宣慰司都元帥府,海北州歸其管轄。明洪武八年(公元1378年),設安定、阿瑞二衛。海北州在二衛轄境。明正德四年(公元1509年),蒙古族和碩特部落固始汗自新疆入青海,統一了蒙古族分編為5部29旗。其中,海北地區有11旗,置於青海欽差大臣(駐西寧)管轄之下。同時,築起了大通(今門源縣城)、白塔(今大通縣城關鎮)、永安(門源縣城西北55千米處)3城,在今門源縣城設「大通衛」,轄永安營和白塔營,屬西寧府管轄。清乾隆九年(公元1744年)遷衛於白塔。清乾二十六年(公元1761年),改衛為縣治。
民國十八年(1929年)青海建省後,先後置亹源縣、祁連設治局、海晏設治局(後改設海晏縣),均由省直轄。1929年,劃達坂山以北設置門源縣,祁連地區和原屬西寧府的仙米、珠固劃歸門源縣。1939年,設祁連設治局。1943年,海晏建縣。剛察為教蘭理事轄區。
1949年海北解放,成立亹源縣政府,1950年至1952年成立海晏縣、剛察行政委員會、祁連自治區。
1953年12月31日設立海北藏族自治區,轄亹源回族自治區(駐浩亹鎮)、祁連縣(原祁連自治區改設,駐八寶寺)、剛察縣(原剛察區改設,駐沙柳河)、海晏縣(原海晏縣藏族自治區恢復為縣,駐三角城),自治區人民政府駐亹源縣浩亹鎮。1955年,海北藏族自治區改設海北藏族自治州,亹源回族自治區改設亹源回族自治縣。
1993年7月駐地遷至海晏縣西海鎮。1995年1月11日國務院批複(國函[1995]2號)同意海北藏族自治州人民政府駐地由門源回族自治縣浩門鎮遷至海晏縣原二二一廠基地(即西海鎮)。1999年全州轄4縣(門源、祁連、剛察、海晏縣),3場(托勒牧場、青海湖農場、同寶牧場),34個鄉鎮(其中,牧業鄉19個,鎮政府3個)。
2001年3月5日青海省人民政府青政函[2001]15號文批複:①撤銷祁連縣多隆、默勒2鄉,合併設立默勒鎮;撤銷峨堡鄉,設立峨堡鎮。②撤銷門源縣東川、克圖2鄉,合併設立東川鎮;撤銷旱台、泉溝台2鄉,合併設立並命名為泉口鎮(鎮政府駐地設在原旱台鄉);撤銷大灘鄉,併入青石嘴鎮。③撤銷海晏縣銀灘鄉,設立並命名為三角城鎮(鎮政府駐地設在原銀灘鄉)。④撤銷剛察縣沙柳河鄉,設立沙柳河鎮。2001年底,全州轄10個鎮、18個鄉、3個民族鄉,6個居委會、206個村(牧)委會。
2004年7月,剛察縣區劃調整:撤銷哈爾蓋鄉,設立熱水鎮。
2006年8月,海北州:鄉鎮總數由32個(11鎮21鄉)調整為30個(11鎮19鄉)。
海晏縣:撤銷甘子河鄉、托勒蒙古族鄉,合併設立達玉蒙古族鄉(鄉政府駐原甘子河鄉駐地)。
祁連縣:撤銷柯柯里鄉,併入野牛溝鄉。
剛察縣:熱水鎮更名為哈爾蓋鎮。