因地處青海湖之南,故名海南。
西漢神爵二年(公元前60年)金城郡設河關縣,轄今貴德、共和東部地區,受「護羌校尉」節制。漢平帝元始四年(公元4年),置西海郡,其轄地包括今共和、興海兩縣的大部分地區。南梁大同六年(540年),吐谷渾國王誇呂在今共和縣石乃亥鄉建都伏俟城,海南地區均為其屬地。此後,曾數度為吐蕃屬地。元至元八年(1271年)設貴德州,轄今貴德、共和部分地區,屬陝西等處行中書省河州路管轄,其餘牧區各地則直屬中央宣政院「吐蕃等處宣慰使司」管轄,稱必里萬戶府。明洪武八年(1375年)在貴德縣置歸德守御千戶所,轄今貴德、貴南、同德及黃南州的部分地區,屬陝西都指揮使河洲衛管轄,其餘地區則屬答司麻萬戶府和必里衛管轄。清初沿襲明制,清雍正二年(1724年),在今貴德縣設欽差總理蒙古番子事務大臣公署,管理今海南州在內的廣大牧區,後經奏准遷往西寧。乾隆二十六年(1761年)改歸德為貴德;公元1791年(乾隆五十六年)置貴德廳、設扶番同知,轄今海南及黃南部分地區。辛亥革命以後,1913年改貴德廳為縣,1915年北洋政府在青海改變建制,海南地區歸甘邊寧海鎮守使和蒙番宣慰使管轄。民國二十七年(1938年)設青海第五、第七行政督察區。青海建省後於1929年、1935年、1939年先後設共和縣、同德縣、大河壩設治局、1945年大河壩設治局改為興海縣。
1949年9月今海南地區解放後,相繼建立了貴德、共河、興海、同德4縣人民政府。1953年7月,由貴德、同德兩縣划出部分地區建立了貴南縣。1953年9月30日,政務院批准設立海南藏族自治區,12月15日正式設立,自治區人民政府駐共和縣恰卜恰,轄共和(原共和縣藏族自治區恢復為縣,駐恰卜恰)、貴德(駐河陰鎮)、貴南(由貴德縣南部設置,駐拉曲)、興海(原興海縣藏族自治區恢復為縣,駐大河壩)、同德(原同德縣藏族自治區恢復為縣,駐尕巴松都)5縣。1955年7月28日,經國務院批准自治區改稱海南藏族自治州。1958年興海縣由大河壩遷駐子科灘。1959年將同德縣劃歸果洛藏族自治州,原屬果洛藏族自治州的瑪多縣劃入海南藏族自治州;貴南縣駐地遷茫拉。1962年同德縣由果洛藏族自治州劃回海南藏族自治州,將瑪多縣劃歸果洛藏族自治州;至此,海南藏族自治州轄共和(駐恰卜恰)、貴德(駐河陰)、貴南(駐茫拉)、同德(駐尕巴松都)、興海(駐子科灘)5縣。1979年3月隨龍羊峽水電站的建成,成立龍羊峽辦事處(1988年改為龍羊峽行政委員會),為州政府派出的縣級機構;至此,海南州共轄共和、貴德、興海、貴南、同德5縣和龍羊峽1行委。2002年,撤銷龍羊峽行委;至此,海南州共轄共和、貴德、興海、貴南、同德5縣。
2001年1月9日,青海省人民政府青政函[2001]6號文批複:①撤銷貴德縣河西鄉,設立河西鎮。②撤銷貴南縣拉乙亥鄉、設立並命名為茫曲鎮;撤銷過馬營鄉,設立過馬營鎮。③撤銷同德縣巴水鄉,設立並命名為尕巴松多鎮。④撤銷共和縣恰卜恰鄉,併入恰卜恰鎮;撤銷倒淌河鄉,設立倒淌河鎮。⑤撤銷興海縣大河壩鄉,設立並命名為子科灘鎮(遷至子科灘);撤銷河卡鄉,設立河卡鎮。
2006年8月,經青海省政府批准,海南州鄉鎮行政區劃將原有的40個鄉鎮(其中29個鄉、11個鎮)調整為36個鄉鎮(其中21個鄉、15個鎮):撤銷共和縣英德爾鄉,設立塘格木鎮,鎮政府駐地遷至原塘格木農場場部所在地塘格木,實行鎮管村體制;撤銷共和縣東巴鄉,併入恰卜恰鎮;撤銷貴德縣常牧、東溝兩鄉,合併設立常牧鎮,鎮政府設在原東溝鄉政府駐地周屯,實行鎮管村體制;撤銷興海縣曲什安鄉,設立曲什安鎮,實行鎮管村體制;撤銷興海縣桑當鄉,將桑當鄉的桑當、明星、夏塘、野馬台4個村劃歸興海縣唐乃亥鄉,並將桑當鄉的切卜藏村劃歸興海縣子科灘鎮管轄;撤銷同德縣唐干、谷芒兩鄉,合併設立唐谷鎮,鎮政府設在原谷芒鄉政府駐地谷芒,實行鎮管村體制。