古為羌地。魏晉南北朝時屬蘇毗王國,隋稱「女國」,唐稱「東女國」,元屬吐蕃等路宣慰司,唐、宋時為吐蕃地,明屬朵甘思宣慰司,明末清初受囊謙王族統轄,隸和碩特蒙古政權,後隸「欽差總理青海蒙古番子事務大臣衙門」,通稱「玉樹25族」,民國初,隸青海辦事長官,旋政隸蒙番宣尉使和甘邊寧海鎮守使。民國六年(1917年)設玉樹理事,民國十八年(1929年)改為玉樹縣,轄今自治州全境。
玉樹古為西羌氂牛種地;隋朝前後為蘇毗和多彌二國轄區,唐時為吐番的孫波如,宋時為黎州屬下的囊謙小邦之地,元朝歸吐蕃等路宣慰司管轄,明朝囊謙五室的貴族僧侶屢被賜號為功德自在宣撫國師;明末清初玉樹各部頭人為青海蒙古和碩特部贈爵為諸台吉;清朝受青海辦事大臣直接管轄,為囊謙千戶領地,下有百戶獨立長等部落,民國時期設置玉樹、囊謙、稱多3縣,統由玉樹行政督督察專員公署管轄,縣之下千百戶制度因襲如故。
1949年10月,青海省人民解放軍軍政委員會駐玉樹特派員辦公處成立。1949年設玉樹專區,專署駐玉樹縣。轄玉樹(駐結古)、稱多(駐周均)、囊謙(駐香達)3縣。1951年12月25日玉樹專區改為玉樹藏族自治區,轄稱多、囊謙2縣;撤銷玉樹縣建制。1952年恢復玉樹縣建制,由玉樹藏族自治區領導。玉樹藏族自治區轄3縣。1953年由玉樹、囊謙2縣西部地區合併設置扎朵縣;轄4縣。1954年原扎朵縣改為雜多縣(駐於玉日本);由玉樹縣部分地區設治多縣(駐加吉博洛格);原由省直轄的曲麻萊區改設曲麻萊縣,劃入玉樹藏族自治區;轄6縣。
1955年玉樹藏族自治區改設玉樹藏族自治州,自治州人民委員會駐玉樹縣;轄玉樹、囊謙、稱多、雜多、曲麻萊、治多等6縣。1959年以玉樹、囊謙、雜多、治多4縣部分地區設置江南縣(在長江南岸,駐甘寧生多);以稱多、治多2縣部分地區設置天河縣(在長江北岸,駐卡隆雲);轄8縣。1960年江南縣駐地由江南甘寧生多遷駐節綜地區。1962年,撤銷江南縣,併入玉樹縣;撤銷天河縣,併入稱多、曲麻萊2縣;玉樹藏族自治州轄玉樹(駐結古)、稱多(駐周均)、囊謙(駐香達)、雜多(駐於玉日本)、治多(駐加吉博洛格)、曲麻萊(駐色吾溝)等6縣。1977年曲麻萊縣由色吾溝遷駐野倉灘;玉樹藏族自治州轄玉樹(駐結古)、稱多(駐周均)、囊謙(駐香達)、雜多(駐於玉日本)、治多(駐加吉博洛格)、曲麻萊(駐野倉灘)等6縣。
1999年,轄玉樹、稱多、囊謙、雜多、治多、曲麻萊6縣,1鎮、47個鄉,257個村牧委會。
2001年10月15日青海省人民政府青政函[2001]99號文批複:①撤銷囊謙縣香達鄉,設立香達鎮。②撤銷治多縣當江鄉,設立加吉博洛鎮(鎮政府駐地遷至縣政府駐地加吉博洛格)。③撤銷曲麻萊縣東風鄉,設立約改鎮(鎮政府駐地遷至縣政府駐地約改灘)。④撤銷雜多縣結紮鄉,設立薩呼騰鎮(鎮政府駐地遷至縣政府駐地薩呼騰);撤銷旦榮、查當兩鄉,合併設立查旦鄉(鄉政府駐地設在原旦榮鄉址)。⑤撤銷稱多縣賽河、稱文兩鄉,合併設立稱文鎮(鎮政府駐地設在原稱文鄉址);撤銷歇武鄉設立歇武鎮;撤銷扎朵鄉設立扎朵鎮;撤銷清水河鄉設立清水河鎮。⑥撤銷玉樹縣哈秀、結隆兩鄉,合併設立隆寶鎮(鎮政府駐地設在原結隆鄉址)。
2006年8月,玉樹州:新增2個鎮,由10鎮35鄉調整為12鎮33鄉,鄉鎮總數(45個)保持不變。
玉樹縣:撤銷下拉秀鄉,設立下拉秀鎮。
稱多縣:撤銷珍秦鄉,設立珍秦鎮。