1945年8月日本宣布投降後，以蔣介石為首的國民黨政府，一面邀請中國共產黨中央委員會主席毛澤東赴重慶進行和平談判，一面調集大批軍隊向解放區發動進攻。
8月中旬，國民黨軍第二戰區司令長官閻錫山所部在日偽軍接應下進佔太原和同蒲鐵路（大同—風陵渡）沿線城鎮後，以第19軍軍長史澤波指揮4個步兵師及1個挺進縱隊（相當師），連同收編長治地區（古稱上黨郡）的偽軍共1.7萬餘人，乘晉冀魯豫軍區部隊正在向日偽軍舉行全面反攻之際，襲占長治及其周圍地區，並修築工事，加強守備。其軍部率3個師主力及炮兵一部共萬餘人守備長治，其餘部隊及地方團隊部署於襄垣、長子、屯留、潞城和壺關等地，企圖以此為依託，進一步打通白（圭）晉（城）鐵路，擴占整個晉東南，並配合國民黨軍第一、第十一戰區部隊沿正太、平漢鐵路向石家莊、北平（今北京）等地推進。
為保衛抗戰勝利果實，中共中央軍委於8月下旬指示晉冀魯豫軍區進行自衛反擊，首先殲滅進入長治地區的國民黨軍，收復失地，清除解放區腹心之患，以便爾後將主力轉用於平漢線（今北京—漢口），阻滯國民黨軍北進。同時指出，上黨地區6城堡堅壘密，反擊須有充分準備，不可草率，宜選擇一兩城，各個擊破，不宜同時攻擊；如攻而不克，可圍城打援。
晉冀魯豫軍區司令員劉伯承、政治委員鄧小平遵照上述指示，並針對國民黨軍第二戰區部隊孤軍深入和分散守備的特點，決心以所屬太行、太岳、冀南軍區各1個縱隊及地方武裝共3.1萬餘人，在5萬民兵的配合下，先由北而南逐個奪取長治外圍各城，吸引長治守軍出援，力求在運動中予以殲滅，爾後收復長治，並相機殲滅可能自太原、平遙來援的國民黨軍。
晉冀魯豫軍區各參戰部隊依據上述部署，一面向上黨地區開進，一面進行整編和政治動員。太行縱隊在南進途中，於9月1日攻克襄垣。9月10日，戰役正式發起，太行縱隊首攻屯留。史澤波兩度組織長治守軍出援，均與打援的太岳、冀南縱隊略事接觸即迅速縮回。12日，太行縱隊攻克屯留。17日，冀南縱隊攻克潞城，截斷了長治與太原的聯繫。19日，太岳縱隊和太行軍區部隊分別攻克長子、壺關。至此，晉冀魯豫軍區部隊連克5城，殲國民黨軍7000餘人，使長治守軍陷於孤立。
當晉冀魯豫軍區部隊開始奪取長治外圍各城時，閻錫山唯恐長治兵力不濟，於9月15日令第7集團軍副總司令彭毓斌率第23、第83軍等部，由祁縣東觀鎮經沁縣南下增援。
9月20日起，晉冀魯豫軍區集中主力圍攻長治。因城高壕深，工事堅固，多次攻擊未能奏效。24日，得悉自太原出援的國民黨軍3個師已抵子洪鎮以南，遂留冀南縱隊和太岳縱隊一部及地方部隊繼續圍困長治、吸引援敵，令太行縱隊和太岳縱隊主力迅速北上打援。
10月2日，將國民黨援軍包圍於虒亭以南老爺嶺、西窳、磨盤堖、榆林地區。在圍殲過程中，查明援軍為2個軍6個師，另外由偽軍改編的山西省防軍第3軍4個團也正從沁縣出動，全部援軍約2.3萬餘人。為確保打援的優勢兵力，晉冀魯豫軍區又急調冀南縱隊北上參戰，並令其白天開進，故意暴露，以動搖援敵軍心。5日，晉冀魯豫軍區部隊從兩翼向退據老爺嶺的國民黨援軍主力發起攻擊，並在北面留一缺口，誘其突圍。當夜，國民黨援軍在其老爺嶺陣地失守後，向北突圍。晉冀魯豫軍區以一部兵力先機搶佔虒亭以北土落村制高點，截斷其退路；主力沿虒亭、屯留間公路兩側實施追擊。至6日，國民黨援軍除2000餘人逃回沁縣外，其餘全部被殲滅，彭毓斌被擊斃。
國民黨援軍被殲滅後，長治守軍待援無望，於8日向西突圍，企圖橫穿太岳區，逃回浮山、翼城。晉冀魯豫軍區除以圍城部隊跟蹤追擊外，另以太岳縱隊自虒亭向南取捷徑直出沁水以北馬壁，控制沁河，進行截擊。10月12日，將突圍的國民黨軍全部殲滅在沁河以東將軍嶺及桃川村地區，俘史澤波。
上黨戰役，是抗日戰爭勝利後解放區部隊反擊國民黨軍進攻所進行的第一個較大規模的殲滅戰，共殲國民黨軍3.5萬餘人，繳獲山炮24門、機槍2000餘挺、長短槍1.6萬餘支，軍區部隊傷亡約4000人，鞏固了晉冀魯豫解放區後方，加強了中國共產黨在重慶和平談判中的地位。
