當時，隨著諒山被解放軍攻克，諒山以南一馬平川的地形便毫無阻礙地展現在解放軍眼前。河內陷入了無險可守的境地。就在許世友將軍打算乘勝向河內挺進之時，卻接到了中央下達的撤軍命令。有一種說法稱，許世友將軍接到命令時，曾向軍委申請兩小時拿下河內，不過這一消息基本未經證實。但從他後續下達的指令中，仍能察覺到他心中的不甘。
在第三階段，接到軍委命令後，許世友將軍隨即下達指令，自3月6日起，中國軍隊開始採用交替掩護、邊清剿邊撤退的方式撤離。同時，在撤退路線上鋪設地雷，並以遠程炮火進行掩護，有效阻止了越軍開展大規模追擊行動。
值得一提的是，據當年參戰老兵回憶，中國軍隊撤退時，有眾多越南男女軍人偽裝成普通百姓，對解放軍進行不間斷的偷襲。這導致中國軍隊難以分辨普通百姓與反擊越軍的人員，從而遭受了一定傷亡。此外，在回國的撤退途中，解放軍運走了大量越南物資，其中包括大批此前我國援助給越南的物資。同時，對越南的村莊、公路、鐵路進行了有系統的破壞，旨在削弱其戰爭潛力。
3月16日22時20分，隨著最後一輛軍車駛回國內，我國宣告完成撤軍行動，成功實現了對越南的懲戒目的，這場戰爭勝利結束。頗具諷刺意味的是，越南人民軍在我方撤出後，竟也宣稱自己取得了戰爭勝利。
從這場戰爭的結果和影響來看，在短短一個月的戰鬥中，我方解放軍和民兵共犧牲6954人，受傷14800多人。越軍在第一階段約死亡15000人，第二、三階段陣亡37000人，預計總死亡人數超過5萬人。我方一舉收復了被越軍侵佔的中國領土普涅林和廷豪山地區，還佔領了越南的一些戰略山丘和陣地。不過，這場戰爭對我方也產生了一定影響。在短短一個月內，中方傷亡人數達兩到三萬人，直接經濟損失約35億人民幣，致使1979年的經濟計劃未能按時完成。但換個角度而言，通過這場戰爭，中國達到了預期的懲罰性作戰目的，摧毀了越南北部的礦業，打亂了蘇聯與越南的戰略部署，為中國爭取到了改革開放的寶貴契機。、
中美建交後，兩國關係迅速進入近10年的黃金時期。同時，這場戰爭也讓解放軍汲取了諸多教訓。由於長期未經歷戰鬥，解放軍部分軍官軍事技能不夠熟練，作戰指揮存在不力之處。例如，六十二式坦克在戰鬥中被擊中，損失數量較多；五、六十式半自動步槍在叢林戰和近戰中的火力弱於越軍；當時軍隊裝備雖強，但因沒有軍銜制，部隊一旦打散，在臨時拼湊時難以迅速確定指揮關係；而且缺少輸送步兵的裝甲運兵車，步兵只能搭乘坦克前行，易遭受攻擊等問題在戰爭中暴露無遺，這也為之後長達10年的兩山輪戰練兵埋下了伏筆。
對越南方面來說，戰爭創傷持續存在。解放軍撤離後，越南的工業設施遭到系統性破壞，這使得越南不得不維持相當規模的陸軍，從而拖累了國內經濟。此後連年戰事，讓越南錯失了改革開放的機遇，尤其是越南開始將大量資金用於防禦美國，再無精力干涉其鄰國政局。然而，衝突並未就此平息。解放軍撤軍後，越南軍隊再度挑起爭端，相繼佔領中越邊境諸多地區，驅逐當地民眾，並佔領了屬於我國領土的老山、者陰山等地區。
越南還在老山建立了4個軍事據點區，在者陰山修建1250高地和1052.4高地防禦工事，並以此為基地在邊境頻繁活動。從1979年3月至1984年3月，向中國麻栗坡縣內發射炮彈2萬餘發，致使我國邊民300多人嚴重受傷，嚴重威脅中國境內安全，由此拉開了10年兩山輪戰的序幕。
