馬鞍山地區歷史悠久。西周時屬吳國。春秋戰國時期先後改屬越國和楚國。秦至西晉,均屬丹陽縣(縣治今當塗縣丹陽鎮)。東晉北方戰亂,難民南遷。公元329年(成帝咸和四年),淮河之濱的當塗縣(今安徽懷遠縣境內)流民南徒,遂於今南陵一帶僑置當塗縣,江南始有當塗縣名,但非實體縣。公元345年(永和元年),江北豫州(今河南東南部,湖北東部)僑置牛渚(今採石)。公元502年(南朝梁天監元年),分丹陽縣置南丹陽郡,郡治採石。公元589年(隋開皇九年),將僑置於皖南一帶的當塗縣徒治姑孰城(今當塗城關鎮),此是姑孰為當塗縣城之始,迄今相沿不變。公元977年(北宋太平興國二年)設太平州,治姑孰城,轄當塗、蕪湖、繁昌三縣。元改太平州為太平路。公元1355年(元至正十五年),朱元璋率起義軍攻佔當塗,改太平路為太平府,轄縣照舊。明清府治隸屬不變。民國裁府留縣,當塗縣直屬安徽省。公元1914年(民國3年)設蕪湖道,當塗屬蕪湖道。公元1928年(民國17年)廢道,仍直隸安徽省。
1949年4月當塗解放。1954年2月設馬鞍山鎮,隸屬當塗縣。1955年8月設馬鞍山礦區政府(縣級),隸屬蕪湖專區。1956年10月12日,國務院批准設立馬鞍山市,為省轄市。當塗縣先後隸屬蕪湖專區(地區)、宣城地區。1983年7月,當塗縣(除大橋公社外)劃歸馬鞍山市。2011年8月16日安徽省地級市巢湖市被分拆為三個部分,其中含山縣、和縣(不含沈巷鎮)劃歸馬鞍山。