西周时，马鞍山地域属吴国，春秋战国时期，先后改属越国和楚国，秦至西晋，均属丹阳县（治所今博望区丹阳镇）。
东晋咸和四年（329年），淮河之滨的当涂县（今安徽怀远县境内）流民南徙，遂于今南陵一带侨置当涂县，江南始有当涂县名，但非实体县。
永和元年（345年），江北豫州（今河南东南部，湖北东部）侨置于牛渚（今采石）。
南朝梁天监元年（502年），分丹阳县置南丹阳郡，郡治采石。
隋开皇九年（589年），侨置于皖南一带的当涂县徙治姑孰城（今当涂城关镇），此是姑孰为当涂县城之始，并迄今相沿未变。
北宋太平兴国二年（977年），设太平州，治姑孰城，辖当涂、芜湖、繁昌三县。
元，改太平州为太平路。
元至正十五年（1355年），朱元璋率起义军攻占当涂，改太平路为太平府，辖县照旧。
明清府治隶属不变。
民国元年（1912年），辛亥革命成功，裁府留县，当涂县直属安徽省，民国三年（1914年），设芜湖道，当涂属芜湖道。
民国十七年（1928年）废道，仍直隶安徽省。
抗日战争时人民军队建立了皖江抗日根据地，努力发展自己，打击敌人。
1949年1月29日，含山全境解放。
1月30日，和县县城解放。
4月20日晚，中国人民解放军发起渡江战役，西梁山国民党守军溃逃，马鞍山江北地区全部解放。
4月22日晚，马鞍山江南地区国民党驻军大部逃离；4月24日，江淮军区第五军分区从和县渡江到达马鞍山矿区，进驻皖南电厂和马鞍山分矿，当涂解放。
1954年2月，设马鞍山镇，隶属当涂县。
1955年8月，设马鞍山矿区政府（县级），隶属芜湖专区。
1956年10月12日，国务院批准设立马鞍山市，为省辖市。
其间，当涂县先后隶属芜湖专区（地区）、宣城地区。
1983年7月，当涂县（除大桥乡外）划属马鞍山市。
2001年7月1日，撤销向山区，将原向山区的慈湖乡1个乡划归金家庄区管辖，霍里镇、濮塘镇2个镇划归花山区管辖，雨山乡、佳山乡和向山镇划归雨山区管辖。
[78]2011年8月22日，原地级市巢湖市所辖含山县、和县（不含沈巷镇）划归马鞍山市管辖。
2012年，撤销金家庄区、花山区，设立新的花山区；设立博望区，将当涂县博望镇、丹阳镇、新市镇3个镇划归博望区管辖。