春秋时，象山为越国鄞地。
战国中楚灭越，一度属楚、秦置鄞县，象山东部属之。
汉置鄞县、回浦（后改章安）两县地。
晋时分属鄞县、宁海。
隋代为句章、临海两县所属。
唐初，分属鄮县与宁海。
唐神龙二年，朝廷准监察御史崔皎所奏，析台州宁海、越洲鄮县地置象山县，属台州。
广德二年（764）改属明州。
南宋绍熙五年（1194）升明州为庆元府，元又改庆元路，象山均为属县。
至正十五年（1355）方国珍攻占庆元，象山亦被占。
方降明后，明改庆元路为明州府，洪武十四年（1381）又改为宁波府，象山历为属县。
清沿明制，象山仍属宁波府。
咸丰十一年（1861）十一月，太平军张得胜部攻克象山，次年四月撤去。
宣统三年（1911）十月，武昌起义胜利，象山于同月二十一日光复。
民国初，象山属会稽道。
县南之南田，明时为"封禁之地"。
光绪元年（1875）开禁，四年设招垦局。
宣统元年废局，置抚民厅，辖南田、高塘、花岙、坦塘、对面山、檀头山、南渔山、北渔山等八岛。
民国元年（1912）废厅设南田县，治樊岙，亦属会稽道。
同年4月，浙江省临时议会决议，划象山县东溪岭以下地并入南田县，5月迁治石浦。
翌年3月取消划并，还治樊岙。
民国21年10月，象山、南田两县改属浙江省第五督察专区。
29年7月，裁南田县，所辖八岛与临海，宁海近三门湾地合置三门县，隶台州。
31年，日军进犯，县城（丹城）沦陷，县政府撤至宁海县茶院，后迁本县牌头。
34年8月还治丹城。
翌年8月，县改属浙江省第六行政督察区。
1949年7月8日，象山解放，属浙江省第二专区。
不久改称宁波专区。
1952年4月，南田八岛由三门县划归象山。
1954年4月，象山转隶舟山专区。
1958年10月，宁海县撤销建制，并入象山，县改属台州专区，县治初迁沥洋，后移宁海城关镇。
1959年1月，台州专区撤销，象山回属宁波专区。
1961年10月，宁波县恢复建置，象山还治原境，县治迁回丹城镇，仍属宁波专区。
"文化大革命"间专区一度称地区，象山隶属不变。
1983年7月，宁波地、市合并，实行市管县体制，象山为其属县至今。