衡山县地在《禹贡》（此篇将当时中国划分为九州，分别记述其山川、物产、交通、贡赋，保存了重要的地理资料）荆州（古九州之一，《禹贡》云：“荆州及衡阳惟荆州，北据荆山，南及衡山之阳”）之境（尧时衡山在荆州南境。
舜时属荒服。
夏商未变，先后为三苗蛮族和扬越杂居之地），天文翼轸（yì、zhěn，翼、轸均为28宿之一。
南方有井、鬼、柳、星、张、翼、轸7宿，称朱鸟七宿。
首位称鹑首，中部〈柳、星、张〉称鹑火，末位称鹑尾）分野，鹑尾（chún，鹑尾为星次名，指翼轸二宿，古以为楚之分野）之次，本周麇（jūn）子国（另一说为糜子国，本志和《嘉靖衡州府志》等古籍都如此记载。
秦并天下，隶长沙郡（秦始皇24年）。
汉（汉高祖元年复属楚，汉高祖五年）封为长沙国湘南县地（新始建元年，废长沙国，湘南县改属荆州填蛮郡。
东汉建武元年，属荆州长沙郡湘南候国。
建安13年，为刘备所占。
建安20年，湘江东西一带分别为孙权、刘备割据。
建安24年，改属孙）。
三国时置衡阳县，隶衡阳郡（三国时吴大帝黄龙元年属吴，吴会稽王太平二年即公元257年，立衡阳郡兼置衡阳县〈非今衡阳县〉、湘西县，辖今衡山县、南岳区及湘潭县涓水以东和株洲县湘江以西地区），其地（县治）在今兜率寺（今永和乡老粮仓一带）侧，距今县治二十余里。
晋改曰衡山（西晋惠帝永熙元年即公元290年，衡阳县更名衡山县，属荆州衡阳郡，辖区与原衡阳县同。
永嘉元年8月，改属湘州。
东晋义洗十三年，复属荆州。
南北朝宋永初元年，重属湘州衡阳郡）。
隋以湘西、湘乡二县省入，隶潭州（隋开皇九年，湘乡、湘西两县并入衡山县，属长沙郡，县城迁湘西县城即今株洲市淦田一带）。
（大业三年，改衡州为衡山郡，属荆州，领衡阳、淶阳、湘潭、新宁四县）。
大业六年（辖今衡山县、南岳区、湘乡县、双峰县全境，湘潭县、湘潭市区、株洲县、株洲市区湘江西部地区和望城县湘江以西南部地区），迁治于白马峰下（今衡山县开云镇环溪村一带）。
（唐武德4年，析出湘乡县。
贞观元年，属江南道长沙郡。
神龙二年，改属衡山郡，辖区与晋时同）。
唐神龙三年，御史马目襄奏复旧治，其后又以水患改迁白茅镇，南临湘水百二十步，即今县治也（开元21年，属江南西道采访使。
天宝元年，衡山郡改名衡阳郡，衡山县属之。
天宝8年，湘江对岸原湘潭县部分地区划入，时衡山县辖今衡山县、衡东县、南岳区和安仁县部分山区。
五代后梁开平元年，属南楚衡州）。
晋天福五年，属潭州。
未几，复隶衡州。
宋乾德三年，又属潭州。
淳化三年，复属衡州。
四年，因茶盐制置使雷有终请，遂定为潭之属县（至道3年，属湖南路潭州长沙郡。
咸平5年，划东南部地区给安仁县。
景炎2年，属湖广行省潭州路。
元天历2年，潭州路更名天临路。
至正24年，改天临路为衡州府，衡山县属之）。
明朝洪武初，仍隶衡州府。
编户三十二里（旧时县以下的行政单位），后并为一十七里。
案：在城一厢，在外六乡，分十六里。
疆域：东西广一百六十里，南北袤一百八十里。
里至：冬至攸县，地名井冲为界，一百二十里。
西至衡阳县，地名九渡铺为界，四十五里。
南至茶陵县，地名黄茅铺为界，北至湘潭，地名柘塘铺为界，三十五里。
东到攸县一百八十里。
西到衡阳县一百里。
南到茶陵县一百九十里。
北到湘潭县一百八十里。
东南到醴陵县九十五里，西南到安仁县二百三十里。
东北到善化县（系宋朝划长沙县五个乡，湘潭县两个乡而设。
1912年并入长沙县）二百八十里。
西北到湘乡县一百六十里。
形胜：南临湘水，北负开云，衡岳诸峰，磅礴蜿蜒，三面环拱如城。
湖以南郡县之治，雄壮奇胜莫能有过之者。
欧阳永叔（欧阳修）云：“山川秀丽称衡湘”，岂虚语哉！后，清属衡州府，民国废府存县，直隶湖南省。
1949年，中华人民共和国成立时，衡山县域范围包括今衡山县、衡东县、南岳区，属衡阳专区管辖。
1951年12月，划出南岳及其附近山区，建南岳特别区。
1952年7月，南岳特别区撤销，归入衡山县建制。
同年11月13日，衡山县改属湘南行政区。
1954年，重属衡阳专区。
1960年4月，南岳管理局升格为县级行政单位，原南岳公社划分为南岳公社和南岳镇，归属南岳管理局。
1961年3月，南岳管理局将南岳公社组建为南岳、店门、祝融、师古4个人民公社，南岳镇不变。
同年11月，新桥、马迹、东湖、江东、贯塘、白果、松柏、望峰、贯底、棠兴10个公社划入南岳管理局。
1963年6月，南岳管理局更名为南岳县，辖原南岳管理局15个社（镇）。
1966年2月，撤销南岳县，将其行政区域划归衡山县，同时析出湘江以东地区建衡东县。
1983年，地市合并，衡山县属衡阳市管辖。
1984年5月，析县境中部南岳镇、南岳乡及后山的东湖、马迹、望峰3个乡中的10个村建县级南岳区，直属衡阳市管辖。
2005年，开云镇与师古乡合并设立新开云镇。
根据湖南省委、湖南省人民政府乡镇区划调整改革工作会议精神和《关于开展乡镇区划调整改革工作的意见》(湘发〔2015〕15号)的相关规定，我县于2015年10月29日下发《衡山县乡镇区划调整改革实施方案》，《方案》明确：东湖镇和马迹镇合并，设立新的东湖镇，乡镇驻地在原东湖镇驻地；白果镇和长青乡合并，设立新的白果镇，乡镇驻地在原白果镇驻地；岭坡乡和望峰乡合并，设立新的岭坡乡，乡镇驻地在原岭坡乡驻地；萱洲镇和贺家乡合并，设立新的萱洲镇，乡镇驻地在原萱洲镇驻地；开云镇和沙泉乡合并，设立新的开云镇，乡镇驻地在原开云镇驻地。
本次乡镇区划调整，衡山县乡镇由17个调整为12个，减少5个，除上述新设的开云镇、萱洲镇、东湖镇、白果镇、岭坡乡外，永和乡、长江镇、福田铺乡、新桥镇、贯塘乡、江东乡、店门镇七个乡镇的名称和驻地保持不变。