临武古属楚地，战国时期设临武邑。
汉高祖五年（前202），置临武县。
新莽始建国元年（9），改名大武。
东汉建武元年（25），复称临武。
隋开皇九年（589），南平并入临武。
五代后晋天福四年（939），临武并入桂阳监，南宋绍兴十一年（1141），复置临武县。
明崇祯十二年（1639），划临武及桂阳各一部分，新设嘉禾县。
1949年，临武解放，属郴县专署。
1952年11月，撤郴县专署，设湘南行政公署，临武属湘南行署。
1954年7月，湘南行署撤销，临武复归郴县专署管辖。
1961年7月，临武县恢复建制，隶属郴州行署。
1994年12月17日，设立郴州市，临武隶属关系不变。