今武山辖域，古代为豲（huán）戎部落所居。
秦孝公元年(前361年）“西斩戎之豲（huán）（huán）王”豲（huán）部落被灭，并以其族名为地名，置豲（huán）道，其地始入秦，秦昭王时，置陇西郡，今武山为陇西郡豲（huán）道县地。
西汉时，分陇西郡地另设置天水郡，分豲（huán）道县地另设置襄武县，豲（huán）道属天水郡，襄武县属陇西郡。
三国魏更名武城县，不久即废，复名新兴县。
1913年1月30日，更宁远县为武山县，为今名之始，属渭川道所辖；一直沿用至今。