公元前2世纪初，第一代赞普聂墀赞普为早期雅砻部落的首领，确立了赞普的世袭制度。
约6世纪，雅砻流域进入奴隶社会，雅砻部落遂成为西藏最强大的部落。
7世纪中叶，松赞干布起兵于雅砻河谷，统一青藏高原，建立了吐蕃政权，并将都城迁至拉萨。
宋宝祐元年（1253），山南地区属十三万户的领地。
元至正十四年（1354），帕竹万户推翻萨迦地方政权，帕竹地方政权统治西藏262年。
西藏地方政府时期，噶厦下设“基巧”和“宗”二级行政机构，此时为山南基巧。
1914年，英帝主义分子麦克马洪、柏尔等人，背着中国中央政府，勾结西藏地方代表出席西姆拉会议的夏扎·边觉多吉，秘密炮制了非法的“麦克马洪线”，将错那县门隅、珞瑜等地划入英属印度。
20世纪八十年代，印度在该区域又成立了所谓的“阿鲁纳尔邦”。
西藏和平解放后，设洛喀基巧，即山南总管。
1960年1月，经国务院批准，设立山南专区，1970年11月，经国务院批准，山南专区更名为山南地区。
2016年1月，国务院下达《关于同意西藏自治区撤销山南地区设立地级山南市的批复》（国函〔2016〕8号）。