春秋为鲁中都邑地。
战国齐置平陆邑。
秦属薛郡。
西汉置东平陆县。
南朝宋改名平陆县，又于其西置平原县，于故中都置乐平县。
北齐徙平原县离境，省平陆县入乐平县。
隋开皇十六年(596)改乐平为平陆。
唐天宝元年(742)改名中都县。
金贞元元年(1153)改为汶阳县。
泰和八年(1208)改汶阳县为汶上县。
沿用至今。
明属兖州府东平州。
清属兖州府。
1914年属济宁道。
1925年属兖济道。
1928年属省。
1936年属第一行政督察区。
1939年建立抗日民主政权，先后属鲁西行政区泰西专区(1940)、冀鲁豫行政区第二专区(1941)。
同年9月因形势恶化，汶上县抗日民主政府转移，至1943年2月重建汶上县抗日民主政府，属晋冀鲁豫第十七专区；1948年属鲁中南行政区第七专区。
1950年属泰安专区。
1953年属济宁专区。
1967年属济宁地区。
1983年属泰安地区。
1985年属济宁市。