西周为曹国北境。
春秋时期，境域大部属宋，西北部属魏，东北部属鲁。
战国时期，先属宋，后属齐。
秦属东郡。
西汉属梁国，后为吕都、葭密、句阳、冤句、成阳均属济阴郡，离狐县属东郡。
东汉境域句阳、冤句、成阳、离狐属济阴郡。
废葭密、吕都同入冤句县。
三国沿用东汉旧制。
晋，句阳、离狐、冤句、成阳属济阴郡。
南北朝，属北魏，孝明帝孝昌三年（527）置西兖州（治定陶）统二郡，今区属济阴郡。
北齐、北周均沿袭北魏政区设置。
隋，乘氏、冤句属济阴郡，离狐县属东郡，雷泽县属东平郡。
唐武德四年（621）济阴郡改为曹州，复置乘氏县，乘氏、冤句、南华属曹州，雷泽属濮州，两州均隶于河南道。
北宋初属曹州，崇宁元年（1102）曹州升为兴仁府，乘氏县属之。
金大定六年（1166）废乘氏县入济阴县，八年（1168）济阴县城为黄河水淹没，曹州与济阴县遂徙治所于乘氏故城（今菏泽市区）。
元，济阴县仍属曹州。
明洪武元年（1368）省济阴县入曹州。
二年徙曹州治所于今曹县城，四年降曹州为曹县。
正统十年（1445）复于乘氏故城置曹州。
清，为菏泽县，并置菏泽县为府治所，隶于山东省。
雍正二年（1724）曹州升为直隶州，十三年（1735）升州为府，设附郭县，赐名菏泽，是菏泽为县名之始，并置菏泽县为府治。
1913年菏泽县属济宁道。
1925年山东省由4道改为11道，菏泽县属曹濮道。
1928年废道，直隶于省。
1938年9月山东省第二行政督察专员公署分为第十、第十一、第十二专署，菏泽属第十专署。
1938年5月14日，日军侵占菏泽城，不久弃城去开封。
1939年7月3日，日军再次侵占菏泽城，建立伪菏泽县公署，属山东省曹州道尹公署。
国民党十专署军政人员逃亡县西北乡间，建立流亡政府。
1940年6月，日伪在山东省建十道，于菏泽城置曹州道尹公署，日伪菏泽县公署。
1941年2月本区在菏泽、巨野交界处建立巨菏抗日县政府，属鲁西二专署，1942底撤销。
1941年3月与定陶、曹县交界处，以安陵集为中心建立菏泽抗日县政府，属冀鲁豫三专署。
1942年9月在本区与东明县交界处以高庄集为中心，建立南华抗日县政府，属晋冀鲁豫边区第二十二专署，1942年10月改称晋冀鲁豫边区第二十专署，菏泽县属之。
1944年8月改称冀鲁豫行政区第十专署，菏泽县随属。
1943年11月，在菏泽北部和鄄城东南彭楼一带建临泽县抗日政府，属晋冀鲁豫十七专署。
1944年8月改称冀鲁豫第八专署，临泽县属之。
9月，南华县划入冀鲁豫八专署。
1944年12月又分为临泽、郓巨2县，涉及今境内沙土集、都司镇。
1945年10月29日我军攻克菏泽城，冀鲁豫行政公署进驻城内，同时南华县从冀鲁豫八专属划归十专署。
1946年1月在菏泽城区建菏泽市，直属冀鲁豫行政区。
同时改冀鲁豫十专署为冀鲁豫第五行政区督查专员公署，菏泽县、南华县属之；改冀鲁豫八专署为二专署，临泽县属之。
1948年3月南华县由冀鲁豫五专署划二专署。
同年9月30日，菏泽再次解放。
冀鲁豫行署和临泽县政府移驻菏泽城，同年11月，由菏泽、南华、临泽辖区内之各一部建菏泽县，同时裁撤临泽县（临泽县北部入鄄城）。
原菏泽县下余区域改为安陵县，仍属五专署。
1949年8月20日，平原省建立，南华、安陵2县撤销，大部并入菏泽县，南华县之一小部并入东明县，撤销冀鲁豫行署所辖各专署，建菏泽专员公署（驻菏泽城）。
同年撤南华、郓巨、安陵3县，其辖区分别划入菏泽、东明、鄄城、曹县、郓城。
1952年11月30日，撤销平原省，县随菏泽专区改属山东省。
1958年12月撤销菏泽专区，菏泽县改属济宁专区。
1959年9月复置菏泽专区（1967年改称菏泽地区），菏泽县仍为专署驻地。
1960年10月撤销菏泽县，设立菏泽市。
1963年3月撤市复县。
1983年10月撤销菏泽县，设立菏泽市。
2000年6月23日，撤销菏泽地区和县级菏泽市，设立地级菏泽市；菏泽市设立牡丹区，以原县级菏泽市的行政区域为牡丹区的行政区域。