沂水县历史悠久，源远流长，远在二十万年前即有先民居住，境内原始社会遗址散布广泛。
夏朝，沂水北境、东境入青州，南境入徐州。
商朝，沂水地属人方（部落）。
西周，属鲁国。
春秋为莒国郠、郓，后入齐，战国称盖。
西汉置东莞县，治今沂城，属琅琊郡；又别置东安县，属城阳国。
东汉属琅琊国。
三国分属东莞、东安、阳都。
西晋末废东安县，东莞县属东莞郡。
南燕改东莞县为团城。
南北朝先后隶属东徐州、南青州、东安郡、莒州。
隋开皇初废东安郡，置东安县（治团城），开皇十六年（596年）改东安县为沂水县，以水得名，属沂州琅琊郡。
唐武德五年（622年），沂水县属莒州。
唐贞观八年（634），废莒州，沂水县又属沂州琅琊郡，五代十国、宋仍属之。
金、元属莒州，明初属莒州，明洪武九年（1376），改属青州，清雍正八年（1730）再属莒州，十二年（1734）又改属沂州府。
民国初，先后属岱南、济宁、琅琊道。
1928年裁道，直属山东省。
1936年属省第三行政区。
1940年3月，沂水县抗日民主政府成立，直属中共中央山东分局。
1941年2月，属鲁中行政区沂蒙专区。
因战争形势变化，沂水县划分为南沂蒙、北沂蒙，后又划为沂临边联县、沂南县、莒沂边县、沂中县、沂北县、沂东县、沂源县。
1950年5月，属沂水专区。
1953年8月，沂水专区并入临沂专区，沂水县属之。
1967年，沂水县属临沂地区。
1994年，建立临沂市，县仍属之。