殷商时属畿内牧野地。
周灭商后，先属鄘，后属卫。
春秋时改属晋。
战国属魏，始有汲邑之称。
秦为河内郡地。
西汉高帝二年(前205)始置汲县，属河内郡。
三国时属曹魏朝歌郡。
西晋泰始二年（266）属汲郡。
北魏于今市区置伍城县。
东魏兴和年间于此置义州。
北齐改伍城郡，废汲县入伍城县。
北周宣政元年（578）废汲郡。
隋开皇六年(586)改伍城县为汲县，属卫州。
大业三年（607）改属汲郡。
唐武德元年（618）再置义州，汲县属之。
四年废义州，属卫州。
贞观初为卫州州治。
金属卫州河平军。
元中统元年（1260）属卫辉路总管府，路治汲县，素有“南通十省，北拱神京”之称。
明、清属卫辉府，府治汲县。
1913年属河南省豫北道，道治汲县。
1927年废道，直属河南省。
1933年属第十三行政督察区。
1948年划城区及城郊部分村庄设立卫辉市，与汲县同属太行五专署。
1949年撤销卫辉市，复归汲县，属平原省新乡专区。
1952年改属河南省新乡专区。
1983年属新乡市。
1988年撤销汲县，设立卫辉市（县级）。