远古时代属扬州区域，夏至周代为“七闽”地。
战国时期属闽越国辖地。
秦属闽中郡。
汉代属会稽郡（郡治在今苏州）管辖。
三国时期为温麻船屯，属建安郡侯官县。
晋泰始年间设温麻镇，晋太康三年（公元282年）首次置县，称温麻县，晋太康七年（公元286年），县治在城东伏沙（今敖江镇白沙村），隶属晋安郡（郡治在今福州）。
建县时，境域广阔，从闽江口沿海一直到福鼎。
隋大业三年（公元607年），大量裁减郡县，温麻县并入闽县（今福州）。
但只过了16年，在唐武德六年（公元623年）又从闽县析出，重置温麻县，同年改名连江县。
从唐武德六年（公元623年）至清朝末期大都隶属福州（府）。
重建连江县初期，境域与晋温麻县相同。
长安二年（公元702年），析出东北4个乡置长溪县（相当于今宁德市地域，县治在今霞浦）。
大中元年（公元847年），又析县北1个乡置罗源场。
此后，境域基本稳定。
唐天宝元年（公元742年），县治从伏沙迁至今址，因城域形似展翅南飞的凤凰，又名凤城。
唐代设宁善、永福、太平、名闻、五贤5个乡，辖20个里。
宋代增加2个乡，共7个乡，辖24个里。
元设5个乡（辖21个里）、4个都。
明清时期沿袭旧制，只个别调整。
民国时期先后属东路道和第一行政督察区，其中三度为福建省直辖县。
1949年后，曾有3度（计18年）属闽侯专区，2度（计16年）属福安（宁德）专区（地区），1983年7月1日第二次归属福州市管辖。