古为百越地，秦代设置四会县，初属桂林郡；汉初属南越国，汉元鼎六年（111）武帝灭南越国，复置郡县，四会县改属南海郡；南朝宋元嘉十三年（436）改属广州绥建郡（绥安郡）；隋朝始开皇九年（589）至清顺治元年（1644）曾棣属广州总管府，扬州南海郡（隋朝），广州都督府、广州南绥州，岭南道浈州，岭南东道广州（唐朝），兴王府（五代十国南汉）；广州中都督府，肇庆府（北宋、南宋、元、明、清）；1914年废州府设道区，为粤海道，1920年撒道设区，为西北绥靖区；1952年5月广宁、四会合县至1954年7月分开，并把原属广宁县的江谷、江林、黄田、石狗等划归四会县，属粤中行政区；1956年2月属高要专区；1958年10月广宁、四会合县称广四县，属江门专区；1961年4月，广宁、四会再次分县，属江门专区（后改称肇庆专区）；1970年10月属肇庆地区，1988年属肇庆市；1993年11月经国务院批准撤销四会县设立四会市，由肇庆市代管，沿用至今。