图们地区开发较晚，虽然境内先后发掘出新石器时期的一些文物和辽金时期的遗址，遗物等，但直到距今约一百年前，图们一带还是一片荒凉的林地和草甸地。
清顺治元年（1644）至光绪七年（1881），图们市地区属于清朝南荒围场是被封禁二百余年。
康熙五十三年（1714）至光绪七年（1881）为一珲春协领管辖，光绪七年（1881）至光绪二十七年（1901）为珲春副都统南岗招垦局志仁社，光绪二十八年（1902）属珲春副都统管辖的延吉厅志仁社和春华社，宣统元年（1909）到清朝末年（1911）为东南兵备道延吉府，1913年为东南观察使延吉县公署志仁乡，1914年为延吉道尹延吉县公署志仁乡。
1925年叫做下甸子或艾蒿甸子。
1931的始成百余户的小镇，划为延吉县属。
1932年开始，有日本勘测队活动于敦（化）图、牡（丹江）图两线，1933年，敦图铁路通车，以灰幕洞（或称会幕洞，桧幕洞、海幕洞，开幕洞等）为其终点站。
同时在图们市区大兴土木，人口突增至2万多人。
由于灰幕洞这一名称不符合通行的国际城市命名要求，故于1933年6月1日将灰幕洞改称图们（因图们江而得名），为延吉县所辖第一区。
1936年，伪满州国设间岛省延吉县公署，县内区改村、市改街，图们市改称图们街。
1945年1月，图们街改为延吉县辖图们市。
1965年4月，把原属延吉县的图们镇和原属汪清县的石岘镇划出成立图们市，同年5月1日经全国人大常委会批准始定称为市。