祁连地区古为羌地，与世居河西走廊的古老民族月氏人毗邻。
汉高祖六年（前201），匈奴王冒顿击败月氏，占领河西走廊。
被击败的月氏大部徙至今新疆西部伊犁河流域及其以西地区，史称“大月氏”；小部进入祁连山与羌人杂处，史称“小月氏”，河西走廊遂为匈奴族右地。
后小月氏进入湟中，渐融入羌汉等民族之中。
汉武帝元狩二年（前121），骠骑将军霍去病率万骑出陇西，过焉支山（今甘肃省山丹县大黄山）千余里，破休屠王与浑邪王，迫使浑邪王杀休屠王，率部降汉，匈奴势力退出祁连山区。
居于祁连山及湟水流域的小月氏亦归服于汉，与汉人错居。
汉武帝元鼎六年（前111），汉遣将军李息，郎中令徐目平羌，羌人离开湟中，到西海盐池一带居住，汉遂依山为塞。
祁连峨堡至八宝18千米处汉代鲜尉塞古城当筑于此时。
神爵（前61）后，将军赵充国河湟屯田，祁连为临羌属地。
东汉时期，居住在今祁连县黑河一带的小月氏发展演变为“卢水胡”，曾兴盛一时。
到北魏时期，因受汉族文化影响，融为汉族。
东晋十六国时期河西走廊和河湟地区先后出现了前凉、后凉、南凉、北凉、西凉等王国，祁连地区曾为南凉等政权的属地。
河西走廊、河湟地区政权屡易，战祸频繁，丝绸之路北道时通时断，东西方交往极不便利。
西晋末年，辽东鲜卑慕容的一支移牧甘青地区，建立起强盛的吐谷浑国。
约在北凉灭亡前后祁连地区即为吐谷浑属地。
隋大业元年(605)，炀帝即位，祁连地区仍为吐谷浑所属。
隋初，吐谷浑势力强盛，在河西走廊等地与隋不断有所冲突。
隋大业五年（609）四月，隋炀帝亲自统兵出征吐谷浑，从临津关（今甘肃省临夏县大河家境）渡河，抵西平陈兵讲武。
五月，大猎于拔延山（今乐都南山、化隆北山），入长宁谷（今大通回族自治县后子河乡），度星岭（今大通回族自治县景阳川西北），宴群臣于金山（今大通回族自治县金娥三），作了战略部署。
时伏允退保覆袁川，隋军便从北面甘青交界处之祁连山，东面的琵琶峡（今门源回族自治县、互助土族自治县和甘肃省天祝藏族自治县三县交界处的朱岔峡口天堂寺一带，由此沿浩门河上溯至珠固、仙米一带的峡谷，西面的泥岭（浩门河南山），南面的金山，将伏允合围于覆袁川（今门源回族自治县和祁连县交界处之永安一带）。
伏允派部属据守车我真山（覆袁川南，今祁连默勒南山一带，为西平郡之鲜谷塞尉古城所在地），自引二千骑经青海湖西直奔党项（今果洛藏族自治州一带）。
吐谷浑部众十余万人由其仙头王率领降隋，史称覆袁川之战。
炀帝于六月间经浩门川，出大斗拔谷（今扁都口），北趋张掖，九月间转回长安，隋大败允，遂以伏俟城为治所，置西海郡；以赤水为治所，置河湟郡，祁连地区属西海郡。
隋大业十三年（617），隋朝的统治在一连串农民起义中濒于覆灭，吐谷浑首领伏允率众重返故土。
唐高宗咸亨二年（671），吐蕃击灭吐谷浑国，包括祁连在内的祁连山区及青海湖环湖地区等成为吐蕃属地，唐玄宗开元十六年（728），金吾将军林宾客，为守卫扁都口道，曾在峨堡一带与吐蕃大战。
唐末，吐蕃王国崩溃。
宋代，由于扁都口事关河西走廊安危，北宋末年，宋王朝直接统治河湟地区时，曾在峨堡修建三角城防卫。
13世纪初，西夏势力曾一度达青海湖以北祁连山一带。
1227年，元太祖成吉思汗西渡黄河，占据西宁州和柴达木及环湖地区，曾在祁连山地区驻军屯牧。
元朝建立后，祁连地区为吐蕃等处宣尉使司都元帅府（治今甘肃省临夏市）辖区。
元灭亡后，仍有一部分蒙古人留居游牧于祁连山地区。
为了进一步巩固西北边陲，加强对边塞的统治，明朝政府于洪武年间在今嘉峪关以西，哈密以东，以及青海湖、柴达木盆地一带设立七卫，其中青海境内为四卫，即安定卫、阿端卫、曲先卫、罕东卫，隶西宁卫兼辖，当时称“塞外四卫”。
其中安定、阿端卫地跨祁连山，包括祁连在内的海北西南部及海西南部为其属地。
明正德年间，东蒙古封建主亦卜刺与满都赉、阿固勒呼（《明史》作阿尔秃斯）因起兵反抗蒙古达延汗失败，约于明正德五年（1510）率部从河套转移环湖地区，破四卫，祁连地区成为其属地。
明正德九年（1514）明朝派三边总制彭泽统兵向环湖地区进击，亦卜刺和阿尔秃斯率众渡过黄河，东走河州，进入四川北部，转往今西藏地区。
不久，彭泽部回师，亦卜刺部又回环湖地区。
同年，东蒙古可汗达延（明人称小王子）的另一部属卜儿孩，因内部纷争，迁居祁连山和环湖地区，经扁都口对甘州等地经常进行袭扰。
明嘉靖十二年（1533）占据河套的蒙古吉囊一度率众入青海境，突击亦卜刺部。
亦卜刺失去部众的大半，只剩下卜儿孩一支敛众自保。
嘉靖二十年（1541）卜儿孩部向明入贡，环湖及祁连地区在一段时间内获得平静。
嘉靖三十八年（1559），成吉思汗后裔，达延汗之孙阿勒坦（《眀史》作俺答）率部进入环湖及祁连山地区。
崇祯十年（1637）又为卫拉特蒙古和硕特部顾实汗辖区。
清雍正二年（1724），设大通卫于北大通城（今门源回族自治县浩门镇），隶西宁府。
祁连东部属大通卫辖，其余地方为蒙古和硕特西右前旗驻牧地，隶青海办事大臣管辖。
后经迁徙流动，至民国十八年（1929）青海建省时，祁连属亹源管辖。
民国二十八年（1939）三月，经国民政府内政部核准，由亹源县析置祁连设治局治八宝。
当时，在祁连境内及其附近驻牧的蒙古旗有六旗，右翼盟和硕特前左翼首旗（俗称默勒王）、左翼盟和硕特北前旗（俗称布哈公）、右翼盟和硕特西右前旗（俗称默勒札萨）、右翼盟土尔扈南中旗（俗称永安札萨），左翼盟士尔扈南后旗（俗称角昂札萨），右翼喀尔喀南右翼后旗(俗称哈里哈札萨)。
1943年祁连设治局拟升格为县，但在古佛寺辖属问题上与甘肃有争议，故暂缓设县，直至解放。
1949年11月22日，人民解放军第三军骑兵团进驻八宝，祁连各族人民获得解放。
1951年9月13日，青海省人民政府行政会议决定：将祁连设治局更名为祁连区人民政府委员会，由省直辖。
1952年10月1日成立祁连藏族自治区人民政府，属省直辖。
1953年11月23日成立祁连县人民政府，属海北藏族自治区。
1955年6月18日更名为祁连县人民委员会，1955年5月海北藏族自治区更名为自治州后，仍属之。
1967年12月28日祁连县革命委员会成立。
1980年6月26日恢复祁连县人民政府。