明朝初年，大破元军的征虏将军冯胜从酒泉骑马向西40里，涉水过“九眼泉”登上嘉峪塬勒马四顾，见南面贺兰山斜刺长空，西面戈壁如海，北面黑山威严，东面清泉绿洲，而嘉峪塬仿佛河西走廊这条连通东西的大河的中流砥柱。于是上表朱元璋称嘉峪塬“此咽喉要地，令关踞其中，当固若金汤”，于公元1372年建关城于嘉峪山西塬，关以山名，始称嘉峪关。

      经过100余年的4次大规模扩建，1495年兵备道李端澄主持修建关楼，11年后又建东西两座城楼。城楼修好了，却依然是孤城一座，番兵在而后的十几年里两度围困攻破嘉峪关，或是干脆绕过它去劫掠附近地区。1539年，明嘉庆十八年尚书翟銮巡视西北，看到孤苦伶仃的嘉峪关，上书皇帝恳请加固关城修缮边墙，并修建断开戈壁连接南北山峦的一百余里的城墙与长城相连，至此嘉峪关才成了今天这座天下第一雄关。

      林则徐被贬新疆途经此关，曾写下诗句：长城饮马寒霄月，古戍盘雕大漠风。除是卢龙山海险，东南谁比此雄关。1837年清朝左宗棠驻肃州时曾修整关墙和关楼，并亲笔写下“天下第一雄关”的匾额。可惜1931年西北军伐马仲英把关楼拆了，那块名匾也从此下落不明。现在的关楼和仿制的匾是1988年按原样重建。

      嘉峪关市区是为了适应酒泉钢铁厂发展于1965年兴建的，规模并不大，城市中轴线走向为西北、东南。嘉峪关现已成为河西走廊新兴的旅游城市。