唐高宗永徽二年（651年），随着大食国王遣使朝贡，伊斯兰教开始随大食人传入中国。据近代学者马凡在《河西的环境》一文中所述，唐代以后，伊斯兰教由新疆一带传入河西，河西遂成为其向东发展的根据地。当时，到河西走廊经商的波斯、阿拉伯穆斯林众多，他们有的在此长居不归，融入当地生活，取汉姓，与汉人女子通婚，伊斯兰教逐渐在这片土地上传播开来。

元代是甘肃伊斯兰教发展的重要时期，大批穆斯林涌入甘肃，形成了“元时回回遍天下，及是居甘肃者尚多”的局面。当时的河西走廊已成为穆斯林的主要聚居区，这充分表明了伊斯兰教在这一地区的影响力日益增强。

从清初至乾隆，“关陇腹地不睹兵戈者近百年，回民以生以息，户口之蕃亦臻极盛”（《平定关陇纪略》卷1)。迄清中叶，已有“甘肃回多于汉”的记载，甚至有“回七汉三”（《左宗棠年谱》）之说。清同治年间，甘肃穆斯林逐渐形成了杂居或聚居区，据《甘宁青史略》记载：“甘群居之处，西路之甘、凉、肃……皆与汉人错杂而居，而惟河州为最多，其种类也最强”。可见在清朝中叶，武威的穆斯林人数众多。

伊斯兰教作为回族全民族信仰的宗教，在武威地区有着重要的地位。回族不分男女老幼，皆为教民。在武威市回族比较集中的东关街、张义乡的堡子村都建有清真寺，作为伊斯兰教活动的场所。民国9年（1920年）在武威城东关建起的第一座清真寺，见证了历史的沧桑变迁。它虽毁于1927年的大地震，但次年便得以重建。40年代初期，穆斯林人数已达五千多人，为满足宗教活动的需求，1942年对其进行了扩建，建成了庄严宏伟的凉州清真大寺。寺内建筑规模宏大，经堂内径长宽各10丈，高7丈；堂前卷棚深3丈，宽10丈，约1170平方米。七间八道梁，四根通天柱支撑着整个经堂。1944年，寺门口还建起了木质结构的三层“唤醒楼”，同时配套建设了北楼、南平房、过厅、浴室等八十多间房屋，寺内藏有伊斯兰教经典圣训千册以上。然而，在特殊的历史时期，如“四清”及“文化大革命”期间，这座清真寺也未能幸免，经堂、过厅、浴室等建筑物被拆除，遗址改建为民办小学，仅存北楼。好在1981年恢复宗教活动后，民办小学迁出，1984年动工修建大殿，1986年完工，建成钢筋水泥砖木结构的经堂，外观宏伟古朴，格局严谨对称。1989年又建成上层办公、住宿，下层沐浴的楼房。

不仅在武威市区，古浪县的古浪、土门、大靖、黄羊川等地，也有伊斯兰教民居住和清真寺的存在。民国时期，这里的清真寺建筑颇具规模，宗教活动有序开展。据民国30年（1941年）统计，有阿訇10人，教徒2300人，还组织了宗教团体。1953年全县有伊斯兰教民1931人，宗教活动正常。但在1958年以后，由于政治运动的冲击，宗教活动受到影响，许多人外迁。直到中共十一届三中全会后，宗教信仰自由政策得到落实，古浪县的伊斯兰教活动逐渐恢复正常。1980年政府落实了清真寺寺产，并拨款维修，教民们能够按教规进行宗教活动，阿訇杨金龙于1984年选为县政协副主席。1990年全县有伊斯兰教民423人，有清真寺1座，阿訇1人。

在天祝，清代已有伊斯兰教传入，清光绪年间在今华藏寺镇阳山一带建有清真寺。民国后，穆斯林增多，先后在安远驿、金强驿、打柴沟、岔口驿等地建有清真寺。然而，在1958年的反封建运动扩大化的影响下，清真寺或拆或关，停止活动。1980年后，随着党的宗教政策逐步落实，清真寺院逐步恢复开放和重建。安远清真寺、金强驿清真寺、打柴沟清真寺、岔口驿清真寺、炭山岭清真寺等都在不同程度上得以恢复和发展。

2000年底，全地区有伊斯兰教民5397人。在政策环境宽松的背景下，穆斯林们拥有了正常的宗教生活场所。武威东关清真大寺的重建，更是为他们提供了优美的宗教活动空间。

对于重大节日，如开斋节和古尔邦节，武威的伊斯兰教徒极为重视，宰羊、炸油香，其隆重程度犹如汉族过年。即使在生活困难时期，人民政府也特意责成有关单位提供大量牛、羊肉及清真糕点，及时供应，充分体现了对穆斯林的关怀。中共十一届三中全会以来，广大穆斯林充分享受宗教信仰自由政策，恢复了每日必礼拜五次的礼俗，清真寺和宗教活动受到尊重和保护。1980年12月，建立了武威市东关清真寺管理委员会，进一步规范和保障了宗教活动的有序开展。