De stad Xi'an was een van de meest oostelijke steden op de Zijderoute. De moskee is een van de oudste en bekendste van China.
De bouw werd begonnen tijdens de Tang-dynastie, in het jaar 742. De moskee werd opgetrokken volgens de principes van de Chinese architectuur, namelijk verschillende hallen werden opeenvolgend achter elkaar gebouwd. De hallen dateren uit de 14e eeuw en zijn herhaaldelijk gerestaureerd.
Dezelfde bouwstijl vindt men terug in de keizerlijke architectuur onder meer in de Verboden Stad in Peking.
Door deze specifieke Chinese bouwstijl lijkt de moskee van Xi'an niet op "standaardmoskeeën". Er zijn enkele Arabische versierselen.
Deze moskee wordt nog steeds door de plaatselijke moslims voor het gebed gebruikt. De dagelijks gebedsdiensten worden bij de ingang aangeduid met een uurwerk. Op een gewone dag zijn er ongeveer 500 gelovigen, op een vrijdag tot wel 2000 gelovigen.
Ze is ook een populaire toeristische attractie. De gebedsruimte die zich helemaal achteraan bevindt - in de laatste hal - is niet voor toeristen toegankelijk.
