Hazreti Ömer (r.a.) zamanında 639 senesinde şehir merkezinde yer alan en büyük ibadethane olan Martoma Kilisesinin yerine yapılmıştır. Ardından 1091 senesinde Büyük Selçuklu Hükümdarı olan Melikşah'ın emriyle çok sayıda tadilat yapılarak bugünkü şekli verilmiştir.
Ulu Cami dünyanın hem dinler açısından hem de eski mabed açısından beşinci mabedgahıdır.
1. Kabe,
2.Mescidi Nebevi,
3.Mescid-i Aksa,
4.Suriye Şam Emevi Cami,
5.Diyarbakır Ulu Cami'dir.