Zeytin Dağı asıl olarak Müslümanların nazarında kutsal ve mühim bir dağdır. Tîn suresinin “İncire ve zeytine ve Tûr-i Sîna'ya ve bu emin beldeye yemin olsun ki..." mealindeki ilk ayetlerinde geçen "zeytin" ifadesi bu dağa işaret etmektedir.
İçinde yüzlerce Sahabinin bulunduğu İslam ordusu ilk olarak Zeytin Dağı'na çadır kurmuş, yerleşmiş, buradan Kudüs'ü fethe başlamıştır. Hz. Ömer de bir süre burada ikamet etmiştir. Hz. Ömer ve Selahaddin-i Eyyübi'nin askerlerinden şehit düşenler burada bulunmaktadır. Daha sonra bazı sahabi ve veliler bu dağa defnedilmiştir.
Meşhur Sahabi Selman-ı Fårisî ve büyük hanım veliler den Râbiatü'l-Adeviyye'nin türbesi Zeytin Dağı'nda yer almaktadır. Hazreti Meryem Validemizin mezarı da Zeytin Dağı eteğinde Bâb-ı Esbat tarafında yer almaktadır. Burada Prenses Helena'nın yaptırdığı "Cismaniye" adında bir kilise vardır. Bazı rivayetlere göre Hz. Zekeriyya ve oğlu Hz. Yahya'nın mezarlarının da bu civarda bulunduğu bildirilmektedir