Kefrüşşeyh’e bağlı Metûbes’te doğdu. Küçük yaşta babasını kaybettiğinden ağabeyinin yanında yetişti. Kur’an’ı ezberleyip temel dinî bilgileri aldıktan sonra liseyi Desûk’taki el-Ma‘hedü’d-dînî’de okudu. Ardından Ezher’e girdi; 1939’da Şeriat Fakültesi’ni bitirdi, 1946’da o dönemde doktora pâyesine tekabül eden âlimiyye derecesi aldı. Ezher’deki öğrenimi sırasında Muhammed Mustafa el-Merâgī, Îsâ b. Yûsuf Mennûn, Muhammed Zâhid Kevserî, Muhammed Habîbullah eş-Şinkītî ve Muhammed Hıdır Hüseyin gibi hocalardan faydalandı. Önceleri evkafa bağlı mescidlerde imamlık yaptı. 1948-1951 yılları arasında bir grup Ezherli hoca ile birlikte Suudi Arabistan’da Tâif ve Medine’de ders verdi. Mısır’a dönüşünde bir süre Ezher’e bağlı el-Ma‘hedü’d-dînî’de öğretmenlik görevi aldı. 1955’te Ezher’in Şeriat Fakültesi’ne hoca oldu. 1955-1956 ve 1961-1963 yıllarında Hukuk Fakültesi’nde ders vermek üzere Irak’a gönderildi. Bağdat’ta bulunduğu yıllarda İmâm-ı Âzam Ebû Hanîfe Mescidi’nde hutbe okudu. 1963-1964’te Mısır’da Külliyyetü’l-benâti’l-İslâmiyye’nin kuruluşuna katkı sağladı. 1968’de Küveyt Üniversitesi’ne gönderildi ve 1971’de Mısır’a döndü. 1973’te Ezher’in İlâhiyat (Usûlüddîn) ve Şeriat fakültelerinde dekanlık, Mecmau’l-buhûsi’l-İslâmiyye’de genel sekreterlik (1974), ayrıca Vakıflar ve Ezher İşleri bakanlığı (1975-1976) görevlerinde bulundu. İlâhiyat Fakültesi’ndeki hocalık görevini ölümüne kadar sürdürdü. 3 Temmuz 1977’de evini basan silâhlı kişiler tarafından kaçırıldıktan sonra öldürüldü. Bulunan naaşı, 7 Temmuz 1977’de Câmiu’l-Ezher’de kılınan cenaze namazının ardından İmam Şâfiî’nin kabri yakınlarındaki aile mezarlığına defnedildi. Kesin biçimde aydınlatılamayan bu olay, Zehebî’nin Evkaf Nezâreti’ndeki bazı yolsuzlukları önlemeye çalışmasıyla ilişkilendirildiği gibi (Nizâr Abâza – M. Riyâz el-Mâlih, s. 231) cinayetin aşırı görüşlere sahip bir örgüt tarafından işlendiği de ileri sürülmüştür. Hanefî mezhebine mensup olan Zehebî, İslâmî ilimlerdeki birikimi ve hitâbetiyle tanınmıştır.