10 Rebîülâhir 654’te (7 Mayıs 1256) Halep civarında doğdu. Benî Kelb’in Kudâa koluna mensup olduğu için Kelbî ve Kudâî nisbeleriyle de anılır. Küçük yaşta muhtemelen ailesiyle birlikte Dımaşk’a giderek Mizze köyüne yerleşti ve orada yetişti. Henüz çocukken Kur’ân-ı Kerîm’i öğrendi ve bir süre Şâfiî fıkhı okuduktan sonra 675’te (1276-77) hadis tahsiline başladı. Ebü’l-Abbas Ahmed b. Selâme b. İbrâhim ed-Dımaşkī’den Ḥilyetü’l-evliyâʾ başta olmak üzere birçok eseri okudu. Hadis öğrenimini ilerletmek için Kudüs, Humus, Hama, Ba‘lebek, Mekke, Medine, Kahire, İskenderiye ve Bilbîs gibi merkezlere giderek Nevevî, İbnü’s-Sâbûnî, İbn Hallikân, Zevâvî, Ebü’l-Ferec İbn Kudâme, Muhammed b. Ahmed el-Kastallânî, İbn Hamdân, İbnü’l-Müneccâ, Mahmûd b. Ebû Bekir el-Kelâbâzî, Ali b. Muhammed el-Yûnînî, İbn Dakīkul‘îd ve Abdülmü’min b. Halef ed-Dimyâtî gibi âlimlerden faydalandı. Onlardan Kütüb-i Sitte’yi, İmam Mâlik’in el-Muvaṭṭaʾ, Ahmed b. Hanbel’in el-Müsned, Taberânî’nin el-Muʿcemü’l-kebîr, Hatîb el-Bağdâdî’nin Târîḫu Baġdâd, Beyhakī’nin es-Sünenü’l-Kübrâ ve Delâʾilü’n-nübüvve gibi eserlerini ve pek çok hadis cüzünü okudu. Ayrıca Arap dilinde kendini yetiştirdi. Hadisleri anlama, illetlerini, az kullanılan kelimelerini bilme, sağlam ve uydurma olanlarını birbirinden ayırma, özellikle râvilerini tanıma hususunda maharet kazandı, hadis ilimlerinde devrinin en önemli ismi oldu. Dönemin üç önemli şahsiyeti olan Takıyyüddin İbn Teymiyye, Birzâlî ve Zehebî ile yakın temasta bulunup kendilerinden faydalandı, onlar da Mizzî’nin hadis bilgisinden istifade ettiler. Gençlik yıllarında Muhyiddin İbnü’l-Arabî’nin vahdet-i vücûd görüşünü savunan Afîfüddin et-Tilimsânî’nin tesirinde kaldığı, daha sonra yanıldığını anlayarak bu görüşleri terkettiği belirtilmektedir. İbn Teymiyye, el-ʿAḳīdetü’l-Vâsıṭıyye adlı eserindeki fikirleri dolayısıyla Şâfiî fakihi ve kādılkudât İbnü’z-Zemlekânî gibi âlimlerle yaptığı şiddetli tartışmalar dolayısıyla Eş‘arîler tarafından suçlanıp Şam nâibi tarafından sorguya çekilince Mizzî de arkadaşını savunmak maksadıyla Dımaşk Câmi-i Kebîri’nde Buhârî’nin Ḫalḳu efʿâli’l-ʿibâd’ından Cehmiyye aleyhindeki bahisleri okuttu. Camide bulunan bazı Şâfiî fakihlerinin, bu tutumuyla Mizzî’nin kendilerini hedef aldığını ileri sürerek onu Şâfiî kadısı Necmeddin İbn Sasrâ’ya şikâyet etmeleri yüzünden Mizzî de bir Şâfiî olduğu halde hapse atıldı (705/1305-1306). Durumu öğrenen İbn Teymiyye kadıyla tartışıp onun hapisten çıkarılmasını sağladıysa da İbn Sasra’nın ısrarı üzerine tekrar hapse kondu; kısa bir süre sonra da serbest bırakıldı. Mizzî’ye Hatîb el-Bağdâdî’nin Târîḫu Baġdâd’ını okuttuğu için de eziyet edilmiştir (Mizzî, neşredenin girişi, I, 21).