Muhtemelen 209 (824) yılında bugün Özbekistan sınırları içinde bulunan Tirmiz’de (veya Tirmiz’e bağlı Buğ köyünde) doğdu. Kendisinin belirttiğine göre Merv’den gelip Tirmiz’e yerleşen bir aileye mensuptur. Benî Kays Aylân kabilelerinden Benî Süleym’e nisbetle Sülemî nisbesiyle de anılır. Tirmizî 235 (849) yılı civarında hadis tahsiline başladı. Önce Tirmiz’de, daha sonra Horasan, Irak ve Hicaz başta olmak üzere diğer bazı bölgelerdeki âlimlerden hadis öğrendi. Kütüb-i Sitte imamlarının her birinin hocası olan İbnü’l-Müsennâ, Bündâr diye tanınan Muhammed b. Beşşâr, Ziyâd b. Yahyâ el-Hassânî, Abbas b. Abdülazîm el-Anberî, Eşec el-Kindî, Fellâs, Ya‘kūb b. İbrâhim ed-Devrakī, Muhammed b. Ma‘mer el-Kaysî el-Behrânî ve Nasr b. Ali el-Cehdamî’den faydalandı. Diğer hocaları arasında İshak b. Râhûye, Kuteybe b. Saîd, Hennâd b. Serî, Ali b. Hucr, Ahmed b. Menî‘, İmam Buhârî, İmam Müslim ve Ebû Dâvûd gibi muhaddisler vardır.