3 Ağustos 1927’de Uşak’ta doğdu. Dedesi Kadıköylü Hâfız Süleyman Efendi’den dolayı “Kadıköylüler” diye tanınan bir aile içinde yetişti. İlk eğitimini ve temel dinî bilgileri dedesi ve babasından aldı. Uşak’taki orta öğreniminin ardından 1949’da Ankara Üniversitesi Tıp Fakültesi’ne kaydolduysa da aynı üniversitede İlâhiyat Fakültesi açılınca kaydını bu fakülteye yaptırdı. İlâhiyat öğrenimini Cumhuriyet dönemi yüksek din eğitiminin ilk öğrencileri arasında tamamladı. Fakültedeki hocalarından en çok Muhammed Tayyib Okiç’ten etkilendi. Boşnak asıllı bir müslüman olan Okiç’ten tefsir ve hadis konularında çok yararlandı. Mezun olduktan sonra 1953’te aynı fakültede asistan oldu. Muhammed Tayyib Okiç’in danışmanlığında Hadislerin Toplanması ve Yazı ile Tesbiti adlı doktora tezini tamamladı (1957). Doktora tezinin ardından kaleme aldığı eserler Türkiye’deki hadis öğretimi ve akademik hadisçiliğin kaynakları arasında yer aldı. Talât Koçyiğit, Türkiye’de hadis konularını akademik seviyede ele alan ilk kişidir. Bundan dolayı hadis sahasında üniversitede gerçekleştirilen çalışmaların çoğu onun nezaretinde yapıldı.
Koçyiğit 1957-1958 yıllarında gittiği Bağdat’ta altı-yedi ay, 1963’te gittiği Tunus’ta yirmi ay kaldı. 1967’de doçent oldu. 1972’de üniversite tarafından bir yıllığına Fransa’ya gönderildi. 1975’te profesörlük kadrosuna tayin edildi. 1980’li yıllarda Rusya (Azerbaycan, Özbekistan vb.), Mısır ve İngiltere’ye kısa süreli seyahatler gerçekleştirdi. 12 Eylül sonrası dönemde Ankara Üniversitesi İlâhiyat Fakültesi’nde dekanlık yaptı (1982-1985). 1984’te hacca gitti. 1994’te yaş haddinden emekliye ayrıldı. Emeklilik döneminde İsmail Cerrahoğlu ile birlikte başladıkları, ancak kendisinin tek başına devam ettiği tefsiri yazmakla meşgul oldu. Bu çalışması vefatından kısa bir süre önce on cilt halinde tamamlandı. Koçyiğit’in hayatı eviyle İlâhiyat Fakültesi arasında geçti. Sade bir yaşamı, mütevazi bir kişiliği vardı. Sempozyum, kongre vb. toplantılara pek katılmazdı. İlmî bakımdan muhafazakâr sayılabilecek bir bakış açısına sahipti. 28 Mayıs 2003’te kendisiyle yapılan bir röportajda hadis sahasında çalışanlara her şeyden önce Ehl-i sünnet inancına sıkıca bağlanmalarını ve hadis aleyhindeki propagandalara kapılmamalarını tavsiye etti. 1982’de başlayan kalp rahatsızlığı şikâyetleri 2003’te arttı, bununla birlikte ameliyat olmak istemedi. Geçirdiği bir kalp krizi sonucu 18 Nisan 2011 tarihinde vefat etti. Cenazesi 20 Nisan günü Hacı Bayram Camii’nde kılındıktan sonra Cebeci Asrî Mezarlığı’na defnedildi. İlâhiyat fakültelerindeki birçok hadis hocası doktoralarını onun danışmanlığında yapmıştır. Selman Başaran, Mücteba Uğur, M. Cemal Sofuoğlu, Nevzat Aşık, Salahattin Polat, Ramazan Ayvallı, M. Hayri Kırbaşoğlu, Talat Sakallı, İ. Hakkı Ünal, M. Emin Özafşar ve Bünyamin Erul bunlardan bazılarıdır.