Kahramanmaraş'ın Elbistan ilçesinde doğdu. Rüştiye (ortaokul)'a Malatya'da başladı. İkinci yıldan itibaren Mardin ve Diyarbakır'da öğrenimine devam etti. İstanbul'da Gelenbevi Sultanisi'nde idadi (lise)'yi tamamlayarak 1916 yılında mezun oldu. Aynı yıl İstanbul Darülfununu Edebiyat Fakültesi Tarih Bölümü'ne girdi ve mezun olduktan sonra 1919'da Mekteb-i Mülkiye'ye kaydolan Halil, buradan da 1921'de mezun oldu. Mükrimin Halil Bey'in babası Hasan Kamil Efendi Haçin (Saimbeyli)'de kadı iken eşi ile birlikte 1920 yılında işkence ile öldürülmüştür. Fakat merhum Hoca hayatı boyunca Ermeni asıllı Hrand Andreasyan ile teşrik-i mesai etmiş, onun Türk Tarih Kurumu'nda Ermeniceden tercüme edip yayınladığı - Urfalı Mateos gibi - kaynakların kontrolünü ve tashihini yaparak yayınlanmasını sağladı. İsatnbul'da 1921-1925 yılları arasında kütüphane müdürlüğü yaparken buradaki başarılı çalışmaları dolayısıyla, araştırma yapmak üzere devlet tarafından Paris'e gönderildi. 1925-1927 yılları arasında iki yıl süreyle Paris'te araştırmalarını yaptıktan sonra Eylül 1927'de yurda döndü. Galatasaray ve Kabataş Liselerinde tarih öğretmenliği görevinde bulunan Mükrimin Halil Yinanç 1931 yılında kurulan Türk Tarih Kurumu'nun kurucu üyeleri arasında yer aldı. 1933 yılında Üniversite Reformu yapıldığında İstanbul Üniversitesi Edebiyat Fakültesi Tarih Bölümü'ne doçent olarak atandı. 1941 yılında Profesör, 1957 yılında da Ordinaryüs Profesör unvanlarını aldı. Üniversitede görevde iken 21 Aralık 1961 tarihinde vefat etti. Kıymetli kitaplarla dolu kütüphanesi Kahramanmaraş Sütçü İmam Üniversitesi'ne bağışlanmıştır.