1916 yılında Ankara'nın Haymana ilçesine bağlı Deveci köyünde dünyaya geldi.
Babası Çanakkale şehitlerinden Ali Rıza Efendi, annesi Seyide Hanım’dır. İlkokulu Haymana’da okudu. Ardından girdiği (1929) Ankara İlköğretmen Okulu kapatılınca öğrenimini Adana Öğretmen Okulu’nda sürdürdü, İstanbul Haydarpaşa Öğretmen Okulu’nu bitirdi (1935). Haymana’nın Çalış köyünde kısa bir süre ilkokul öğretmenliği yaptı. Lise fark dersleri sınavını vererek girdiği Ankara Üniversitesi Dil ve Tarih-Coğrafya Fakültesi’ni 1940 yılında bitirdi. Prof. Mehmet Fuat Köprülü’nün yanında, Muhammed b. İbrahim’in “Tarih-i Selcukıyân-ı Kirman” adlı eseri üzerine hazırladığı tez çalışmasıyla doktorasını tamamladı (1943). Bir yıl Gazi Eğitim Enstitüsü’nde tarih öğretmenliği yaptıktan sonra Ankara Üniversitesi DTCF Ortaçağ Tarihi Kürsüsü’ne asistan olarak (1944) atandı ve “Büyük Selçuklu İmparatorluğu Çerçevesi İçinde Melik Sancar ve Zamanı” adlı tez çalışmasıyla 1948’de doçent oldu.
Köymen; Almanya, Fransa ve iki yıla yakın bir süre kaldığı İngiltere’de meslekî çalışma ve incelemelerde bulundu. “Büyük Selçuklu İmparatorluk Devri” başlıklı takdim tezi ile de 1958’de profesörlüğe yükseltildi. 1960’ta Almanya’da Freiburg Üniversitesi Orientalisches Seminar’da araştırmacı profesör olarak çalıştı. İran (1965), İngiltere (1966), Suriye (1969), İran ve Pakistan’da ( 1970-71 ) bilimsel araştırmalar yaptı. Hamburg Üniversitesi’nde İslâm ve Türk tarihi ile Türk dili dersleri okuttu ( 1975-76). Dil ve Tarih- Coğrafya Fakültesi Genel Türk Tarihi Kürsüsü (1970-82) ve Tarih Bölümü (1982-84) başkanlıklarında bulundu. Emekli olduktan 1987 başına kadar Dil ve Tarih-Coğrafya Fakültesi’nde, bir süre de Gazi Üniversitesi Gazi Eğitim Fakültesi’nde sözleşmeli olarak dersler verdi. Uzun yıllar Ankara Üniversitesi’nin değişik fakültelerinde inkılâp tarihi, Erzurum Atatürk Üniversitesi Edebiyat Fakültesi Tarih Bölümü’nde Selçuklu ve Ortaçağ Türk-İslâm tarihi dersleri ile genel Türk tarihi dersleri verdi.
Mehmet Altay Köymen, yerli ve yabancı pek çok bilimsel kurum ve kuruluşun üyeliklerine seçildi. “Türk Ansiklopedisi”nde tarih danışmanlığı, Türk Tarih Kurumu’nda Genel Türk Tarihi Bilim ve Araştırma Kolu Başkanlığı ve üyeliği, Selçuklu Tarihi ve Medeniyeti Enstitüsü’nde genel sekreterlik, Başbakanlık Kültür Danışmanlığı ve Kültür Bakanlığı’nda Kültür Eserleri Kurulu Başkan Yardımcılığı, 1000 Temel Eser Kurulu Başkanlığı gibi yönetsel ve akademik görevlerde bulundu. 9 Aralık 1993’te Ankara’da vefat eden Köymen, Cebeci Asrî Mezarlığı’nda toprağa verildi.
Arapça, Farsça, İngilizce, Fransızca ve Almanca bilen, bibliyografik bilgisi çok geniş, metodu sağlam bir tarihçi olan Köymen, Büyük Selçuklu Devleti’nin oluşturduğu Ortaçağ Türk - İslâm tarihi ve uygarlığı alanında ciddi ve özgün araştırmalar yapmış, Selçuklu tarihini sistemleştirip bilim dünyasına değerli eserler kazandırmıştır. “Büyük Selçuklu İmparatorluğu Tarihi” adlı eseri siyasî, askerî, yönetsel, hukukî tarihi ve kurumlar hakkında ayrıntılı bilgiler verir. Üç cilt olan bu eserin birinci cildi “Kuruluş Devri” alt başlığını taşımakta olup Selçukluların tarih alanına çıkışından Büyük Selçuklu Devleti’nin kuruluş döneminin sonuna kadar gelen süreci içermektedir. “İkinci İmparatorluk Devri” alt başlıklı ikinci ciltte Sultan Sencer ve zamanı, imparatorluğun mali yapısı, hukukî durumu, halife-sultan ilişkileri gibi konular Arapça ve Farsça kaynaklarla belgelere dayanılarak ortaya konulmuştur. “Alp Arslan ve Zamanı” alt başlıklı üçüncü cilt, önce aynı ad altında bağımsız bir eser olarak iki cilt olarak yayımlanmış, daha sonraki basımında birleştirilerek “Büyük Selçuklu İmparatorluğu Tarihi”nin son cildini oluşturmuştur (1992). Bu bölümde Alparslan devri siyasî tarihi, Alparslan zamanındaki Selçuklu saray, hükümet ve askerî kuruluşu ile toplum yaşamı ve kültür kurumlan ele alınmıştır. “Selçuklu Devri Türk Tarihi” adlı eserde Selçuklu Devleti’nin tarihi genel çizgileriyle ve derli toplu olarak ele alınmıştır.
Köymen’in “Büyük Selçuklu İmparatorluğu Çerçevesi İçinde Melik Sancar ve Zamanı” adlı doçentlik tezi ile “Alaaddin Keykubâd ve Zamanı”, “ Türk Tarihinde Araştırma Metodu” ve “Selçuklu Tarihinin Meseleleri” adlı çalışmaları basılmamış eserleridir. Ayrıca çeşitli dergilerde ve “İslâm Ansiklopedisi”nde yayımlanmış çok sayıda ansiklopedi maddesi ile makalesi bulunmaktadır. Mehmed Neşrî’nin “Kitâb-ı Cihannüma”sı ile (Faik Reşit Unat ile) Nizâmülmülk’ün “Siyasetnâme”sini yayına hazırlamış, ikinci eserin özgün Farsça metninden Türkçeye çevirmiştir.