Hicrî 154 (M. 771) yılında Herat’ta doğduğu tahmin edilmektedir. (Tebe-i Tabiin'dendir.) Dindar, vakarlı ve cömert bir kişi olan Ebû Ubeyd hadis, fıkıh, dil, edebiyat ve tarih gibi ilimlerde devrinin önde gelen sîmâlarındandı. Hadisi savunmada başarılı bir mücadele vermiş, çağdaşları ile daha sonra gelen âlimlerin ittifakla kabul ettiği gibi meşgul olduğu ilimlerin hemen hepsinde güvenilir bir âlim olduğunu ortaya koymuştur. Rakkalı hadis hâfızı ve edip Hilâl b. Alâ, "Allah’ın bu ümmete dört kişi bahşettiğini" söyleyerek bunlardan biri olan Ebû Ubeyd’in, "hadislerdeki garîb kelimeleri izah ettiğini ve insanları bu konuda hatadan kurtardığını" ifade etmiştir. İshak b. Râhûye, "Ebû Ubeyd’in her hususta kendilerinin en bilgini olduğunu ve ona ihtiyaç duyulduğunu" belirtmiştir. Rum (Bizans) asıllı olan babası Ezd kabilesinden bir kişinin âzatlısıydı. İlk öğrenimine Herat’taki bir sıbyan mektebinde (küttâb) başladı. 179’da (795) Herat’tan ayrılarak Kûfe ve Basra’daki fıkıh, hadis, tefsir ve dil âlimlerinin derslerine devam etti. Uzun bir tahsil hayatından sonra çeşitli ilimlere dair eserler kaleme aldı ve ardından Herat’a döndü. Burada Hârûnürreşîd’in valilerinden Herseme b. A‘yen onu çocuklarının eğitim ve öğretimiyle görevlendirdi. Daha sonra Merv’e giderek orada da bir süre benzeri bir görev yaptı. Vezir Tâhir b. Hüseyin Merv’e geldiğinde onunla tanıştı ve kendisini Sâmerrâ’ya götürdü. Ebû Ubeyd Sâmerrâ’da bir müddet kaldıktan sonra Bağdat’a gitti ve Vali Sâbit b. Nasr b. Mâlik’in çocuklarına hocalık yaptı. Aynı zamanda İmam Şâfiî’den fıkıh okuyarak onunla ilmî tartışmalarda bulundu. Ahmed b. Hanbel’in sohbetlerine katıldı. Kur’an ilimleri ve kıraatle meşgul olurken lugat ve nahiv âlimlerinden de faydalandı. Her biri farklı metot ve görüşleri benimseyen kırktan fazla âlimin derslerine devam etti. Kendilerinden Arap dili ve edebiyatı, ensâb gibi ilimler okuduğu hocaları arasında Ali b. Hamza el-Kisâî, İbnü’l-Kelbî diye tanınan Hişâm b. Muhammed, Ebû Amr eş-Şeybânî, Yahyâ b. Ziyâd el-Ferrâ, Ebû Ubeyde Ma‘mer b. Müsennâ ve Asmaî gibi meşhur âlimler yer almaktadır. Ayrıca Abdullah b. Mübârek, Süfyân b. Uyeyne, Yahyâ b. Saîd el-Kattân ve Abdurrahman b. Mehdî’den hadis okudu. Kırka yakın talebesinden ise Ahmed b. Hanbel, Ebû Hâtim es-Sicistânî, Buhârî, Tirmizî ve Belâzurî gibi tanınmış kişilerin isimleri zikredilmektedir. Ebû Ubeyd 224 yılı Muharrem ayında (Aralık 838) Mekke'de vefat etti ve Ca‘fer b. Ebû Tâlib’in evine defnedildi. 222 (836) veya 223’te (837) öldüğü de kaydedilmektedir.