154 (771) yılında Herat’ta doğduğu tahmin edilmektedir. Rum (Bizans) asıllı olan babası Ezd kabilesinden bir kişinin âzatlısıydı. İlk öğrenimine Herat’taki bir sıbyan mektebinde (küttâb) başladı. 179’da (795) Herat’tan ayrılarak Kûfe ve Basra’daki fıkıh, hadis, tefsir ve dil âlimlerinin derslerine devam etti. Uzun bir tahsil hayatından sonra çeşitli ilimlere dair eserler kaleme aldı ve ardından Herat’a döndü. Burada Hârûnürreşîd’in valilerinden Herseme b. A‘yen onu çocuklarının eğitim ve öğretimiyle görevlendirdi. Daha sonra Merv’e giderek orada da bir süre benzeri bir görev yaptı. Vezir Tâhir b. Hüseyin Merv’e geldiğinde onunla tanıştı ve kendisini Sâmerrâ’ya götürdü. Ebû Ubeyd Sâmerrâ’da bir müddet kaldıktan sonra Bağdat’a gitti ve Vali Sâbit b. Nasr b. Mâlik’in çocuklarına hocalık yaptı. Aynı zamanda İmam Şâfiî’den fıkıh okuyarak onunla ilmî tartışmalarda bulundu. Ahmed b. Hanbel’in sohbetlerine katıldı. Kur’an ilimleri ve kıraatle meşgul olurken lugat ve nahiv âlimlerinden de faydalandı. Her biri farklı metot ve görüşleri benimseyen kırktan fazla âlimin derslerine devam etti. Kendilerinden Arap dili ve edebiyatı, ensâb gibi ilimler okuduğu hocaları arasında Ali b. Hamza el-Kisâî, İbnü’l-Kelbî diye tanınan Hişâm b. Muhammed, Ebû Amr eş-Şeybânî, Yahyâ b. Ziyâd el-Ferrâ, Ebû Ubeyde Ma‘mer b. Müsennâ ve Asmaî gibi meşhur âlimler yer almaktadır. Ayrıca Abdullah b. Mübârek, Süfyân b. Uyeyne, Yahyâ b. Saîd el-Kattân ve Abdurrahman b. Mehdî’den hadis okudu. Kırka yakın talebesinden ise Ahmed b. Hanbel, Ebû Hâtim es-Sicistânî, Buhârî, Tirmizî ve Belâzürî gibi tanınmış kişilerin isimleri zikredilmektedir (el-Ġarîbü’l-muṣannef [nşr. Ramazan Abdüttevvâb], neşredenin girişi, s. 25-30). Sâbit b. Nasr Tarsus valisi olunca Ebû Ubeyd’i beraberinde götürerek Tarsus kadılığına tayin etti. Ebû Ubeyd, on sekiz yıl devam eden bu görevinden telif çalışmalarına engel olduğu için ayrıldı ve 213 (828) yılında Yahyâ b. Maîn’le birlikte Mısır’a gitti. Bu arada onun Şam’a gittiği de rivayet edilmektedir (Dâvûdî, II, 38). Daha sonra tekrar Bağdat’a dönerek garîbü’l-hadîs konusunda dersler vermeye başladı. Çok ilgi gören bu derslerin sonunda Ġarîbü’l-ḥadîs̱ adlı eseri meydana geldi. 219 (834) yılında hacca giden ve rüyasında Hz. Peygamber’i gördüğü için geri dönmekten vazgeçip Mekke’de oturmaya karar veren Ebû Ubeyd 224 yılı Muharrem ayında (Aralık 838) burada vefat etti ve Ca‘fer b. Ebû Tâlib’in evine defnedildi. 222 (836) veya 223’te (837) öldüğü de kaydedilmektedir. Dindar, vakarlı ve cömert bir kişi olan Ebû Ubeyd hadis, fıkıh, dil, edebiyat ve tarih gibi ilimlerde devrinin önde gelen simalarındandı. Hadisi savunmada başarılı bir mücadele vermiş, çağdaşları ile daha sonra gelen âlimlerin ittifakla kabul ettiği gibi meşgul olduğu ilimlerin hemen hepsinde güvenilir bir âlim olduğunu ortaya koymuştur. Rakkalı hadis hâfızı ve edip Hilâl b. Alâ, Allah’ın bu ümmete dört kişi bahşettiğini söyleyerek bunlardan biri olan Ebû Ubeyd’in hadislerdeki garîb kelimeleri izah ettiğini ve insanları bu konuda hatadan kurtardığını ifade etmiştir. İshak b. Râhûye, Ebû Ubeyd’in her hususta kendilerinin en bilgini olduğunu ve ona ihtiyaç duyulduğunu belirtmiştir. Muhammed b. Hübeyre el-Esedî ile (ö. 280/893 [?]) Gulâmu Sa‘leb diye tanınan Ebû Ömer Muhammed b. Abdülvâhid ez-Zâhid’in (ö. 345/957) onun eserleri ve rivayetleriyle ilgili tenkitlerini ihtiva eden birer kitap yazdıkları zikredilmişse de (İbnü’n-Nedîm, s. 332, 344) bu eserlerin günümüze ulaşıp ulaşmadığı bilinmemektedir.