Hz. Ömer (r.a), halifeliği sırasında Şam’a gitmişti. Kendisini karşılayanlar arasında valiyi göremeyince etrafına toplanan şehrin ileri gelenlerinden, “Kardeşim Ebû Ubeyde nerede?” diye sorduğunda, “Şimdi gelir.” dediler. Az sonra da Ebû Ubeyde geldi.
Hz. Ömer (r.a), valisinin yaşantısını görmek istiyordu. “Haydi, kardeşim sizin eve gidelim” dedi. Birlikte eve geldiler. İçeriye giren müminlerin emîri, evin içinde kılıcı, zırhı ve birkaç parça da ev eşyasından başka bir şey göremedi. Bunun üzerine Hz. Ömer (r.a), “Senin bunlardan başka bir şeyin yok mu?” diye sorunca, Ebû Ubeyde (r.a) “Bunlar benim ihtiyacım için kâfidir.” diye cevap verdi. Hz. Ömer (r.a), “Misafirine bir şey ikram etmeyecek misin?” diye sorunca, Ebû Ubeyde kalkıp eski bir küp getirdi. İçinde kurumuş ekmek parçaları çıkarınca, gözleri yaşla dolan Hz. Ömer (r.a), “Ey Ebû Ubeyde! Vallâhi Sen hariç dünya hepimizi değiştirdi.” diyerek ağlamaya başladı.