Hz. Ömer Kudüs'e yaklaşmıştı. Ibn Kesir, el-Bidaye'sinde Hz. Ömer ile Ebû Ubeyde'nin birbirleriyle karşılaşmasını bize çok güzel ifadelerle anlatır: İki İslam yiğidi birbirlerine yaklaştıkları zaman atlarından inip, iki aşık gibi birbirlerine koşmaya başladılar. Birbirleriyle buluşunca da ikisi de birbirlerinin ellerini öpmeye çalıştılar. Koca Halife, Ebû Ubeyde'nin elini öpmeye çalışıyor, Ebû Ubeyde de Halife Ömer'in elini öpmeye çalışıyordu. Sonra birbirlerine sarılarak gözyaşı döktüler ve hasret giderdiler.
Sonrasında Kudüs'e birlikte girdiler. Hz. Ömer (ra) selametle içeriye girdi, şehrin anahtarlarını aldı ve istirahat etmek için Ebû Ubeyde'ye: "Ey Ebû Ubeyde! Haydi, beni çadırına götür" dedi. Ebû Ubeyde önde, Halife Ömer arkada İslam ordusunun komutanı Ebû Ubeyde'nin çadırına girdiler. Çadır çok sıradan ve basit bir çadırdı. İçeride bir kişinin bile zor yatabileceği kadar küçük bir keçe vardı. Halife Ömer bu hali görünce gözyaşlarını tutamayacak ve diyecekti ki:
"Ey Ebû Ubeyde! Dünya hepimizi değiştirdi, ama seni asla değiştirmedi.”
(Ibn Asakir, Tarihu Medineti Dimeşk, c. 7, s. 165)