Öleceğini anlayınca ağlamaya başladı. Ağlaması ise ölümden korktuğuna değildi. Yüreğini parçalayan hasretini şöyle dillendirdi:
"Ben ölümü nerelerde aradım, o ise beni yatakta buldu. Vücudumda kılıçla, mızrakla yaralanmamış bir karış yer yoktur..."
Öldü ama herkes gibi ölmedi. Fethettiği topraklarda asırlardır ezan okunuyor, namaz kılınıyor. Bir kıta kadar toprağa iman sancağını dikip gitti. Mal bırakmadı, izzet ve şeref bıraktı. Öldü ama yok olmadı.
O ölünce Medine'de herkes ağladı. Halife Ömer (R.a): "Kadınlar bir Halid daha doğurabilir mi ki?" diyerek hüznünü dillendirdi.