Ancak Hz. Ali [k.v] kurtulamadı, İbn Mülcem isimli Haricî tarafından hançerlendi. Bu darbeden sonra şöyle dedi:
"Kabe'nin Rabbi'ne andolsun ki kurtuluşa erdim." Yaralandıktan iki gün sonra, hicretin 40. yılı Ramazan ayının 27. günü altmış üç yaşında vefat etti.