1940 yılında Gürün'ün Şeref (şimdiki adı Ayvalı) köyünde doğdu. Asıl adı Mehmet Kargı'dır. Sefil Gülhani olarak da bilinir.
İlkokulu köyünde, ortaokulu Gürün'de okudu.
Küçük yaşlarda şiire ilgi duymaya başladı. Ortaokul yıllarında bir kitapçıda bulduğu Aşık Mesleki'nin yaşamına ilişkin bir kitap bu anlamdaki ilgisini daha da artırdı. Gülhani, bu kitabı okuduktan sonra şiir yazmaya başladı.
Bir süre Aşık Emsali'ye çıraklık ederek aşıklık geleneğini öğrenip, kendini yetiştirdi. Şiirde ustalaşınca da Gülhani mahlasını aldı.
Şiirlerinde geleneklerle çağdaş düşünce ve yaşama biçimini usta bir uyumla aktarmaktadır.
Birçok ünlü aşıkla karşılaşan ve onlarla dostluk kuran Aşık Gülhani, 1987 yılında bir kamu kuruluşundan emekli oldu.
Gülhani, çeşitli gazete, dergi ve araştırmalarda yer alan ve birçoğu bestelenen şiirlerinin bir bölümünü, "Perişan Hallerim" (1973), "Allah İçin" (1982), "Birlik Olunca" (1984), "Gönül Ağlayınca" ve "Ben Beni Bilince" adlı kitaplarda topladı.