Onun tek destekçisi; kilometrelerce uzakta bulunan ve taparcasına inandığı Mustafa Kemal Paşa'ydı ve kendisi yalnızca O'ndan emir alıyor. Onu dinliyordu.
Fakat bir süre sonra Yahya Kaptan'ın başarıları, Istanbul'da Kara Vasıf'ın kurduğu Karakol Cemiyeti'nin bazı mensupları tarafından kıskançlıkla karşılandı...
Kendini bildiği günden itibaren hayatını silahına bağlamış, bütün Türk düşmanlarına karşı mücadeleden mücadeleye atılmış, Bulgar ve Rum çetelerine kan ağlatmış, kendi muhitinde; ağlayan çocukları, "Yahya geliyor!" denildiği zaman susturacak kadar nam almıştır.