Teklif nerden gelirse gelsin, kimden gelirse gelsin, eğer hayırlı bir işse, biz onu, Allah'dan gelmiş biliriz, derdi. En çok tekrar ettiği cümle şuydu: 'Müslümanlık baştanbaşa mesuliyet ve mükellefiyettir, ondan kaçamayız!'
insan sadece akıl sahibi değil, aynı zamanda kalp sahibidir. İnsanın kalbi güven ister, istikrar ve huzûr ister. Ve böylece mutlu olmak ister. Aklın ihtiyacı ile kalbin ihtiyacı birbirinden farklıdır. Kalp inanmak ve imanın verdiği güvenle mutlu olmak ister. İnsanı mutluluğa götüren şey, kalbindeki imandır. İman olmadan, yakin olmaz, yakin olmadan da mutluluk olmaz. Aklın esas görevi, imana giden yolu açmaktır. Yoksa aklın durmadan değişen gelgitlerine ayak uydurmakla mutluluk elde edilemez. Ebedî ve değişmez hakikati bulmak ve ona bağlanmak lâzım. Herkesin aklı aynı olmadığı gibi, kendi aklımız da her zaman hep aynı akıl olarak kalmaz. Akıl aynı yerde durmaz, sürekli değişir ve gelişir. Biz kırk-elli yaşlarına geldiğimiz zaman, onbeş yaşındaki aklımızla düşünmeyiz. Çünkü onbeş yaşındaki aklımız, o yaşla birlikte bizi terk edip gitmiştir. O eski akıl, artık bize çok yabancı sayılır. O eski aklımızı zaten biz de pek beğenmeyiz. Bu kadar değişken olan bir şeyle ebedî ve değişmez olan hakikati nasıl bulacağız? Oysa kalbimiz, sabit ve değişmez hakikatlere bağlanma ihtiyacındadır. Bunu da bize ancak saf ve samimi bir iman sunabilir. Zaten iman, kalbin, her türlü şüpheden kurtulup, ebedî ve değişmez hakikate bağlanması demektir. İslâm'da şüphe yoktur, şüpheyi kesinlikle reddederiz"
Sivaslı Tahincizâde diye bilinen imam efendi de cemaatine, "Yahû, şimdi namaza duracağız. Kalbinizdeki parayı çıkarın, cebinize koyun. Allah sevgisini de kalbinize koyun, öylece huzura duralım! Paranın yeri ceptir, sevginin yeri de kalptir" dermiş.
Aziz Efendi'nin sıklıkla dile getirdiği bir sözü daha vardı:
"Kendini günahkâr kabul eden birinin, tövbe ve istiğfar edip, nefsini islah etmesi ve yola gelmesi kolaydır. Lakin ucûb ehli (kibirli) olan birinin yola gelmesi, hiç kolay değildir. Öyleleri şeytan tabiatlı ve Ebûcehil mizaçlıdır" derdi.