Yahya Efendi, Kanunî'nin hususî hayatına karışacak kadar cesur ve kendini saydırmış bir adamdı. Devrinin bütün ilim adamları gibi azil, tayin ve terakkilerle geçen hayatında, padişaha darılmak ve senelerce saraya uğramamak gibi şeyler de vardır. Yahya Efendi, Beşiktaş ile Ortaköy arasında, çok saffetli bir şiirde övdüğü bahçesinde yatar.