Cavit Baysun Hoca' nın en önemli hususiyeti, itina ile toplayıp muhafaza ettiği kütüphanesiydi. 30 binin üzerinde kitabının olduğu söyleniyordu. Hoca, çok kıymet atfettiği kitaplardan üç nüsha alırmış. Birini, kendisinden ödünç isteyenlere vermek için ciltsiz olarak tutarmış. Ezkaza geri gelmezse, gözünden çıkarırmış yani. Diğer birinin sırtını bez yaptırır, kendisini gündelik olarak kullanırmış. Kalanını da sırtını meşin kaplatarak kütüphanesinin raflarında saklarmış.