İlk öğrenimini Babadağ, İzmir ve İstanbul'da tamamladı. 1949 yılında babasının iflasından sonra 1950 yılında askere gitti. Askerliğini bitirdikten sonra İstanbul'un Haydar semtinde Mahalle Başkanlığı'na başladı.Bu arada 4 Nisan 1953'de şimdiki eşi Özcan Yılmaz ile evlendi. Daha sonra hayatını Haydar semtinde bakkal-kasap olarak sürdürdü.
Bu işlerden edindiği birikimlerle de 1963 yılında ufak çaplı inşaat işleri ile müteahhitliğe başladı.
1973 yılında İstanbul-Aksaray'da sinema salonu yaptı. O yıllarda televizyonlar yeni çıktığından sinemalar özelliğini yitirmeye başladı. Bu sinemanın altını otopark, üstünü de düğün salonuna çevirdi. Bu düğün salonu "19 Mayıs Düğün Salonu" adı altında kendisi tarafından çalıştırıldı.
Datça'yı çok sevdiği için1995 yılında Kazım Yılmaz İlköğretim Okulu'nu yaparken 7. Cumhurbaşkanı Kenan Evren ile tanıştı. Evren Paşa'nın "Kendi okulunu kendin yap" sloganı ile okul yapımlarına başladı.
Datça'ya okullar yaptıran Kazım YILMAZ, TBMM Üstün Hizmet Ödülü'ne layık görüldü. Onun en büyük emeli yurt çapında cehaleti ve rüşveti silmektir. Datça'nın 'Okul Dede' unvanlı hayırsever işadamı Kazım Yılmaz 06 Ağustos 2014 tarihinde son yolculuğuna uğurlandı. Kazım Yılmaz'ın cenazesi vasiyeti üzerine Datça Şehir Mezarlığı'nda toprağa verildi.
Politika her insanın kendi çıkarıdır.
Her insan, çıkarı neredeyse o politikayı yapar.
O politikacının yaptığına uyanlar da kendi çıkarları için onun arkasından giderler.
İyiki elime geçmişte okumuşum dediğim bir kitap. Baş ucu kitaplarımın arasına eklemeyi düşünüyorum. Bir kere daha okumak istediğim harika bir eser. Yazarımız Kazım Yılmaz varlıklı bir insan ve ülkemize kattığı okullar sayesinde 2006'da TBMM ÜSTÜN HİZMET ÖDÜLÜ almıştır. Yazarımızın Cehalet rüşvet tüm kötülüklerin anasıdır sözünden kitabın içeriği az çok anlaşılıyor. Ülkemizde cahillik ve rüşvet oldukça muasır medeniyet seviyesine ulaşamayacağımızı savunuyor. Kitap bölümlerden oluşuyor ve hepsi kendi yaşadıkları. Bakanlarımızın, milletvekillerinin, devlette çalışanların vs. nasıl rüşvetle çalıştıklarını gözler önüne seriyor. Özellikle eğitimin şart olduğunu belirterek kitabını ücretsiz olarak dağıtmış.