Babası Ramazanoğulları diye bilinen aileden Müctebâ Bey, annesi Ümmügülsüm Hanım’dır. Adana’da rüşdiye ve idâdîde okuduktan sonra İstanbul’a gidip Dârülfünun Hukuk Fakültesi’ne kaydoldu. Mezuniyetin ardından İstanbul’da askerlik hizmetini yaptığı dönemde şeyhi Esad Erbîlî’nin Kelâmî Dergâhına girdi. Dergahta ilerledikten sonra Esad Erbîlî tarafından kendisine Nakşibendî hilâfeti verildi.
Ardından Adana’ya yerleşen Mahmut Sami Efendi birkaç yıl sonra irşad faaliyetiyle meşgul olmaya başladı. Tekkelerin kapatılması ve dönemin hassasiyeti sebebiyle faaliyetlerini daha ziyade özel sohbetler şeklinde sürdürdü.
1946 yılında hacca gitti. 1950’de Adana Ulucamii’nde vaaz vermeye başladı. 1951’de gittiği İstanbul’da iki yıl kaldı. 1953’te ikinci hac dönüşü Şam’a yerleşmeye karar verdi. Ancak ertesi yıl Şam’a yerleşme kararından vazgeçip İstanbul’a döndü. Erenköy’de Zihnipaşa Camii’nde vaaz verirken bir yandan da özel sohbetler yaparak irşad vazifesini sürdürdü. Bu dönemde de geçimini bir ticarethanenin muhasebe işlerinde çalışarak temin etti.
1979’da ailesiyle birlikte yerleştiği Medine’de 12 Şubat 1984’te vefat etti Medine'deki Mescid-i nebevi yanındaki Cennet'ul Bakiye Mezarlığı'na defnedildi.
Hakkında Mustafa Yürekli yönetmenliğinde "Sami Efendi: Mahmut Sami Ramazanoğlu" (2005) adında bir belgesel yapılmıştır ayrıca ismi Konya'da bir imam hatip lisesine verilmiştir.