İstanbul Çarşamba’da doğdu. Babası Mehmet Şükrü Efendi, annesi Hüsniye Hanım’dır. İlköğrenimini Çarşamba’da Benlizâde Sıbyan Mektebi’nde yaptıktan sonra Vefa Mülkiye İdâdîsi’ne girdi (1899). Mezuniyetinin ardından Maarif Nezâreti Evrak Kalemi’nde memurluk yaparken İstanbul Dârülfünunu Hukuk Fakültesi’ni bitirdi. Âsâr-ı Atîka müzelerine muhasebe memuru tayin edilerek müzeciliğe başladı. Müzede müdür muavini olan Edhem Hamdi Bey’in 1923 yılında bu görevinden ayrılması ile yerine Tahsin Öz getirildi. Topkapı Sarayı müzeye dönüştürülüp İstanbul Âsâr-ı Atîka Müzesi yönetimine devredilince saray personelinden hazine müdürü unvanıyla burada görev yapan Refik Bey de 1928’de emekli olunca Tahsin Öz, Topkapı Sarayı Müzesi müdürlüğüne getirildi ve bu görevini yaş haddinden emekliye ayrıldığı 1953 yılına kadar sürdürdü. Topkapı Sarayı’ndaki hizmeti sırasında sarayı yeni baştan müze halinde düzenledi. Osmanlı padişahlarının terketmesinden sonra kendi haline bırakıldığı için harap olan sarayın onarımını o günlerin dar imkânları içerisinde gerçekleştirdi. Saray eşyalarının, hazinenin envanterini hazırladığı gibi müze kataloglarını iki ayrı dilde yayımlattı. Depolarda bulunan pek çok eseri ortaya çıkararak teşhir etti. II. Dünya Savaşı’nın başlaması üzerine saraydaki eserlerin bir bölümü koruma amacıyla Niğde’ye gönderilmişti. Savaşın ardından eserlerin yeniden getirilmesi ve sergilenmesi konusunda büyük çaba sarfetti. Ayrıca Edirne’de Osmanlı-Rus savaşı sırasında harap olan Edirne Sarayı’nda 1950’li yıllarda küçük çapta da olsa kazı çalışmaları yaptırdı. 1946-1948 yıllarında İstanbul Üniversitesi Edebiyat Fakültesi’nde Sanat Tarihi ve Tarih Bölümü öğrencileri için Osmanlı sanatı ağırlıklı seminerler düzenledi. Türk Tarih Kurumu ve Alman Arkeoloji Enstitüsü üyeliklerine seçildi. Topkapı Sarayı Müzesi müdürü iken İstanbul Eski Eserleri Koruma Encümeni’nin tabii üyesi olan Tahsin Öz, Gayri Menkul Eski Eserler ve Anıtlar Yüksek Kurulu oluşturulunca 1951’de bu kurulun üyeliğine getirildi. Emekliye ayrıldıktan sonra İstanbul Vakıflar Başmüdürlüğü’nde eski eserler müşaviri oldu. 1956’da seçildiği Gayri Menkul Eski Eserler ve Anıtlar Yüksek Kurulu başkanlığını 1969’da bıraktıysa da üyelik görevini sürdürdü, 1973’te üyelikten de ayrıldı. 21 Eylül 1973’te vefat etti.