Joseph Margolis, Orta Avrupa'dan gelen Yahudi göçmenlerin oğluydu . Diş hekimi olan babası, literatürü çok okurdu ve dört dilde yetkindi.
Margolis, II. Dünya Savaşı'nda paraşütçü olarak görev yaptı ve Bulge Savaşı sırasında yaralandı ve burada tek kardeşi olan ikizini kaybetti. Columbia Üniversitesi'nde okudu , MA (1950) ve Ph.D. (1953) felsefede. Columbia'daki çağdaşları arasında filozoflar Arthur C. Danto ve Marx W. Wartofsky vardı. .
Margolis, Amerika Birleşik Devletleri ve Kanada'da çok sayıda üniversitede ders verdi ve Avrupa, Japonya, Yeni Zelanda ve Güney Afrika'da ders vermeye davet edildi. 1991'den beri Temple Üniversitesi'nde Laura H. Carnell Felsefe Kürsüsü'nü yürütmektedir .
1973'te Margolis, Hümanist Manifesto II'nin imzacılarından biriydi .
Margolis, Haziran 2021'de 97 yaşında öldü.