Londra’da doğdu; Yahudi asıllı bir Hıristiyan din adamının oğludur. Oxford Üniversitesi’nde Yunan-Latin edebiyatı ve şarkiyat okudu. 1889’da aynı üniversiteye Arapça profesörü olarak tayin edildi ve bu görevini 1937’ye kadar sürdürdü. 1913’te Londra Üniversitesi’nde Doğu Dilleri Bölümü başkanı oldu. 1916-1917 yıllarında Pencap Üniversitesi’nde, 1929’da Bombay ve Kalküta üniversitelerinde konferanslar verdi. 1905’ten itibaren 1937’ye kadar son üç yılı başkanlık olmak üzere Royal Asiatic Society’nin yönetim kademelerinde çeşitli görevlerde bulundu. 23 Mart 1940 tarihinde Londra’da öldü.
Pek çok üniversite ve akademik kuruluş tarafından kendisine çeşitli şeref pâyeleri verilen Margoliouth, British Academy’nin, Deutsche Orient-Gesellschaft’ın, American Oriental Society’nin, el-Mecmau’l-ilmiyyü’l-Arabî ile Mecmau’l-lugati’l-Arabiyye’nin üyesiydi. Margoliouth Yakındoğu tarihi, İslâm tarihi ve Arap edebiyatı alanlarında döneminin en önde gelen şarkiyatçılarından biri olarak kabul edilmiştir; ayrıca Hıristiyan ilâhiyatı, Grek-Latin edebiyatı, Süryânî ve Ermeni araştırmalarında da söz sahibiydi. Üniversitede okuduğu dillerden başka İbrânîce, Sanskritçe, Farsça, Türkçe, Ermenice ve Süryânîce biliyordu.