Filistin’e bağlı Sila el-Harisiye kasabasında 1941 yılında doğdu. Şam Üniversitesi Şeriat Fakültesi’nden 1966 yılında lisans diploması aldı. Daha sonra kısa bir süre Amman’da lisede öğretmenlik yaptı. Batı Şeria ve Mescid-i Aksa’nın 1967 yılında Yahudilerin eline geçmesinden sonra, 1969’da Müslüman Kardeşler’in Mücahitler Birliğine katıldı. 1969 yılında Usul-u Fıkıh mastır yaptı. Amhud Şeriat Fakültesi’nde öğretim üyesi olarak çalıştıktan sonra doktora yapmak üzere Kahire’ye gitti. 1973’de doktorasını tamamladı. 1973-1980 yılları arasında Ürdün Üniversitesinde öğretim üyeliği yaptı. Ürdün genel askeri hakiminin kararı gereğince 1980 yılında, Ürdün üniversitelerinden uzaklaştırıldı. 1981 yılında Cidde Kral Abdülaziz Üniversitesi’nde çalışmaya başladı. 1981 yılında Afganistan İslamabad’daki Uluslararası İslâm Üniversitesi’nde çalışma talebinde bulundu. Ve üniversitede çalışması kabul edildi. 1984 yılında Kral Abdülaziz Üniversitesi’nden istifa ederek, Afgan cihadında eğitim müsteşarı oldu. Azzam, Usame bin Ladin'in öğretmeni ve akıl hocasıydı ve bin Ladin'i Afganistan'a gitmeye ve oradaki mücahit savaşçıları desteklemeye ikna eden kilit isimlerden biriydi. Birlikte, yabancı Müslüman savaşçıları (Afgan Arapları olarak bilinir) savaşa çekmek amacıyla oluşturulan bir örgüt olan Maktab al-Khidamat'ı kurdular. Sovyetlerin 1989'da Afganistan'dan çekilmesinin ardından, diğer ülkelerdeki diğer Müslümanlar adına militan cihatçı faaliyetleri destekledi ve ardından "küresel cihadın babası" olarak tanındı. Kasım 1989’da iki oğlu ile beraber bomba yüklü bir araçla öldürüldü.