Annesi Vietnamlı öğretmen Pham Thi Khang babası ise Fransız diplomat Raymond Vergès'dir. Annesini çok küçük yaşta kaybetmiştir. Henüz 12 yaşındayken siyasete ilgi duymaya başlamıştır. Henüz çok genç yaşta, İkinci Dünya Savaşı'nda direnişçiler arasında yer almıştır. Ayrıca Fransız siyasetçi Paul Vergès'nin ikiz kardeşidir. 1945 yılında Fransız Komünist Partisi'ne üye oldu itirazlara karşın 1950'de, Prag'da, üye olduğu Uluslararası Öğrenci Birliği Kongresi yönetimine seçildi ve 2 sene sonra da sekreterliğe seçildi 1962 yılında Cezayir'in bağımsızlığının ardından başkent Cezayir'e yerleşir ve Dışişleri Bakanlığı'nda üst düzey yönetici oldu.