70 ve 135 yıllarında Roma işgaline karşı başarısız isyanların ardından, Yahudi halkı o zamanlar Yahudiye (bir zamanlar Musa'nın vadettiği Kenan toprakları) olarak bilinen topraklardan sürüldü. Bu tüm Yahudiler için uzun bir sürgünün başlangıcı oldu. Vatanları olmadan, zamanla Orta Doğu, Kuzey Afrika ve Avrupa'ya dağılmış bir diaspora hâline geldiler.
Yahudilerin çok azı eski Roma eyaleti Filistin'de ve daha sonra Müslümanların eline geçecek ülkelerde kaldı; çoğu ise Ortaçağ'da kuzeye, Fransa ve Almanya'ya veya Orta ve Doğu Avrupa'ya gitti. Aşkenazlar, bilindiği üzere, ev sahibi ülkelerin çoğu tarafından şüpheyle karşılandı ve kolayca entegre olmadılar. Birçoğu Yahudiliğin kendilerine has kültür ve yorumunun yanı sıra kendi dilleri Yidceyi de geliştirdikleri izole topluluklarda yaşadı. Daha az sayıdaki Sefaradlar İspanya ve Portekiz'e yerleşti ancak İspanyol Katolikleri Güney İspanya'yı Müslümanlardan geri aldıktan sonra ya Kuzey Afrika'ya kaçmak ya da Hıristiyanlığı kabul etmek zorunda kaldılar.