İsmail’in soyundan gelenler, Mekke vadisine sığmayacak kadar çoğaldılar; uzaklara göç edenler bu kutsal tapınaktan taşlar alıp, Kâ’be adına onlara saygı gösterdiler. Daha sonraları, komşu putperest toplulukların etkisiyle bu taşlara putlar da eklendi; ve sonunda hacılar bu putları Mekke’ye taşımaya başladılar. Bu putlar Kâ’be’nin çevresine yerleştirildi, işte o zaman Yahudiler İbrahim’in tapınağını ziyaret etmemeye başladılar.