İslam kaynaklarının bildirmesine göre, güya Adem ile Havva cennetten çıkarıldıkları zaman Arafat'ta buluşup batı yönüne doğru yürüyerek Kabe'nin bulunduğu yere gelirler. Orada Adem Tann'ya yalvarır ve cennette iken etrafında tavaf ettiği nur'dan işlenmiş taşın sağlanmasını diler. Tanrı onun bu dileğini kabul ederek nur'dan bir sütun gönderir ve Adem, onun etrafında tavaf ederek Tann'ya ibadet etmeye başlar. Fakat daha sonra bu Nur'dan sütun kaybolur ve yerinde siyah bir taş kalır. Adem'in ölümünden sonra onun üçüncü oğlu olan Şis (Şit), babasının vasiyeti gereğince, taş ve çamurla Kabe'yi inşa eder. İnşa ettiği bu yer dört köşe bir binadır. Bu binanın bir köşesine de o siyah taşı koyar. Bu bina "Beytullah" diye anılan yerdir ki, Kabe olarak bilinir; bu taş ise "Hacer-i Esved" diye bilinen ve Müslümanların 1400 yıl boyunca tapar oldukları taş'tır [Bir başka rivayete göre evvelce beyaz olan bu taş, "Cahiliye" döneminin günahları, kötülükleri ve murdarlıkları yüzünden siyah olmuştur.