Keçinin İblis'i çağrıştırması, Hristiyan Kutsal Kitabı'nda vardır: Yılın en kutsal günü, Tövbe Günü, "kusursuz" iki keçi için kura çekilerek kutlanırdı, biri Tanrı'ya ve biri de Azazel'e adanırdı. İnsanların günahlarını taşıyan keçi çöle sürülür ve "günah keçisi" olurdu. Ayrıca Mısır'da yılda bir Tanrı'ya kurban edilen ve bugün hâlâ adak törenlerinde kullanılan keçinin başlangıç noktası budur.