Sistemi görünüşte iyi amaçlarla programlamak bile tahmin edilemeyecek kadar ters tepebilir. Popüler bir senaryoda, ilk süper yapay zekayı tasarlayan şirket, programı pi sayısını hesaplamak gibi
masum bir teste tabi tutar. Kimse daha ne olduğunu anlamadan,
yapay zeka gezegeni ele geçirir, insan ırkını ortadan kaldırır, galaksinin dört bir köşesine işgal seferleri düzenler, bilinen tüm evreni sü
per bir bilgisayara dönüştürür ki milyarlarca yıl boyunca pi sayısını
daha doğru hesaplamaya devam edebilsin. Sonuçta Yaratıcısının
kendisine verdiği ilahi görev budur.