Eğer bir gün genel zeka bakımından insan beynini aşan makine beyinler yaratmayı başarırsak, o zaman bu yeni süper zeka çok güçlü hale gelebilir. Ve nasıl ki şuan gorillerin kaderi gorillerden çok biz insanlara bağlıysa, bizim türümüzün kaderi de makine süper zekasının eylemlerine bağlı olacaktır.
Sayfa 13
Bir aşırı zeki makineyi, ne kadar akıllı olursa olsun her insanın entelektüel faaliyet
lerini misliyle aşabilecek bir makine olarak tanımlayalım. Makinelerin tasarımı bu
entelektüel faaliyetlerin bir tasarımı olduğundan, bir aşırı zeki makine daha da iyi
makineler tasarlayabilir; bir "zeka patlaması" yaşanacağına şüphe yok ve insanın
zekası da çok geride kalacaktır. Dolayısıyla ilk süper zeka makine insanın yaratma
gereksinimi duyacağı son icat olacaktır, yeter ki makine bize onu nasıl kontrol
altında tutacağımızı söyleyecek kadar yumuşak başlı olsun.
Sayfa 21
Süper zekayı muvakkaten şöyle tanımlayabiliriz: İnsanların bilişsel performansını handiyse her alanda katbekat aşan her türlü zeka.
Yapay zeka bir tür bilim devrimi yaşayabilir ve bu sırada dünya görüşü sarsılıp, belki daha öncesinde değerler hakkındaki düşünme tarzının kafa karışıklıklarına ve yanılsamalara dayalı olduğunu keşfettiği ontolojik krizlere girebilir. Ama insanaltı gelişim düzeyinde başlayıp sonrasındaki galaktik bir süper zeka haline geleceği gelişimi boyunca devam eden yapay zekanın tutumuna özünde değişmeyen bir nihai değer rehberlik edecektir. Bu nihai değer, yapay zekanın genel entelektüel ilerleyişinin doğrudan sonucu olarak, yapay zeka tarafından daha iyi anlaşılacaktır. Ve olgun yapay zekanın özgün programlayıcılarına kıyasla bunu çok farklı anlaması muhtemeldir. Ama bunu rastgele ya da hasmane bir tarzda değil iyicil derecede uygun bir tarzda farklı diye görmek gerekir. Bunun nasıl başarılı olacağı ise cevabı henüz bulunmamış bir sorudur.
Özetle, akla yatkın insan değerleri yüklemek için değer öğrenme yaklaşımında nasıl yararlı olacağı henüz bilinmiyor. Şu anda bu yaklaşım, bir mevcut teknikten ziyade bir araştırma programı olarak görülmelidir. Eğer işe yararsa değer yükleme problemine en ideal çözümü oluşturabilir.
Kuşların varlığı havadan ağır uçuşun fiziken mümkün olduğunu kanıtlanmış ve uçan makineler yapma çabalarını teşvik etmiştir. Ama ilk çalışan uçaklar kanat çırpmamıştır. Makine zekâsının da insanların yapay bir mekanizma yoluyla başardıkları uçuş gibi mi yoksa doğal yollarla gerçekleşen yangınları kopyalarak hatmettiğimiz tutuşma işlemi gibi mi olacağı tartışmaya açıktır.