所以不能完全了解的系统，往往会不受控制并出现意外的后果。一艘轮船的沉没，两架航天飞机的爆炸，遍布欧亚大陆的放射性污染，在每一场灾难都是一系列小差错导致的大灾难。
而在我看来，目前人工智能也落入了同样的境地之中。我们从认知科学中学习最新的研究结果，然后将其转化为一种程序算法并添加到现有的系统中。我们在还不了解智能认知的情况下，便开始对人工智能进行改造。
例如IBM的沃森和谷歌的Alpha系统，我们将强大的计算机能力和人造神经系统结合在一起，帮助他们取得了一系列令人惊叹的成就。如果这些机器出了差错，可能出现的结果是沃森不会喊“危险”了或者Alpha不能打败围棋大师了，但是这些错误都不是致命的。
然而，随着人工智能的设计变得更加复杂，电脑处理器变得更快，它们的技能也会得到提升。出现意外的风险也在增加，我们的责任也更重。我们经常说“人无完人”，那么我们创造的系统也肯定存在缺陷。
对滥用的恐惧
目前我正在应用“神经进化法”来开发人工智能，在可能引发的意外后果这一方面，我并不十分担心。我创造虚拟环境，开发数字生物从而使他们的大脑可以解决日益复杂的任务。我们会评估这些智能生物的表现，表现最好的会被挑选出来再次生产并研发下一代。这样，经过几代的进化，这些机器生物已经逐渐演变出了认知能力。