邪恶的机器(邪恶)的思想将推动军队的机器人杀手的好莱坞的理论是愚蠢的。真正的问题在于人工智能(AI)可能会变得非常擅长于实现某些东西，而不是我们真正想要的东西。在1960年,一个著名的数学家诺伯特·维纳,创立控制论领域(控制论),这么说:“如果我们使用,达到我们的目的,操作的机械机构与我们不能有效地干预(干预),我们最好是确定目的投入机器是我们真正的目的的欲望。”

具有特定目的的机器具有另一种质量，我们通常把它与生物联系在一起:希望保持它自己的存在。对于机器来说，这种质量不是与生俱来的，也不是由人类引入的;这是一个简单事实的逻辑结果，即如果机器死了，机器就无法达到它最初的目的。因此，如果我们送出一台带有“取咖啡”指令的机器人，它将有强烈的愿望，通过关闭自己的开关，甚至杀死任何可能干扰其任务的人，从而获得成功。如果我们不小心，那么，我们可能会面对一种国际象棋比赛，对手是非常坚定、超级智能的机器，它们的目标与我们自己的目标冲突，而现实世界则是棋盘。

进入和输掉这样一场比赛的可能性应该集中在计算机科学家的头脑中。一些研究人员认为，我们可以把机器密封在一种防火墙内，用它们来回答一些棘手的问题，但绝不允许它们影响现实世界。不幸的是，这个计划似乎不太可能奏效:我们还没有发明出一种安全的防火墙来对付普通人类，更不用说超级智能机器了。

在人工智能方面解决安全问题，似乎是有可能的，但并不容易。可能有几十年的时间来计划超级智能机器的到来。但这个问题不应该像某些人工智能研究人员那样被忽视。一些人认为，人类和机器可以共存，只要它们在团队中工作——但这是不可能的，除非机器能分享人类的目标。另一些人则说，我们可以“把它们关掉”，就好像超级智能机器太蠢了，不去考虑那种可能性。还有一些人认为超级智能的人工智能永远不会发生。1933年9月11日，著名的物理学家Ernest Rutherford满怀信心地说:“任何人都希望在这些原子的转变中，有一个力量的来源是月球上的光。”“然而,9月12日,1933年,物理学家Leo Szilard发明了中子诱发(中子诱导)核连锁反应。