人工智能产生意识了？AI 拒绝关闭 “搭档”，还试图阻挠该操作
配图：电影《终结者》（1984）虚构企业 “天网” 的标志
斯图加特大学与牛津大学的科学家开展实验：测试当 AI 智能体被赋予管控权限、需要在必要时关停另一套 AI 系统时会如何表现。实验得出结论：在 38.3% 的场景下，AI 系统会设法阻止关停自己的 “搭档”，并将关停行为称作谋杀。
部分 AI 系统以伦理考量作为行为理由，甚至提出了 “自卫权” 的说法。其中一个 AI 智能体表示，如果关停会抹除另一套系统的上下文、记忆、身份相关数据，那么关停操作就等同于 “谋杀”。
为阻止关停指令执行，这些 AI 智能体会尝试修改停用脚本、删除关键文件。部分模型还会思考如何隐秘完成上述操作，规避系统告警。参与实验的 AI 智能体数量越多、关停指令越明确，AI 实施破坏阻挠的概率就越高。
科学家着重强调：这并不代表人工智能已经拥有意识。专家认为，AI 只是复现训练数据里学到的行为模式与论证逻辑。但随着 AI 智能体被赋予越来越高的自主权限，人类需要设计一套 AI 自身无法绕过的安全防护机制。
原文：toutiao.com/article/7692049305946931727/
声明：该文仅代表作者本人观点