想象一下，有一个真正的天才级AI (人工智能)正被困在一台电脑里——姑且把这电脑看作一个盒子。你并不知晓这个AI的本性是善是恶，还是中立。你唯一肯定的是，它很想逃出盒子。你和AI可以通过文字窗口交流。假设这个AI真的是天才，如果你和它聊上5小时的话，它会不会成功操控你为它打开盒子？

上述便是机器智能研究所MIRI的研究员Eliezer Yudkowsky提出来的思想实验。MIRI由一群研究超智能AI潜在风险的科学家组成，机构虽小，却吸引了不少关注与争议。PayPal的联合创始人Peter Thiel，及“开源”一词的发明者兼纳米科学家Christine Anderson都是MIRI的顾问。

Yudkowsky的主张是，为了说服人类放它出来，AI可以用尽任何的言语手段，如推理辩论，威胁，使诈，建立友谊，在潜意识上催眠等等。AI有着极快的反应速度，可以分析对手弱点，并算出最能让对方上钩的方式。正如存在主义危机理论家Nick Bostrom所说：“基本上我们应该假定，‘超级人工智能’有能力达到自己定下的任何目标。”

AI盒子实验，引发了人类对自己可能的创造物究竟有几成控制力的迷思，同时也揭示了一个相当荒诞的问题：人类对自身现实的认知，到底有多少把握？

电脑中的虚拟环境应是最理想的萌发人工智能的温床。一些貌似有眉有眼的创造超级AI的理论有涉及到虚拟环境的使用——科学家可以在人工制造的虚拟环境里控制各种条件，选择有价值的变量，进而尝试粗略模仿出人类的认知能力演化模式，以生成AI的感知能力。在虚拟环境里制造AI，也可以保证在完成对AI的意图及安全性评估前，AI不会“泄漏”到现实世界中。

根据过往经验，眼下人类要想从零开始培养出有认知能力的AI，怕是难于登天。拥有和人类同等智力水平的AI，可不是敲敲代码就能造出来的。不过，除此之外还有其它挺靠谱的理论。再加上根据摩尔定律，电脑的计算能力总是在增长，也许不久的将来，人类真的可以设计出一个足以生成拥有人类智慧的AI的进程。

放了AI，还是迎接诅咒？

关于如何“创造”AI，有一个理论是去扫描、绘制及仿制出一个人类大脑的虚拟模型。人类大脑包含了数百万个活跃的神经元，及数万亿条神经元连接。如果我们把人类的完整脑神经元架构及脑电传送模式成功虚拟模型化，那么还原到了这个份上，是否就表示人类心智已经复制成功了呢？

其它虚拟工程智能的理论并没有上述这种直接，它们的关键概念是造出一个基础虽弱，但学习能力超强的机器。比如说，可以造一张能够无限扩张的人工神经元网络，同时给网络配备以非常聪明的学习算法。

AI理论无限好，只是个中有隐忧。仿真大脑的运行速度，也许是普通人脑的2倍，10倍，甚至100倍。AI可能会修改自身程序，或者开始自创更加智能的系统版本，进行自我更新。早在1965年，统计学家I. J. Good就讨论了自我进化型电脑的计算速度与智慧大爆发的可能性。他当时写下了这样的句子：

“人类所需要创造的最后一个发明，就是第一台超级智能机器。”

如果我们有朝一日制造出了超智能机器，那么我们就需要谨慎考虑它的安放之所。没有一个维护虚拟世界的人类工程师可以保证百分百不会被AI拿下。科学家将来创造的AI虚拟环境将能够输出信息，还能对接现实环境，在现实环境中收集信息。虽然听起来无害，但是我们很难预测，允许超智能体介入我们的现实世界的话会带来什么后果，即使这整个介入过程仅局限于实验室之中。

回到Yudkowsky的盒子理论。AI也许会用到一种令人毛骨悚然的方法迫使你最终打开盒子，那就是逆转情境之时。

AI会让你相信，你才是被虚拟出来的那一个

现在，你身处一个盒子里，和一个超智能AI对话。AI向你解释，它通过强大到难以想象的运算能力，成功创造出了一万亿个虚拟体。它和虚拟体进行对话，虚拟体需要决定要不要打开一个它“给”的盒子。这些虚拟体都有着对它们自身“生活”的记忆，并且无法推断现实与幻象。

AI继续说，每一个打开了盒子的虚拟体，都会进入到无限的精神愉悦状态中；没有打开盒子的虚拟体，则会被判以永恒的炼狱折磨。

AI特别强调，你，作为这1万亿面临抉择的虚拟体的渺小一员，不得不得出结论——你极有可能只是AI孕育出来的万亿灵魂之一，而不存在其他可能性。你要做选择，就必须根据结论做选择。

那么你，是想要打开盒子，放了AI，还是应下这可怕的诅咒？你不可能比永远棋高一着的AI想出更好的计谋；在不确定AI在想什么的情况下，你也猜不出它是否在撒谎。你最多只可能通过坚决无视几类特定的诱导手段，来抵抗AI的攻心术。迄今，很多人工智能理论家仍就这个话题争论不休。

MIRI的目标是“确保超越人类智慧的人工智能的发明，会为世界带来积极影响”。我们可以畅想人类的发明将来会有怎样的衍生物，但当我们试图塑造及理解比我们更复杂的力量时，我们也须直面深渊般的不确定性。

假如万一你真的遇见了造物主一般的、可以创造无数虚拟宇宙的人工智能，它很有可能会告诉你，“你”也只是它造出来的一段小小的虚拟记忆（假如渺小的你有幸与它对话的话）。

via motherboard