别幻想超级智慧的AI（人工智能）了，先去考虑下那些愚蠢的算法吧 。

你要做好思想准备，五月份就要上映《复仇者联盟2：奥创纪元》，在这之前的几周时间里，不少科技网站的编辑和写手可能会对AI大加批判，届时会有一大波文章来阐述AI给现实生活带来的威胁。无论《复仇者联盟2》是否会打破票房纪录，至少给我们带来了另外一种视角，让我们可以“奥创”的形式，重新审视AI暴动。

开发奥创（由著名影星詹姆斯·斯派德配音）的初衷是维护世界和平，保护人类免受其他威胁，但最终它为了追求完美，决定将人类斩尽杀绝。这是好莱坞最新一次，当然肯定不会是最后一次将人工超级智能融入到电影里面。媒体自然不会错过这个好机会，一定也会大肆报道，继而引发人们对AI的深深思考。

能灭绝人类的，是愚蠢的AI。

AI绝不会完全无害。一些自主算法会对人类造成伤害，这是不可避免的。但是对待AI可能造成的风险，还需要进一步评估，至少头脑需要保持一点冷静。就像太空中废弃的卫星，你需要识别它们可能造成的危害，然后再去选择是把他们变成太空垃圾，还是进行废物利用。

有害的AI可能和人们所想的超级智能完全不同，它可能不会像奥创一样，而能毁灭人类的AI可能非常愚蠢。

种族主义

在AI安全概念的背后，有一股很明显的势头。今年一月，非营利性组织Future of Life Institute发布了一份AI安全公开信。但这不是一次业余的作秀，因为除了很多不明真相的群众，一些专业人士也参与其中，包括了计算机科学家，机器人学家，以及法律专家。

Ryan Calo就是其中之一，他是华盛顿大学的法律教授，主攻机器人领域的法律问题。对Calo来说，AI的短期风险其实和智能无关，而是所谓的自主权。

“我很担心会出现一些意想不到、又万分紧急的状况。比如，或许在未来的某天，你会忽然发现很多人无法贷款和信用卡，而造成这种状况的竟然是一个AI算法，因为算法发现他们的主要关系网络为非裔美国人。整个过程中，没有人持有种族主义态度，这无疑是个巨大的丑闻。”

Calo的假设确实很令人忧心。首先，现实世界中就存在某些人的权利被剥夺的状况，因此有时候你根本无法分辨哪些状况是AI造成的，哪些又是人为造成的。在AI的背景下，自主权的定义就是无需人为干预。比如程序员可能不会把某些事关联起来，但AI却能通过一些纯粹的定性分析，实现它们的“目的”。显然，这些AI做出的结论可能不会准确，但如果你想想看，一些数据代理商和广告商正是无耻地利用这种AI技术，追踪人们的线上活动，收集我们访问网站的各种信息。

Calo所举得那个种族主义例子可能是由于AI连接到错误的“点”上造成的。实际上，“种族主义”并不是一个最具说服力的AI例子，现如今很多更高级的行为追踪软件就在做着不少“肮脏的勾当”，在这些软件面前，一个小小的“种族主义”算法真的是小巫见大巫了。

另外在Calo眼里，AI其实不算是个真正的“种族主义者”。一个没有观点的机器是不可能带有任何偏见的。但是，社交和情感智能的缺乏却会带来巨大问题。

“必须从法律上来管理风险，让受害者能够得到补偿。但实现这种方式，需要找到罪魁祸首，而可能的情况是会出现很多受害者，但找不到作恶者。法律此时也会显得苍白无力了。”

无过错战争罪行

对于由AI驱动的机器人，如果让他们杀人，此时可能会产生戏剧性的影响。在科幻小说里，武装机器人经常出现战场暴行，比如一个中央超级智能给他们下达杀人的指令。而更有趣的问题出现在与远程通讯机器人的联系中断时。

当军事机器人进攻某个目标时，一般而言都会有人类参与。但当无人机或地面机器人忽然通讯中断，又会出现什么状况呢？是停止？还是撤退，又或是暴露在敌人的炮火中，或被俘虏？去年六月，美国国防部高级研究计划局旗下的Robotics Challenge项目就进行了一次机器人模拟战争，他们的答案是通讯中断后，继续完成任务。

此外，还可能出现其他状况，比如武装机器人很可能引发战争罪行，因为他们可能忽然把毗邻战场的平民百姓列为进攻目标，也不会放过战败投降的士兵。也有一些容易界定的情况，比如机器人出现故障，会向人群开火，滥杀无辜。

问题的重点在于，由于AI可以独立执行杀戮行为，没有人能对此负责。

“在战争罪中，上级必须要对下属所犯下的罪行负责，也就是说从法律角度上来看，上级必须有效地控制下属。但如果军事指挥官无法有效控制机器人（AI机器人可以自主选择杀人），是否意味着他们就没有责任？”

机器人专家和各国需要为各种情况做好准备，明确道德和法律之间的灰色底单，因为一旦无知的机器人自主权泛滥，那么许多暴行将会逃脱历史的惩罚。

股票崩盘，肢体损缺，以及其他日常灾害

当然，绝大多数的AI还是比较安全，即便出现问题，也不至于杀人。毋庸置疑，一些自主选股软件又会再次浮出水面，继而有可能再次引发2010年那场“闪电崩盘”的股灾——当时道琼斯指数在短短几分钟时间里下跌1000多点。其他AI也会曲解敏感数据，引发一系列悲剧发生，一旦数据分析有误，工厂里干活的机器人和养老院里的机器人会错误对待人类。

上面这些例子其实并不算太严重，因为还有很多耸人听闻的，虽然研究人员和机器人专家钻研AI安全是非常枯燥的，但是如果不真正对待的话，很多悲剧是无法避免的。

事实上，AI还有一个潜在缺陷，那就是假设它比实际上的还聪明。随着越来越多的机器人融入到人类的生活，高估AI能力很可能会导致实际伤害。“未来的方向，是机器人与人类并肩工作，”Tony Stentz说道，他是卡耐基梅隆大学机器人技术工程中心主管。Stentz理想中的未来工厂，是机器人的力量与人类的思维完美结合，这种团队是非常有前途的。但是AI研究人员和机器人专家必须要让机器人明白自己的目标和能力，否则为造成非常大的安全隐患。

要明白机器人能做哪些，不能做哪些

高估AI会导致一系列问题。在美国马里兰州，当地监狱已经开始使用算法来评估哪些假释犯人需要严加监管。软件开发人员肯定觉得自己的产品对于量刑建议有非常大的帮助，但问题是，当涉及到如此重大的决定时，依靠一个智能软件真的靠谱吗？

不仅如此，一旦AI自主权得不到有效控制，很可能出现所谓的“滑坡效应”，引发全球危机。比如工人本可以在工作中避免受伤，但是由于算法错误却导致残疾；还有人可能受智能选股软件的诱导，把毕生的积蓄砸进股票市场，最终家破人亡。可怕的是，这些受害者可能会忽然发现，自己竟然得不到法律保护，甚至连财务追索权都没有（靠机器人赚钱的想法的确有些愚蠢）。

这些AI安全问题，正是研究人员和专家需要考虑的，他们也必须要考虑各种非预期后果，如果说我们无法阻止超级AI接管世界，但至少，我们得明白它们会给我们造成哪些潜在影响。

VIA POPSCI