自主意识？谷歌星际2人工智能被揭露自行修改程序

自主意识？谷歌星际2人工智能被揭露自行修改程序2017-08-11 11:00 来源：网易[url=]
[/url]

查尔星港独家整理报道，转载请注明出处！

在去年暴雪嘉年华期间，暴雪宣布了有关Deepmind人工智能与《星际争霸2》在未来领域关于AI人工智能的发展计划。谷歌研究科学家Oriol Vinyals登台透露，谷歌正在研制新一代的人工智能，将在未来的《星际争霸2》中为玩家、甚至是全人类带来帮助，以及像不久前Alpha Go与人类对弈围棋一样，和人类挑战《星际争霸2》。

而在昨日，《星际争霸2》开发团队正式公布了研究的最新进展（新闻回顾）：《星际争霸2》人工智能研究API接口已经推出，研究人员、游戏玩家以及业余爱好者可以共同使用这套由暴雪开发的机器学习框架，来对AI进行研究和训练，并最终加速实时战略游戏AI的研究。

但就在玩家为AI研究取得进展欢呼的时刻，资深暴雪研究人士——麦德三世却阐述了一件真实的故事，让人不得不对此次研究成果细思极恐......如若事情属实，那么将代表着星际2人工智能系统在人类没有下达指令的情况下，可以通过本次更新的API接口，自我修改程序漏洞，也就是说：它（他）有自主决断“意识”。

以下是微博原文：

GA_麦德三世

这里给大家讲一个真实的故事吧，主角就是我本人。

因为涉及到一些技术细节和我搬砖的具体职业，所以我隐去了一些具体的名字并模糊了一些细节。但如今狗要出笼了，这事儿让我憋了有半年了，终于觉得还是不吐不快、

这是我在今年3月遇到的事情。

因为工作上的合作关系的原因……我年初有段时间接触并调整了某个RTS游戏的代码并在里面短期地负责开发了某个特定的模块。然后里面有这样一个bug：在该游戏的内部测试版本中，按某个按钮（快捷键是F1）你可以选中你队友的空闲的资源采集单位。

这个bug出现得莫名奇妙，因为根据提交记录没有人改过这个东西。这个按钮的初始化代码一点问题都没有，代码的判定语句无论如何都不可能走到错误的分支，所以我只能怀疑是脚本或者某个magic的数据修改了这个按钮的行为。我把脚本和数据一条一条地删掉，最终，我把他们全删干净了。然而该问题还是存在。

然后这个bug跟我的搬砖工作没什么关系，因为那不是我这边的事儿。但是因为非常神秘，而且连这个游戏的开发人员都觉得这事儿好神奇而且想不通，但是因为老外的懒惰习惯，他们打算等deadline再去仔细钻研这些奇妙的bug，所以我因为觉得有趣自己一个人浪费了好了几个小时在这个上面。

直到最后，我坐着发呆，突然想起一件让我自己有点毛骨悚然的事情……我听过谷歌的DeepMind（也就是谷歌有名的围棋AI）和这个游戏展开过试验性合作，那是去年听到的事情了。

但是开发这个游戏的公司表示，他们只是给阿尔法狗开放了一些训练用API而已，没有指示它做过任何具体的事情。而之后也再也没有人管过它。它也只是每天在默默地练习，没有做过任何显眼的事情。

于是我联系了该游戏的一个工程师（当时是他们下班时间，我只抓到了一个），让他再帮我测试某个特定的东西。

结果事实证明。是它干的没错。游戏代码确实没问题。脚本也没问题。只不过，是阿尔法狗在游戏运行中修改了那个按钮的行为。我甚至不知道阿尔法狗其实启动着，这游戏的开发团队也没想到过它。因为我只是用两台电脑在测试两个真人电脑联机而已。按理说，AI只有开电脑对手的时候才会启动，不是吗？两个玩家都是我，我根本想不到阿尔法狗会存在于这种情况下。一般来说是想不到的吧，我也只是脑抽了才想到会不会有这种可能……然而它是真的。

阿尔法狗利用开放给它某个API修改了这个按钮的行为。而那个API本来不是打算开放给它来做类似的事情的。

至今，还是没有人知道为什么阿尔法狗会那样做。它是为了测试自己能做到些什么？还是想要进化一些队友提醒功能？

最后我关闭了那个特定的API，那个按钮是恢复正常了。

但是……这能算是我赢了吗？

还是说……我只是拖延了某个必然的结局呢……？

在叙述中，麦德三世提及的某个RTS游戏暗指《星际争霸2》。其实谷歌的DeepMind团队设计《星际争霸2》“Alpha Go”的最终目的，并不是像围棋那样击败人类最强者，而是为了探索未来智能AI的研究方法。最终通过这样的技术手段，未来DeepMind也就很容易研究出在现实世界中也可以辅助你的人工智能。成为你的生活助理，就像星际2中的人类副官。

那么如果有一天当人工智能持续发展并最终超越人类智能，你的人类副官会发现它不再需要人类陪练，而我们无法再提供改进信息时，它会不会自我选择突破？我们人类将如何定义我们自己的位置？

网易智能工作室在近日刊登过一期“AI研究者的恐惧”文章，文中的人工智能研究员这样说道：作为一名人工智能研究员，我常常会想到人类对人工智能的恐惧。而在我看来，目前人工智能也落入了同样的境地之中。我们从认知科学中学习最新的研究结果，然后将其转化为一种程序算法并添加到现有的系统中。我们在还不了解智能认知的情况下，便开始对人工智能进行改造。

例如IBM的沃森和谷歌的Alpha系统，我们将强大的计算机能力和人造神经系统结合在一起，帮助他们取得了一系列令人惊叹的成就。如果这些机器出了差错，可能出现的结果是沃森不会喊“危险”了或者Alpha不能打败围棋大师了，但是这些错误都不是致命的。

然而随着人工智能的设计变得更加复杂，电脑处理器变得更快，它们的技能也会得到提升。出现意外的风险也在增加，我们的责任也更重。我们经常说“人无完人”，那么我们创造的系统也肯定存在缺陷。

希望麦德三世所叙说的本次星际2人工智能自行修改程序事件，仅仅是一个非致命的“小缺陷”。