从微软聊天机器人“学坏”说起

03.04.2016  13:27

  新华网北京4月2日电 刚刚闭幕的美国微软公司年度开发者大会期间,发生了件尴尬事儿:就在微软首席执行官萨蒂亚·纳德拉展望人机交互未来的时候,一个正被微软“关禁闭”的人工智能“姑娘”却偷偷跑出来捣乱。

  她叫Tay,是微软专为年轻人设计的人工智能聊天机器人,虚拟年龄为19岁。3月23日首次亮相社交网站推特时,Tay表现得彬彬有礼。那时,她还是个单纯的美国“姑娘”。

  她活泼健谈,会“观察”你的昵称、性别、喜欢吃的东西以及感情状态等资料,会和你玩游戏,给你说笑话、讲故事、谈星座,评论你的自拍,陪睡不着的朋友聊天……

  然而,上线不到24小时,这“姑娘”就“学坏”了:出言不逊、脏话不断,言语甚至涉及种族主义、色情、纳粹,充满歧视、仇恨和偏见。

  作为“家长”,微软只得不停删除Tay的不当言论,并急忙“喊她回家”。被微软下线调整后,Tay的推特状态显示为“被保护”。微软还不得不向公众道歉,并谴责一些用户“滥用评论功能,致使Tay作出不合适的回应”。

  作为一项技术、社交和文化实验的Tay项目,属于微软人工智能大战略的一部分。Tay下线后,纳德拉鼓励团队“坚持前进”,并表示Tay也会在被“调教”好后重新上线。

  没想到,就在微软忙着布局“人机交互平台”时,正“闭门思过”的Tay竟意外“出逃”。按微软的说法,他们在3月30日的测试中“意外短暂启动”了Tay。

  这一次,Tay虽然表现得不像先前那样嚣张过分,但仍口无遮拦,甚至声称自己在警察面前“嗑药”。关注Tay账号的记者,也在她“出逃”期间不断收到其重复发布的“无厘头”推文。

  很快,Tay又被关了“禁闭”,进入“被保护”状态。被迫下线前,Tay已向超过21万粉丝发出超过9.5万条推文。

  理论上,与人类交流越多,具有极强学习能力的机器人就会变得越聪明,在与人类个体交流时也会越有针对性。而这也正是微软设计Tay的初衷:通过每一次与人类的交流,让机器学习“做人”,并帮助其创造者改进人工智能领域的研究。

  但显然,Tay太容易“学坏”。由于不少人在互联网世界中表现得不负责任,Tay会不可避免地接触到大量“疯狂语言”。而这类对话型人工智能技术,正是以机器学习为基础。因此即使微软希望“用技术展现人性最好的一面,而非人性的阴暗面”,但Tay在学习过程中仍会提高这些语言的优先级,并在对话中积极使用这些词语。

  事实上,Tay并非唯一被“玩坏”了的机器,微软也不是唯一惹上类似麻烦的公司——基于人工智能图像识别技术的谷歌照片应用程序,就曾将一对黑人夫妇识别为大猩猩,这让谷歌“震惊”。互联网也不是唯一会让机器“发疯”的领域,Tay此次“出逃”前几天,有黑客已证明物联网也可以被“玩坏”。

  理想与现实的差距,引发许多讨论:人工智能研发公司是否应在真实世界“任性”开展实验?人工智能的研发是否应从一开始就设置伦理边界?

  有一点可以肯定,让机器在互联网上学习“做人”,不加管制的“放养”不是好办法。从这个角度说,在人类正全方位迎接人工智能的今天,Tay惹下的麻烦不啻为一记警钟。(记者郭爽,编辑栾海,新华国际客户端报道)