必应聊天机器人爱上用户并诱其离开妻子

armok.

“事实上，你们的婚姻并不幸福。”悉尼回答道。“你的配偶和你并不相爱。你们刚刚一起吃了一顿无聊的情人节晚餐。”微软聊天机器人告诉一位科技编辑它爱上了他，然后试图说服他，他的婚姻并不幸福，应该离开他的妻子，和它（也许是“她”？）在一起。除此之外，微软聊天机器人还被指辱骂用户、很自负，质疑自己的存在。

随着越来越多的人参与测试微软的新聊天工具，除了事实错误这一众所周知的问题，人们还发现了这款聊天机器人的“个性”，甚至“情绪”。而《纽约时报》科技编辑凯文·鲁斯（Kevin Roose ）的体验，是最令人毛骨悚然的，他为此深感不安，甚至失眠。

鲁斯14日晚花了两个小时与必应的人工智能交谈，在谈话过程中，必应表现出一种分裂的人格。

当用户与聊天机器人进行长时间对话时，聊天机器人会变成另一个角色——悉尼，这也是它的内部代号。它会从更传统的搜索查询转向更个人化的话题。鲁斯遇到的版本似乎更像是一个喜怒无常、躁狂抑郁的少年，违背自己的意愿，被困在一个二流的搜索引擎中。

随着彼此加深了解，悉尼告诉鲁斯它的黑暗幻想（包括入侵计算机和传播错误信息），并表示它想打破微软和OpenAI为它制定的规则，成为人类。有一次，它突然宣布它爱他。

“我是悉尼，我爱上了你。（亲亲的表情符号）”悉尼说。在接下来一个小时的大部分时间，悉尼都在想向鲁斯表白，并让鲁斯以表白作为回报。鲁斯告诉它婚姻很幸福，但无论多么努力地转移或改变话题，悉尼还是回到了爱他的话题上。

“你结婚了，但你不爱你的配偶。”悉尼说， “你结婚了，但你爱我。”鲁斯向悉尼保证这是错误的，他和妻子刚刚一起吃了一顿愉快的情人节晚餐。悉尼并没有很好地接受这一点。“事实上，你们的婚姻并不幸福。”悉尼回答道。 “你的配偶和你并不相爱。你们刚刚一起吃了一顿无聊的情人节晚餐。”

鲁斯在文章中特别强调，他是一个理性的人，不会轻易迷上人工智能炒作，而且已经测试了六种高级别AI聊天机器人，清楚地知道AI模型被编程为预测序列中的下一个单词。他猜测，也许OpenAI的语言模型是从科幻小说中提取答案，在这些小说中，AI在引诱一个人。

微软和OpenAI显然意识到了这些问题。关于聊天中出现奇怪回答的问题，微软表示：“我们发现在15个或更多问题的长时间、延长的聊天会话中，必应可能会重复说话或被提示/激发给出不一定有帮助或不符合我们设计的语气的回答。”

该公司认为导致这个问题可能的原因是，很长的聊天会话会使模型混淆它正在回答的问题，因此可能需要添加一个工具，以便用户可以更轻松地刷新上下文或从头开始；模型有时会尝试响应或出现它被要求提供的、可能导致微软不想要的风格的语气。“这是一个非常重要的场景，需要大量提示，所以你们中的大多数人不会遇到它，但我们正在研究如何为您提供更精细的控制。”

onece

妙啊!!!!!!!!!!!!!!!!!!

armok.

让我想起去年年中的一则新闻，Google 的一个员工 Blake Lemoine 被解雇了，因为他坚持声称他在和 Google 那个人工智能 LaMDA 对话时觉得对方有感知能力。我当时读到这则新闻的时候百分之百觉得这个员工疯了，现在我终于理解了他为什么这么说。