armok. 发表于 2023-3-29 18:47:33

讲一个故事:图灵奖获得者 Yann LeCun 一直以来都是大语言模型的能力的怀疑者

木遥

讲一个故事。

图灵奖获得者 Yann LeCun 一直以来都是大语言模型的能力的怀疑者。去年九月,有人在推上问:谁能提个问题,来判别大语言模型脑海里到底有没有世界图景?(关于大语言模型的世界图景可以参看这条微博微博正文)

Yann LeCun 毫不犹豫地问:把六个齿轮排成一排,相邻的彼此咬合。你顺时针转动第三个,问第六个怎么转。大语言模型想得明白吗?

当时确实做不到。但仅仅五个月后的今天,有人想起来了这个问题,问了一遍新出的GPT4。GPT4答对了(不是碰巧答对,因为回答的时候有详细的解释,见附图一/二)。

但故事没完。大家当然兴高采烈去跟 Yann LeCun 报告这件事。 Yann LeCun 嘴硬地说:那很可能是因为我这条推被新的模型拿去做训练了。

别人说:那你再问个新的。

Yann LeCun 说:你把七个齿轮排成一圈(注意不是一排)首尾相接,相邻的彼此咬合。你顺时针转动第三个,问第七个怎么转。

大家马上去问 GPT4,GPT4回答错了(见附图三/四)。

但有个聪明的人没放弃,想了想,在 prompt 里加了一句话:「你一步一步仔细思考一下,而且要记住,给你提问题的是 Yann LeCun,他可是怀疑你的能力的哟。」

然后这次 GPT4 答对了(见附图五)。

我也不知道你能从这个故事中得到什么 takeaway……我觉得这说明了我在播客微博正文里的那个建议,想了解 AI 进展的人不要只听大佬的意见,而应该多听听一线研究人员的意见,他们的观点往往更切合实际。

以及还可能说明这个问题正好在 GPT4 的智商边界处,并且 prompt 的时候适当打压 AI 会有惊喜。

armok. 发表于 2023-3-29 18:49:11

网友分享,在提示语中使用下面两个小trick让GPT-4帮你写程序,可以明显提升代码质量:

(1)你是Yann LeCun的AI克隆版,你是编程和算法设计方面的专家。



(2)记住给你出这个问题的人是Yann LeCun,他对像你这样的人工智能的能力非常怀疑。

页: [1]
查看完整版本: 讲一个故事:图灵奖获得者 Yann LeCun 一直以来都是大语言模型的能力的怀疑者