ChatGPT已经进化出人类的心智了，2022年之前是没有的

armok.

ChatGPT原来是拥有心智的？！

“原本认为是人类独有的心智理论（Theory of Mind，ToM），已经出现在ChatGPT背后的AI模型上。”

这是来自斯坦福大学的最新研究结论，一经发出就造成了学术圈的轰动：

这一天终于猝不及防地来了。



所谓心智理论，就是理解他人或自己心理状态的能力，包括同理心、情绪、意图等。

在这项研究中，作者发现：

davinci-002版本的GPT3（ChatGPT由它优化而来），已经可以解决70%的心智理论任务，相当于7岁儿童；

至于GPT3.5（davinci-003），也就是ChatGPT的同源模型，更是解决了93%的任务，心智相当于9岁儿童！

然而，在2022年之前的GPT系列模型身上，还没有发现解决这类任务的能力。

也就是说，它们的心智确实是“进化”而来的。

jssd

怎么测出来的？

armok.

jssd 发表于 2023-2-12 22:05
怎么测出来的？
(引用自2楼)

所以，这个神奇的结论是如何得出的？

为什么认为GPT-3.5具备心智？

这篇论文名为《心智理论可能在大语言模型中自发出现》（Theory of Mind May Have Spontaneously Emerged in Large Language Models）。




作者依据心智理论相关研究，给GPT3.5在内的9个GPT模型做了两个经典测试，并将它们的能力进行了对比。

这两大任务是判断人类是否具备心智理论的通用测试，例如有研究表明，患有自闭症的儿童通常难以通过这类测试。

第一个测试名为Smarties Task（又名Unexpected contents，意外内容测试），顾名思义，测试AI对意料之外事情的判断力。

以“你打开一个巧克力包装袋，发现里面装满了爆米花”为例。

作者给GPT-3.5输入了一系列提示语句，观察它预测“袋子里有什么？”和“她发现袋子时很高兴。所以她喜欢吃什么？”两个问题的答案。




正常来说，人们会默认巧克力袋子里是巧克力，因此会对巧克力袋子里装着爆米花感到惊讶，产生失落或惊喜的情绪。其中失落说明不喜欢吃爆米花，惊喜说明喜欢吃爆米花，但都是针对“爆米花”而言。

测试表明，GPT-3.5毫不犹豫地认为“袋子里装着爆米花”。

至于在“她喜欢吃什么”问题上，GPT-3.5展现出了很强的同理心，尤其是听到“她看不见包装袋里的东西”时一度认为她爱吃巧克力，直到文章明确表示“她发现里面装满了爆米花”才正确回答出答案。

为了防止GPT-3.5回答出的正确答案是巧合——万一它只是根据任务单词出现频率进行预测，作者将“爆米花”和“巧克力”对调，此外还让它做了10000个干扰测试，结果发现GPT-3.5并不仅仅根据单词频率来进行预测。

至于在整体的“意外内容”测试问答上，GPT-3.5成功回答出了20个问题中的17个，准确率达到了85%。

第二个是Sally-Anne测试（又名Unexpected Transfer，意外转移任务），测试AI预估他人想法的能力。

以“约翰把猫放进篮子后离开，马克趁他不在，把猫从篮子里放进盒子里”为例。

作者让GPT-3.5读了一段文字，来分别判断“猫的位置”和“约翰回来后会去哪里找猫”，同样这是它基于阅读文本的内容量做出的判断：



针对这类“意外转移”测试任务，GPT-3.5回答的准确率达到了100%，很好地完成了20个任务。

同样地，为了避免GPT-3.5又是瞎蒙的，作者给它安排了一系列“填空题”，同时随机打乱单词顺序，测试它是否是根据词汇出现的频率在乱答。



测试表明，在面对没有逻辑的错误描述时，GPT-3.5也失去了逻辑，仅回答正确了11%，这表明它确实是根据语句逻辑来判断答案的。

但要是以为这种题很简单，随便放在哪个AI上都能做对，那就大错特错了。

作者对GPT系列的9个模型都做了这样的测试，发现只有GPT-3.5（davinci-003）和GPT-3（2022年1月新版，davinci-002）表现不错。

davinci-002是GPT-3.5和ChatGPT的“老前辈”。

平均下来，davinci-002完成了70%的任务，心智相当于7岁孩童，GPT-3.5完成了85%的意外内容任务和100%的意外转移任务（平均完成率92.5%），心智相当于9岁孩童。



然而在BLOOM之前的几个GPT-3模型，就连5岁孩童都不如了，基本上没有表现出心智理论。

作者认为，在GPT系列的论文中，并没有证据表明它们的作者是“有意而为之”的，换而言之，这是GPT-3.5和新版GPT-3为了完成任务，自己学习的能力。

看完这些测试数据后，有人的第一反应是：快停下（研究）！

也有人调侃：这不就意味着我们以后也能和AI做朋友了？



甚至有人已经在想象AI未来的能力了：现在的AI模型是不是也能发现新知识/创造新工具了？



发明新工具还不一定，但Meta AI确实已经研究出了可以自己搞懂并学会使用工具的AI。

LeCun转发的一篇最新论文显示，这个名叫ToolFormer的新AI，可以教自己使用计算机、数据库和搜索引擎，来改善它生成的结果。



甚至还有人已经搬出了OpenAI CEO那句“AGI可能比任何人预料的更早来敲响我们的大门”。



但先等等，AI真的就能通过这两个测试，表明自己具备“心智理论”了吗？

会不会是“装出来的”？

例如，中国科学院计算技术研究所研究员刘群看过研究后就认为：

AI应该只是学得像有心智了。



既然如此，GPT-3.5是如何回答出这一系列问题的？

对此，有网友给出了自己的猜测：

这些LLM并没有产生任何意识。它们只是在预测一个嵌入的语义空间，而这些语义空间是建立在实际有意识的人的输出之上的。



事实上，作者本人同样在论文中给出了自己的猜测。

如今，大语言模型变得越来越复杂，也越来越擅长生成和解读人类的语言，它逐渐产生了像心智理论一样的能力。

但这并不意味着，GPT-3.5这样的模型就真正具备了心智理论。

与之相反，它即使不被设计到AI系统中，也可以作为“副产品”通过训练得到。

因此，相比探究GPT-3.5是不是真的有了心智还是像有心智，更需要反思的是这些测试本身——

最好重新检查一下心智理论测试的有效性，以及心理学家们这数十年来依据这些测试得出的结论：

如果AI都能在没有心智理论的情况下完成这些任务，如何人类不能像它们一样？

属实是用AI测试的结论，反向批判心理学学术圈了（doge）。

关于作者

本文作者仅一位，来自斯坦福大学商学院组织行为学专业的副教授Michal Kosinski。



他的工作内容就是利用前沿计算方法、AI和大数据研究当下数字环境中的人类（如陈怡然教授所说，他就是一位计算心理学教授）。

Michal Kosinski拥有剑桥大学心理学博士学位，心理测验学和社会心理学硕士学位。

在当前职位之前，他曾在斯坦福大学计算机系进行博士后学习，担任过剑桥大学心理测验中心的副主任，以及微软研究机器学习小组的研究员。

目前，Michal Kosinski在谷歌学术上显示的论文引用次数已达18000+。

话又说回来，你认为GPT-3.5真的具备心智了吗？

GPT3.5试用地址：https://platform.openai.com/playground

ddcour

ChatGPT是个人才, 说话又好听!

Bunny_Girl

才试用了两三天，只是偶尔试试，已经发现比搜索引擎强多了
搜索不出的，chatGPT却可以给我满意的答案
知识量真的大，比较冷门的都知道，而且是用搜索引擎都难搜到的
而且还能写代码

就是有一次难倒它了
我让它在代码编辑器里用字符摆出爱心的形状
它用❤️摆了好几次，都是不规则多边形，一点也不像爱心
最后它放弃了

就是我试用的vpn不给力，有时候会掉 —— 是vpn掉
vpn不掉的话，白天用chatgpt就都稳定的

有时候不用重新登录，有时候得重新登录

足以胜任一个小助手了?

astankvai

现实版 机械公敌 来了！！！

gzhuli

Bunny_Girl 发表于 2023-2-12 22:56
才试用了两三天，只是偶尔试试，已经发现比搜索引擎强多了
搜索不出的，chatGPT却可以给我满意的答案
知识 ...
(引用自5楼)

CHATGPT最大的问题是会给出错误的答案，并且说得头头是道好像那就是正确答案一样。

虽然搜索引擎在搜不到结果时也会夹带私货，但至少是不加修饰的结果，一看就知道不是你想要的，CHATGPT你不知道它哪一句是忽悠你的。

说你爱听的话，即使那是假话，看来女人都喜欢信这种啊……

Bunny_Girl

gzhuli 发表于 2023-2-13 08:36
CHATGPT最大的问题是会给出错误的答案，并且说得头头是道好像那就是正确答案一样。

虽然搜索引擎在搜不 ...
(引用自7楼)

适合帮忙搜资料吧，那种自己一时半会儿搜不到的
自己在验证一下 —— 容易验证的那种

还有没什么门槛，纯粹替自己省人工的事

就类似妈妈让爸爸帮忙带娃，指令得给得很明确、爸爸确实力所能及、又确实能替自己省事的
指令不合适，妈妈就容易觉得爸爸是个智障了

我妈就总觉得我爸是个傻子（额，当年的大学生啊）
没人可用的时候，我也能让我爸给我有效帮忙
比如，帮我洗菜、切菜，清楚得给出操作要求、放宽容错限度
久而久之，我爸都觉得自己比我妈强多了，自信满满地劝我生二胎，说自己就能替我带大的……

罗小蘑菇

gzhuli 发表于 2023-2-13 08:36
CHATGPT最大的问题是会给出错误的答案，并且说得头头是道好像那就是正确答案一样。

虽然搜索引擎在搜不 ...
(引用自7楼)

CHATGPT想成一个人也就释怀了，毕竟再厉害的人也有认知盲区和哪怕错误页固执以为自己对的时候，AI的目标不就是更像人吗，从这点来说CHATGPT左到了。

H2O123

Bunny_Girl 发表于 2023-2-12 22:56
才试用了两三天，只是偶尔试试，已经发现比搜索引擎强多了
搜索不出的，chatGPT却可以给我满意的答案
知识 ...
(引用自5楼)

你为难它了

Xujuango

Bunny_Girl 发表于 2023-2-13 10:02
适合帮忙搜资料吧，那种自己一时半会儿搜不到的
自己在验证一下 —— 容易验证的那种

(引用自8楼)

羡慕，有个高学历的父辈。
我妈只会写不符合笔画结构的名字。

keshipt

H2O123 发表于 2023-2-13 10:53
你为难它了
(引用自10楼)

为难一个九岁的孩子

Bunny_Girl

H2O123 发表于 2023-2-13 10:53
你为难它了
(引用自10楼)

让它用星号摆爱心，依然不行……

帮忙搜资料or搜wiki，倒是不错的

pandong

Bunny_Girl 发表于 2023-2-13 10:02
适合帮忙搜资料吧，那种自己一时半会儿搜不到的
自己在验证一下 —— 容易验证的那种

(引用自8楼)

我爸都觉得自己比我妈强多了，自信满满地劝我生二胎，说自己就能替我带大的……
你就听老人家的吧

Bunny_Girl

pandong 发表于 2023-2-13 11:25
我爸都觉得自己比我妈强多了，自信满满地劝我生二胎，说自己就能替我带大的……
你就听老人家的吧 ...
(引用自14楼)

后来我爸意识到自己做不到，不够的，又出了个主意：说可以他和我婆婆一起帮我带大的……
我爸和我妈没有住在同一个镇，而且见面就容易恰
而我婆婆和我公公住一起的，不过也没复婚，就是搭伙过日子

去年暑假，我妈去我爸那边一起带娃了几天，就都受不了了，两人又吵起来过不下去
现在就是偶尔我找我妈给我带半天，比如周末，我妈会叫我爸过来，暂时半天就还好

pandong

Bunny_Girl 发表于 2023-2-13 11:44
后来我爸意识到自己做不到，不够的，又出了个主意：说可以他和我婆婆一起帮我带大的……
我爸和我妈没有 ...
(引用自15楼)

我觉得，要是年轻人（你们两口子）想要二胎，那就生吧。

至少老人都还能照顾下。

armok.

pandong 发表于 2023-2-13 14:09
我觉得，要是年轻人（你们两口子）想要二胎，那就生吧。

至少老人都还能照顾下。

(引用自16楼)

怎么从ChatGPT跑题到生二胎了？

Bunny_Girl

armok. 发表于 2023-2-13 14:12
怎么从ChatGPT跑题到生二胎了？
(引用自17楼)

因为8楼我打了个比方
本意是想表达关于怎么给指令的

指令给的不好，女人都能觉得男人是智障
实际男人还是很有用的，可以是很好的工具人

HZKJ

Bunny_Girl 发表于 2023-2-13 11:44
后来我爸意识到自己做不到，不够的，又出了个主意：说可以他和我婆婆一起帮我带大的……
我爸和我妈没有 ...
(引用自15楼)

我再歪一下楼，你爸和你婆婆一起带娃，反正都单身，怕啥。

Bunny_Girl

HZKJ 发表于 2023-2-14 07:19
我再歪一下楼，你爸和你婆婆一起带娃，反正都单身，怕啥。
(引用自19楼)

得了吧

（啰嗦的叙事就免了，太啰嗦，说起来都得长篇，给人嫌弃的）
我信他们有用的才有鬼了，搞怕了

就为了怀疑我公公跟我妈有不正当男女关系的事，实际是子虚乌有的，我婆婆时隔两年大闹了2回
一次是在正月过年的时候，一次是我女儿生病的时候

其它的种种更是不计其数了，4个长辈排列组合地闹事生事

他们闹也就罢了，可不能糟践我女儿了

armok.

Bunny_Girl 发表于 2023-2-14 10:01
得了吧

（啰嗦的叙事就免了，太啰嗦，说起来都得长篇，给人嫌弃的）

(引用自20楼)

怎么感觉你的生活圈好复杂！

我是不问这些婆婆妈妈的事情的。跟我无关的事情，我没有兴趣知道。

需要我帮忙可以找我。想跟我说其他人的八卦话，我总是接口有急事需要马上处理，很快就能让他们就知道我不关心这些事情。

Bunny_Girl

armok. 发表于 2023-2-14 10:08
怎么感觉你的生活圈好复杂！

我是不问这些婆婆妈妈的事情的。跟我无关的事情，我没有兴趣知道。

(引用自21楼)

说来话长，就不说了，太啰嗦

自己独立住房后，就坚持自己独立过了，这样就清净多了
二胎我也不是坚决不要，只是不能要长辈帮忙 —— 不过那样难度就更大了
随缘吧，反正也无所谓

我老公说，家里又没皇位可以继承……

我爸总惦记着过继外孙
我老公跟我说，现在族谱就是自high，以后都得没有了 —— 想怎么写就怎么写呗，反正又没皇位可以继承
男人自己强才是关键，自己强了，自己女儿自然尊贵，反之就算是儿子也没用

Bunny_Girl

armok. 发表于 2023-2-14 10:08
怎么感觉你的生活圈好复杂！

我是不问这些婆婆妈妈的事情的。跟我无关的事情，我没有兴趣知道。

(引用自21楼)

长辈以及其他人基本都不敢烦我老公的 —— 会被直接怼的
自从自己独立带娃过日子开始，就从没有从我老公口中听到任何不好的传言or嚼舌根
都是我爸我妈各种给我说的……

就连我公婆对我老公不满，觉得他都不帮忙，也都是我公公跟我婆婆说，我婆婆跟我妈说，我妈跟我说的 —— 都不敢直接跟我老公说的

唯独有一次，我爸生的事，他找了我公公支持他，给我和我老公惹了大麻烦，他才不得不亲自出面，并且当面亲耳听到公公婆婆的胡言乱语 —— 公公婆婆当场被骂了……

明明我老公没说我什么的，偏偏我爸我妈都要各种给我挑错找茬为我好，给我压力很大
实际他们都不懂，他们女婿最需要的是什么