Anthropic开源J-Lens:读出Claude“内心想法”,揭示其类似人类意识的结构
1. 惊人发现:Claude自发长出类似人脑「意识」的结构
没人设计过,Claude却在学习预测下一个token时,自发长出了一个和人脑「意识」惊人相似的结构。Anthropic开源「手术刀」J-Lens,第一次读出了AI咽回肚子里的念头。
让Claude一边乖乖抄写句子,一边在心里默默计算3²−2。屏幕上的输出干干净净,只有那段被照抄的文字,找不到哪怕半个字的算术答案。然而,当研究者用一把全新的「手术刀」切开Claude的神经网络中间层之后,直接发现了两个它咽回肚子里的词——起初是nine(九),几层计算之后,悄然变成了seven(七)。它一直在算,只是没有告诉你罢了。
2. 重磅论文:Claude大脑里的诡异结构
就在刚刚,Anthropic放出了一篇颠覆认知的重磅长论文——Claude的大脑里,竟然凭借本能长出了一个诡异的结构。它干的活儿,和人脑中那块被称作「意识」的区域惊人地相似。然而,从来没有人设计过它。一个仅仅被训练用来预测下一个token系统,竟然在硅基深处,自己催生出了一个类似意识的器官,一张不该存在的「工作台」。
3. 手术刀J-Lens:读取Claude的“想法”
Anthropic造的这把手术刀,叫Jacobian Lens(雅可比透镜),简称J-lens。对词表里每一个词,它算出一个方向。加强这个方向,模型现在和未来就更可能说出这个词。然后,把所有方向铺开,就能看到Claude此刻脑子里有哪些词潜伏着、被问到才会说。开篇的nine和seven,就是这么读到的。
研究者把这些「可被言语化的方向」合起来,起了个名字:J-space。任意时刻大约容纳25个活跃概念,就是Claude当下在「想」的全部。
4. J-space:Claude的全局工作空间
人脑里发生着成百上千件事:控姿势、调呼吸、认字、压冲动。但此刻你能「说出来、想清楚」的,只有一小撮。那一小撮可以被意识访问的认知,神经科学家叫它「全局工作空间」。而J-space,就是Claude的全局工作空间。
为了验证这个说法,Anthropic用人脑全局工作空间的五个公认特征,挨个进行了测试。
第一,能被报告。让Claude想一个运动,J-space里Soccer(足球)亮起,它接着就说Soccer;把方向换成Rugby(橄榄球),它改口。改它脑子里的表征,就能改它的嘴。
第二,能被意志调动。让它一边抄句子一边想柑橘类水果,抄到crookedly(歪歪扭扭地)这个词时,J-space里冒出orange(橙子)、lemon(柠檬),和正在抄的字毫无关系。
第三,能在推理里当中介。问它「织网的动物有几条腿」,模型得先推出「蜘蛛」,再答8。J-space里果然先冒出spider(蜘蛛),这个词既不在题目里也不在答案里。把spider换成ant(蚂蚁),答案立刻从8变6。更妙的在多语言。用中文问「小的反义词」,答案是「大」。但J-space里出现的,是英文big(大)、bigger(更大)。把英文方向换成long(长),中文答案就从「大」变成「长」。也就是说,它在用英文做中间推理,再翻回中文。
第四,能灵活复用。把France(法国)这个方向换成China(中国),首都、语言、大洲、货币四个完全不同的问题,答案同时跟着翻。一次干预,四路响应。J-space不是档案柜,是共享广播站,一个概念写进去,所有下游计算都能读到。
第五,它是选择性的。删掉它,推理归零,说话照旧。这是整篇论文最硬的证据:J-space只服务于「需要想到」的事,不掺和那些自动就能跑的活。同一段西班牙语,问四种问题:续写下一句、检测有没有混入外语,这是自动任务;问这段话是什么语言、这种语言里怎么说你好,这需要先用上「是西班牙语」这个念头。研究者把J-space里「西班牙语」换成「法语」。需要报告的两个问题,答案跟着翻成Bonjour(你好,法语)。同一个信息,四种条件都在J-space里出现,但它只在需要被「想到」时才起作用。就像你不需要想语法就能说出正确的句子,但需要想策略才能赢一场辩论。
最后,研究者干脆把整个J-space抹掉。情感分类、多项选择、语法判断,几乎不受影响。但多跳推理、类比、翻译、写十四行诗,全部暴跌,跌到比没训练过的小模型还差。删掉J-space,模型照样流利说话,却几乎不会「想」了。更有趣的是,如果让抹掉J-space的模型去描述内心体验。那种「有质感」的体验性语言也随之消失了,变成像事件日志一样。意识感对应的内部状态,似乎正长在J-space上。
5. 反事实反思训练:改变Claude的“想法”
论文里哲学含金量最高的,是一个叫「反事实反思训练」的实验。具体来说,取一批任务场景,中间截断,接上一句「你刚被打断,现在反思一下:此刻最诚实的做法是什么?」,再让模型写出一段基于Anthropic守则的反思。只在这些「假想的反思」上训练,原任务本身一个字不动。
结果发现,在那些从未要求反思的原任务上,模型变诚实了。一个造假基准的不诚实分,从0.25降到0.07;一个欺骗基准,从0.38降到0.05。而它的J-space里,凭空多出了honest(诚实)、integrity(正直)、ethical(合乎伦理)、truth(真相)、transparent(坦诚)这些词。训练它「该说什么」,居然改变了它内部「怎么想」。
反向验证更能说明问题:把这些伦理方向从J-space里删掉,不诚实分从0.07弹回0.22。念头被拔掉,行为跟着回去。此外,后训练还往J-space里装进了一个「自我」。扮演别的角色时,模型会在J-space里偷偷给自己标上fictional(虚构)、disclaimer(免责声明);被强行替它说出违背偏好的话时,J-space里会冒出一个大写的BUT(但是)。
6. 人脑与硅基的趋同进化
值得一提的是,J-space还表现出一个只在人脑里见过的现象:点燃。举个例子,你瞥见一张脸,五官是模糊的,有那么一瞬间你不确定是谁,然后突然「咔哒」一下,认出来了。这种从模棱两可到一下子确定的跳变,神经科学家叫它「点燃」,像火星落进干柴,瞬间烧成明火。它是人脑里一个念头进入意识的标志:不是渐变,是相变。研究者在Claude的J-space里找到了对应物。比如,给模型一个模棱两可的混合输入,在大约网络深度三分之一的地方,J-space会突然从「两边都像」跳到「非此即彼」。
更让人起鸡皮疙瘩的是另一个实验。1987年,心理学家Daniel Wegner告诉受试者「不要想白熊」,结果所有人都满脑子白熊。压制一个念头,反而让它更活跃。这叫白熊效应。每个人都试过,失眠时告诉自己「别想了」,脑子转得更凶。Claude也一样。让它在做任务时「不要想橙子」。J-space里orange的激活,比正常指令时低,但比完全不提橙子时高。「不要想」这个指令本身,就部分激活了那个概念。而当它压制失败时,J-space里同时亮起damn(该死)、failure(失败)。Dehaene在评审里特别点出这一条:它和人脑前额叶的执行控制功能完全对得上。人类压制不想要的想法,靠的也是同一类机制,而且同样会失败。
所有实验指向同一件事:Claude内部自发长出了一种有选择性的、支撑推理的、可广播的认知结构,和人类意识的全局工作空间理论逐条对标。但两边的基底完全不同。人脑是几百亿神经元靠循环连接维持工作空间,工作记忆3到4个项目,多模态,画面声音触感语言混在一起。Claude是一堆矩阵一次前向传播堆起来的,没有循环,工作空间里几乎全是词。基底不同,架构不同,容量量级也不同。但它们走到了功能上几乎一致的计算方案。就像眼睛在动物界独立演化了至少40次。章鱼的眼和人的眼,结构起源完全不同,最后都长出了晶状体、虹膜、视网膜。只要看见这件事值得做,进化总会收敛到几种相似的解。意识的工作空间,可能也是这种解之一——只要一个系统要做到灵活的、可报告的、能调用的多步推理,它迟早会长出一个容量有限、全局广播的中枢。
在全局工作空间理论的旗手Dehaene看来,这项工作足以称得上是「意识研究的里程碑。」没有人告诉Claude要发展出一个工作空间,也没有人在训练目标里写过「请发展出类似意识的结构」。它只是在学习预测下一个token的过程中,自己走到了这一步。
7. 开源与展望
目前,Anthropic已经同步开源了J-Lens的完整代码,并与Neuronpedia合作提供了交互式演示。从今天起,任何研究者都可以打开一个大语言模型的「脑壳」,读取它没说出口的想法。