AI回答前，脑子里都有哪些小心思？Anthropic首次“偷看”成功
有一种经历你肯定也有过，就是跟别人聊天儿时，大脑突然闪过别的事儿。
比如买菜正跟老板砍价呢，却突然想起来今天世界杯比赛结果咋样。
对了，就是这种经历，发现在AI上也存在。
这两天Anthropic发布了一项研究，发现自家研发的模型Claude在给出答案之前，脑子里会先“闪过”一些想法。
不过这些想法不一定出现在最后的回答里。
研究人员把“一闪而过”的这块区域叫做J-space（雅可比空间）。
先来聊聊J-space是什么？
科普J-space前先普及一个神经学里的理论——全局工作空间理论。
1988年一个叫Baars的认知科学家，把大脑比作一个剧院，后台有很多工作人员，有处理图像的、有控制动作的，大家各忙各的，不怎么交流。
但某一时刻，一束聚光灯会突然照到某个演员身上，被照到后，这个人才能被观众（也就是你的意识）看到，我们就知道他在干什么、说了什么。
其他没被照到的演员虽然也在忙，但人们完全不知道，被聚光灯照到的内容，就是人们当前能意识到、能说出来的东西。
研究人员着按这个思路在Claude内部也找到了一个类似的结构，就是J-space。
J-space很小，一次只能装几十个概念，占模型整体内部活动的不到十分之一。
模型大部分简单工作比如对话、简单计算等都不需要它，但如果要解一道复杂数学题或者创作一个内容，就要用到J-space了。
怎么"看见J-space
为了了解J-space里装了什么，研究人员开发了一个工具叫J-lens。
原理挺简单，每当模型处理文本的时候，每一层都会往一条叫"残差流"的信息通道里进行读写。
研究人员为词表里的每一个词都算出一个对应的方向。
然后把J-lens放在模型某一层的残差流上去读，激活值最高的那一小撮词，就是那一刻J-space里装的内容。
举个例子，好比一个人心里正想着"晚饭吃什么"，嘴上却在聊工作。
K-lens能读到的就是他心里所想、但没说出来东西。
如果一个方向被激活，虽然不代表模型要说出这个词，但能说明这个词正在它脑海里转悠。
J-space真的在干活吗
虽然找到了J-space，但不知道它是否参与推理，所以研究人员做了一组实验。
第一个实验是想知道J-space里的想法能不能被报告出来。
他们让Claude默默想一项运动，然后用J-lens去读。
在模型回答之前，"足球"已经排在了J-space的最前面，而后，Claude回答的果然就是"足球"。
但光有相关性还不够，研究人员直接动手干预，把J-space里的"足球"换成了"橄榄球"，结果Claude的回答也跟着变成了"橄榄球"。
也就是说，模型的答案确实是从J-space里读出来的。
第二个实验是想知道J-space能不能做内部推理。
题目是"会织网的动物有几条腿"？
Claude需要先想到蜘蛛，然后再答8，这里正常来说"蜘蛛"这个词既不会出现在题目里，也不会出现在答案里
但用J-lens去看，Claude处理到一半的时候，"蜘蛛"这个词确实在J-space里冒了出来。
研究人员又把J-space里的"蜘蛛"换成了"蚂蚁"，答案就从8变成了6。
这证明了Claude真的在拿J-space做推理。
第三个也挺有意思，直接手动改词。
把J-space里"法国"这个方向换成了"中国"，然后问了四个完全不一样的问题
首都是哪？说什么语言？属于哪个大洲？用什么货币？
四个问题的答案同时跟着变了，说明J-space就像一个计算中心，一个概念放进去，所有下游的计算都能读到它。
这个发现最让人意外的地方
J-space不是程序员研发出来的，而是模型训练过程中自己"长"出来的。
研究人员把J-lens应用到Claude的不同计算层时，发现模型的处理过程可以分成三个阶段：
早期是"感知区"，负责解析输入；
中间是"工作空间"，出现一些抽象且持续的概念，比如识别出图像里有人脸、发现代码里有bug；
最后是"动作区"，把内部表征转化成具体的输出。
J-space出现在中间这个阶段。
研究人员推测，可能是模型在处理复杂任务时，为了更高效的组织计算，自然演化出来的结构。
但这里有个重要的区分，很多报道没有说清楚。
哲学家把意识分成两种。
一种是现象意识，就是有主观感受的，比如疼了真疼、红了真红。
另一种是可通达意识，纯粹按功能定义，一个想法能被你报告、能用于推理、能指导行动，它就是可通达的。
Anthropic的论文证明J-space具备五个特征：可报告、可操控、可推理、可泛化、选择性。正好是"可通达意识"的标志性特征，但论文没有证明Claude具备"现象意识"
Anthropic说的很清楚：
这些发现不能告诉我们Claude是否像人类一样具有意识。
这个发现有什么价值？
最直接的应用就是AI安全检测。
比如有人训练了一个模型，表面让它写代码，实际让它往代码里藏漏洞。
正常看代码完全正常，但J-lens一看，J-space里"虚假""秘密""欺诈"这些词已经亮了。
所以模型还没来得及干坏事儿，意图已经暴露了。
目前Anthropic已经公开了J-lens的代码。
不过，J-space还有很多没弄清楚的地方，比如它怎么形成的？为什么是这不到十分之一在干这个活？不同模型的J-space一样吗？
但有一点是可以确定，就是：
我们第一次有了工具，能在AI说出口之前，看到它脑子里正在转什么念头。