查看: 3|回复: 0

Anthropic在Claude内部发J空间大模型里真的存在一个可干预的推理空间?

[复制链接]
发表于 2 小时前 来自手机 | 显示全部楼层 |阅读模式
Anthropic最近发表了一篇论文,他们在Claude的几十亿参数中找到了一个特殊区域,命名为"J空间"(J-space)。这个区域体积很小,只占模型整体活动不到一成,但承载的信息密度却很高,模型在生成回答时的判断、推理中间步骤,甚至一些没打算说出口的想法,似乎都曾在这里流过。

J空间不只是记录,还能被直接干预

研究人员做过一个实验:在模型回答关于"足球"的问题时,直接介入J空间把"足球"替换成"橄榄球",模型随后输出的内容就变成了关于橄榄球的。这说明J空间不是被动的日志,而是真正参与了模型的推理链条,具有因果作用。

参与多步推理,充当中间层

在"织网的动物有几条腿"这类问题中,模型内部会先出现"蜘蛛"这个概念,然后输出8条。如果研究人员在J空间里把"蜘蛛"换成"蚂蚁",答案就跟着变成了6条。这种效果表明,J空间在多步推理中扮演了一个关键的中间表示层,模型需要先在这里"想清楚"概念,才能继续下一步。

与人类大脑理论的巧合

Anthropic指出,J空间的组织方式和人类大脑的"全局工作空间理论"(Global Workspace Theory)有相似之处。人脑理论认为,信息会进入一个特殊的共享通道,被广播到各个脑区。J空间似乎也在做类似的事——同一个内部表征可以被多种下游任务调用,具有一定的灵活性。

局限性也很明显

J空间并不参与日常自动处理,比如简单的情感分类、选择题回答,没有它模型照样能运行。它更多是在复杂规划、创意写作、多步推理这类高阶任务中才活跃。而且它的容量大约只能同时容纳15个活跃概念,虽然比人类工作记忆大,但远非无限。

对AI安全研究的意义

从实用角度看,这个发现对AI可解释性和安全性比较有价值。如果未来能通过J空间观测模型的内部推理路径,或许能在有害输出生成前进行更精准的干预。不过Anthropic自己也保持谨慎,强调这只是一个初步发现,现在谈"AI意识"还为时过早。

大家对Anthropic这个J空间的研究怎么看?你觉得这算是大模型可解释性的一次实质性突破,还是只是对统计规律的一种新解读方式?
scaled_1000133080.webp
scaled_1000133081.webp
scaled_1000133082.webp
万狸温馨提示:理性消费
1.数码选品:先定用途,再比参数,拒绝 “加点钱更好” 的超支诱惑。
2.购车决策:看平台生命周期,算长期使用成本,刚需比潮流更重要。
3.重点提醒:多查真实评价,少信首发噱头,买得对远比买得新划算。
4.交流准则:聊产品讲实际体验,不抬杠不诋毁品牌,友善分享。
5.氛围维护:遇到分歧先理性沟通,不贴“粉黑”标签,温馨交流。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注QQ群
手机版|小黑屋|万狸社区-免费活跃数码论坛,手机/电脑/汽车+旅游美食游戏兴趣社区

相关侵权、举报、投诉及建议等,请发 E-mail:admin@discuz.vip

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|桂ICP备16003785号

在本版发帖
联系客服
QQ客服返回顶部