大语言模型会为关系推理构建认知地图吗？

拼接激活以检验内部结构

核心工具不是新基准，而是一种干预。作者先运行一个提示，在关系陈述所覆盖的范围内记录每个 Transformer 解码器模块的输入，再把这些记录堆叠成一个激活张量。随后，他们从另一个上下文取来张量，用其中的片段替换选定片段，构造出“马赛克”，最后读出模型对某个查询的答案概率。由于只有记录下来的内部状态被改变、查询保持不变，答案分布的变化就指向被替换片段所承载的信息。

这一设计决定了如何理解后续所有结果。一个只是答对关系问题的模型，可能依赖表面启发式、记住的名字关联或词元位置。把某个实体的激活片段替换为来自不同名字提示的片段，作者就能检验模型是否表现得像该实体已在同一关系结构中占据另一个位置。每个条件使用 50 组随机抽取的实体分配，答案按全词表上的下一词元概率计分，每个答案占一个词元。

规模决定推断能力，而非格式

行为结果划定了适用范围。参数量超过一百亿的模型能够推断实体之间未明说的关系，并泛化到合成实体名；这些名字是随机三字母字符串，被选为在空格后只切分为一个词元。替换名字是关键控制：它去除了关于 Alice 或 Beth 是谁的先验知识，只留下提示中给出的关系结构。

模型集合包括 4B、12B 和 27B 的 Gemma 3，8B 和 70B 的 Llama 3.1 Instruct，以及从 0.6B 到 32B 的 Qwen3，因此规模边界来自同一模型家族内部的比较，而不是单一的一对模型。论文报告，只要模型能完成底层任务，马赛克模式就在每个关系推理设置和每个受测模型上成立。这个前提才是真正的边界：关于表征的解释针对的是已经能解决任务的模型，而不是用来解释较小模型为何失败。

单个片段承载结构角色

第一个马赛克实验把控制提示中某个实体位置的激活片段，替换为来自供体提示的对应片段；供体提示使用完全不同的名字，但关系形式相同。如果该片段只承载名字，模型就应把被替换的实体当作那个名字。结果并非如此：模型恢复出的关系与“该实体接管了供体实体在整个结构中的位置”一致，包括直接关系、涉及相邻实体的关系，甚至两步关系及其反向关系。

作者据此排除了两种更简单的解释。如果张量只编码词元位置，模型会把马赛克读成一个序列，不会产生两步推断。如果它编码的是两个仅由共享名字连接的母女对，跨对推断同样会失败。能同时符合所有观察的，是对整个关系结构的表示，其中实体名绑定到结构角色，即实体在整体结构中的位置，而不是它在句子中的槽位。

身份与角色相加而非纠缠

下一个实验检验名字如何附着到角色上。按照论文的平行四边形假设，激活张量中某一行对应一个名字绑定到一个角色，它可以近似分解为依赖名字的分量加上依赖角色的分量。从几何上看，把任意两个名字与任意两个角色配对应构成平行四边形，这预测：实体切换角色时的活动变化不取决于它是哪个名字。

作者通过从两个把同一名字放在不同角色的供体提示中减去该名字对应的行，抵消共享的名字分量，从而估计这一变化，即角色交换向量。再把这个向量加到控制张量的一个实体上、从另一个实体上减去，就应交换两者的角色。模型的表现符合预测，而且这一模式在大多数关系推理设置和受测模型上成立。结果是一种线性分解：一个分量承载与名字无关的结构，另一个分量承载实例化该结构的名字。

链接被存储并在查询时组合

另一个问题是结构分量如何组织观察到的关系。论文对比了两种解释：回顾式组合认为观察到的关系以成对链接存储，查询需要时再组合；前瞻式解释认为每个实体事先被放入全局坐标系。马赛克证据支持前者：多步推断主要依赖分别表示的关系，并在查询要求时组合。

这一区别改变了此处“认知地图”的含义。模型并不维护所有实体的全景式布局。它持有已经见到的边，并按需遍历这些边，因此未明说的两步关系可以被恢复，而不必作为单独条目存储在任何地方。

稀疏键值对绑定名字与角色

名字与结构角色之间的绑定由键值对介导，这是 Transformer 用来在词元位置之间传递信息的记忆机制。作者通过迭代剪枝识别出一组稀疏、分布式的候选键值对；在一个报告的例子中，保留了 237 个键和 15 个值，合计占全部键值位置的 3.94%。先替换键、先替换值或两者都替换，会产生不同的退化模式，论文据此区分从名字到角色的检索与从角色到名字的检索。

最强的检验是编辑而非擦除。把与某个实体相关的候选“角色到名字”键值对的值替换为供体记忆中的对应值后，模型仍把 Beth 识别为 Alice 的女儿，但把 Beth 的母亲识别为 Daisy 而非 Alice。这两个答案无法调和成一棵逻辑一致的家族树，因此作者称之为单向虚假记忆：扰动少量内部键值对即可产生可预测的行为变化。相关编辑在多个关系推理任务和模型上改变了回答。

这一类比能支持什么、不能支持什么

论文自己的表述是一种类比，而不是同一性断言。它认为这种内部组织类似于认知地图，因为可复用的结构分量会与当前上下文的具体信息结合，这与动物中的图式、心智模型和认知地图所提出的分工相同。支持这一分工的证据是加性分解和查询时组合，二者都通过在开放权重模型中的干预得到确认。

设计本身直接带来两个边界。任务都是受控的关系推理提示，实体名为单词语元，槽位长度固定，因此结果描述的是这些模型如何处理小型、干净的关系结构，而不是开放式文本。因果主张依赖对所列开放权重模型的激活和键值编辑；论文并未证明同样的组织会出现在闭源模型中，或出现在低于规模阈值、未能完成底层任务的模型中。

最有用的结论是解释模型错误时的优先顺序。如果关系以成对链接存储并在查询时组合，那么多步答案出错，更可能应解释为组合失败或名字到角色绑定失败，而不是缺少全局地图。编辑结果进一步明确了这一点：由于少量稀疏键值对可以被改动，从而产生特定方向的虚假记忆，同时保持反向答案不变，绑定步骤正是模型关系行为最可精确控制的地方。

本文引用的文献