两个障碍限制探索Wikidata的智能体
Wikidata保存着有来源的显式陈述,但要把它们组合起来,通常需要写一条SPARQL查询,指明正确的实体和属性并串联它们的关系。语言模型可以用自然语言作答,但它主要凭记忆回答;论文指出,这对知名度较低的实体最不可靠,而且无法说明答案来自何处。因此这项研究考察的是通过探索图谱、而非回忆来作答的智能体。
论文认为有两个障碍拖住了这类智能体。第一个是数据:训练智能体探索,需要难度可调、答案可核验的任务上的探索轨迹,而在开放网络上很难保证一个问题恰好只有一个答案、且每条线索都必不可少。冻结的知识图谱让这两项检查都可行。第二个是接口:在枢纽实体上走一步就可能返回成千上万个邻居和陈述,而工具调用型智能体会把这些结果加进对话,长上下文研究显示模型会因证据位置不同而漏掉证据,并随输入增长而降低准确率。
通过隐藏命名实体来生长问题
作者把一个问题表示为一组对未知答案的约束,其中每个条件通过一个属性和一组实体来限制答案。一个条件的候选数是整个图谱中单独满足它的实体数量;例如“参加过勒芒24小时耐力赛”的候选数为2,331。论文用这个数量作为歧义程度的代理指标,因为候选越多的条件单独对答案的限制越弱。
为增加难度,两个算子把命名实体变成隐藏实体。SELECT选择下一个要隐藏的命名实体,EXPAND把它的单元素集合替换为描述该实体的、由一到三个条件组成的条件束。反复执行这一对操作就加入嵌套依赖。每次扩展都必须通过两项检查:认证,即完整的问题图只识别出种子实体;必要性,即去掉任一新增条件都会引入另一个答案。作者还会剔除泄露隐藏名称的线索,并要求每个条件至少匹配两个候选。
问题构建在2026年2月的冻结Wikidata快照上,该快照约有4,800万个实体和2.62亿条事实。种子在实体类型、语言和知名度上有所变化,其中一部分只用阿拉伯语、俄语或中文描述,并用长尾分数在热门、中等和稀有种子间抽样。作者选出2,973个种子,并尝试从其中2,160个生成问题,要求至少三次扩展、深度至少为三,上限为十次扩展、深度为七。
框架把证据存起来而不是灌进上下文
评测比较了访问同样13个图谱函数的两种接口。RLM框架给模型一个持久化的Python REPL,它可以在其中组合函数调用、过滤结果并把中间数据存入变量。工具调用型智能体则把这些函数作为工具接收,输出作为对话消息,用OpenAI Agents SDK实现。由于两种接口使用同样的函数,论文指出主要差别在于模型如何编排调用、如何管理检索到的证据。
框架还提供llm_query和llm_map两个辅助函数,通过模型子调用解读传入的证据,而这些辅助函数没有图谱访问权限。主模型在Python中存储和过滤图谱结果。作者说明,评测检验的是这一组合接口,而不是单独分离出递归调用的作用。
预算并没有让图谱调用次数相等:智能体每题最多100次模型调用、成本上限0.50美元,而RLM运行最多100轮、80次子调用,且一个Python单元可以执行许多次图谱调用。两种接口都把可见输出截断在10,000个字符。论文正是因此把图谱调用次数与准确率一并报告。
两个模型在框架下都有提升
在100道问题上(50道单实体、50道多跳),框架让两个都在两种接口下运行的模型都有提升。gpt-6-luna从49题提升到61题,单GPU上服务的开放权重模型Qwen3.8-27B从60题提升到74题。多跳部分的提升更明显:gpt-6-luna从50题中答对9题升到19题,多跳准确率翻倍;Qwen3.8-27B从20题升到28题。
提升来自更常走到目标,而不是更好地解读目标。在50道多跳问题上,gpt-6-luna作为智能体有17次触达目标实体,在框架下有35次;Qwen3.8-27B从27次升到39次。一旦触达目标,两个模型在两种接口下答对的比例大致相同。作者认为这与“限制长程搜索的是证据管理而非模型本身”一致,同时指出这一比较只覆盖两个模型,且图谱调用预算并不对等。
这个开放权重模型还取得了评测中的最高分,100题中74题,在两种接口下都高于gpt-6-luna:框架下74对61,作为智能体时60对49。GLM-5.3-flash和Gemini-3.1-flash-lite只作为工具调用型智能体运行,分别得50题和41题。
多跳问题在每种配置下都更难
在测试的每种配置下,多跳问题都明显比单实体问题更难:50题中答对9到28题,而单实体为31到46题。论文明确指出,这一差距也反映了两个问题集之间的其他差异,因此还不能说明难度取决于扩展的深度或数量。要检验这一点,需要按图结构做分析,并由人工估计书面问题在多大程度上忠实保留了其问题图。
这是研究的第一条假设,即图谱搜索的难度能否通过问题结构来控制,而不只是靠冷僻实体或措辞。认证和必要性提供了一种可检查的方式来生长出所有条件都必须被用上的问题,但论文认为结构性的解释仍未定论。
公开的轨迹只有开放模型带推理过程
作者公开了10,235条覆盖单实体和多跳问题的求解轨迹,以及产生这些轨迹的RLM框架。轨迹由哪个模型生成,决定了它包含什么。gpt-6-luna这类商业前沿模型在内部推理,只返回最终回复;而Qwen3.8-27B会返回完整推理过程,框架把它与每一轮的代码、输出和图谱调用一并记录。因此,来自开放模型的轨迹可以包含每个动作背后的推理,并且可以在本地生成,没有按token计费,也没有限制其用于训练的供应商条款。
这些轨迹在收集时,模型提示中包含指向解题路径的、由图谱推导出的线索,而公开的提示省略了这些线索。论文指出,因此收集过程偏向死胡同较少的直接路线;同时每个问题图只标识一个目标,每个问题有固定的预期答案,所以该数据集不包含有多个有效答案或没有答案的样例。
证据对三条假设的支持并不均衡
框架的结果是三条假设中最强的,它在两个模型上成立,但图谱调用预算并不对等。开放性结果只是一次评测:单块H100 GPU上服务的开放权重模型得分最高,但这些轨迹能否把这种能力传递给更小的模型仍未检验。作者提出在轨迹上微调一个约12B参数的更小开放模型,并在同一框架下与其基座模型对比评测。
结构性假设最不确定,因为多跳差距与两个问题集之间的其他差异混杂在一起。更广泛的测试还需要把GLM-5.3-flash和Gemini-3.1-flash-lite也放进框架运行,在更大的问题集上重复实验,让图谱调用预算对等,并启用或禁用子调用辅助函数,以显示框架的哪些部分贡献最大。
决定性的检验是训练更小的开放模型
对于正在权衡是否采用这一方法的读者,论文自身的优先级排序比头条准确率更重要。框架的增益是在模型固定的条件下展示的,因此它是最可迁移的发现:在结构化公共知识上,能力有一部分来自模型周围的环境,而不只来自模型本身。开放权重结果只是单块GPU上的单一配置,而关于问题难度的结构性论断被明确列为尚未解决。
作者特别指出的下一步,是在公开的轨迹上微调一个约12B参数的更小开放模型,并在同一框架下与其基座模型对比评测。这一检验将显示这些轨迹能否让小于27B的模型在这些问题上可用,而这正是决定可复用贡献是数据集本身、还是仅框架的问题。
本文引用的文献
Wikidata Search Traces: A Dataset for Training Knowledge Graph Search Agents
在100道Wikidata问题上,一个把图谱结果保存在持久化Python状态中的递归语言模型框架,把gpt-6-luna的正确答案数从49提升到61,把Qwen3.8-27B从60提升到74;对照条件是直接调用同样这13个图谱函数。
