[T2S-Bench] 思维结构化：突破 LLM 文本处理瓶颈的新范式

TL;DR

在处理复杂文档时，人类习惯于“画重点”并厘清各点之间的逻辑关系。本文提出的 Structure of Thought (SoT) 提示策略正是模拟这一过程，要求 LLM 在生成最终答案前，先将文本转化为由节点和链接组成的结构化图。配套发布的 T2S-Bench 基准测试揭示了一个残酷现实：即便最顶尖的模型在“提取结构”这一基础能力上仍有巨大提升空间，而这一能力的增强能直接带动下游各类文本任务的 SOTA 飞跃。

痛点深挖：为什么 CoT 在通用文本任务中“失灵”？

在大模型推理领域，Chain-of-Thought (CoT) 几乎是标准答案。然而，在 Find-Fuse-Form（寻找-融合-成型）的通用文本处理管线中，CoT 往往表现出不稳定性。其核心痛点在于：

1. 中间表示缺失：端到端生成缺乏可审计的逻辑锚点。
2. 逻辑噪声：文本任务不像数学，顺序的文字链条容易迷失在长上下文的海洋中。
3. 不可控性：模型往往“跳步”或生成与其内部检索结果矛盾的解释。

作者认为，文本结构化（Text Structurization） 才是通向可靠文本理解的“通用中间表示（IR）”。

方法论详解：Structure of Thought (SoT)

SoT 的核心思想非常直观：先建图，再回答。

图 1：SoT 与 CoT 的对比。实验证明 SoT 在 8 个不同任务和 3 个模型家族中一致优于 CoT。

T2S-Bench：基于学术权威的评测集

为了衡量这一能力，作者从学术论文中提取了“文本-结构对”。学术论文的原理图/流程图（Diagrams）经过作者设计和审稿人背书，具有极高的准确性。

构建流程：

1. 多模态匹配：通过模型搜索（GPT-5.2/Gemini-2.5），在 6 大科学领域中定位带有结构图的论文。
2. 结构提取：将图表转化为 JSON 格式。
3. 多步推理设计：设计了四类结构感知的挑战题：
   • 故障定位（Fault Localization）：如果 A 坏了，哪些下游节点受影响？
   • 功能映射（Functional Mapping）：哪个节点负责聚合信息？
   • 边界测试（Boundary Testing）：某种条件下哪个逻辑链条失效？
   • 反事实推理（Counterfactual Reasoning）：如果不经过 B 而是直接走 C，结果如何？

实验与结果：顶尖模型的“滑铁卢”

作者对 45 款模型进行了深度“体检”，结果令人不安。

表 2：结构提取精度（Node/Link Score）。即便 Gemini-2.5-Pro 在节点识别上也仅有 58.09% 的相似度。

关键洞察

1. 节点提取最难：模型更擅长在已知节点的情况下连线（Link F1 较高），但在从原始文本中“发现”节点上表现拉胯。
2. 开源模型正在赶超：DeepSeek-R1 和 Qwen3 系列在多项指标上已能硬刚 GPT-5.2。
3. 复杂度陷阱：随着图中节点数增加（>14个），大多数中小规模模型（如 Llama-3.1-8B）会出现毁灭性的性能塌陷。

图 2：随节点数量增加，模型的 Link F1 分数锐减，揭示了处理高复杂度逻辑结构时的脆弱性。

深度洞察与总结

T2S-Bench 不仅仅是一个新的榜单，它定义的 “思维结构” 概念为 AI 的透明推理指明了方向。

局限性 (Limitations)： 目前数据集高度依赖学术论文，在文学创作、法律文书等非高度结构化文本上的表现仍待验证。此外，自动化管线中依然存在对多模态模型（如提取图中 JSON）的二次依赖。

展望 (Future Work)： 未来的长文本模型不应只是增加 Context Window，而应在预训练阶段注入“建图”这种能力（Inductive Bias）。这种将非结构化文本实时转化为可查询图的能力，可能就是下一代 System 2 推理引擎 的核心。