循环潜在推理实际上在做什么？
循环潜在推理意味着模型将长任务分块处理，并持续维护一份运行摘要（即“思维链”），记录已完成的工作和剩余任务。这避免了一次性处理整个序列所带来的高昂计算成本，对于内存有限的小型模型尤为重要。在2026年的一项研究中，R2VLM模型采用这种方法处理长视频任务，在迭代处理短视频片段的同时更新思维链，记录任务分解和完成状态[1]。这使得它能够处理长时程任务，而无需承担全视频处理的计算负担，并在进度估计方面达到了最先进的水平[1]。
它真的能防止重复犯错吗？
证据好坏参半。一方面，2023年的一项研究表明，小型模型（T5，参数最多达110亿）可以通过从更大的模型（GPT-3.5，参数超过1750亿）中蒸馏知识，专门用于多步数学推理，而这种专门化提升了它们在数学基准测试上的准确率[5]。这表明，将小型模型的有限能力集中于特定任务可以减少错误。另一方面，2022年一项关于基于复杂度的提示研究则发现，虽然选择推理步骤更多的提示平均提升了+5.3个百分点的准确率，在某些基准上甚至提升了多达+18个百分点，但这种提升并非在所有任务上都一致[2]。这意味着复杂推理链的益处取决于任务本身的性质。
有什么代价？权衡与局限
主要的难点在于，提升某一任务的推理能力往往以牺牲其他能力为代价。2023年的专项研究明确指出了这种权衡：通过降低通用能力的代价，他们可以将小模型的扩展曲线提升至专门的数学推理水平[5]。这意味着，一个在数学上表现出色的小模型，在其他任务上可能会变得更差。此外，像R2VLM这样的循环推理框架需要在大规模自动生成的数据集上进行训练，而这些数据集并非每个领域都具备[1]。最后，2022年关于基于复杂度的提示研究发现，复杂提示的优势在格式扰动和分布偏移下依然稳健，但该研究仅限于特定基准测试[2]。
关于这些来源
这个回答基于5项研究（2篇经同行评审，3篇为预印本），发表于2022年至2026年间，其中1篇为2024年或之后发表，合计被引用224次。这些研究是从5项通过质量筛选的研究中选出的最相关成果，而这些研究又源自从超过5亿篇论文数据库中检索到的45篇文献。
本文引用的文献
使用视觉-语言模型进行循环推理以估计长时程具身任务进度
R2VLM模型采用带有演化思维链的循环推理方式，在ALFRED和Ego4D数据集上的长时程任务进度估计中取得了最先进的性能，展现出强大的泛化能力。
基于复杂度的提示方法用于多步推理
基于复杂度的提示方法，通过选择推理步骤更多的示例，在数学和BigBenchHard基准测试上将多步推理准确率平均提升了5.3个百分点，最高可达18个百分点，并且对格式变化具有稳健性。
循环正交网络与长记忆任务
对长记忆任务中RNN的分析表明，解的显式构造揭示了循环网络如何存储信息，从而解释了酉初始化约束在长期依赖问题上的成功。
ART：面向大型语言模型的自动多步推理与工具使用
ART框架能够自动生成推理步骤并整合工具使用，在未见过的BigBench和MMLU任务上显著优于少样本提示和自动CoT，在大多数任务上与手工设计的提示效果相当。
让小型语言模型专注于多步推理
通过模型特化，将GPT-3.5（175B+）的推理能力蒸馏到T5变体（≤11B）中，提升了多步数学推理的准确性，但代价是通用能力下降，这凸显了两者之间的权衡。