剥离推理成分的感知基准
多数面向多模态大模型（MLLM）的视觉基准把感知与推理、领域知识混在一起，涉及工程、医学、艺术等场景。这样一来，就很难判断模型究竟真的看见了图像，还是靠语言先验和学到的知识填补空白。Percept-V 只隔离出第一步：6000 张程序生成的图像，分布在 30 个领域中，由圆形、三角形、正方形等简单几何对象构成，排列成网格、行和迷宫等基本结构。
这些任务几乎不需要推理，也不需要专门知识。正确答案在生成图像时一并计算得出，因此不存在标注歧义；程序化生成还消除了测试集污染的风险。每个领域包含 200 张图像，问题规模通过物体数量、网格大小或所需处理步骤来变化，作者据此测量准确率随视觉复杂度上升的变化。
借用认知科学的七项感知技能
数据集围绕 TVPS-4 组织。这是认知科学中的一个框架，把人类视觉感知划分为七项技能：视觉辨别、视觉记忆、视觉序列记忆、视觉图形—背景区分、视觉形状恒常性、视觉闭合和视觉空间关系。Percept-V 的每个领域测试其中一到三项技能；同一个领域可能出现在多项技能之下，因为解决它可能需要不止一种感知操作。
这种映射对理解结果很重要。一个分数不是笼统的“视觉分数”，而是模型在某一特定技能上的准确率，并在归入该技能的多个领域上汇总。例如，视觉空间关系涵盖数出矩形上方和下方各有几个圆、走迷宫等任务，视觉闭合涵盖匹配轮廓和阴影。论文同时报告按技能的平均值和按领域的准确率，这两个层级不能互相替代。
顶尖模型全数据集平均仅 41%
作者评估了四个闭源模型（GPT-5-mini、GPT-4o、o4-mini、Gemini 2.5 Flash）和四个开源模型（Qwen 2.5 VL Instruct-7B、DeepSeek VL2 Tiny、Qwen-3VL-8B-Thinking、Gemma-4-31B-it），并开展了一项人类研究。在单样本设置下，全数据集准确率为 GPT-5-mini 52.13%、o4-mini 51.01%、Gemini 2.5 Flash 43.79%、GPT-4o 18.21%，四个模型的平均值为 41.28%。
论文的讨论部分指出，任何模型的最佳平均表现为 66.9%，相比之下人类表现非常高。这一差距是核心发现：能处理复杂推理任务的模型，仍然会在简单的感知问题上出错。作者原本的预期恰恰相反，认为现代 MLLM 会轻松解决这些领域。
空间关系最易，序列记忆最难
按技能汇总的平均值进一步拉开了模型之间的差距。在技能表中四个模型的平均成绩为：视觉空间关系 53.7%、视觉图形—背景区分 49.16%、视觉辨别 39.68%、视觉形状恒常性 39.01%、视觉记忆 38.2%、视觉闭合 37.51%、视觉序列记忆 32.46%。GPT-5-mini 和 o4-mini 的平均成绩接近 51%–52%，而 GPT-4o 平均为 17.62%。
领域层面的结果显示了准确率在哪里崩塌。“colours present”在四个模型上平均仅 2.89%，“layered shapes”为 17.95%，而“circle right triangle”达到 88.87%，“inside circles”为 83.85%。同一技能内部的巨大差异说明，仅凭技能标签无法预测难度，真正决定难度的是该领域要求的具体操作。
物体更多、答案有序时准确率下降
预训练模型反复出现两种失败模式。第一，无论问题规模由物体数量、网格大小还是所需处理步骤决定，准确率都随规模增大而持续下降。第二，上下文示例不但没有帮助，反而有害，作者将其归因于模型处理多图像上下文的困难。
答案格式构成另一重约束。附录分析发现，GPT-5-mini、Gemini、o4-mini 等思考型模型在答案为无序集合时对规模变化相对稳健，但答案为有序列表时并非如此。按正确顺序给出正确元素，与识别出这些元素是两种不同的挑战。相比之下，提示风格只带来小幅变化：GPT-5-mini 在简洁提示下得 53.63%，在冗长提示下得 52.93%；Qwen 则分别为 13.34% 和 14.4%。
微调有效，但收益几乎无法迁移
在 Percept-V 上微调一个开源 MLLM，能在该基准本身带来可观提升。但这些提升只有很小一部分迁移到其他相关数据集，作者将其解读为所学表征的泛化能力有限。消融实验进一步表明，视觉表征和多模态对齐都需要微调才能达到最佳表现，这说明瓶颈在于底层表征和对齐，而不只是提示方式。
另一项记忆实验让诊断更清晰。作者先微调模型，把图像编码为唯一的文本 ID 存入参数记忆，然后在测试时完全移除图像，只用该 ID 提问。在这种长时回忆约束下，模型表现骤降至 1.23%。作者由此得出结论：MLLM 既无法维持短期视觉表征，也无法检索长期视觉记忆。
感知仍是独立的瓶颈
论文自身的解读是，这些结果暴露了构建更稳健 MLLM 所必须解决的感知局限。由于 Percept-V 刻意压低推理和知识要求，低分无法被解释为高层推理失败，它指向的是视觉信息如何被编码、保持和使用。附录中的 2D 与 3D 对比符合“脆弱性”而非“缺少单一能力”的判断：GPT-5-mini 在六个领域的 2D 渲染上平均 73.50%，3D 渲染上为 55.33%；Qwen 则从 39.8% 变为 44.5%。
实际优先级来自这一整体模式，而非任何单个数字。损失最陡的地方出现在需要追踪大量物体、需要保持顺序、以及表征必须在没有图像时仍然存续的任务上。对于比较模型的读者，相关的参照点是接近 41% 的全数据集平均值和 32%–54% 区间的技能平均值，而不是 circle right triangle 或 inside circles 这类少数简单领域上的高分。
本文引用的文献
The Percept-V Challenge: Can Multimodal LLMs Crack Simple Perception Problems?
在 Percept-V 上——6000 张程序生成图像，分布在 30 个映射到 TVPS-4 感知技能的领域——当前最先进的 MLLM 平均准确率为 41.28%，最佳模型平均为 66.9%，人类表现非常高；准确率随物体数量增加而下降，微调收益几乎无法迁移到相关数据集。