信心等内在奖励如何偏置视觉资源分配?

信心与误差反馈作为内在奖励,把视觉工作记忆资源推向更容易的项目,反而损害整体准确率。

直接答案

信心等内在奖励对视觉资源分配的偏置方式与金钱类似:观察者会学会把更多编码资源投向自己觉得判断更准确的那个刺激,即使这样做会抬高整体误差。在一系列视觉估计实验中,这种由信心驱动的偏置提高了本就容易项目的精度,却让估计较差的项目表现更差;作者在归一化模型中加入强化学习规则后,定量复现了这一效应。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

信心像奖励一样引导注意

这篇论文要问的是:一种内在感受——对自己判断的信心——能否起到金钱或食物在奖励实验中起到的作用,让某个刺激获得更多视觉加工资源。简短的回答是能。当观察者反复在某个颜色的刺激上体验到更低误差或更高可靠性后,他们随后会把更多神经资源分配给该刺激;而且这种偏置在奖励完全来自内部、而非额外奖金时也会出现。

关键限定在于,这种优先化并不是最优的。由于观察者无法控制每次测试哪个刺激,把资源集中在自己感觉良好的项目上,会使整体估计误差高于平均分配资源。因此作者把这一效应描述为同时具有适应性和反效果:局部合理,整体代价高。

欺骗性反馈与真实难度都改变了信心

研究共招募215名无先验经验的观察者,开展了一系列视觉估计实验。每次试验呈现两个随机点运动图——由运动圆点组成的斑块,一个绿色、一个蓝色——随后观察者报告被提示刺激的运动方向。再现误差用来衡量该刺激被编码的精确程度。

信心通过两种方式被改变。实验2中,逐试次的反馈被做了手脚:一种颜色刺激的反馈误差被放大,另一种被缩小,于是观察者逐渐相信自己不擅长一种颜色、更擅长另一种。实验3不给反馈,而是在多数试次中让一种颜色以85%相干度呈现、另一种以45%呈现,制造真实的难度差异。关键在于,精度随后在两类刺激均为65%相干度的交错试次上测试,因此残留的颜色优势只能来自习得的优先化,而非刺激本身。

资源以约二比一偏向更容易的项目

一个神经资源分配的群体编码模型估计了每个刺激获得多少有限资源。实验2a中,观察者以1.18:1的比例把资源偏向反馈误差被缩小的项目。实验3a中,比例为1.76:1,偏向高相干度颜色;实验3b的同时呈现实验室条件下为1.61:1。

这些是分配比例,不是准确率分数,这一区分很重要。同一模型还模拟了在每项任务中哪种分配能使整体反应方差最小。对多数观察者而言,最优解接近平均分配,因为把资源灌入低相干度项目无法让它摆脱知觉噪声,反而会明显损害高相干度项目。观测到的权重可靠地大于最优权重,由此产生的整体误差也高于最优策略的预测(实验3a中平均绝对偏差为0.627对0.569)。

偏置出现在刺激于编码阶段竞争时

偏好颜色的优势依赖于两个刺激被一起编码。当实验3b改为顺序呈现、移除编码阶段的直接竞争后,估计分配为1.2:1偏向高相干度颜色,但与平均分配没有可靠差异。观察者仍能说出哪个项目更难,相干度确实不同时精度也仍偏向高相干度刺激,然而等相干度条件下的优势消失了。

这一模式把效应定位在编码阶段:偏置不是报告某一颜色时决策阶段的偏好,而是记忆阵列形成过程中注意资源的不均分配。要求注视点固定的实验室版本同样出现了该效应,因此它不需要朝偏好刺激做出外显眼动。

累积的奖励价值可预测资源分配

为解释这一偏置,作者在神经资源分配的归一化模型中加入了一条简单的强化学习规则。再现某个刺激所获得的奖励——外部积分、反馈误差或内部信心——会与该刺激的识别颜色关联,提高其主观价值,并偏置后续相遇时的资源分配。

该模型最有力的检验是比较两个独立估计。仅凭行为误差、不含任何奖励信息自由拟合出的分配参数,与根据累积奖励历史预测的分配高度相关(r = 0.976)。中位数分割分析补充了试次层面的支持:在全部四个实验中,模型预测被测试项目获得低于平均资源的试次,反应误差更大,贝叶斯因子从实验3a的3.74到实验1的5.55 × 10⁴。

这是计算解释,而非直接的神经测量

强化学习解释是对行为数据的拟合;论文没有记录神经活动,因此“内在与外部奖励共同塑造刺激价值”这一说法,是一个在数量上与数据吻合的基于模型的解释,而不是被测量到的机制。资源分配本身同样是通过群体编码模型从误差分布推断出来的,而非直接观测。

范围也受任务限制。观察者无法选择测试哪个刺激,这正是观测到的偏置抬高整体误差的原因;在人们能把行为引向更有价值项目的场景中,同样的价值驱动分配可能带来收益。顺序呈现的结果进一步表明,该偏置需要编码阶段的同步竞争才会出现。

关注主观胜任感与实际收益之间的落差

论文最有用的区分在于信心从何而来与它做了什么。信心可以由误导性反馈制造,也可以源于刺激可靠性的真实差异,两条路径产生了同方向的偏置:资源流向已被判定为更容易的项目。决定性的比较不是有奖励与无奖励的试次,而是观测分配与误差最小化分配,而在每个检验过这一点的实验中,两者都出现了分离。

这一落差就是论文的实践重点。如果学习者或操作者的胜任感只校准在容易的刺激子集上,他们就会持续把资源喂给这个子集,拉大容易与困难项目之间的精度差距。模型的奖励历史预测与自由估计的分配相关达r = 0.976,说明这种漂移可以从累积的“感觉成功”记录中预测,而不必依赖刺激本身。

本文引用的文献

1

Intrinsic rewards guide visual resource allocation via reinforcement learning

信心等内在奖励会把视觉工作记忆资源偏向被判定为更容易的刺激,归一化模型加入强化学习扩展后可复现观测到的分配与误差模式。