贴现不只由时间决定,注意力也在起作用
标准的指数贴现模型和双曲贴现模型假设,一个未来奖励被贴现多少只取决于它何时到达。本文从一个不同的观察出发:人们赋予某个奖励的价值,常常受到同一序列中其他奖励的数量和时点的影响。论文提出的解释是注意力。
该模型借用了视觉注意力研究的三项发现。注意力会被高奖励线索吸引,奖励越大吸引越强。注意力是有限的,当许多项目相互竞争时,每一项得到的加工都更少。注意力还会放大价值,因此被注意到的选项会被赋予更高价值。论文假设,当决策者评估一串在不同时点交付的奖励时,同样的机制也在起作用。
论文中的具体例子是今天得到30英镑、一个月后得到20英镑。如果未来奖励提高到3020英镑,这个大奖励可能占据大部分注意力,使30英镑得到更浅的加工,因而相对原序列被低估或降权。另一种情况是,用更多奖励延长序列,会把有限的注意力摊得更薄,同样降低每个奖励被放大的程度。
注意力如何变成类softmax贴现因子
模型假设决策者分别评估每个奖励序列。对于从第0期到第T期交付的一串奖励,模型给每个时期分配一个决策权重,序列的价值就是各奖励的加权和。这些权重扮演的就是贴现因子的角色。
贴现由两个特征产生。第一,权重随该期奖励的效用上升,因此较大的奖励获得更大权重。第二,权重在整个序列上之和为一,因此增加更多时期或更大的竞争奖励,会减少任何给定时期可获得的份额。论文指出,由此得到的贴现因子服从类似多项logit函数的分布,也就是广泛用于建模注意力的softmax形式。
这就是它被称为注意力时间贴现模型的原因:贴现因子不是延迟的固定函数,而是注意力如何在被评估的整个序列上分配的结果。
公理分析与脉冲神经网络两条推导路径
论文用两种方式刻画这些贴现因子。第一种是建立在最优贴现框架上的公理分析。决策者对奖励序列的偏好由各奖励的加权和表示,其中权重是某个最优贴现问题的解。论文再用两条额外的行为公理,即序贯结果中间性和分组不变性,来确定这些权重的形式。
序贯结果中间性是说,当在序列末尾追加一个新奖励时,扩展后序列的价值应位于原序列与新奖励之间。分组不变性则约束新加入奖励的权重与同一序列在不同分组方式下得到的权重之间的关系。与最优贴现表示一起,这些公理推出了注意力形式。
第二种刻画是神经计算层面的:论文表明,同样的贴现因子可以在一阶近似下从简单脉冲神经网络的学习动态中涌现。这是一种机制层面的演示,而不是对神经数据的经验拟合,论文将其作为通向同一函数形式的互补路径。
一个机制解释多种跨期异象
论文关于解释力的核心主张是,同一注意力机制解释了标准贴现模型难以处理的一系列异象。这些异象包括隐藏零效应、S形价值函数、跨期相关性厌恶、集中偏差和计划不一致。
隐藏零效应来自序列长度。由于权重在决策者考虑的各个时期上之和为一,用更多时期(包括零奖励时期)描述同一结果,会把注意力摊薄并改变序列价值。论文因此讨论了序列被感知的长度以及描述它所用的时间单位为何会影响预测的贴现。
模型还为一些已有充分记录的现象识别出新的决定因素,尤其是共同差异效应和时间彩票上的风险厌恶。在共同差异情形中,论文附录推导出该效应成立的一个条件:奖励效用的绝对差和相对差必须显著大于奖励延迟之差。这个条件说明的是该效应何时出现,而不是断言它总会成立。
计划行为取决于权重是否更新
论文把模型扩展到跨期消费计划。在第0期,决策者根据默认贴现因子选择消费计划;在第1期,她根据当时适用的因子重新计划。分析区分了两种情况。
如果默认贴现因子不更新,决策者相对第0期的计划会在第1期消费不足。如果默认因子改用最近一次计划中形成的注意力权重来更新,她则会过度消费。论文分别称之为无学习的行为和有学习的行为,并表明修正方向取决于两种机制中哪一种占主导。
这一结果的重要性在于,它把注意力解释与一个具体、可观察的计划修正模式联系起来,并使更新假设(而不只是权重函数)成为预测行为的决定因素。
序列长度是建模选择而非观测结果
模型的预测取决于决策者感知到的序列长度,论文明确指出这一长度通常无法被研究者观测到。因此论文讨论了三个实际问题并给出建议。
第一个是时间单位。“1个月后收到10英镑”和“30天后收到10英镑”描述的是基本相同的等待,但后者可以用多得多的时期来表示。由于更多时期会稀释注意力,模型预测用天数表示时贴现更重,论文指出这与数量效应一致。其建议是选择与呈现给参与者的时间单位相匹配的序列长度。
第二个是序列在哪里结束。假设序列在最后一个正奖励处终止,意味着模型无法区分两个长度不同的恒定序列,因此“现在、一个月后、两个月后各得10英镑”的现金流会与“现在得10英镑”被赋予相同价值。论文提出的补救办法是假设决策者总是额外纳入一个或固定数量的时期。第三个问题是占优违背:在末尾加一个很小的奖励可能降低序列价值,这与部分证据相符,却会错误预测人们拒绝一个小的附加奖励。增加末尾零时期可以减少这种违背出现的频率。
这些是研究者必须自行提供的假设,论文自己的讨论表明,估计和预测会随这些假设而改变。该分析是理论性和公理化的,异象是被解释的,而不是在本文报告的数据集中重新检验的。
关键在于权重,而不只是延迟
论文最具影响的转变是重新定位贴现的来源。在这一解释中,一个奖励的贴现因子不是其延迟本身的属性,而是该奖励在被评估序列中所占据的有限注意力份额。正是这一改变,让一个机制能够覆盖隐藏零效应、集中偏差、计划不一致以及其他现象。
对于比较模型的读者,实际含义是把被感知的序列(包括其长度、时间单位和终点)视为模型设定的一部分,而不是中性的表述选择。论文关于时间单位和末尾时期的建议,正是这一设定改变预测的具体之处。
论文也提出了开放问题而非给出定论:人们在决策时实际会看多远,以及选择、记忆、视觉和语言中的注意力机制能否整合进一个统一框架。这些被表述为未来研究方向,而不是研究结果。
本文引用的文献
An Attentional Model of Time Discounting
提出有限且受奖励驱动的注意力会产生类似多项logit函数的贴现因子,并通过基于最优贴现框架的公理分析和脉冲神经网络两种方式加以刻画,表明该模型能解释隐藏零效应、S形价值函数、跨期相关性厌恶、集中偏差和计划不一致等异象。
