在教学实验中,主观认知负荷评分与客观表现指标一致吗?

主观认知负荷评分通常能反映任务难度和表现,但它们与笔速、笔压等客观指标并不总是可靠地吻合。

直接答案

主观评分通常确实会朝预期方向变化:任务变难时,人们报告负荷更高,而这些报告往往与他们的表现好坏一致[1][2]。但与客观指标的一致性较弱。在一项以儿童为对象的研究中,评分与智能笔指标(绘画速度和笔压)各自都与任务难度和表现相关,但彼此之间没有实质关联[1]。因此,评分是负荷的有用信号,但它并不只是客观指标所捕捉内容的重复。

5篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

为什么任务变难时自我评分通常会升高?

认知负荷无法直接看到,因此研究者通过多种渠道间接推断:人们报告的内容、行为方式、表现水平以及生理信号[2]。主观评分是最简单的渠道:任务结束后,受试者说出自己投入了多少心理努力。当研究者有意把任务调难或调易时,这些评分往往会随之变化。在那项以7至12岁儿童为对象的素描研究中,当任务版本被设计为施加更多内在负荷或外在负荷时,儿童报告的内在负荷和外在负荷都更高,且他们的评分与所诱导的负荷和自身表现都有实质关联[1]。

正是这种规律使评分在教学研究中颇具吸引力:成本低、速度快,且对设计者有意设置的难度敏感。同一项研究还发现,绘画的物理痕迹——智能笔的速度和压力——也能反映所诱导的负荷和表现[1]。换句话说,观察同一底层需求的两种不同窗口都显示出了预期的反应。

既然两者都反映难度,为什么彼此不一致?

令人意外的地方在这里。在素描研究中,儿童的评分和智能笔指标各自都与负荷和表现相关,但两者之间没有实质关联[1]。这意味着,报告高负荷的儿童不一定是笔移动慢或用力压笔的儿童。作者得出结论:两种方法都有测量负荷和表现的潜力,但它们是否测量完全相同的构念值得怀疑[1]。

对任何设计实验的人来说,这是一个有用的区分。评分是个人对自身经验的总结性判断;笔速或笔压指标则是他们在完成任务时记录下的行为副产品。两者可以对同一操纵做出反应,但并不能互换。把其中一个当作另一个的替代品,会模糊各自实际告诉你的信息。

客观指标补充了评分遗漏的什么?

客观指标并非单一类别。它们包括表现结果、行为痕迹、生理信号和次任务反应,研究者提出了在共同尺度上比较它们的方法,例如信噪比,从而可以根据不同指标检测负荷变化的能力来评判它们[2]。在一项有28名参与者参与的n-back任务研究中,这一比较框架被应用于四大类指标,作者报告该方法可用于评估单个认知负荷测量指标[2]。

其他研究认为,客观指标在某些方面可能比主观指标更有优势[4],而双任务范式——用次任务的反应时和错误率作为负荷信号——在捕捉认知负荷方面也有其自身局限[5]。实际结论并不是某一类指标胜出,而是每种指标携带不同信息,选择取决于你要回答什么问题。

教学研究者应如何将评分与表现结合使用?

对这些研究最站得住脚的解读是:把主观评分和客观指标当作互补证据,而不是互相校验。评分告诉你任务感觉有多费力,并对设计上的负荷差异做出反应[1]。表现告诉你任务完成得如何,行为或生理指标可以捕捉到个人可能没有意识到的负荷相关变化[2]。当两者出现分歧时,这种分歧本身就有信息量:它可能意味着这些指标在测量不同的构念,正如素描研究所示[1]。

适用范围在这里很重要。评分与客观行为指标最清晰的直接比较来自一项仅有36名儿童完成素描任务的实验室小样本研究[1],因此“两者没有实质关联”这一发现最好被理解为关于该年龄段和任务类型的证据,而非普遍规律。更广泛的指标类型比较来自成人n-back任务[2]以及关于主观指标能可靠捕捉什么的概念性讨论[4][5]。在这些情境中,一致的信息是:主观评分在方向上与表现一致,但不应假定它在细节上也与客观指标一致。

本文引用的文献

1

数字墨水与差异化主观评分用于童年中期认知负荷测量

在36名7至12岁儿童完成标准化素描任务的实验中,主观认知负荷评分与智能笔速度和压力指标各自都与所诱导的负荷和表现有实质关联,但评分与智能笔指标之间没有实质关联。

2

n-back任务中同时进行的认知负荷测量指标比较

研究提出了一种信噪比表现指标,并利用28名参与者在不同难度n-back任务中的数据,在同一尺度上比较了四大类认知负荷测量指标,报告该方法可用于单独评估不同指标。

3

T-MOOC、认知负荷与表现:一次体验分析

该研究使用经过验证的量表考察t-MOOC教学环境中的认知负荷,并将其与表现结果关联,指出测量负荷既有客观方法也有主观方法。

4

认知负荷的主观测量:它们能可靠地测量什么?

该论文考察主观认知负荷测量的可靠性,并将其与客观测量进行比较,提出客观测量在某些方面可能比主观测量更有优势。

5

双任务范式及其捕捉认知负荷局限性的当前观点

该论文讨论了基于反应时和区间错误的双任务范式作为客观认知负荷测量方法,概述了其在教学环境中捕捉认知负荷的局限性,并将其与主观评分进行对比。