测量四项跨领域能力的自评工具
这份工具并不检验学生是否学会了生理学内容。它让学生对自己在四项跨学科技能上作自评,这些技能可能由沉浸式环境培养:概念理解、基于证据的决策、信息与通信技术(ICT)操作,以及将所学应用于实践。题目以正向陈述句写成,采用五点李克特量表,从 1(非常不同意)到 5(非常同意),在线施测,约需 10 至 12 分钟。
这一区分决定了如何理解下文每一个数字。高分代表学生对自己跨领域技能的自评,而不是一项表现测量;论文把效度视为在特定情境下从分数所得推断的属性,而不是问卷的固定属性。
从 34 道试测题缩减为 26 题工具
开发分阶段进行。最初的 34 道题分布在七个初步维度上,由七位教育技术、教学法和心理测量学专家评审,他们对相关性和清晰度打分;内容效度用 Aiken's V 量化,低于 0.70 的题目被修订,低于 0.50 的题目列为删除候选。修订后的工具随后进入试测样本:347 名在读学生中有 322 人返回完整作答,回复率为 92.8%。
对这 34 道题做探索性因子分析,采用最大似然提取和 Oblimin 斜交旋转,因为预期各构念之间相关。取样适当性很高(KMO = 0.966),Bartlett 检验显著(卡方 = 10163.824,df = 561,p < 0.001)。最终出现四个特征值大于 1 的因子,共同解释 76.7% 的总方差。
实证结构与七个理论维度并不吻合。人际技能、持久学习和适应性三个维度的题目被重新分配到保留的四个因子上,另有八道题因载荷低于 0.40 或跨因子载荷差异小于 0.10 而被删除。最终工具有 26 道题:概念理解 5 题、基于证据的决策 4 题、ICT 操作 5 题、应用于实践 12 题,后者吸收了原本标为人际、实践和持久学习的题目。
信度极高,但第一个因子占主导
内部一致性异常强:Cronbach's alpha 为 0.993,校正后题总相关在 0.752 至 0.943 之间。旋转前,仅第一个因子就解释了 62.4% 的方差,作者将其解读为工具背后存在一个强的通用能力维度,而不是四项完全独立的技能。旋转后,方差更均匀地分布到四个因子上,旋转平方和载荷分别为 19.761、12.515、15.502 和 10.933。
这一解读属于作者的解释,并影响分数应如何使用。如果四个构念共享一个很大的共同核心,那么单一总分和四个分量表分数并不是关于不同技能的等价主张;论文自身的框架把它们视为更广泛的跨领域能力框架中相互关联的侧面。
验证性拟合落在可接受边界上
四因子模型在一个独立的 58 人验证样本中检验(回复率 92.1%)。拟合可接受但并不宽裕:CFI = 0.903 达到常规的 0.90 阈值,TLI = 0.891 略低于该阈值,RMSEA = 0.086 高于偏好的 0.08。作者将部分原因归于多元非正态性(Mardia 多元峰度 = 714.400),已知这会抬高基于卡方的拟合统计量。
收敛效度和区分效度的证据更强。标准化载荷在 0.669 至 0.925 之间,组合信度分别为概念理解 0.929、决策 0.898、ICT 操作 0.951、应用于实践 0.980,四个构念的平均方差提取量均超过 0.50。各构念两两之间的 HTMT 比值全部低于 0.85。
样本量是这里需要留意的约束。58 人的验证样本给出的作答与题目比为 2.23:1,低于常规建议;作者认为高载荷部分缓解了这一问题,但它限制了能对结构模型下多确定的判断。
自评分数缺少外部基准
有两条效度证据较薄弱。反应过程效度只是初步的:两个阶段的高回复率说明参与度尚可,但没有认知访谈或出声思维程序来核查受访者是否按预期理解题目。效标效度、同时效度和预测效度均缺失,因此论文无法证明问卷分数能对应同一批能力的表现评估或教师评分。
研究情境同样具体。验证只基于厄瓜多尔昆卡天主教大学的一门本科生理学课程,使用 Sharecare YOU VR 课程,涵盖气体运输、心血管功能、肌肉收缩以及肾功能与排尿。作者指出,证据只支持在该生理学实验情境下从分数作出推断,若用于其他学科或机构,需要在这些情境中做独立的心理测量验证。
情境受限的工具,而非可迁移的基准
论文对决策最有价值的贡献在于它划出的区分。由于问卷测量的是跨领域能力而非学科掌握程度,它可以与内容测评并列使用,而不是取代后者;其最强证据是内部结构和信度,而不是对表现的预测。
对考虑是否采用它的读者,实际的分界应跟随证据:在 VR 支持的本科生理学实验室内,这份 26 题工具有已记录的内容效度、四因子结构和高组合信度,但拟合指标处于可接受边缘,验证样本也偏小。超出这一情境,或当分数要用于预测实际观察到的能力而非描述自评的发展时,论文没有提供支持,并明确要求重新验证。
本文引用的文献
Design and validation of a questionnaire to measure competency development in VR‑supported undergraduate physiology labs
一份测量四项跨领域能力的 26 题自评问卷在生理学实验情境中显示出 Cronbach's alpha 为 0.993、四因子结构解释 76.7% 的方差,验证性拟合可接受但处于边缘(CFI = 0.903;TLI = 0.891;RMSEA = 0.086),且仅限该情境。
