低信度如何扭曲心理测量分数的分类?

论文量化了信度不足如何误分类极端分数者,并提出无需拟合模型的 omega 快速近似。

直接答案

低信度不只是给总分增加噪声,它还会把人拉向分布中部,使极端百分位的判断变得不可靠。论文显示,要把真正处于前5%的人正确识别出来,信度需达到约0.9才能满足常用的0.8统计功效标准,明显高于常被引用的0.7门槛。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

信度是能力所占的分数方差比例

论文把多题量表看作一组题目,每道题的得分都由个人的潜在分数和题目特有的误差共同构成。信度是总分方差中来自潜在分数、而非统计误差的那部分比例。在单共同因子模型下,论文把这一量写成 McDonald's omega,它由题目载荷和误差方差决定。

这个定义之所以重要,是因为它确定了分母。信度0.7意味着总分方差中有70%来自潜在特质的差异,其余30%是误差。论文提出的代价指标要问的是:这部分误差会对具体的分类决策造成什么影响,而不是量表在抽象意义上看起来是否内部一致。

极端百分位的识别最先崩塌

论文的核心后果指标是:真实分数位于前 p 百分位的人,其观测分数也确实落在该区间的概率。当 p 取0.05时,这一概率在信度为1时为1,在信度趋近0时降到0.05,此时测验对潜在特质不再提供任何信息。

论文把这一概率解读为检验某人是否属于前百分位的统计功效。由于通常要求功效至少为0.8,图中曲线意味着,要让测验在这一分类任务中有用,信度应至少约为0.9。这比熟悉的0.7经验法则更严格,而且专门适用于识别处于极端位置的人。

两两排序与平均位置下降得更平缓

第二个指标问的是两个人的顺序被正确判断的频率。如果一个人的真实分数高于另一个人,观测分数保持这一顺序的概率为 1/2 + sin⁻¹(√R)/π。信度为零时该概率为1/2,相当于抛硬币;信度为1时为1。

第三个指标考察平均位置。信度不完美时,一个人的期望百分位会向1/2的中点移动,论文推导出相对真实位置的平均偏差为 C = 1/4 − tan⁻¹(√R)/π。一个强调量表两端的加权版本给出 C = 1/6 − tan⁻¹(√R/(2+R))/π。这两条代价曲线彼此相似,都随信度上升而下降,但它们描述的决策与极端百分位概率并不相同。

两个测验的一致性是可检验的预测

论文还推导了两个信度分别为 R1 和 R2 的测验,对两个随机个体给出相同排序的概率。与前面的代价函数不同,这一量给出了可以用数据检验的预测,因为它只依赖两个信度,以及每个观测分数围绕其潜在值呈正态分布的假设。

这一区分值得留意。百分位指标和位置指标描述的是单个分数携带多少关于潜在特质的信息;两测验一致性指标描述的是两个工具之间的一致程度。它们回答的是相关但不同的问题,不能互相替代。

omega 更受青睐,但小样本下代价高

论文回顾了关注点为何从 Cronbach's alpha 转向 McDonald's omega。除非 tau 等价模型成立,alpha 都会低估信度;而 omega 在共同因子模型下推导,通常被认为更优。问题在于估计:omega 需要拟合一个含大量参数的模型,在小样本中最大似然估计会变得困难。

论文直接考察了这一估计问题,包括模拟中最大似然 omega 估计量的偏差和标准误。论文还构造了轮廓似然置信区间,报告其在实际中表现良好,并且容易处理缺失值。对幸福感数据集,95%区间向低信度方向延伸得更远,这意味着对信度确切取值的不确定性会进一步降低测验的价值。

修正版 alpha 无需拟合即可贴近 omega

为避开计算负担,论文推导了 Cronbach's alpha 的一个修正版本,加入因子载荷方差项来纠正 alpha 的低估偏差。当共同因子模型成立时,这一修正版 alpha 能很好地近似 omega,且不需要估计参数。

模拟表让比较变得具体。在100个样本、4道题、真实信度0.9时,omega 的标准误为0.0229,修正版 alpha 为0.886、标准误0.042;普通 alpha 为0.784、标准误0.091。在同样设计下真实信度为0.7时,修正版 alpha 为0.692,omega 为0.7;真实信度为0.4时,修正版为0.420,omega 为0.4。这一模式在其他模拟设计中也成立:修正版 alpha 比普通 alpha 更接近真值,抽样波动与 omega 相当。

真实数据说明单因子何时不够用

在七个真实数据集上,论文报告了 Cronbach's alpha、修正版 alpha、带95%置信区间的 omega、按方差加权的信度 Ri,以及双因子信度 R2。修正版 alpha 常常接近 omega:幸福感调查中为0.626,omega 为0.618;航空公司满意度数据中为0.787,omega 为0.725。

拟合优度结果给单因子模型划定了边界。当变量多于少数几个时,单因子模型无法刻画协方差结构,至少需要两个因子;例如航空公司数据给出卡方值4,176,354,自由度14,p值为0。双因子信度有时低于、有时高于单因子值,因此因子结构的选择本身就会改变信度估计。

分类门槛取决于要做的决策

论文的实践信息是:低信度的后果可以比笼统的0.7法则说得更明确。对于识别前5%的人,功效论证指向信度至少约0.9。对于正确排序两个人,或判断某人高于还是低于平均水平,反正弦公式显示下降更平缓,只有在信度为零时才降到1/2。

论文还指出,按方差的倒数给题目反应加权,在可以应用时能提高信度,但不能用于考试分数,因为学生被告知所有题目满分相同。因此,在普通 alpha、修正版 alpha 和 omega 之间如何选择,取决于样本量、因子结构以及是否允许题目加权。最关键的判断不是哪个信度系数最大,而是目标分类是否位于极端位置——论文的证据表明,这类判断需要明显更高的信度。

适用范围与 IRT 的延伸方向

推导假设潜在分数和题目误差在共同因子模型下呈正态分布,代价函数针对的是按题目求和计分的多题量表。真实数据拟合显示,一旦变量较多,单因子模型常常不成立,这限制了单因子信度值的可外推范围。

论文把项目反应理论(IRT)列为后续方向,因为 IRT 给出的信度随真实分数变化,而不是一个量表层面的单一值。把基于代价的视角延伸到这一框架,就能在信度不随特质范围保持恒定的情形下,提出同样的分类问题。

本文引用的文献

1

Psychometric Tests: Quantifying the Consequences of Low Reliability and Improving Reliability Estimation

论文推导了基于后果的指标,显示极端百分位分类需要约0.9的信度才能达到0.8功效,并提出一种无需拟合模型即可近似 McDonald's omega 的修正版 Cronbach's alpha。