大语言模型能可靠地为慢性疼痛叙述评分吗?

大模型对患者访谈的评分与临床问卷相关,并能区分慢性疼痛、抑郁与健康人群。

直接答案

在有限范围内可以。在131名参与者中,一个大语言模型对开放式访谈转录文本的疼痛、情绪和社会维度进行评分,其与已验证问卷的相关性有72.6%通过了错误发现校正。这些评分还能区分慢性下背痛、重度抑郁和无痛对照,但作者将该框架定位为研究工具,而非临床设备。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

按评分量表打分,而非统计词频

这项研究要回答的是:语言模型能否读懂患者对疼痛的讲述,并把它转成表现类似临床测量的数字。参与者通过Zoom接受访谈,录音用Whisper转录后交给Llama-3-405B-Instruct;该模型本地部署在IBM服务器上,以满足HIPAA合规要求。研究者让模型扮演临床评估者,按临床医生式的评分量表打分,并把temperature设为0、token上限设为4095,以提高输出的可重复性。

模型输出九个维度的分数。其中七个对应问卷已经在测量的构念:躯体疼痛、生活质量、情绪性疼痛、灾难化思维、抑郁、焦虑和反刍。另外两个是新构念:能动性缺失和叙述碎片化。这一区分很重要,因为前一组可以拿现有量表来核对,后一组没有对应的问卷可供核对。

最能说明该方法特点的比较,是与简单词频统计的对照。把九个模型分数降到两个维度后,三个队列各自聚成一团;而统计抑郁和疼痛相关词汇的出现次数,则让各组之间大量重叠。作者据此认为,模型响应的是语境,而不是词汇出现的频率;转录的词错误率与任何模型指标在同一队列内都没有实质相关。

三组人群,同一套访谈流程

这项横断面研究纳入131人:67名慢性下背痛患者、33名重度抑郁障碍患者和31名无痛健康对照,全部年龄大于40岁,并经过筛查排除认知障碍。慢性下背痛要求疼痛位于胸椎T-10以下、持续一年以上、无神经根病变,且平均疼痛强度在10分制数字评分量表上高于4分;若MADRS抑郁严重度超过19分则被排除。抑郁患者需符合DSM-V标准且MADRS不低于19分,当前有任何慢性疼痛者被排除。

访谈分为通用部分和疾病特定部分。除Reddit比较外,文中报告的模型指标都来自通用部分,也就是患者并未专门谈论自身疾病的段落。这一设计选择很关键:它意味着分数并非只是捕捉到某人是否在谈背痛。

各组之间的差异方向与入组标准一致。慢性下背痛患者的躯体疼痛评分最高,抑郁患者在生活质量受损、负性情绪和能动性缺失上评分最高。在情绪性疼痛和反刍上,背痛组位于抑郁患者与健康对照之间,高于对照但低于抑郁组。按访谈词数归一化后得到相同模式,校正年龄和性别后也是如此。

多数相关性通过校正,中位强度中等

这里的收敛效度指模型分数与已在测量同一构念的量表之间的一致性。作者用Spearman相关系数,把模型指标与数字评分量表、视觉模拟量表和自填问卷做相关。合并两个患者组,117项相关中有85项(72.6%)通过了错误发现率校正,中位相关系数为0.40,范围为0.28至0.57。

单看抑郁组,可用的临床量表有五个,45项相关中有27项(60.0%)通过校正,中位相关系数更高,为0.54,范围0.39至0.73。论文强调,两个患者组中由模型得出的抑郁评分,与研究人员在筛查日(与访谈日不同)施测的MADRS评分相关系数高于0.45。作者正是用这一时间上的分离来论证,这种一致性不只是同一场次内的稳定。

中位相关系数接近0.40是有意义的,但并不意味着两种测量可以互换。作者还检查了宽泛的相关是否源于问卷本身之间的重叠,并报告情况确实如此,例如躯体疼痛同时与疼痛评分量表和某个抑郁分量表相关,相关系数为0.40。读者应把这些数字看作测量之间存在关联的证据,而不是模型复现了问卷分数的证明。

稀疏连接提示维度彼此独立

如果九个指标大多在重复彼此,这套方法相比单一痛苦评分就没什么增量。为检验这一点,作者用Graphical Lasso估计背痛组各指标之间的直接相关和偏相关网络;该方法会把较弱的条件依赖收缩为零。在偏相关网络中,38.9%的边被设为零,说明许多双变量关联是由其他变量中介的,而非直接联系。

稳健性检验支持这一结构。在一系列正则化参数设置下,稀疏度保持在27.8%至38.9%之间,显著边的数量稳定在36个可能配对中的2至3个。对原始相关矩阵做有效维度分析得到4.9至7.2,而同等规模的随机数据预期为8.45;作者将其解释为这些变量对应着大体独立的维度。

对偏相关矩阵做层次聚类,在背痛组得到两个簇,作者称其类似于慢性疼痛的情绪维度和认知评价维度。在抑郁组做同样分析得到三个簇,同时保留相似的“情绪—认知”总体结构。这些簇的命名是作者对网络几何结构的解读,而不是另行验证过的因子结构。

能动性缺失能区分组,碎片化不能

两个新指标在结果中的分量并不相同。能动性缺失指对自身生活和病情控制感减弱,它在抑郁患者中最高,并对分类贡献很大。把能动性缺失与反刍组合,对三组分类的F1为0.851;能动性缺失与叙述碎片化组合的F1为0.71,所用指标均不属于入组标准。

叙述碎片化关注个人叙述的组织是否连贯,它的表现不同。它在组间差异最小,两个患者组之间没有差异,但都高于健康对照。作者提出它可能是心理痛苦的跨诊断标志,同时指出它与疼痛强度仅中度相关,且与情绪或功能指标无关。作者明确表示,要确立其构念效度和临床相关性仍需进一步验证。

对任何权衡这两个构念的人来说,这种不对称就是实际要点。能动性缺失背后有组间信号和一项分类结果;叙述碎片化目前只有相对对照的组间升高,以及作者明确提出的进一步验证需求。把两者视为同等成熟,会高估证据强度。

网络帖子重现方向,但水平更高

为检验这种刻画在临床样本之外是否成立,作者用疾病特定访谈部分(因为这些帖子本身针对特定疾病)给两个Reddit社区的帖子打分:r/chronicpain共4902条,r/depressed共2278条。模式方向与临床队列一致:除躯体疼痛外,r/depression的每项指标都高于r/chronicpain,而躯体疼痛方向相反。

水平并不一致。除躯体疼痛在临床与网络队列之间相近外,所有指标在网络社区中都更高。作者给出的是解释而非已证实的机制:对诊断未经核实者的评估,可能受文本生成语境和风格的影响,从而可能限制其在专业场景之外的有效性。他们呼吁在更大、独立、特征明确的临床队列中验证。

这一比较最好被读作对方向的一致性检验,而不是模型给Reddit用户的打分与给患者的打分相同的证据。网络文本中更高的绝对水平,是对跨场景校准的警示;论文并未解决其原因是人群、语境还是写作风格。

是研究工具,不是临床设备

作者明确划出了边界。模型评分的可重复性和绝对校准仍是未解问题,尤其是叙述碎片化这类通常依赖人工评分者的指标。他们提出未来可用人工评分的范例,比较零样本与少样本提示、预注册评分量表,并比较不同提示表述,以检验能动性和碎片化评分对提示的敏感程度。

临床部署需要在适用的医疗器械法规下接受评估,开展覆盖多样患者群体的前瞻性多中心验证,正式评估临床性能以及人口学和语言亚组中的潜在偏倚,进行网络安全评估,并在监管批准前完成人因测试。因此,论文描述的自动化框架仍是一种研究工具。

样本也限定了结论范围。67名背痛患者、33名抑郁患者和31名对照,全部超过40岁并经过认知状态筛查,结果描述的是这些特征明确的群体在同一名协调员主持的同一套访谈流程下的表现。分类的F1值来自这一样本,不是部署估计。

一致性、区分度与校准是三种不同主张

论文最强的主张是收敛效度:模型分数与已有问卷相关,72.6%的相关通过校正,中位相关系数为0.40。另一项主张是组间区分:分数在慢性下背痛、抑郁和健康对照之间按与入组方式一致的方向不同,且稀疏网络提示九个指标并不冗余。第三项主张是校准,它最弱,而Reddit比较正是它明显吃紧的地方。

对想从中取用的读者,有用的划分是有问卷锚点的构念与没有锚点的构念。躯体疼痛、抑郁、焦虑、反刍、灾难化思维、情绪性疼痛和生活质量都可以拿量表核对,报告的相关性就是可供权衡的证据。能动性缺失和叙述碎片化目前无法这样核对;能动性缺失有组间区分和分类结果支持,叙述碎片化则只有两个患者组相对对照的评分升高,以及明确的进一步验证需求。

论文自己设定的优先事项是:在任何临床使用之前,先在更大、独立、特征明确的队列中验证,尤其关注依赖人工评分者的指标。在此之前,站得住脚的解读是:基于访谈的语言模型评分在这一样本中确实携带关于疼痛和情绪维度的信号,而两个新构念应分别评判,而不是打包看待。

本文引用的文献

1

慢性疼痛中由大语言模型得出的叙述指标:收敛效度与新的认知构念

一个大语言模型对开放式访谈转录文本的九个临床维度打分;与已验证问卷的117项相关中有85项通过FDR校正(中位相关系数0.40),评分还能区分慢性下背痛、重度抑郁和健康对照。