AI 视觉可穿戴设备能弥合患者表征的感官缺口吗？

框架要填补的感官缺口

作者认为，精准医学的 AI 模型受限于数据，而非算法精巧程度。他们列出的限制是稀疏、偏倚、模态割裂和描述粗糙。多数临床数据产生于短暂的诊疗接触，日常生活和疾病进展的大段时间因此没有记录。临床医生只能依赖患者的回顾性叙述和文字描述，而其中面部情感、注视、步态、肢体协同和呼吸用力等细粒度线索往往丢失。

病历记录的粗糙有具体例子。重性抑郁、谵妄或神经病理性疼痛等诊断仍依赖口头报告和观察，进入病历后变成主观短语（如“显得焦虑”“轻度左侧忽视”），或粗放的整数，例如统一帕金森病评定量表的强直分级为 2。作者指出一个后果：主观标签会以低保真标签和粗糙替代目标的形式流入 AI 与机器学习流程，最终限制模型表现。他们提出的缺失层，是由头戴设备在医患互动中录制的第一视角视听流所构建的连续、细粒度、情境感知的疾病表征。

头戴感知为何变得可行

论文的“为何是现在”论证建立在三方面同步变化上，而不是新的临床试验证据。硬件方面，当前视觉可穿戴设备如 Apple Vision Pro 和 Meta Ray-Bans 集成了高分辨率视频、眼动与手部追踪、空间建图、通过 LiDAR 和立体深度传感器实现的深度感知，以及用于实时推理的端侧算力。建模方面，计算机视觉已从卷积神经网络转向基于 Transformer 和多模态的架构，可从视频中提取空间、时间和行为信号；作者引用视觉 Transformer 使头戴视频成为分析的良好基础，并引用 OpenPose 和 SAM 3 等姿态估计器实现细粒度动作量化。

监管方面，FDA 数字健康卓越中心发布了 AR/VR 医疗器械指南草案，FDA 还发布了关于在临床研究中用数字健康技术远程采集数据的指南，涵盖验证、数据质量和终点开发。美国医学会也在推动将 AI 纳入其现行程序术语代码集。这些是作者汇集起来的使能条件，并未证明该流程在实践中有效。

从视频到临床行动的四个阶段

该框架从被动采集延伸到特征量化、数字生物标志物和实时决策支持。被动采集指从医生视角连续录制医患互动的视听数据，保留原本会丢失的信号。作者把这一阶段主要与临床医生报告结局（ClinROs）和观察者报告结局（ObsROs）联系起来，因为录下的诊疗过程可供回看而非只靠总结，同时需要数据质量验证以确保信号可用。

特征量化把过去主观的观察转成可测变量：注意力不集中或反应迟缓变成言语连贯性、反应潜伏期和注视变异性。无标记姿态估计（SAM 3、AlphaPose、DeepLabCut）无需额外佩戴传感器即可量化动作和关节动态；openSMILE 等语音模型量化语速、音高和连贯性；OpenFace 和基于 ResNet 的情绪分类器等面部分析模型则针对情感和疼痛表情。这一阶段支持表现结局（PerfOs），即标准化的任务型患者功能测量，其验证属于分析性验证：以动作捕捉系统、临床医生评分和经过验证的临床工具为基准，并设定跨时间和跨设备的最低准确度、精确度和可重复性标准。

数字生物标志物把特征聚合为可临床解释的患者状态表征，可跨时间点和患者追踪风险、严重程度或进展。作者举出帕金森病的视频衍生生物标志物：用微笑视频筛查、评估步态和运动迟缓、从面部视频分类多巴胺能药物状态。他们称其相对传统量表的优势在于粒度：疼痛记为 0 到 10 的整数，卒中严重程度记为 0 到 42，但相同分数可能反映明显不同的病情。此阶段的验证从测量准确度转向临床意义，包括与疾病进展、治疗反应和有意义变化阈值的关联。

最后阶段指向实时预警和决策支持，闭合从采集到行动的回路。作者引用 EMSGlass 等智能眼镜系统，称其已在急诊环境中支持决策和操作任务，并指出 TimeSformer 和 Video Swin 等架构可在边缘 GPU 上处理数秒片段。此阶段的验证扩展到监管资格认定，包括改善检出或改善结局，终点需符合 FDA 对数字健康技术衍生测量的指南。

运动结局比情感结局更易验证

论文中最具决策意义的比较是不同结局类型之间的差异。较易量化的结局，如可观察的运动行为，与 PerfOs 高度对应，通常有明确的真实基准，也常能被视频较好地捕捉，因此可以对照既有临床量表进行基准测试。它们的隐私风险也较低，通过面部模糊更容易匿名化。其采集阶段的问题偏物理性：遮挡、光照和相机角度。

较难量化的结局，如情感和认知，更依赖情境、互动和多模态信号，包括音频、注视和时间动态。它们往往缺乏确定的真实基准，依赖主观判断和替代测量，如患者报告、临床医生报告和观察者报告结局。这些信号在患者之间差异更大，对文化和环境因素敏感，标准化困难，需要多模态融合、纵向监测和更复杂的建模。匿名化也更难，因为这些应用需要分析面部和语音。

隐私、知情同意与自动化偏倚

诊疗现场的视听采集带来作者视为结构性的隐私问题，而非偶发问题。哪怕一帧视频也可能暴露其他人、敏感的医院信息和专有设施。他们指出，至少 10 个州要求音频录制获得所有当事方同意，医疗场景也不例外，因此治理必须界定何时、如何以及由谁获准录制。提出的缓解措施包括端侧处理以减少传输、选择性或事件触发录制、自动脱敏可识别信息，以及清晰的知情同意框架。

作者还指出观察者效应，即被录制会改变行为，以及自动化偏倚：对于更高层次的推断，临床医生可能更不确定，因而更容易盲信输出。他们给出的设计后果是实时临床系统应保持辅助地位，并维持人工监督。成本是另一道障碍：单台 Apple Vision Pro 目前超过 3000 美元，带宽、换电池的后勤和 IT 安全审查还带来隐性开销；作者称这可能把资源受限环境排除在外，除非共享设备、开源模型和云无关部署能缩小差距。

数据质量决定流程能否泛化

该框架的薄弱点在于喂给它的数据。作者报告，现有许多第一视角数据集来自单一机构、偏向白天光照、人口构成狭窄，这会提高标注偏倚向下游传播的风险，导致误分类或严重程度估计不准，对代表性不足的人群尤其如此。他们的缓解措施包括多样化的多机构数据集、标准化采集流程、稳健的预处理、域适应和不确定性估计，并在广泛部署前跨患者人群、机构和流程进行外部验证。

基础设施选择也决定什么可行。端侧计算降低延迟，并通过最少数据传输改善隐私；云端处理则支持可扩展存储和更重的分析；作者预计本地推理结合选择性云端处理的混合模式是最实用的部署选项。长期存储和与病历关联可能需要选择性脱敏，虽然已有面部模糊和语音脱敏模型，作者称仍需为此目的进行审查和审计。工作流适配是另一道门槛：笨重的设备、不顺畅的电子病历集成和不自然的视角必然引起抵触，而设备形态在开发中常被置于较低优先级。

框架最先在哪里赢得信任

整体来看，论文给出的是明确的优先级顺序，而非一概背书。各阶段成熟度并不相同：被动采集和特征量化已有具名工具和可供对照验证的参考标准，数字生物标志物在帕金森病中已有疾病特异的先例，实时决策支持则离监管资格认定最远。结局类型的划分进一步凸显这一点：基于运动的 PerfOs 有明确的真实基准、更低的隐私暴露和更容易的去标识化，而情感和认知目标则背负情境依赖、文化差异和匿名化困难等最重的负担。

因此论文支持的实践判断是有条件的。当目标是可观察的运动或表现测量、且能对照既有临床量表进行基准测试时，临床医生佩戴的视觉可穿戴设备最有说服力；当目标是缺乏确定真实基准的情感或认知推断时，其说服力最弱。作者自己的结论是，要把分析性验证和临床验证转化为正式的临床终点资格认定，才能在诊疗服务和临床试验中被采用。在这一资格认定出现之前，该框架描述的是一条路径，而不是已被证明可替代现有临床评估的方案。

本文引用的文献