应用把传感、自我报告与反馈并入同一流程
职场传感研究把长期行为轨迹与自我报告结合起来,但收集这些数据的工具往往与返回结果的界面彼此分离。TrustmeWatcher 是 TRUST-ME 项目为连接这项工作而构建的应用。它复用 ActivityWatch 的操作系统级监视器来收集计算机活动,并加上自己的应用层,因此产生数据的人可以在同一个应用里查看记录的活动、控制环境传感,并接收模型估计与解释。
论文的范围有意收窄:只有 ActivityWatch 数据作为模型输入。摄像头、眼动仪、音频和录制的精彩片段用于提供研究情境,而由于摄像头和眼动仪会捕捉敏感的情境数据,参与者获得一种可见且可逆的方式来暂停或恢复传感。把这一控制放在返回的反馈旁边,使同意成为持续的选择,而不是安装时的一次性设置。
打卡与视频问卷保持为彼此独立的标签
研究收集两种形式的自我报告。参与者在工作期间用 StreamDeck 完成周期性的九题打卡,并在回顾录制的精彩片段后完成视频问卷。前者是贴近体验的即时回答;后者是当天某个具体片段之后的延迟回答。
TrustmeWatcher 在把每份自我报告与之前的活动情境对齐时,保留回答来源和时间戳。这一点很重要,因为两个渠道会被一起分析,却不被当作可互换的标签。九个李克特量表题项涵盖情绪、情绪强度、疲惫、工作热情、工作投入、身体舒适度、社交体验、工作压力和生产力,两个来源的回答被合并用于模型训练。
六个状态分数与整体福祉由问卷题项构建
预测流程使用七个回归器来估计六个状态分数和整体福祉。目标值由问卷回答计算:情绪效价是情绪加三,唤醒度是情绪强度,休息充分度是六减疲惫,压力管理是六减工作压力,生产力是生产力题项,投入度取工作热情与工作投入的平均,整体福祉取效价、投入度和压力管理的平均。疲惫和压力被反向处理,因此分数越高始终表示状态越好。身体舒适度和社交体验被收集,但不是预测目标。
Cronbach's alpha 用于评估哪些状态分数足够一致、可以合并为整体福祉。据此,效价、投入度和压力管理被纳入,而疲劳和唤醒度被排除。每个目标都使用同一个 25 维特征向量,概括此前 60 分钟以及 24 小时和七天情境,描述学习到的活动状态占比、应用类别比例、专注碎片化、键盘和指针活动,以及相对近期历史的变化。特征按每位参与者分别标准化,使用仅在训练数据上拟合的统计量;训练时未出现的参与者使用全局训练集统计量。每个目标选择验证 MSE 最低的回归器。
活动特征提供了超出个人典型回答的信息
问卷日期在每位参与者内部按时间排序,并按约 80/10/10 划分为训练集、验证集和测试集,每个边界排除一个完整日期以减少时间重叠。实例未被打乱,以避免数据泄漏。模型用验证 MSE 选择,并在留出的测试集上评估一次。
真正重要的比较是针对个人均值基线,它由每位参与者自己的训练和验证回答计算,因此检验活动特征是否提供了超出该人典型回答的信息。在 0–6 回答量表上,个人均值基线达到 1.0 验证 MSE 和 0.85 测试 MSE,而模型达到 0.85 验证 MSE 和 0.78 测试 MSE。全局均值基线按每个目标分别由训练和验证回答计算,达到 1.4 和 1.3;随机基线从 0–6 量表均匀抽取分数,达到 5.9 和 5.8。相对个人均值的优势是三者中最小的,因此提升真实但幅度有限。
预测变成分档与反事实,而不是原始数字
TrustmeWatcher 把六个状态分数呈现为语义卡片。低于 2 的分数映射到低档,2 到低于 5 映射到中档,5 到 6 映射到高档。标签跟随每个构念,因此高压力管理分数显示为低压力,高休息充分度分数显示为低疲劳。选择一张卡片会打开反事实视图。
在该视图中,用户在共用的 0–6 量表上选择一个目标分数。从当前 60 分钟的计算机活动分配出发,搜索以五分钟为单位在个人分心、媒体、沟通、开发、写作和研究之间交换时间:一次交换从某一类别减去五分钟,并把五分钟加到另一类别。系统评估每一种有效分配,返回模型估计最接近所选目标的那个。这种零和搜索沿用了既有工作中的反事实解释框架,它描述的是记录时间的替代分配,而不是已被证明能改变某人感受的方法。
现场记录覆盖 17 名知识工作者九个月
TRUST-ME 数据收集研究跟踪知识工作者的日常工作环境,而不是单次实验室会话。当前档案包含 17 名参与者的假名化记录,时间跨度为 2025 年 7 月至 2026 年 3 月。记录到的自我报告数据量随每位参与者的工作安排而变化:个人记录覆盖 10 到 28 个不同工作日,中位数为 18。
全部 17 名参与者都贡献了计算机活动情境和打卡;其中九名还贡献了视频问卷回答。对齐后的记录输入外部的模型开发流程,部署后的模型随后使用近期和更长时段的活动特征,在用户设备上生成每日估计。训练好的模型在本地运行,仪表盘以语义分档展示其预测。
解释理解与信任校准仍未被检验
已报告的评估覆盖预测性能和数据收集覆盖度。解释理解、信任校准和模型情景解读需要分析参与者的重复交互,因此论文尚未表明反事实视图是否帮助用户理解或依据预测采取行动。
输入数据也限定了这些估计的含义。计算机活动遗漏会议和屏幕外工作,应用类别无法确定意图,因此估计反映的是记录到的情境,而不是对工作或福祉的完整描述。论文自身的表述是,自动测量的生产力与自我报告的生产力可能背离,因此两者都不应替代对方。
第二阶段把模型变成面向参与者的研究
TRUST-ME 研究有两个阶段。第一阶段从 17 名参与者收集计算机活动和重复自我报告,用于模型开发与评估。第二阶段目前正在准备,将把 TrustmeWatcher 作为其面向参与者的应用。
这一转变才是论文真正的重点。第一阶段产出的模型在同一 0–6 量表上以 0.78 的测试 MSE 优于 0.85 的个人均值基线,但第二阶段才是应用其他组件被实际使用的阶段:从小时到年的活动回顾、自我报告收集、隐私控制、本地预测,以及用于在重复接触中考察解释使用的反事实界面。对评估这项工作的读者来说,决定性问题不是模型是否略微超过个人均值,而是反复接触分档、反事实和暂停控制是否会改变参与者解读关于自己工作日的预测的方式。
隐私控制被嵌入反馈回路
隐私控制让用户暂停或恢复研究使用的摄像头和眼动仪,应用会显示该传感是否处于活动状态。暂停会关闭摄像头和眼动仪。论文认为这种控制在职场环境中尤其重要,因为权力不对称可能使同意不那么自由,并且它可能有助于减少对监控的担忧。
这是设计理由,而不是已报告评估中的实测结果。它仍然影响其余系统应如何被解读:返回福祉估计的同一界面也承载停止环境传感的命令,因此参与者可以在摄像头和眼动仪暂停时继续查看计算机活动并接收每日反馈。
本文引用的文献
TrustmeWatcher: An Application for Workplace Micro-Sensing and Explainable Well-Being Feedback
TrustmeWatcher 整合了基于 ActivityWatch 的计算机活动收集、StreamDeck 打卡、视频问卷、隐私控制、对六个状态分数和整体福祉的本地预测,以及面向参与者的反事实界面;其模型在 0–6 量表上以 0.78 测试 MSE 优于 0.85 的个人均值基线,使用来自 17 名参与者的记录。
