训练动态能否识别婴儿姿态估计中的关键点标注噪声？

婴儿动作分析中噪声关键点为何更关键

无标记姿态估计正越来越多地用于从早产儿视频中提取具有临床意义的运动生物标志物，这些婴儿的自发运动模式被视为神经发育轨迹的早期标志。训练这类模型需要大量人工标注的关键点，而标注本身容易出错：遮挡、光照不佳和运动模糊都会造成歧义样本。

论文认为临床场景改变了问题的严重性。在通用姿态估计中，标注错误通常只会让 Average Precision 或 Percentage of Correct Keypoints 等聚合定位指标出现小幅下降。而在婴儿运动评估中，一个定位错误的关键点会在对应关节的重建轨迹中引入人为位移，于是误差作为伪影传播到用于评估的运动描述符中。

把噪声关键点检测重构为解剖分类

该框架分为两个阶段。第一阶段，混合卷积-注意力关键点分类器接收单婴儿 RGB 图像及其 M 个关键点（从 COCO 17 关键点格式中保留 12 个：左右肩、肘、腕、髋、膝、踝），为每个关键点预测其属于 K = 6 个关节类别中的哪一类，以及其左右侧位置。

每个关键点由两部分组合表示：一是外观编码，通过在关键点位置对预训练 EfficientNet 特征图做双线性插值采样得到；二是坐标的正弦位置编码，经两层 MLP 投影。随后交叉注意力模块让每个关键点编码从整张特征图中汇聚信息，两个独立的线性分类头分别预测解剖类别和左右侧，并以加权交叉熵损失训练。

核心直觉是：错误的关键点位于错误的空间位置，从而得到误导性的局部视觉特征，在输入与标签之间形成差异，并体现在损失中。

损失轨迹区分干净与噪声关键点

第二阶段，每个图像中每个关键点的关节损失和左右侧损失在每个 epoch 都被记录，形成损失轨迹向量，并用滑动平均滤波平滑。每个关键点提取两个特征：归一化的峰谷损失变化幅度，以及衡量最小损失相对最大损失出现时机的时序特征。两者都分别从关节损失和左右侧损失计算，因此每个关键点得到一个四维描述符。

这些描述符用标准 K-means 聚类划分。由于经验上特征值随标注噪声增加而下降，质心较低的簇被判定为包含噪声关键点。

论文提出可分性指标（SeM）来量化训练中干净与噪声损失轨迹的分离程度：它把每个 epoch 两组关键点的损失分布建模为高斯分布，计算两个分布的重叠面积，并在各 epoch 上取平均。数值越低表示分离越好。

交叉熵动态优于 MSE 回归动态

对比基线遵循相同的样本选择范式，但其训练动态来自 HRNet 模型的 MSE 回归损失而非分类损失，并对描述符施加相同的 K-means 聚类。这样就把损失类型的影响与聚类阶段分离开来。

在 NeoPose 上，基于交叉熵的方法在随机噪声和左右交换两种场景的所有配置中都显著且稳定地优于基于 MSE 的基线，噪声关键点检测 F1 最高达 91.9%。论文将此归因于交叉熵对误分类的对数惩罚与 MSE 的二次惩罚不同：MSE 在真实关键点位置附近的小扰动上可能出现梯度衰减，产生区分度更低的训练动态。

SeM 数值支持这一点。在 10%、20%、30% 和 40% 随机噪声下，基于 MSE 的轨迹分别为 0.4524、0.5385、0.5843 和 0.6199，而基于交叉熵的轨迹分别为 0.2413、0.2475、0.2615 和 0.2770，始终更低，意味着分离更好。

随机扰动与左右交换的难度并不相同

两种噪声场景表现不同。在随机位置扰动下，即使污染水平较高，性能仍保持相对高且稳定。论文将其解释为 NeoPose 的结构特性：帧取自婴儿处于受限仰卧位的连续视频，因此数据集姿态变化有限，关键点之间存在很强的空间规律性。小幅局部坐标扰动往往仍落在真实关键点的同一语义邻域内，只轻微破坏分类器所利用的视觉-空间一致性。

这一特性并不适用于左右交换。交换左右标签改变的是监督信号的语义结构，而不是引入局部几何扰动。随着被交换关键点比例上升，模型对对称身体部位接收到越来越矛盾的监督，当左右对称接近时问题逐渐退化，这解释了交换噪声在高污染水平下更陡的性能下降。

迁移到 COCO 伴随一个反直觉趋势

在 COCO 的 14K 图像子集上重复随机噪声评估时，两种方法的绝对检测性能都相对 NeoPose 下降，论文将其归因于 COCO 在视觉和姿态上的异质性显著更高——多主体、视角多变、衣着、遮挡模式和背景各异——而婴儿在婴儿床中的场景则受到结构约束。

仍有三项结果支持其稳健性。第一，基于交叉熵的流程在所有测试噪声水平上都显著且稳定地优于基于 MSE 的基线：F1 在 10% 噪声下从 0.387 升至 0.510，20% 时从 0.560 升至 0.670，30% 时从 0.628 升至 0.733，40% 时从 0.661 升至 0.784。

第二，检测性能随噪声水平升高而提升，而非下降。论文假设这源于无监督 K-means 固有的类别平衡效应：算法没有关于干净与噪声子集相对大小的先验，会隐含地偏向生成大小相当的簇。低噪声时干净关键点远多于噪声关键点，这种偏向不利于正确划分；当两类更平衡时，聚类更接近真实划分。

第三，逐关键点分析显示不同解剖标志的检测难度存在统计显著异质性（Friedman 检验，p<0.05）。经 FDR 校正的事后两两比较发现，左右踝被判定为干净或噪声的难度显著高于其他所有关键点，这与远端关节更易受定位歧义、运动模糊和遮挡影响的既有报道一致。

过滤噪声关键点仅在 10% 噪声以上有益

检测质量与下游收益并非同一个问题，因此论文在四种 COCO 随机噪声配置下训练 HRNet，既使用完整的受污染训练集，也使用移除交叉熵流程标记为噪声的关键点后的训练集，并在留出的干净 COCO 测试集上用 COCO AP 评估两者。

效果取决于噪声水平。在 10% 噪声下，使用完整未过滤训练集得到的 COCO AP（0.633）高于使用交叉熵过滤子集（0.601）。在 20%、30% 和 40% 噪声下，过滤稳定改善下游性能，COCO AP 分别从 0.544 升至 0.618、从 0.542 升至 0.599、从 0.522 升至 0.573。

论文将其与同一类别不平衡偏向联系起来：在 10% 噪声下检测器取得四种配置中最低的 F1，因此更多正确标注的关键点被误判为噪声而丢弃，损失掉合法干净训练信号的代价超过了移除少量真正噪声关键点的收益。当噪声升至 20%–40% 时，检测 F1 提高，聚类更接近真实划分，移除更大且识别更准确的受污染集合所带来的收益占据主导。

框架的适用边界与判断重点

K-means 聚类阶段带有类别平衡偏向，会在低噪声水平下损害检测精度；论文考虑的噪声场景虽有临床动机，但并未覆盖实践中遇到的所有标注错误来源，例如遮挡或姿态歧义引起的错误。论文指出，未来工作将探索对类别不平衡显式稳健的聚类策略、把噪声分类体系扩展到更多真实标注错误类型，并研究将该检测框架作为在线数据整理步骤整合进姿态估计训练循环。

对于考虑是否采用该方法的读者，论文自身的证据指向一个阈值而非通用规则：在 COCO 上，过滤交叉熵检测出的噪声关键点在 20%、30% 和 40% 随机噪声下带来收益，但在 10% 时反而有害，此时检测器 F1 最低。因此最具决策意义的比较不是交叉熵与 MSE 检测本身，而是估计的噪声水平是否高到足以让聚类划分可信；论文自己的解释是，这取决于干净与噪声类别的平衡程度，而非检测器的架构。

本文引用的文献