HFHD-GAN：深挖高频细节，重塑压缩视频的视觉感知

TL;DR

针对视频压缩带来的模糊和锯齿 artifacts，本文提出了 HFHD-GAN。与传统追求 PSNR 分数的方法不同，该工作通过自适应的多尺度方向卷积 (MDCN) 和方向特征注意力 (DFA)，能够精准捕获并重建被压缩协议“抹杀”的高频纹理。实验证明，其在 LPIPS 和人眼主观评分 (MOS) 上均达到了 SOTA 水平。

背景：客观指标与主观感受的“断层”

在视频编码领域（如 H.264/HEVC），为了极高的压缩比，不可避免地会舍弃高频系数。这种处理方式在传统的 PSNR（峰值信噪比）评价体系下表现良好，但在人眼看来，画面往往显得过分平滑，失去了真实的纹理细节。

现有的增强方法（如 MFQE 2.0）通过多帧对齐来提升质量，但依然难以解决高频细节缺失的问题。即便是一些使用 GAN 的方法，也会因为无法有效区分“细节”与“压缩噪声”而导致增强效果不稳定。

核心方法论：高频细节的“手术刀”式提取

1. 结构化特征对齐 (MST-MCN)

视频增强的核心在于如何利用相邻帧的补充信息。HFHD-GAN 引入了 MST-MCN，它通过 3D 卷积捕获时序关联，并配合变形卷积 (DCN) 预测运动偏移。

2. 模拟小波的方向卷积 (MDCN)

这是本文最独特的 Insight。作者认为 Haar 小波提取的特征太死板（Sparse），于是设计了 MDCN，通过 1×3、1×11 等长条形卷积核来模拟小波变换中的水平 (LH) 和垂直 (HL) 分量。这种方式允许网络自适应地、多尺度地提取能够代表边缘和纹理的高频信号。

3. DFA：细节与噪声的天平

高频信号中混杂着真实的纹理和讨厌的压缩噪声（如方块效应）。方向特征注意力 (DFA) 模块通过计算通道维度的最大值和平均值进行融合，生成权重图，从而在增强细节的同时，针对性地抑制不规则的噪声。

上图展示了 DFA 的作用：相比简单的 GAN，加入 DFA 后，在篮球等运动物体边缘的噪声明显减少，纹理更加清爽。

实验战绩

在 JCT-VC 标准测试集上，HFHD-GAN 展现了极强的统治力：

• 感知指标提升：在 QP=42 的高压缩率下，LPIPS 提升了 11%，PI 提升了 6%。
• 计算效率：参数量仅为 4.7M，比之前的 SOTA 模型 MW-GAN+ 还要轻量，且推理 FPS 提升了约 40%，这意味着更高的商用潜力。
• 比特率节省：相比原生 HEVC，在同等质量下可节省高达 14%~21% 的码率 (BD-BR)。

主观效果对比：观察 BasketballDrill 序列，HFHD-GAN 恢复的篮球纹理和运动员球衣编号更加清晰，没有明显的重影或模糊。

总评与洞察

HFHD-GAN 的成功在于它精准捕捉了视频修复中的一个关键矛盾：高频信息的提取与噪声抑制。它放弃了传统固定的小波基，改用可学习的方向卷积，这为后续在超高清视频直播、远程医疗等对细节敏感的场景中应用铺平了道路。

局限性：虽然 5.36 fps 的速度在感知模型中已算优秀，但离 1080p @ 30fps 的实时处理仍有距离。未来的改进方向可能在于探索更轻量级的状态空间模型（如 Mamba）来取代昂贵的 3D 卷积对齐过程。