[arXiv 2025] Summer-22B：从数据工程到几何优化，全流程拆解视频基座模型训练

TL;DR

在视频生成领域，大家往往痴迷于模型架构的微调。但 Summer-22B 的出现告诉我们：数据工程的投入产出比远高于架构修改。 该模型是一个拥有 220 亿参数的视频生成基座模型。fal.ai 的研究团队通过约 30 万美元的预算（其中一半是算力），证明了通过系统性数据集清洗、µP (Maximal Update Parameterization) 参数化以及黎曼流形（Hypersphere）约束优化，小型团队也能在视频大模型领域做出 SOTA 级别的成果。

1. 复盘视频建模的“隐形痛点”

为什么视频模型这么难练？

1. 数据极度不纯：从互联网抓取的 raw footage 充满了转场、黑边、低画质和静止帧（幻灯片）。
2. 超参数玄学：在 1B 规模调好的 Learning Rate，放大到 20B 时往往直接崩掉，重复实验的算力成本是天文数字。
3. 计算效率低下：视频 Token 数量通常是文本的数百倍，传统的串行 Transformer 块在推理时慢得令人发指。

2. 核心技术一：Lavender Data 数据管线

作者认为，视频模型训练中 80% 的精力都在洗数据。他们开发了 Lavender Data 系统，重点解决了三个问题：

• 并行化解码与过滤：利用 Ray 框架和 GPU 零拷贝技术（Zero-copy transfer），实现了每秒处理数千万帧的吞吐量。它不仅用 TransNetV2 做镜头边界检测，还引入了动态一致性过滤，踢出了那些“伪视频”（如平移图片的幻灯片）。
• 层次化标注（Hierarchical Captioning）：使用细粒度、简短、以及“三词 bucket”三个维度的标注。其中三词标注用于对数据集进行语义分桶。
• GPU K-means 去重：在三词分桶内采用 GPU 加速的 Bradley-Fayyad 聚类算法，在 2 秒内完成了 10 万个 Embedding 的聚类，将数据集规模精简了 20%，却提升了学习效率。

图 1：从原始视频到训练 Ready Clips 的多级过滤流程

3. 核心技术二：µP + 黎曼超球体优化

这是本文最具学术深度的地方。为了解决大规模训练的稳定性，作者组合了两种高阶技术：

3.1 权重永远在“球面”上

不同于传统的 Weight Decay，作者将 Linear 层的每一行权重 wi 约束在 单位超球体 $S^{d-1}$ 上。

• 直觉：所有的权重向量模长永远为 1，这消除了模型训练中的数值漂移。
• 物理实现：每次更新时，先将梯度投影到球面的切线空间（Tangent Space），进行 AdamW 更新后，再通过 Retraction 操作将其“拉回”球面。

3.2 超参数的“零成本”迁移

利用 µP (Maximal Update Parameterization)，作者实现了 Scaling Law 的神迹：在 30M 参数小模型上搜到的最优学习率，可以直接给 22B 模型使用。 更有趣的是，超球体约束天然满足了 µP 要求的 $1/\sqrt{fan\_in}$ 初始化尺度，两者结合后，训练曲线极其丝滑。

图 2：实验证明在不同参数量下，最优的学习率区间保持高度一致

4. 架构优化：推理感知型设计 (Inference-Aware)

视频生成通常需要处理 10 万个以上的 Token。为了加速，Summer-22B 采用了类似 Llama-3 或 PaLM 的 Parallel Attention-MLP 架构。 通过一个统一的拼接矩阵 $[Q,K,V,H_1,H_2]=Linear(ildex)$，模型可以同时计算 Attention 分支和 MLP 分支，利用 GPU 的算力并行。

• 结果：推理延迟降低了 20%，且完全没有降低收敛速度。

5. 实验战绩与评价

在 VBench 2.0 的全维度雷达图对比中，Summer-22B 在**背景连贯性（Background Consistency）和运动平滑度（Motion Smoothness）**上表现强劲，但在复杂的语义理解（如复杂空间关系）上略逊于参数量更大的 Wan 2.2-14B。

图 3：与行业主流开源视频模型的性能对比

6. 总结与洞察 (Takeaway)

1. 架构趋同：在视频 DiT 领域，微调层数和注意力机制带来的红利正在缩减，而数据清洗的质量才是 SOTA 的分水岭。
2. 几何约束的力量：黎曼流形优化不仅是数学上的优雅，它在解决大模型训练时的梯度消失/爆炸问题上具有显著的工程价值。
3. 高效率开发：30 万美元的成本完成 22B 模型的冷启动，这为中型技术团队进入视频基座模型市场提供了一份极其珍贵的工程白皮书。

局限性：该模型在长文本语义对齐和物理规律理解上仍有提升空间，尤其是在处理具有复杂因果关系的视频场景时。