[CVPR 2026] Sketch2Colab：用草图驱动多人 3D 协作动画，速度与精度的双重革命

TL;DR

生成逼真的多人协作 3D 动作（如两人共同搬运桌子）一直是动画领域的难点。Sketch2Colab 提出了一种全新的工作流：它通过将复杂的扩散模型（Diffusion）蒸馏为更快的校正流模型（Rectified Flow），直接从 2D 故事板草图中“翻译”出符合物理逻辑、关节精准的 3D 多人-物体交互。它不仅跑得比前人快，而且在处理“抓取”、“交接”等离散动作时表现出了惊人的准确性。

1. 痛点：为什么“文本”和“扩散模型”不够用？

在 3D 引擎或游戏开发中，传统的文本驱动（Text-to-Motion）虽然方便，但无法表达“左手必须在第 30 帧碰到杯子”这种极其精确的空间约束。

而目前主流的 Diffusion Models 虽然生成质量高，但在处理强约束时存在缺陷：

• 推理效率极低：往往需要数百步采样。
• 控制效果偏软：如果只靠加权噪声引导，模型容易忽略细微的接触（Contact）约束，导致“手穿模”或者“脚滑”。
• 相位缺失：协作动作涉及状态切换（如从搬运到放下），传统模型在时间维度上容易产生模糊。

2. 核心架构：Rectified Flow + CTMC

Sketch2Colab 的设计直觉在于：将“连续的运动轨迹”与“离散的交互状态”解耦。

模块一：从 Diffusion 蒸馏到 Flow

作者首先训练一个强大的扩散模型作为“导师”，然后将其概率流速度场（Velocity Field）蒸馏给一个 Rectified-flow 学生模型。这种方法使得模型可以用更短的路径、更少的步数实现从高斯噪声到运动序列的映射。

模块二：离散相位调度器（CTMC Planner）

为了让“抓取”和“交接”动作更加干脆，模型内置了一个 连续时间马尔可夫链（CTMC）。它负责预测当前处于哪个交互相位（如：接近 -> 接触 -> 持有），并相应地调整运动场的行为。这保证了在接触发生的瞬间，运动轨迹能立刻做出物理反馈，而不是缓慢平滑地移动。

3. 双空间能量引导：既要“准”又要“稳”

普通的约束往往只在解码后的图像空间做优化，这会导致模型偏离正常的动作分布。Sketch2Colab 采用了双空间引导（Dual-Space Conditioning）：

1. 潜空间（Latent Space）：通过 Latent Anchors 确保生成的动作符合人体动力学特征，不产生畸变。
2. 运动空间（Raw-Space）：利用可微的能量函数（Energy Guidance）实时纠正手部、骨骼与草图轨迹的偏差。 为了加速这一过程，作者引入了一个低秩的 Jacobian Surrogate（雅可比代理阵），让梯度回传跳过了复杂的解码过程。

4. 实验战绩：SOTA 级的约束能力

该模型在 CORE4D（协作任务）和 InterHuman（多人任务）上均表现出色。

从可视化结果（Figure 1）可以看出，即使是复杂的搬运、高度调整和交接，模型也能根据稀疏的 2D 笔触生成严丝合缝的 3D 动画。

5. 总结与反思

Sketch2Colab 成功地将“故事板草图”这一传统动画工业的习惯语，转化为了高质量的 3D 生成控制信号。

局限性：

• 物体的局限：目前模型仍依赖于数据集内的物体类别（如 CORE4D），对于奇形怪状的未知物体，物理一致性可能有所下降。
• 师生依赖：当前的训练流程高度依赖预训练好的 Diffusion 教师模型，如何实现完全独立的流匹配训练仍是未来的探索方向。

展望： 这种“草图控制 + 精准交互”的范式，预示着未来 3D 动画师可能不再需要繁琐的 Keyframe 手动调整，只需寥寥几笔，AI 就能完成最复杂的物理交互工作。