[CVPR 2024候选] MeshOn：告别模型穿模，实现“语义级”3D 模型自动组装

TL;DR

在 3D 角色设计中，给一个角色穿上配饰（加个帽子、戴个戒指）看似简单，实则异常繁琐：艺术家需要反复手动平移、旋转、缩放，并微调网格以防止“穿模”（物理穿透）。MeshOn 提出了一套多步优化流程，通过 VLM 解决“怎么戴”的语义问题，通过物理障碍算法解决“不穿模”的硬性约束，最终实现了既符合物理逻辑又保留模型原有属性（如权重和骨骼）的自动化组合。

1. 痛点：为什么传统的对齐算法会“穿模”？

传统的 3D 配准（Registration）算法如 ICP（Iterative Closest Point）主要关注几何距离的最小化。但在网格组合任务中，这会导致两个致命问题：

• 缺乏语义直觉：算法可能为了距离近，把眼镜反着贴在后脑勺上。
• 物理违和（Intersections）：为了让帽子贴合头部，算法往往会将配饰推入底模内部，产生严重的交截。
• 丢失控制：新兴的生成式方法（如 Instant3dit）虽然能生成组合效果，但往往会“粘死”网格，导致后续无法进行动画绑定。

2. 核心机制：四步走优化策略

MeshOn 巧妙地将复杂的物理组合拆解为四个连续的优化阶段：

2.1 语义初始化 (VLM Initialization)

利用视觉语言模型（如 Gemini 或 GPT-4V）充当“虚拟艺术家”。它通过渲染图判断物体的前后左右，并根据文本说明（如“把草帽戴在头上”）建立初始的语义坐标系。

2.2 紧密贴合但含交截 (Step 1: Proximity Fit)

使用向量化优化的 GPU Bounding Volume Hierarchy (BVH) 加速计算。这一步的目标是快速拉近距离，即使模型互相穿透也没关系。

2.3 物理轨迹解纠缠 (Step 2: Trajectory-based Solve)

这是本文的物理直觉所在：模拟人戴帽子的过程。算法生成大量随机轨迹，寻找一条从“脱离状态”到“紧密状态”且中途不产生穿透的最佳路径。

2.4 非刚性弹性形变 (Step 3 & 4: Deformation)

配饰不一定是硬的。MeshOn 利用 Jacobian 场 参数化变形，结合 IPC (Incremental Potential Contact) 障碍损耗，确保最后那 1% 的贴合是通过模型自身的弹性变形完成的，且绝对不会穿过底模表面。

图 1：MeshOn 的多步优化工作流，从 VLM 初始化到最终的弹性变形。

3. 实验验证：物理与语义的双重胜利

MeshOn 在多个数据集上验证了其鲁棒性：

• 零穿模：在定量测试中，MeshOn 实现了 0 穿切面（Intersecting faces），而对比方法通常在数百个以上。
• 语义准确：VQA 评分高达 74.49，证明其组合结果在视觉上最符合人类描述。
• 材质敏感度：通过控制超弹性 Neo-Hookean 模型参数，算法可以模拟从“坚硬的金属戒指”到“柔软的布料面罩”的各种形变效果。

图 2：相比于 Baseline，MeshOn 在处理复杂配饰（如多孔结构的物体）时体现出极佳的贴合度。

4. 深度洞察：弥补 AI 与艺术家之间的鸿沟

当前 3D 研究界的一大冲突是：AI 追求一键生成的“爽快”，而艺术家需要的是对每一个多边形的“控制”。 MeshOn 的价值在于：

1. 保留资产完整性：它不重新生成网格，这意味着原有的 UV 贴图、骨骼、权重全部保留。
2. 物理真实性：引入物理引擎中的障碍函数（Barrier Loss），让 3D 辅助设计不再仅仅是视觉欺骗，而是具备工程严谨性。

5. 局限性与未来展望

尽管 MeshOn 效果惊人，但其 15-30 分钟 的优化时间还无法达到实时交互的要求。研究团队建议未来引入“笼式模拟”（Cage-based simulation）来加速高分辨率网格的处理。此外，对于高度流体感的布料（如下垂的披风），目前的各向同性形变模型仍显不足，需要更复杂的物理系统介入。

总结

MeshOn 是一项极具实用价值的工作，它向我们展示了：当 AI 能够理解“穿鞋不能穿进脚里”这种常识时，它才能真正进入人类职业画家的工作流。