[CVPR 2024] SeeThrough3D：让 AI 生成学会“立体透视”，攻克多物体遮挡难题

TL;DR

在文本生成图像领域，如何让 AI 精准按照你指定的 3D 布局摆放物体？此前的方法在处理“物体叠物体”的遮挡场景时常常翻车。本文介绍的 SeeThrough3D 通过一种天才的设计——半透明 3D 框（OSCR），让模型不仅能看到表面的物体，还能感知到被遮挡的深度层次，实现了对物体位置、朝向、相机视角以及个性化身份的全面 3D 操控。

背景定位

目前主流的 Controllable Generation 多基于 2D 控制（如 Bounding Box 或 Segmentation）。虽然有 ControlNet 或 LooseControl 等尝试 3D 控制，但它们要么在复杂遮挡下失效，要么无法精确控制物体的 3D 偏转角度。SeeThrough3D 在学术坐标系中属于强约束 3D 布局控制的 SOTA 工作，尤其擅长处理高密度、多物体的复杂布局。

痛点深挖：为什么深度图和 2D 层不够好？

过去的方法主要有两种流派：

1. 深度图引导：将 3D 框投影成深度图。缺点是深度图是“死”的，一旦物体重叠，背后的物体信息就丢失了。
2. 2D 分层：像 Photoshop 图层一样叠放。缺点是缺乏真实的 3D 几何一致性，看起来像纸片人旋转。

作者意识到，真正的 3D 感知需要**“透明性”**。

方法论详解：OSCR 与注意力绑定

1. 遮挡感知 3D 场景表示 (OSCR)

SeeThrough3D 并不直接输入深度图，而是将 3D 场景渲染成一幅特殊的图片：

• 半透明性：3D 框是半透明的，即使物体被挡住，其轮廓和颜色依然可见。
• 颜色编码：3D 框的每个面被赋予特定的颜色，这把复杂的 3D 旋转角度直接编码到了像素空间。

2. 注意力掩码 (Attention Masking)

为了防止模型把“狗的属性”画到“椅子的框”里，作者在 Transformer 的 Self-attention 层做了手脚。通过注意力掩码 M，强制图像中某个框对应的 Token 只能去“看”提示词中对应的名词 Token。即使两个物体重叠，这种绑定也能确保它们身份不互换。

实验与结果

研究者构建了 3DOcBench 评测集，专门针对重度遮挡场景。

• 量化战绩：相比 LooseControl，SeeThrough3D 在 3D 朝向准确度上提升了近一倍，且生成的图像质量（KID 指标）大幅领跑。
• 可见即所得：即使是模型训练时从未见过的乐器、电子产品或透明玻璃杯，模型也能凭借 FLUX 的强大先验和 OSCR 的几何引导，生成逼真的遮挡效果。

深度洞察：为什么这行得通？

作者通过可视化发现，预训练模型内部其实自带了“3D 直觉”。在注意力图中，即使是重叠区域，不同物体的特征依然在潜在空间（Latent Space）中保持分离。OSCR 做的其实是**“引导”而非“强制”**，它激活了模型本身处理遮挡的潜能。

总结与启示

SeeThrough3D 告诉我们，解决复杂物理关系（如遮挡、深度、旋转）的关键，往往在于如何设计一个**“几何友好”的中介表示**。半透明 3D 框是一个极具物理直觉的尝试。

• 局限性：由于依赖基础模型 FLUX，如果基础模型本身没见过某种极端的物理交互（如鹦鹉钻进细密的鸟笼），生成的局部细节仍可能出现瑕疵。
• 未来：这种思路极易扩展到视频生成或动态场景编辑中，为虚拟制片（Virtual Production）提供低成本的精准控制。

本文由资深学术技术主编重构。