[2026] Fly360：突破视角局限，无人机全景视觉下的全向“无盲区”飞行

TL;DR

传统的无人机避障就像开车只看挡风玻璃，一旦需要侧方停车或倒车就极易撞墙。Fly360 引入了“上帝视角”的全景感知框架，通过将 360° 全景图转化为深度图，并结合独创的 Fixed Random-yaw 训练策略，让无人机即便在倒着飞、侧着飞甚至原地打转时，也能精准躲避来自四面八方的动态障碍物。

痛点深挖：消失的侧方与后方感知

在自动驾驶和无人机领域，Field-of-View (FoV) 的限制一直是安全飞行的阿喀琉斯之踵。

1. 视角盲区：大多数算法假设运动方向与机头朝向一致。但在航拍任务中，无人机经常需要“盯着”目标，同时进行环绕或后退运动，此时前视相机完全看不见身后的障碍物。
2. 多机协同挑战：当多台无人机在同一空间工作时，侧向或后方碰撞是事故的主要诱因。
3. 感知连续性差：传统多相机拼接方案（Multi-view）在图像交界处常出现深度不一致，导致控制逻辑抖动。

Fly360：全景深度与解耦控制的结合

Fly360 的核心逻辑在于：不再试图通过增加摄像头数量来打补丁，而是从全景地图的维度统一感知与行动。

1. 两阶段管线

• 感知阶段：将双鱼眼相机捕获的画面拼接为全景 RGB，利用预训练模型转换为 64×128 的低分辨率深度图（ERP 映射）。使用低分辨率是为了确保板载计算的实时性（Real-time）。
• 决策阶段：策略网络采用 SphereConv（球面卷积） 处理深度图，这种卷积方式能有效处理 ERP 格式带来的极点畸变，保证几何特征在 360° 范围内的一致性。

图注：Fly360 整体架构，从全景深度图到 3D 速度指令的闭环控制。

2. 固定随机偏航训练 (Fixed Random-yaw)

这是本文最惊艳的 Insight。为了让无人机学会“无论头朝哪，都能躲开障碍物”，作者在仿真训练时：

• 在每个 Episode 开始前随机采样一个固定的偏航角（Yaw）。
• 训练过程中，无人机必须在该偏航角下完成任务，即便它正在向相反方向飞行。 这种策略迫使模型建立起**偏航角不变性（Yaw-invariant）**的映射，彻底解耦了运动方向与传感器朝向。

实验战绩：让前视基线“无路可走”

研究团队在 Park（公园）、Forest（森林）、Urban Street（城市街道）等典型场景下进行了高强度测试。

核心指标对比

• 成功率 (SR)：在复杂的悬停维护任务中，前方视角方法由于看不见侧后方，成功率几乎为 0。Fly360 凭借全向感知，成功率大幅提升至 70% 左右。
• 碰撞时间 (CT)：即便发生轻微擦碰，Fly360 的累积碰撞时长远低于基线，显示出其强大的灾后恢复能力能力。

图注：不同环境下的性能对比，Fly360 在成功率（SR）上具有压倒性优势。

现实世界的“死亡追逐”

在真实实验中，团队演示了一个“疯狂”的测试：人类连续追逐并试图碰撞无人机。Fly360 展现了灵巧的避让动作，即便障碍物（人）从视觉盲区急速靠近，无人机也能实时感知并瞬间规划出逃逸路径。

深度洞察与总结

Fly360 的意义不仅在于刷新了避障成功率，更在于它提出的训练范式。在具身智能（Embodied AI）中，感知与动作的坐标系对齐往往是痛点，而 Fly360 证明了：

1. 中介表示（Intermediate Representation）的价值：使用深度图而非原始 RGB，极大地缩小了 Sim-to-Real 的鸿沟。
2. 轻量化是王道：即使是看似沉重的全景感知，通过合理的降采样与针对性卷积，依然可以在移动端 GPU 上实现 >40Hz 的控制频率。

局限性：目前系统对极微小障碍物（如细电线）的感知仍受限于深度图的分辨率。未来，将视觉语义与几何深度结合，或许是实现全场景“绝对安全”的下一个里程碑。

Takeaway：未来的无人机不再需要“回头”，因为它从未“闭眼”。