相邻行为何干扰棚架作物分割
在葡萄园和现代果园等棚架系统中，单张侧视图像可能包含多行外观几乎相同的植被。因此，要求模型找出叶片或果实时，它往往会把相邻行的器官与目标行一起检测出来，而当目标只是刻画前景作物行时，这就成了问题。表型图像还常以高分辨率采集，以保留叶片、果实和病害症状等细小结构，在这种尺度下，许多视觉模型直接做全图推理会变得困难。
FrontVeg V2 同时应对这两个问题。它并不取代底层基础模型，而是增加一套处理框架，使其零样本预测更适合结构化的农业场景。当前实现使用 Depth Anything V2 做单目深度估计，使用 SAM3 做零样本实例分割，模型路径由外部提供，而非固定在源代码中。
谷值感知深度阈值确定前景掩膜
流程的第一条分支从深度中提取二值前景掩膜。深度模型从 RGB 图像估计相对深度图，软件把该图转换为 0 到 255 的一维直方图，并用高斯滤波平滑以抑制局部波动。显著的局部极大值构成一组众数，由于第一个众数通常对应远处背景，模块会将其丢弃。
对每一对相邻众数，算法把谷值定义为两者之间平滑直方图的最小值。为避免从远处区域选取阈值，搜索被限制在前四个候选谷值，最优阈值即平滑值最低的那个谷值。用该值对深度图做阈值处理，直接得到二值前景掩膜。这一步把场景几何编码为先验，而不是仅依赖外观。
分块与图组装找回细小碎片目标
与此同时，第二条分支处理原始 RGB 图像。为保留细小植物结构，图像被划分为相互重叠的正方形图块，默认 640×640、重叠系数 0.5，步长等于图块尺寸乘以 1 减重叠系数。每个图块由视觉基础模型依据用户文本提示独立处理，小于 50 像素或覆盖超过图块 55% 的碎片会被丢弃。
重叠图块会产生冗余且破碎的预测，因此基于图的掩膜组装模块把每个有效碎片表示为图中的一个节点。边分两阶段建立：先用边界框 IoU 大于 0.05 找出候选对，再用掩膜 IoU 大于 0.10 验证。连通分量构成重建后的目标实例，属于不同实例的重叠像素按置信度以赢者通吃方式解决。最后，前景掩膜对齐到分割分辨率，并通过逐像素逻辑与合并，从而在不改变已检测目标形状的前提下，去除前景植被区域之外的预测。
FrontVeg V2 在每个评估性状上领先零样本基线
性能影响在一个葡萄园基准上与现有零样本流程做了对比评估。FrontVeg V2 在所有评估性状上都优于所比较的工具，在复杂目标上差距最大。果实达到 Dice 0.92，而 INSID3 为 0.58；病害症状上，竞争方法失败，Dice 低于 0.20，而 FrontVeg V2 黑腐病达到 0.61、霜霉病达到 0.73。叶片本已被基线处理得较好，FrontVeg V2 仍提升到 Dice 0.95。
这些是在葡萄园基准上报告的均值与标准差，因此该比较只针对这一基准和这些性状，而不是对所有作物或所有成像条件的普遍结论。
分块与前景过滤各自消除不同失效
消融研究分离了各组件的贡献。单独使用 SAM3 在细小或复杂目标上结果很差，黑腐病 Dice 为 0.00。加入分块与非极大值抑制后，叶片升到 Dice 0.90、果实 0.90、黑腐病 0.50、霜霉病 0.72，说明分块推理与掩膜组装显著改善了实例召回。
单独应用几何感知前景过滤，结果与仅用 SAM3 基本持平，这表明该过滤器不是检测器：它去除背景噪声，而不是发现目标。把分块、非极大值抑制与前景过滤结合后总体精度最高，完整的 FrontVeg V2 配置达到叶片 Dice 0.95、果实 0.92、黑腐病 0.61、霜霉病 0.73。两个组件针对不同的失效模式，增益来自它们的整合。
实际收益以标注工时衡量
除原始分割精度外，论文把贡献表述为解决数字表型中的手工标注瓶颈。构建这个 158 张图像的评估数据集需要约 200 小时专家手工标注，产出约 10,000 个手工勾画的目标实例。通过提供无需微调的零样本推理，FrontVeg V2 估计每 1,000 张图像可节省 1,300 小时人工。
该估计是从本数据集的标注工作量外推的预测，而非某次部署的实测结果，因此应把它读作对该工作流程数量级的论证，而不是精确的账目。
框架适用范围与推理瓶颈所在
评估数据集包含来自法国、西班牙、意大利、比利时和瑞士六个地理位置的 158 张图像，覆盖葡萄、杏和苹果，三种作物都做叶片和果实分割，葡萄还做黑腐病和霜霉病分割。图像由不同相机系统、光照条件和视角采集，因此该基准覆盖异质田间条件，而非单一受控设置。软件目前面向葡萄、苹果和杏园中的叶片、果实以及这两种葡萄病害。
运行时间是更清晰的操作边界。该流程在消费级硬件上运行，即 Intel i7-11850H、32 GB 内存和 RTX 3080 16 GB，不依赖云端。谷值感知深度阈值预处理约每张图像 1 秒，而滑动窗口 SAM3 推理仍是主要瓶颈，约每类 2 分钟。目前限制实时或边缘部署的正是这种不对称，而不是分割质量。
本文引用的文献
FrontVeg V2: A Training-Free Software Framework for Foreground-Aware Zero-Shot Plant Trait Segmentation in High-Resolution Images of Trellised Crops
在一个葡萄园基准上，FrontVeg V2 达到叶片 Dice 0.95、果实 0.92、黑腐病 0.61、霜霉病 0.73，在所有评估性状上优于所比较的零样本流程，且无需任务特定重训练。