在顾客开口之前做出决定
研究把主动式零售协助设定为单一决策点。智能体只能看到顾客明确提出请求之前录制的稀疏第三人称视频,并要在Greet、Elicit、Inform、Recommend或Hold中选择一个动作,其中Hold表示有意保持沉默。难点不只是选出一个有帮助的动作,还要判断当前证据是否足以支持行动。
论文称其方法为“物理落地”,因为观测被转换为与任务相关的零售状态,而不是低层物理动态。一位比较两件商品并查看标签的顾客,可能与一位没有明确需求、只是浏览的顾客看起来相似,因此状态表示必须保留能区分“寻找信息”与“独立探索”的线索。作者强调,仅用一个压缩后的意图标签,恰恰可能丢掉这些证据。
拆分感知、预测与选择
主动意图世界模型(PIWM)把问题拆成三个接口。See从视频构建感知基础:四个证据字段分别描述可见场景、参与方式、视线与注意力、身体与手部动作,stage、intent_label、belief、desire和intention则表达推断出的顾客状态。Foresee随后为每个候选动作预测一步后果,包括下一AIDA–BDI状态、收益、风险,以及取值在-1到1之间的相对奖励。Act比较这些“候选动作—后果”对并选出动作。
状态设计把AIDA购买阶段(Attention、Interest、Desire、Action)与BDI字段(信念、欲望、意图)结合起来。论文明确指出,推断字段是任务解释而非观测事实;保留证据字段,是为了让下游模块看到解释所依据的内容。Hold与主动干预走同一个Foresee接口,因此沉默是一个可预测的备选方案,而不是没有选择。
实现使用Qwen2.5-VL-7B-Instruct作为骨干模型并采用LoRA适配,三个任务分别训练,而不是训练一个从视频直接到动作的单体预测器。推理时,See构建状态,Foresee从同一状态为每个候选打分,Act比较得到的候选—后果对。预测只向前推一步,不会递归展开成想象的多步轨迹。
结构化输入贡献了主要增益
核心比较使用包含509条样本的Full测试集。把预测后果提供给决策步骤时,动作准确率为63.65%;而在推理时跳过Foresee的直接决策配置为45.38%。两种配置都收到完整的预测状态,因此差异隔离出的正是“是否比较了候选后果”。
证据消融的结果更明显。去掉四个可观察证据字段,并从缩减后的状态重新生成预测,准确率降至27.70%。由于这一改动同时改变Foresee和Act的输入,论文将其描述为衡量两者对证据移除的联合反应,而不是单个模块受到的影响。作者还报告,当智能体必须从原始视频中提取信息并直接决策时表现很差,而使用从专业零售视角提取并标注的结构化输入后会大幅改善。
预测准确不等于会做规划
反事实预测在单独评估中表现良好,但论文报告,在推理时查询这些预测的规划方法会明显退化。这是该研究最重要的负面结果:局部有用的后果预测并不能可靠地改善动作选择。作者认为,这一差距可能反映过程理解不完整、细粒度单步结果存在不确定性,以及场景与时间演化联合建模不足。
另一项对照单独考察Hold。只去掉Hold的预测,同时保留完整状态、其余四个预测、五动作候选集以及不干预指令,准确率降至47.94%。在该条件下Hold仍是合法选择,因此下降说明的是预测沉默本身有价值,而不是选项被移除。论文还指出,Hold是结构化状态评估中最难的动作,并将其与时间感知联系起来。
基准实际衡量的是什么
GuidanceSalesBench提供按任务划分的资源:See有1,043条多模态观测记录,Foresee有2,001条状态—动作记录,Act有680条文本状态决策记录,Full集合有3,054条样本,并划分为3,054条训练、509条验证和509条测试样本。论文提醒,这些按任务导出的记录不应被理解为独立场景的数量,也不应与Full集合相加。
评分方式因任务而异。See在209条样本上要求stage和intent同时正确,因此阶段正确但意图错误得零分。Foresee在309条状态—动作记录上比较预测的下一AIDA阶段与参考值;风险、收益、奖励和生成的BDI文本属于后果表示的一部分,但不是该准确率的额外计分项。Act在245条文本参考状态样本上评分,Full在509条测试样本上评分。有用的后果不一定改变AIDA标签,因此Foresee的下一阶段得分与Full决策准确率衡量的是流程的不同部分。
另有一个Real集合,包含418条由销售专家标注的搭建式真实门店场景记录,不参与训练,仅用于评估。全文中的后果目标都是规范性标注,而不是真实干预后观测到的结果;真实门店材料也是搭建场景,而非隐蔽部署。
证据的适用边界
实验覆盖的是在合成、规范性监督下的单次决策预测与选择。更长的交互和真实的顾客结果需要其他评估设置,论文也明确表示其实验不能确立顾客获益或部署安全性。跨源场景和真实门店交互的泛化留待未来工作,追踪状态估计与单个预测如何影响具体决策同样如此。
作者提出用长时程交互轨迹和时间后果监督作为下一步,以改善持续推理与干预时机。这一提议直接来自他们记录的两个薄弱点:预测在局部有帮助,但用于规划时无效;Hold动作仍然难以做对。
论文确立的优先顺序
对于构建或评估主动式零售智能体的人,论文给出的优先顺序很具体。保留显式可观察证据比把观测压缩成意图标签更重要:从完整状态到去掉证据字段的状态,Full准确率损失35.95个百分点,远大于基于后果的决策与直接决策之间15.71个百分点的差距。预测不干预应与主动服务进入同一比较,因为仅失去Hold预测就损失15.71个百分点。
尚未解决的阈值在预测质量与决策质量之间。模型可以在下一阶段预测上得分很高,但在把这些预测用于规划时仍然失败,因此单独的Foresee准确率不足以代表智能体是否会明智行动。论文自身的框架支持把干预与不干预放在一起处理,并按任务知识组织观测;至于持续协助是否可行,则要等多步轨迹和时间监督被评估后再判断。
本文引用的文献
See Better, Foresee Better, Act Wiser: Physically Grounded Proactive Modeling and Decision Making
在509条Full测试集上,基于后果比较的选择达到63.65%的动作准确率,直接决策为45.38%;去掉四个显式证据字段后准确率降至27.70%,仅去掉Hold预测则降至47.94%。
