OpenPhone 要打破的两难处境
移动 GUI 智能体夹在两个都不理想的选择之间。小到能真正在手机上运行的模型(4B 参数及以下)GUI 性能不足;能力足够的模型(约从 7B 起)要么太大无法端侧部署,要么作为闭源云端模型成本过高。论文把这描述为能力与成本之间的缺口,可用区间内没有合适方案。
作者提出的解法不是二选一,而是把两者结合:用紧凑的端侧模型作为默认执行者,只把实时复杂度评估判定为困难的子任务交给云端模型。需要检验的论断是,这种分工能否在保持任务完成率的同时削减云端开销。
3B 端侧智能体被训练做什么
端侧智能体是 Qwen2.5-VL-3B,通过合成 GUI 数据上的两阶段 SFT 再 GRPO 训练流程增强。目标是在小到足以放进智能手机的体量下获得强决策能力,而不是靠规模取胜。
有两个机制支撑这一点。第一是测试时的扩展思维链推理:智能体分析当前界面上可操作的要素,检查先前动作是否达成目标,评估朝用户任务推进的进度,然后选择函数与参数。如果历史显示先前操作失败,模型被训练去反思并调整,而不是重复错误。第二是高效记忆管理:不存储原始高分辨率截图(会占用过多 token),而是把每一步压缩成紧凑的文本状态评估,涵盖当前界面状态、任务进度、推断的下一步动作、预期结果和潜在问题。论文称这使智能体在紧张的端侧资源下仍能保留约 10–20 步历史作为上下文。
升级到云端是如何被决定的
设备与云端这一层不是固定规则,而是一套监控策略。任务复杂度评估决定何时开始监控、监控多频繁,以及高风险任务是否从一开始就交给云端。随后一套独立的动态编排策略逐步决定云端模型是否应当接管。
切换标准很具体。即时触发条件包括检测到关键失败应用、涉及财务数据录入或导航等复杂任务模式、前三步出现早期困惑,或导航到完全不相关的应用。渐进触发条件包括同一动作重复两次及以上而无进展、明显失去方向,或误读当前应用状态。论文声明的优先级是任务完成高于成本优化,因此该策略愿意对高风险情形尽早升级。
AndroidLab 结果实际说明了什么
评估在在线 AndroidLab 基准上进行,覆盖九款常用应用和 138 个评估任务,另有 Gmail、Chrome、Reddit 和 TikTok 上的 25 个附加任务。所有报告结果都使用 Set-of-Mark 输入模式,即每个可点击元素获得唯一索引,模型按索引操作;XML 模式面向纯文本模型,不是所报告的设置。
核心结果是 OpenPhone 在该基准上匹配或接近更大模型,同时显著降低云端成本。理解这一论断有两条边界很重要。比较对象是更大模型,并非宣称全面超越;成本降低是相对于依赖云端模型而言,并非提取证据中给出的每任务绝对美元数字。那 25 个附加任务是 AndroidLab 的补充,不是替代的分母。
两阶段训练为何重要
奖励设计解释了小模型被推向什么方向。准确率奖励依任务而定:Tap(index) 这类操作任务要求预测函数调用与真实函数调用严格匹配,而 Finish(answer) 这类查询任务使用基于嵌入的相似度,只有相似度达到阈值才给予奖励。格式奖励对符合三块输出模板给予部分分数,并对模板之外生成的内容施加乘性惩罚,作者称这一机制针对的是小规模 MLLM 训练中常见的无关生成。
使用 GRPO 而非 PPO,是因为它不需要单独的价值函数:对每个问题采样一组输出,以组内平均奖励作为基线,优势相对于该组计算。这对解读很重要,因为它意味着端侧智能体的提升来自合成 GUI 数据上的训练与测试时推理,而不是来自更大的骨干网络。
这种协作仍在哪些地方依赖云端
作者对局限说得很明确。由于当前 2B–3B 视觉语言基座模型仍然较弱,在其上训练的 GUI 智能体仍难以独立完成复杂移动任务,在本系统中这导致对云端模型的显著依赖。设备与云端框架被呈现为一种可行的未来范式,应随基座模型进步而变得更实用、更有价值,而不是今天已解决的问题。
这一局限直接压在成本论断上:编排策略升级得越频繁,实现成本优势就越少。论文自身的风险分级说明了这种压力,把端侧完成率 0–15% 的应用列为关键失败情形,可能值得立即使用云端。
真正的决策是升级阈值
整体来看,OpenPhone 的贡献与其说在于那个 3B 模型本身,不如说在于设备与云端之间的界线画在哪里。论文自身的框架把任务完成置于成本优化之前,而它的风险分级、监控起点和监控频率才是真正设定这条线的变量。读者若要把这一方法与纯云端或纯端侧设计相比较,应首先看升级策略,因为正是它决定成本节省能否经受困难任务的考验。
因此最有用的结论是有条件的而非绝对的:当端侧模型处理日常多数任务、升级只留给真正困难的子任务时,设备与云端协作可以同时带来能力和更低成本;而它的优势恰恰会随着薄弱的 2B–3B 基座模型迫使云端接管而收窄。
本文引用的文献
OpenPhone: Mobile Agentic Foundation Models
OpenPhone 训练了一个 3B 端侧 GUI 智能体,只把困难子任务升级到云端模型,在在线 AndroidLab 基准上匹配或接近更大模型并显著降低云端成本,但薄弱的 2B–3B 基座模型仍迫使系统显著依赖云端。
