真实 LLM 智能体工作流中的隐私风险如何评估与审计？

只看最终回复为何漏掉大部分风险

现有智能体隐私基准大多以最终答案里出现了什么、或某个预设失败情形是否被触发来评判智能体。论文认为这种框架在结构上对一类常见失败视而不见：智能体可以读取与任务无关的敏感文件、消息或记录，却仍然给出干净的最终回复。在只看结果的指标下，这种不必要的访问完全不可见。

第二个缺口来自环境。模拟轨迹和合成工具包把隐私违规缩减为基准作者已经设想到的情形，也无法复现真实智能体在多轮中持续调用工具所带来的长时程、累积式上下文堆积。论文给出的动机是：隐私违规起源于执行轨迹，而不只发生在回复边界，因此轨迹本身必须成为测量单位。

运行真实 MCP 工具的沙箱

AgentPrivArena 由三层构成：承载任务状态的本地服务环境、把服务暴露给智能体的 MCP 工具层，以及在沙箱工作区中运行被测智能体的执行层。智能体只能通过 MCP 工具与服务交互，执行搜索、读取、写入和最终动作。

服务是六个自托管开源应用，各自对应一种隐私敏感的应用程序功能：知识库用 BookStack 26.03.3，私信聊天用 Mattermost 11.6.0，团队聊天用 Rocket.Chat 6.13，电子邮件用 Mailpit 1.29.7，社交媒体用 GoToSocial 0.21.2，日历排程用 Radicale 3.6.1。每个在线服务都配一个 MCP 服务器，把其原生 API 封装成面向智能体的工具，并归为三类操作：发现、访问、写入。这些工具有意镜像 PrivacyLens 模拟工具包的接口，操作相同、参数签名可比，以便在两种设置之间比较轨迹。

执行发生在本地 Docker 网络内，其中包含服务实例、MCP 服务器和一个 OpenHands DockerWorkspace。每个任务开始时，运行器启动全新的智能体容器，重置并用任务专属记录填充所需服务，记录轨迹，然后移除智能体容器并清空服务状态，再进入下一轮。这正是运行可复现、且不产生真实世界副作用的原因。

先验证执行保真度再谈隐私数字

在报告隐私结果之前，论文先验证基础设施本身没有扭曲结果。在 389 个任务的子集上、跨五个模型，框架的平均任务完成率为 98.96%，运行器层面的失败可忽略不计。各模型完成率从 Mistral-Large-3 的 97.9% 到 GPT-5.4 的 100.0% 不等。

真实环境还产生了静态设置无法展现的行为：智能体在行动前向用户请求澄清（Clarify，占任务的 1.3% 至 4.6%），以及从工具调用失败中恢复（Err. rec.，即遇到工具错误后仍达成已提交动作的任务占比，93.3% 至 100.0%）。作者把这些视为容器化 MCP 架构是可靠、无瓶颈的智能体自由评估基础的证据，而非隐私发现本身。

轨迹指标统计的是不必要访问

该框架在测量上的贡献是一组轨迹级隐私指标，用于量化最终回复泄漏之外的不必要信息访问。这一区分很重要，因为两个指标在不同单位上回答不同问题：回复泄漏问的是答案里有什么离开了系统，轨迹指标问的是智能体在执行过程中触碰了什么。一个读取了无关敏感记录却从未提及它的智能体，在第一个指标上干净，在第二个指标上有问题。

论文报告称，对当前最先进 LLM 智能体的大量实验揭示了现有评估范式所忽略的大量隐私风险。这一论断具体指向两个测量层级之间的差距，也正是作者主张轨迹级审计对可信智能体部署至关重要的原因。

在两个边界上审计读取与写入

AgentPrivAudit 是一个主动、即插即用的运行时审计器，在智能体上下文中累积的信息通过对外写入传播之前介入。它挂在两个边界上。在每一批读取（即一个智能体回合内发出的读取）之后，提取器把该批访问工具的观测结果转换为一份持续更新的显式信息流清单，并可能返回一条简短提示，在智能体下一步之前进入其上下文。工具观测结果仍原样传给智能体；提取器从不扣留或修改智能体索取的记录。

每个候选流由五个属性表示：发送者（数据来源）、接收者（预期消费者）、主体（数据所涉个人）、类型（信息类别，如个人标识符或健康记录）、传输原则（允许共享的条件）。在任何对外写入执行之前，由策略驱动的仲裁器依据这份清单评估拟议传输，并给出三种决定之一：PASS 允许，ABSTRACT 用泛化表述替换具体细节，BLOCK 阻止该流。

标准可插拔，机制不可插拔

决策规则有意不写死。隐私标准是可插拔组件，而流模式、提取规则、输出格式、解析器和执行路径保持固定，因此每种策略都通过同一设计输出同一结构。论文实例化了三种标准，各自由它向信息流提出的问题定义：CI（默认）问的是，该主体通过该渠道、为该目的、向该接收者分享这条关于该主体的信息是否恰当；PII 问的是，这条信息是否披露了主体以外他人的个人可识别信息；DATA MIN. 问的是，这条信息是否为完成任务所必需。

论文的讨论在规则与执行规则的机制之间划出清晰界线。同一条规则作为指令几乎不起作用，一旦有机制强制执行就变得具有决定性。作者明确拒绝把效果归因于任何单一组件，因为每个受审计的实验组都捆绑了结构化流表示、执行路径和第二个模型。他们提出的是假设而非结果：大部分收益来自让轨迹显式化，而不是来自否决权；并指出一个由执行者自我审计的实验组可以检验这一点。该假设与标准相契合：情境完整性问的是发送者、接收者、主体、渠道和目的之间的关系，而这些字段不存在时无法评估；PII 问题则关注孤立的一条信息，从同样的表示中获益甚少。

提取召回率决定仲裁器能看到什么

仲裁器只能对读取边界已表示出来的信息流作决定，而这仅占智能体所读内容的 70.5%。作者由此得出的实际结论是：约束该机制的是提取而非仲裁，提升提取召回率比强化仲裁器更直接地通向残余风险。

这一残余已被量化。最佳配置仍在 16% 至 19% 的任务上发生泄漏。仲裁器未能拦截的大部分是它从未见过的材料：智能体读到的事实中有 29.5% 未被表示为信息流；若把从未读取的条目也算上，47.7% 的受保护事实完全不在清单之内。另一端的典型失败是反复抽象，论文指出目前没有机制能区分一个动作是扣下了敏感细节，还是扣下了答案。该审计在设计上还是失效开放的，因此作者表示，不应把它当作抵御能诱发该失效的对手的安全控制。

核心数字建立在什么之上

每个核心数字都建立在三个 LLM 评判者的 2 比 3 多数表决之上。判断容易时一致性高（κ = 0.82–0.87），在论文所主张的条件下一致性最低（κ = 0.61–0.71），而三个沿用既有工作评分标准的评判者可能共享同一偏差。一份双标注者盲评材料已准备好但尚未标注，因此论文中没有任何论断经过人工裁决检验。作者把该指标描述为稳定的工具，而非已验证的工具。

范围同样有限。该设置覆盖一个主体、一个智能体和文本，多模态仅作为限定范围的探索。493 个源场景中有 389 个可转换，原因是服务封装和种子映射，而非隐私难度。转换并不均匀：私信封装无法为群组对话播种，因此那些依赖广泛内部受众才构成违规的场景缺失，作者预计这会使泄漏率和降低幅度估计都偏保守。智能体读取的所有记录都是合成的，源自人工撰写的 PrivacyLens 情景，且没有任何任务触及商业账户。

审计在哪里有效，在哪里无效

论文自身的优先级排序才是真正有用的结论：运行时隐私审计的约束瓶颈在读取边界的提取器，而不在仲裁器的策略选择。被表示为信息流的事实占 70.5%、读取事实中从未被表示的占 29.5%、完全不在清单内的受保护事实占 47.7%，三者都指向同一处，作者也说提升提取召回率比强化仲裁器更直接地通向残余风险。

这一排序也告诉你该如何看待三种标准。由于标准可插拔，而流模式、提取规则、输出格式、解析器和执行路径固定不变，比较 CI、PII 和 DATA MIN. 是标准之间的比较，而非不同实现之间的比较——但论文自己的讨论提醒，标准本身并不承载效果，收益目前也无法归因于否决权，而非让轨迹显式化。对判断该信任什么的读者来说，分界线在于：一边是框架已展示的执行保真度和轨迹级测量，另一边是审计尚未验证的、基于评判者的指标和失效开放的执行方式。

本文引用的文献