缺的是归属而非词语
词级文本解混的起点是词汇证据完整、但归属信息已经丢失的情形。多个来源被序列化进同一条流:重叠的语音转写按时间合并,文档抽取把二维版面压成错误的线性顺序,并发智能体或无标注事件日志把部分输出写入共享流,只保留到达顺序。词都在,未知的是每个词的出现属于哪个来源。
论文把任务形式化为:给定交错流和已知来源数 K,恢复各来源序列,使每个已观测词的出现恰好被使用一次,并保留其来源内原始顺序。这比话语级对话解缠、段落级风格变化检测或带时间定位的说话人分离更细,因为归属可能在相邻词之间切换,且只能从混合词汇流本身来判定。
直接生成为何破坏精确重建
让大模型直接输出分离后的来源数组,会把两件事耦合在一起:判定归属和产出词语。论文认为这带来两种失效模式。每一次归属判定都会改变理解后续词所需的局部来源上下文,因此路由必须依赖历史;而自由生成可能遗漏、重复或改写已观测词,即使底层归属推断在结构上正确,也直接违反精确重建目标。
EPOR 把两者分开。因果语言模型被调整为对每个已观测词预测一个归属标签,条件为交错流和此前的路由决策。重建则是确定性的:索引重建按预测路由机械地收集原始词的出现。模型从不书写它正在归类的词。
约束解码保证路由结构合法
推理时,EPOR 使用补全安全的约束束搜索。可采纳规则把下一个标签限制在仍能构成完整规范路由的动作上:选定一个标签后,剩余位置数必须不少于尚未出现的来源数。EOS 被排除在路由字母表之外,解码在恰好 T 个归属符号后停止,其中 T 是已观测词的出现次数。
这保证的是结构合法性,而不是正确性。每条被接受的路由都是一个完整的规范划分,按索引递增读取每个标签集合会使用每个输入位置一次,并保留各来源内的顺序。但有限束搜索只是近似最大化路由得分,并不枚举完整支持集,也不保证全局最优路由。论文指出,束剪枝不会让保留下来的前缀变得非法,却可能丢弃全局得分最高的路由。
UNMIXBENCH 覆盖五条评测轨道
该基准涵盖受控合成混合、来自 AMI 和 ICSI 的时间戳派生语音、来自 ReadingBank 的版面派生文档流,以及模拟的并发数字输出。序列化扩展包含 3,433 个评测视图。其中 1,200 个数字视图是 400 个共享来源组上的三种调度,因此组级推理会把同一组的调度放在一起。ReadingBank 视图包含来自 828 篇测试文档的 833 个样例。
各轨道的混合生成方式不同。AMI 使用标注词时间合并,覆盖 59 场会议的 1,000 个窗口,平均混合强度 0.275;ICSI 开发集使用 15 场会议的 400 个窗口,强度 0.290;ReadingBank 使用元数据派生的阅读流,强度 0.176;数字轨道的平滑、突发和不等速率三种配置分别为 0.582、0.266 和 0.531。由于这些轨道使用不同的序列化机制和不同的平均强度,它们的错误率并不是同一难度的可互换度量。
4B 模型领先微调基线 22.3%
在五个主要 UNMIXBENCH 轨道上,4B 的 EPOR 模型在微调基线中取得最低的平均最小置换词错误率,把五轨均值相对紧凑源数组生成降低 22.3%,并与零样本前沿大模型保持竞争力。最小置换词错误率是在选择最佳全局重标号后对金标准来源计算的,分母是金标准词总数,因此它衡量的是词级不一致,而不是整个来源是否被赋予了正确身份。
比较对象是任务微调生成器和结构化基线,而不是所有可能的系统。论文还报告了一个匹配表示对照 PI-Route,它把规范目标替换为任意来源标签,并枚举全部 K! 种全局重标号;它在骨干、可训练参数、数据、学习率、轮数、上下文长度、来源数、训练次数、束预算、重建映射和指标上都与 EPOR 匹配。该对照用于分离出增益中有多少来自首次出现规范路由,而非来自额外容量。
训练配置与模型所见输入
任务适配比较使用后训练 Qwen3.5-4B,NF4 量化、rank-32 QLoRA、alpha 64、dropout 0.05、两轮训练、有效批大小 16,并做三次训练运行。EPOR 和 PI-Route 使用学习率 2e-4 和 1,024 个 LM token 的上下文。长度审计发现,3.4% 的监督 EPOR 序列超过 512 个 LM token,没有超过 1,024 的。
10,000 条训练样例按 (0.6,0.3,0.1) 的概率从 (2,3,4) 中抽取 K,实际得到 5,955、2,998 和 1,047 条,消耗 25,092 个来源片段且不重复使用。输入词在套用模型专属对话模板前先被索引并 JSON 编码。提示要求恰好 T 个单数字标签,每个索引输入 token 一个,首个标签固定为 0,新标签只能以当前最大标签加一的方式引入。提示被损失掩码;路由符号和助手终止后缀受监督。
可识别性审计说明了什么
由于合法划分在语义上仍可能出错,论文对 120 个受控 MultiNLI 样例做了两阶段审计,覆盖 K 为 (2,3,4)、四个来源相似度区间和五种混合设置。GPT-5.6 Sol 评审智能体被展示混合文本、K 和记录的来源划分,并被要求构造一个在语言上仍然合理的、实质不同的合法划分。它对 103 个样例没有找到明确替代,标记 7 个为不确定,另有 3 个为合理替代、7 个为强欠定。
随后人类评审检查了全部 120 个样例,对最初判定为明确的 103 个样例没有找到实质不同的合理替代。在 17 个非明确样例中,只有两个 K=4 的样例(目标混合强度 0.75 和 1.0)保留了一个合理替代;其余 15 个被判定只有一个可辩护的划分。论文明确指出,该面板是为探查困难样例而设计的,因此这一描述性比例既不是无偏的流行率估计,也不是最小置换词错误率的人类上限。
这些保证在哪里停止
解读结果时有三条边界值得注意。该形式化假设来源数 K 已知;联合推断来源数量及其归属被留作扩展。有限束解码保证结构合法,但不保证归属正确,论文的候选排序分析表明,即使在合法路由之间仍存在大量排序错误,因此更好的路由打分或重排仍可能带来增益。此外,该形式化隔离的是完整词汇观测下的归属恢复:真实流水线还可能包含 ASR 或 OCR 的插入、删除或替换,因此把证据保留路由扩展到含噪或不完整观测仍是开放问题。
实际优先级正来自这一区分。当每个词的出现都被观测到、只缺归属时,把归属推断与词汇再生成解耦是直接生成之外的可靠替代,而相对紧凑源数组生成在五轨均值上 22.3% 的降幅是值得权衡的数字。当词本身可能缺失或损坏,或 K 必须被推断时,精确重建保证不再适用,论文的证据也不覆盖该情形。
本文引用的文献
Word-Level Text Unmixing via Evidence-Preserving Ownership Routing with Language Models
4B 的 EPOR 模型在五个 UNMIXBENCH 轨道上于微调基线中取得最低的平均最小置换词错误率,把五轨均值相对紧凑源数组生成降低 22.3%,同时每个已观测词的出现恰好保留一次。
