语义 ID 能否增强生成式推荐的知识图谱路径?

SPRIG 用内容派生的语义 ID 替换知识图谱路径中的不透明物品词元,压缩词表与算力。

直接答案

能。SPRIG 把知识图谱路径中的每个物品实体改写为一小段由内容派生的语义 ID(SID)词元,在电影(ML-1M)和音乐(Onion)两个数据集上,各项指标均优于其直接前身 KGGLM,同时把物品词元词表从随目录规模增长压缩为固定的 768 项,并使用更少的参数和 FLOPs。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

SPRIG 用内容派生编码替换不透明物品词元

生成式推荐器直接把下一个物品预测为词元序列,而不是对目录打分。已有两条研究路线试图让这种预测更聪明。语义 ID(SID)用从物品内容分层量化得到的离散编码,替换随机初始化的任意物品嵌入,使相似物品共享编码前缀。知识图谱(KG)路径推理则生成实体—关系路径,把推荐建立在物品、属性与外部实体之间的结构化关系之上。

两条路线各有互补的短板。基于 SID 的模型缺乏关系依据,而基于 KG 的生成式推荐器仍把物品表示为绑定大嵌入表的不透明词元,限制了参数共享与泛化。SPRIG 把两者结合:它把 KG 路径中的每个物品实体改写为其 SID 序列,于是像 <user, watched, Inception> 这样的路径变成 <user, watched, SEM1, SEM2, SEM3>。模型是在这些 SID 增强路径上训练的因果 Transformer 解码器,先在无协同信号的通用 KG 路径上预训练,再在用户到物品路径上微调。推理时它输出一段 SID 序列,由反向查找映射回目录中的物品。

物品词表不再随目录规模增长

在主要 KG 基线 KGGLM 中,每个物品都有自己的嵌入,因此依赖物品的词表随目录线性增长:ML-1M 上为 2,984 项,Onion 上为 18,415 项。SPRIG 则用从 K = 256 个共享条目中取出的 Ls = 3 个编码表示每个物品,把物品词元词表限制在 Ls · K = 768,与目录规模无关。

这在 ML-1M 上约是 4 倍压缩(2,984 降至 768),在更大的 Onion 目录上约是 24 倍(18,415 降至 768)。论文报告这种压缩没有牺牲容量:在 ML-1M 上 SPRIG 与 KGGLM 规模相当(56.1M 对 57.8M 参数),但每步少用 11% 的 FLOPs,同时取得更高准确率。在 Onion 上,KGGLM 的逐物品嵌入主导其参数量,SPRIG 少用 19% 的参数和近一半的 FLOPs。目录越大,效率差距越明显。

SID 物品词元使 nDCG@10 提升 44% 和 58%

论文的第一个研究问题问的是:把基于 KG 的生成式推荐器中的不透明物品词元换成有语义依据的 ID,能否提升推荐质量。在 ML-1M 上,完全特化的 SPRIG(gen + spec)相比其直接可比基线 KGGLM(gen + spec),nDCG@10 提升约 44%。在更大也更稀疏的 Onion 数据集上,SPRIG 使 nDCG@10 提升 58%。论文指出,这些相对 KGGLM(gen + spec)的提升在两个数据集的所有指标上均具统计显著性。

由于 KGGLM 与 SPRIG 共享同一骨干和知识图谱信号,论文把增益归因于基于 SID 的物品表示及其相应解码,而非知识图谱。即使不做协同微调,SPRIG(仅 gen)在两个数据集的每项指标上也超过 KGGLM(仅 gen);例如 ML-1M 上 nDCG@10 从 0.0281 提升到 0.0375。论文把这归因于 SID 带来的参数共享,使罕见物品能从前缀层面的近邻继承信号。

关系依据带来纯 SID 模型缺失的信号

跨表示范式看,生成式基线 OpenP5(原子 ID)和 TIGER(基于 SID)被知识感知模型大幅超越,论文将此解读为关系依据带来了纯 SID 序列模型所缺失的信号。在直接可比的生成式模型之间,SPRIG 与 KGGLM 的差距表明关系依据与 SID 互补,二者结合最强。

SASRec 在两个数据集上取得最高 nDCG@10,并在 Onion 上取得最高 HR@10,但论文指出它直接对完整目录排序,而生成式模型是在束搜索候选上解码,因此这一比较是指示性的而非精确的;论文还指出 SASRec 在 Onion 上的优势反映了采样设置所丢弃的音乐收听序列性。

SPRIG 对量化器不敏感,对弱物品特征敏感

为检验对量化方法的稳健性,作者评估了三种用于构建语义 ID 的残差量化器:RVQ、RQ-VAE 和残差 K-means。与 GRID 一致,残差 K-means 取得最高准确率,但相对 RVQ 和 RQ-VAE 的差距很小(约 1%),说明 SPRIG 对量化器的选择基本不敏感。

对物品表示的稳健性则表现不同。在 Onion 上比较两种音频特征提取器时,musicnn 嵌入在所有量化器下都稳定优于 MFCC 词袋表示。论文将此解读为 SPRIG 对底层物品特征质量敏感,因此量化器是低风险选择,而内容编码器不是。

冷启动与可读路径仍未经检验

评估覆盖两个领域:ML-1M 上的电影(6,040 用户、2,984 物品、932,295 次交互)和 Onion 上的音乐(12,784 用户、18,415 物品、1,375,341 次交互)。论文关于参数与算力节省的说法,绑定于这些目录以及全程使用的 Ls = 3、K = 256 的 SID 配置。

两项限制界定了这些结果。第一,论文把物品冷启动视为 SID 自然且有前景的应用,因为新物品可以通过它从内容相似的已见物品继承的 SID 前缀被触达,但论文指出,忠实评估需要针对冷启动的划分,以及为未出现在用户—物品训练边中的物品设计路径采样策略,这留待未来工作。第二,尽管 KG 路径推理本身具有可解释性,SPRIG 的路径终止于 SID 编码,比具名物品实体更难被人读懂;恢复忠实、可解释的依据被描述为有前景但非平凡的方向,而非模型的现有功能。论文还指出,其最优量化器与纯序列 SID 模型所报告的不同,这促使进一步研究分词器选择如何与关系路径建模相互作用。

词表节省在大型目录上最有价值

这篇论文中与决策相关的模式是一种依赖规模的权衡。在 ML-1M 上,SPRIG 相对 KGGLM 的优势是适度的参数差异(56.1M 对 57.8M),加上每步少 11% 的 FLOPs 和更高准确率。在 Onion 上,逐物品嵌入主导 KGGLM 的参数量,同一设计带来少 19% 的参数和近一半的 FLOPs,以及 58% 的 nDCG@10 提升。

对于权衡是否采用 SID 增强 KG 路径的读者,论文的证据指向目录规模这一变量,它决定固定的 768 项物品词表能带来多少收益:目录越大,参数、算力与准确率的回报越大。论文自身的告诫是,这一回报取决于物品特征质量,因为 musicnn 嵌入在所有量化器下都稳定优于 MFCC 词袋,而在 RVQ、RQ-VAE 和残差 K-means 之间选择只让准确率变动约 1%。

本文引用的文献

1

SPRIG: Semantic-ID-enhanced Paths for Knowledge Graph-based Generative Recommendation

SPRIG 把内容派生的语义 ID 融入知识图谱路径推理,相比 KGGLM 在 ML-1M 上使 nDCG@10 提升约 44%、在 Onion 上提升 58%,同时把物品词元词表限制在 768 项,并使用更少的参数和 FLOPs。