Logic-Logit 如何用逻辑规则可解释地建模人类选择?

Logic-Logit 用 OR-of-ANDs 规则建模选择,以可解释规则集实现有竞争力的准确率。

直接答案

Logic-Logit 把每个人的选择建模为若干 OR-of-ANDs 逻辑规则的加权和:一条规则的所有条件都成立时才会触发,一个选项的效用就是它满足的各条规则的加权总和。论文报告,在合成数据以及商业和医疗领域的真实数据集上,这一基于规则的模型在可解释性和准确率两方面都优于基线模型;不过证据包没有给出各数据集的具体数值。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

选择是对已满足规则的筛选

论文从“先考虑、再选择”的决策过程出发:人们先用启发式规则过滤大量选项,再从剩下的选项中选择。这些规则写成合取的析取,即 OR-of-ANDs。单个合取如“价格可负担 AND 靠近好学校”,只有每个条件都成立时才触发;多个这样的合取用 OR 连接,就构成一条决策规则。

Logic-Logit 把这一思路转化为效用模型。每个合取充当一个布尔特征,条件成立时取 1,否则取 0;一个选项的效用就是它满足的各合取的加权和。选择概率再由这些效用上的多项 logit 给出。模型学习的是权重,因此拟合好的模型可以读成一份带权重的简短规则清单,而不是一个难以解读的参数向量。

谓词把原始特征变成可检验条件

在构建任何规则之前,模型需要一组固定的谓词:把特征向量映射为 0 或 1 的布尔检验。论文把这层映射预先设定并固定下来,因此规则学习是在分析者已经定义好的条件上进行,而不是自行发明新条件。

对离散特征,论文采用等值式条件,例如房子是否为三间房;一个有十种可能取值的特征自然产生十个谓词。对连续特征,论文按数据集中的百分位设定阈值,例如房价是否排在前 20%,或房屋面积是否未进入前 60%。百分位阈值的数量是一个超参数:阈值越密,规则内容越精细,但搜索空间也越大,规则搜索越困难。由于阈值跟随特征分布,这一做法还能减弱离群值和特征尺度对线性模型造成的干扰。

混合模型让不同偏好类型使用不同规则

单一规则集会迫使每个决策者采用同一套理由,因此论文把 Logic-Logit 扩展为 Mixed Logic-Logit。规则权重向量被视为从一个潜在混合分布中抽取的样本,选择概率是该分布上 logit 概率的期望。混合分布的每个成分就是一个偏好类型,各自拥有自己的规则和权重。

论文的示例情景说明了这一设计的意图:有孩子的中产家庭使用把可负担性与靠近好学校或工作地点结合起来的规则;单身专业人士把现代设施与靠近娱乐场所或工作地点结合起来;富裕买家则把豪华配置、专属社区或大面积地块结合起来。这些是论文中的示例性偏好结构,并非来自某个具名数据集的估计结果。

列生成让指数级规则空间可搜索

学习混合分布被表述为在规则权重分布上最小化负对数似然,并用函数型条件梯度(Frank-Wolfe)算法求解。每个 Frank-Wolfe 步都要找到一个新偏好类型,也就是要在合取空间中搜索。有 M 个谓词时,可能的合取有 2^M − 1 个,因此论文把规则提取问题描述为 NP-hard,并称其搜索空间具有组合规模。

论文的应对办法是列生成。主问题对当前规则集中的规则重新优化权重,这是在已有规则上的一个较小优化问题。子问题则搜索一条能改进目标的新规则,利用损失对候选规则权重的梯度:梯度的绝对值反映规则的潜力,最有潜力的若干候选会被加入规则集。搜索按合取长度做广度优先,直到最大长度 K;在进入下一长度时,从已找到的较短规则出发做深度优先扩展。主问题求解后,权重低于阈值的规则可以被剪除。

选项集特征只在合取中起作用

模型区分选项自身特征和选项集特征,并对二者区别对待。只由选项集特征构成的规则在搜索时会被跳过,因为选项集特征在同一选项集内对所有选项都相同,无论规则权重如何,都会在 softmax 中被抵消。

这类规则只有与选项自身特征合取时才起作用。按论文的解读,选项特征规则描述单个选项有多大吸引力,选项集特征规则则描述这些选项规则适用于哪些情境。这是对学到的规则能表达什么的结构性约束,而不是关于某个具体数据集的经验发现。

可解释性以不同的参数结构为代价

论文从效用形式、参数数量和可解释性依据三方面比较模型族。Logic-Logit 使用基于规则的效用,参数数量为 O(Nn),其中 N 是消费者类型数,n 是最大规则数,其可解释性来自规则内容和规则权重。MNL 是线性的,有 O(d) 个特征权重;Mix-MNL 使用 O(Nd)。Vanilla NN、TasteNet、DeepMNL、MixDeepMNL 和 RUMNet 等神经基线被归为 NN 类,参数数量取决于潜在维度和层数;论文认为它们因内在复杂性而可解释性可忽略。

这一比较之所以重要,是因为它勾勒出论文主张的权衡:基于规则的模型意在保留可读的理由,同时仍能表示异质的偏好类型;而灵活的神经替代方案带有大量参数,却没有可比的规则级解释。

报告的优势覆盖合成与真实数据

实证评估覆盖了谓词清晰、消费者类型和决策规则有真值的合成数据集,以及来自商业和医疗领域的两个真实数据集。摘要称,Logic-Logit 在可解释性和准确率两方面都显著优于基线模型。

证据包没有提供各数据集的准确率数值、效应量,也没有给出每次比较所用的具体基线,因此无法在此核查优势的大小。可以陈述的是论文自己的说法:在上述评估设置中,两个维度都有显著提升;以及其设计选择:先在规则已知的合成数据上测试,再转向真实数据。

规则解读取决于分析者定义的谓词

可解释性主张受谓词设计的约束。谓词是预先设定并固定的,对连续特征而言,它们来自作为超参数选定的百分位阈值。因此读者解读一条学到的规则时,实际是在解读分析者提供的条件;阈值越密,规则内容越精细,但搜索也越困难。

混合模型还意味着可解释性是按偏好类型而言的:模型通过若干带比例的规则集来解释选择,而不是通过一条通用规则。在这些边界之内,论文特有的重点正是这一组合本身:在 Frank-Wolfe 混合框架内使用列生成来提取紧凑的 OR-of-ANDs 规则集,并主张这比它所测试的基线给出更透明、也更准确的选择预测。

本文引用的文献

1

Logic-Logit: A Logic-Based Approach to Choice Modeling

Logic-Logit 通过列生成和 Frank-Wolfe 在混合模型中学习 OR-of-ANDs 逻辑规则;论文报告其在合成数据以及商业和医疗真实数据上,在可解释性和准确率两方面都优于基线。