策略正则化能让深度强化学习库存管理更易调参吗？

Base Stock 结构收窄了网络要学的内容

现成的深度强化学习（DRL）库存策略通常是一个神经网络，直接读取当前库存状态和上下文特征，输出订货量。这篇论文的正则化则固定了这种映射的形状。在 Base 正则化下，网络输出的是总库存的目标水平，订货量再通过 tot(It) 项由该目标推导出来。在 Coeff 正则化下，订货量写成学习到的系数乘以五个与需求相关的特征：短期和长期历史需求、短期和长期预测需求，以及一个常数偏置项。Both 变体把两者结合起来。

这一点之所以重要，是因为训练转移中存储的动作含义变了。使用 Base 正则化时，动作代表目标库存水平，而不是最终订货量，这会把库存状态限制在符合 Base Stock 策略的较窄范围内。论文报告，在 Setting 1 中按未正则化 DDPG 调好的超参数配置下，Base 正则化的 critic 损失在前 10,000 个时间步持续更低，访问到的状态也落在更窄的区间内。作者的解释是，该区间内每个状态被访问得更频繁，因此采样和 Q 函数学习更有效。这是论文提出的机制，而不是单独隔离出来的因果检验。

正则化减少了超越 DeepStock 所需的试验次数

调参方面的结论可以用可计数的说法表述。论文报告，加入正则化后，传统 DRL 方法 DDPG 和 PPO 超过 DS 所需的超参数试验次数分别降到 11 次和 7 次。同一段文字把这一结果描述为相对这些方法在无正则化时所需次数的显著减少，作者将其与第二条要点联系起来：正则化对 DDPG 和 PPO 最终测试损失的改善幅度大于对 DS 的改善，这可能改变 Setting 3 中 DDPG 与 DS 谁更优的结论。

论文对传统方法获益更大的机制解释，与它们的学习方式有关。DDPG 在存储的转移 (s, a, r, s') 上最小化 Bellman 误差，而每个转移中的动作 a 是策略网络的输出。一旦 Base 正则化把该输出重新定义为目标库存水平，转移覆盖的状态范围就更紧，论文将这一点与更快的 Q 函数收敛联系起来。相比之下，DS 直接对训练集轨迹损失求策略梯度，因此不以同样的方式从这些转移中学习。

在天猫离线数据上，双正则化 DDPG 胜出

离线评估使用 2024 年 7 月至 9 月随机选取的 50,000 条 SKU 轨迹做训练，同一 90 天窗口内另外 5,000 条 SKU 轨迹做验证，2025 年 2 月至 4 月的 5,000 条 SKU 轨迹做测试。上下文向量位于 R^190，审核周期通常为 4 天或 7 天，提前期通常为 5 天或 7 天。策略训练所用的目标中，缺货率下降 1% 大致相当于周转时间缩短 2 天，结果以相对 DDPG-Both 策略的差值报告，正值表示更差。

在该表中，使用 Both 正则化的 DDPG 是最好的 DDPG 版本，使用 Base 的 DS 是最好的 DS 版本。相对 DDPG-Both，未正则化的 DDPG 缺货率差 10.10 个百分点，周转时间差 6.13 天；DS-Base 的缺货率差 2.18 个百分点，但周转时间好 2.81 天。由于缺货率的权重是周转时间的两倍，论文认为 DDPG-Both 明显优于 DS-Base 和 DS-Both。作者还指出，这些结果来自 10 个物理日内进行的 10 次顺序超参数试验，在这一数据规模下一次 DDPG 试验约需 24 小时实际运行时间，因此该比较反映的是现实而非穷尽的搜索。

DeepStock 用样本效率换取样本内拟合

论文并未把 DS 呈现为全面更弱。在 Setting 3 使用 Base 正则化时，DS 的验证损失优于 DDPG，但测试损失更差，作者将其归因于过拟合：DS 直接对训练集轨迹损失求策略梯度，迫使样本内最小化；又因为它不从 (s, a, r, s') 转移中学习，缺少传统 DRL 核心的跨时间学习。当样本量从 10 增加到 20 时，过拟合似乎减弱，DS 在 Setting 2 中表现最好。

另一项实验在不同样本量和时间跨度下训练带 Base 正则化的 DS。在只有 5 个训练样本时，即使时间跨度 T = 129，在简单 IID 分布下测试损失差距仍约为 8%，因此延长跨度带来的改善有限。把训练集从 5 个样本增加到 10 个、再到 20 个，所有时间跨度下的测试损失都改善，作者将其解读为 DS 确实从跨 SKU 轨迹的元学习中获益，但在更长跨度下未观察到收敛。样本有限时，DS 还表现出较大的验证与测试差距。

部署规模建立在刻意简化的模型上

部署证据的覆盖范围很大。截至 2025 年 10 月，该算法管理阿里巴巴 B2C 平台天猫所售全部产品（国内和国际）的库存补货，覆盖超过 100 万个 SKU-仓库组合。阿里巴巴拥有超过 10 万个 SKU 的库存和销售，这些库存在大约 20 个主要仓库分别控制，并计划每 1.5 个月用最近 90 天的数据重新训练。论文将此与更早的 RL 实现对比：早期版本需要先把相似产品分组，再为每组训练单独模型，每组都有自己的特征管道、actor/critic 网络和调参流程；正则化版本被描述为跨所有产品的单一通用模型。

这种规模伴随着论文明确说明的模型简化。训练时把订货量放宽到连续空间，而真实决策通常是整数；策略在提前期 L 确定的简化库存动态上训练。作者承认，如果实际提前期高度随机，按确定性 L 校准的策略可能无法维持足够库存，决策在模型被违反时也可能表现不佳。他们还指出，真实部署中审核周期和提前期并非确定，缺货期间的需求必须通过从缺货时间外推来推断。他们的立场是，在更简单模型上训练得更好，胜过对更复杂动态建模，部署结果被用来支持这一选择，而不是作为对它的受控检验。

把策略形式算进调参预算

论文中最具决策相关性的结果是一个比较，而不是普遍排名：库存管理的最佳 DRL 方法取决于是否采用策略正则化。没有正则化时，DDPG 在天猫离线测试上远差于 DS；加入 Both 正则化后，DDPG-Both 在以缺货率为重的目标上优于 DS-Base，达到这一结果所需的试验次数降到 DDPG 11 次、PPO 7 次。因此，在库存数据上比较 DRL 方法的团队应当预期：一旦施加 Base Stock 结构，用现成实现观察到的排名会发生变化，并应据此安排调参投入。

边界同样具体。离线比较是在 90 天天猫数据、190 维上下文上进行的 10 次顺序搜索，作者指出并行化搜索可能缩小 DDPG-Both 相对未正则化 DDPG 的改善，但只会扩大 DDPG 相对 DS 的优势。样本充足时 DS 仍是更好的选择，如 Setting 2；它的弱点在训练轨迹稀缺时显现。部署结论覆盖超过 100 万个 SKU-仓库组合，前提是提前期确定的简化模型，因此最有力的支持针对的是大规模、单模型补货、且策略形式能够吸收产品多样性的场景，而不是提前期随机性占主导的设定。

本文引用的文献