自适应功率封顶：基于不确定性感知 MBRL 的云数据中心低碳能效调度

1. 核心速览 (Executive Summary)

• TL;DR：针对多租户云数据中心在安全合规壁垒与租户隐私约束下“细粒度作业信息不可得”的困境，本文提出了一种基于**不确定性感知模型强化学习（Uncertainty-Aware MBRL）**的自适应功率封顶（Adaptive Power Capping）框架。能源管理者仅凭宏观集群反馈即可动态寻优功耗上限，在保障 SLA 履约质量的同时显著降低用电成本，且收敛速度相比 SOTA 无模型强化学习提升 2.17 倍。
• 背景定位：本工作发表于电力系统顶级期刊 IEEE Transactions on Smart Grid (2025)，在“计算-能源跨域协同”坐标系中，巧妙地架设了宏观电价响应与微观作业调度之间的解耦桥梁，既规避了物理机细粒度调度的隐私壁垒，又克服了 Model-Free RL 在真实集群中高昂的交互试错成本。

2. 痛点与动机 (Problem & Motivation)

随着大模型与 AI 算力集群的爆发式增长，数据中心正演化为能耗极高的“巨型电力负荷”。然而，实现数据中心能耗管理（Energy Management）在工业界落地面临两大核心瓶颈：

1. 信息隔离与合规壁垒（Incomplete Information）：
   • 外部隐私：公有云租户的任务类型、执行逻辑、截止期限（DDL）不可见；
   • 内部墙垒：能源管理部门（Energy Manager，负责电力成本控制与电网互动）与作业调度部门（Job Scheduler，负责资源分配与 QoS 保障）受安全规范限制，无法直接共享底层作业级详细数据。
2. 高试错成本与动态不确定性（Costly Exploration & Dynamics）：
   • 传统的功率封顶方案依赖专家预定义规则（Rule-based）或单次开环预测优化（One-shot Forecast），在电价高频波动、突发流量冲击（Job Bursts）以及调度算法突变时脆弱失效；
   • 现有的 Model-Free RL 算法需要数以万计的在线交互步骤，中间未收敛策略会导致系统处于高能耗或严重 SLA 违约的恶性状态，工业界无法承受其实验成本。

核心直觉（Insight）：能源管理者无需知晓调度细节，只需通过**宏观功率封顶动作（Power Cap）对集群能耗施加边界约束，并将调度器视为一个未知动态环境。利用 MBRL 学习调度器的反馈动态并生成“虚拟轨迹”加速策略搜索，同时将分布不确定性（Distributional Uncertainty）**直接嵌入环境建模与策略评估中，即可实现高效、低试错代价的闭环优化。

3. 方法论详解 (Methodology - The Core)

3.1 POMDP 形式化构建

能源管理者的决策过程被严格形式化为部分可观测马尔可夫决策过程（POMDP） $\Gamma =⟨\mathcal{S},\mathcal{A},\mathcal{P},\mathcal{R},\gamma ⟩$：

• 状态空间 $\mathcal{S}$：三元组 $s_t=[s_t^{cluster},s_t^{job},s_t^{pr}]$，其中 $s_t^{cluster}$ 为可观测集群状态（时间步 $t$、当前功率上限 $P_t^{cap}$、实际总负载 $P_t^a$）；$s_t^{job}$ 为调度器聚合反馈（总 SLA 超时违约时长 $SL{A}_t^{vio}=\sum {\mathbb{I}}_{t>j_n^{ddl}}(t-j_n^{ddl})$ 与未满足资源需求 $re{s}_t$）；$s_t^{pr}$ 为实时电价 $p_t$。
• 动作空间 $\mathcal{A}$：离散功率封顶比率 $P_t^{cap}\in [0,1\%,\dots ,100\%]$。
• 奖励函数 $\mathcal{R}$：联合优化电费支出、SLA 违约惩罚与硬件频繁调压磨损代价： $r_t=\underset{r_t^{energy}}{\underbrace{-P_t^{a}imes{p}_t}}-\underset{r_t^{ddl}}{\underbrace{SL{A}_t^{vio}imespen}}-\underset{r_t^{cap}}{\underbrace{(P^{max}-P_t^{cap})imesad{j}_c}}$

3.2 两阶段不确定性感知 MBRL 架构

为了在极少交互步数下学出高适应性策略，框架解耦为两大网络协同演进：

阶段一：决策网络的分布式强化学习（Distributional Critic）

不同于传统只预测预期 Q 值的做法，决策网络 $Q_{\varphi }$ 采用**隐式分位数回归（Quantile Regression）**输出完整回报分布 $Z(au,s_t,a_t\mid \varphi )$。利用 Wasserstein 距离与 Huber 损失最小化贝尔曼误差： ${\mathcal{L}}_{\varphi }=\frac{1}{N}{\sum }_{w=1}^N{\sum }_{i=1}^N\left(a{u}_w-{\mathbb{I}}_{\{{\delta }_t^{a{u}_w,a{u}_i^{\prime }}\le 0\}}\right)\frac{{\mathcal{H}}_k({\delta }_t^{a{u}_w,a{u}_i^{\prime }})}{k}$ ${\delta }_t^{au,a{u}^{\prime }}=r_t+\gamma Z(a{u}^{\prime },s_{t+1},a_{t+1})-Z(au,s_t,a_t)$ 该设计捕获了长期收益的尾部风险（如极端电价峰值与突发超时惩罚）。

阶段二：决策感知环境转移模型（Decision Uncertainty-Aware Model）

环境转移网络 ${\hat{P}}_{h}eta({\hat{s}}_{t+1}\mid s_t,a_t)$ 学习调度器在特定封顶动作下的状态转移。传统的 MSE 或 KL 散度只追求像素级/数值级预测精度，容易在对决策无关的维度上“过拟合”。本文提出了决策价值感知损失函数（Value-Aware Loss）： ${\mathcal{L}}_{h}eta={\mathbb{E}}_{{\mathcal{G}}_N}\left[{\left|V_{{\varphi }_t}(s_{k+1})-\int {\hat{P}}_{het{a}_t}(d{\hat{s}}_{k+1}\mid s_k,a_k)V_{{\varphi }_t}({\hat{s}}_{k+1})\right|}^2\right]$ 其中状态价值函数 $V_{{\varphi }_t}(s_t)={\mathbb{E}}_{a\sim \pi ,au\sim \mathcal{U}}[Z(au,s_t,a\mid {\varphi }_t)]$。该损失迫使环境模型优先拟合影响 Q 值和优化方向的关键状态特征。

训练好的环境网络 ${\hat{P}}_{h}eta$ 随后展开短时视界（Short-horizon Rollout）合成大量虚拟轨迹 $D_v$，与真实经验池 $D$ 混合反哺策略训练，大幅减少在线交互频次。

3.3 有限迭代最优性差距理论保证

作者在理论上严密证明了在有限 $K$ 步样本迭代下的 Wasserstein 最优性差距上界（Optimality Gap）： $Z_{z_0}^{\mathrm{gap}}\le 2\gamma \left[\frac{\overline{C}(z_0,z_K)}{(1-\gamma {)}^2}{\max }_{0\le k\le K-1}{\Delta }_k+2{\gamma }^K{R}_{\max }\right]$ 其中 $\overline{C}(z_0,z_K)$ 为状态-动作值分布的贴现平均聚集系数（Concentrability Coefficient），${\Delta }_k$ 为模型学习误差。该式表明：策略性能的次优间隙严格由模型拟合精度与几何衰减因子控制，为 MBRL 应用于高风险基础设施运行提供了坚实的理论兜底。

4. 实验与结果 (Experiments & Results)

4.1 实验设置

• 真实生产数据：基于阿里巴巴大规模集群公开轨迹（Alibaba Cluster Trace）模拟作业到达特征与 CPU/内存资源消耗。
• 电价与环境模拟：接入美国 PJM 电力现货市场的多季度分时/实时电价，底层支持 FCFS（先来先服务）、RR（时间片轮转）、EDF（最早截止期限优先）及能效感知调度策略。

4.2 样本效率与学习速度对比

与主流 SOTA Model-Free 强化学习算法（PPO, SAC, DQN, IQN）对比，训练收敛曲线如下图所示：

• 极速收敛：本文提出的 MBRL 在约 2500 次迭代后即迅速超越所有基准，相比性能最佳的无模型基线 PPO，学习速度提升了 2.17 倍（样本利用率大幅攀升）。
• 渐进最优：在最终收敛回报上，所提方法与充分探索的 PPO 差距仅为 6.47%，在保证接近全局最优的同时规避了昂贵的真实交互。

4.3 应对突发扰动与多基线综合对比

1. 抗扰动与突发工作负载适应性： 在发生突发流量（Job Burst）或底层调度规则瞬时切换时，Model-Free 算法因无法即时感知转移矩阵变化而出现严重的回报跳水；而本方法利用环境模型快速推演并调整虚拟规划，性能下降幅度显著更小，迅速恢复至稳态。
2. 综合成本与 QoS 权衡：
   • Rule-based 缺乏对电价波动的灵敏感知，功耗曲线平缓，节能潜力未被挖掘；
   • Forecast-and-Optimize（基于预测的前瞻单次优化）过度压低峰期功率限额，导致严重的作业堆积与极高的 SLA 违约；
   • 本文所提自适应方案在“高峰削峰（Peak Shaving）”与“低谷补电”之间实现了精准权衡，以极微小的 SLA 违约代价换取了总用电成本的大幅下降。

5. 深度洞察与总结 (Critical Analysis & Conclusion)

5.1 总结 (Takeaway)

本文构建了一套在不完全信息约束下面向云数据中心的自适应功率封顶范式。通过将“价值感知损失”与“分布强化学习”注入 MBRL，成功破解了公有云多租户隐私屏障下的跨部门能效协同瓶颈，兼备高样本效率与数学理论界保障。

5.2 局限性 (Limitations)

• 动作离散化：当前将功率封顶动作离散为百分比阶梯（0%~100%），在高并发连续功率调节（如毫秒级电网调频辅助服务）场景下存在量化离散误差。
• 物理异构约束简化：实验中对于服务器层面的 DVFS 动态升降压及硬件芯片热力学磨损建模进行了线性化简化，未深入考虑异构芯片（如 GPU/TPU）的非线性功耗-频率响应曲线。

5.3 未来展望 (Future Work)

随着算力集群引入分布式电化学储能系统（BESS）与光伏绿电，功率封顶机制可无缝扩展为**“算力-电力-储能”联合自适应管控框架**，使数据中心从单纯的电网“价格接受者”演化为具备分钟级灵活性调节能力的“虚拟电厂（VPP）”核心节点。