梯度赌博机采样能改进智能反射面盲波束成形吗？

盲波束成形为何绕开信道估计

智能反射面协调众多反射单元的相位，使反射信号在目标接收端同相叠加。设定这些相位的标准做法是基于模型的：先估计每条传播路径的信道，再做优化。论文认为这条路线在实践中很少被采用，因为每条反射信道很容易被强得多的直射信道淹没，而且现有 IRS 信道估计方法与当前网络协议和硬件不兼容。

盲波束成形绕开这一点，仅凭测得的 SNR 反馈调整相位，不需要信道状态信息。论文把它当作强化学习问题：每个候选相位向量是一个臂，该向量下的接收 SNR 是奖励。现有的条件样本均值（CSM）方法先尝试随机相位向量，再按每个单元平均 SNR 最高的相位取值，它成为衡量新方法的参照。

CSM 本质上是 epsilon 贪心赌博机

论文的第一个分析动作是证明现有 CSM 盲波束成形方法等价于多臂赌博机问题中的 epsilon 贪心算法。在每个块中，控制器以概率 epsilon 探索，从离散集合中均匀抽取每个相位；以概率 1 减 epsilon 利用，选择当前估计条件样本均值最高的相位。原始 CSM 方法是其特例：前 T0 个块用于探索，其余 T 减 T0 个块用于利用。

这一重新表述的意义在于，它把一个启发式方法变成带参数的决策问题。要最小化的量是累积遗憾，其基准是条件样本均值完全已知时会得到的相位解。论文指出遗憾非负，只有当每个单元所选相位都等于该理想解时才为零。

上界近似把 epsilon 变成闭式公式

直接优化 epsilon 很困难，因为遗憾目标没有关于 epsilon 的便利闭式表达。论文转而推导 T 个块上期望累积遗憾的上界近似，其中一项随 epsilon 增大，另一项随 epsilon 减小。最小化该上界即可得到探索概率的闭式取值。

得到的数值很具体：当 T 为 1000、1500、2000、2500 和 3000 个块时，优化后的 epsilon 分别为 0.498、0.431、0.388、0.359 和 0.336，CSM 与随机最大采样基线对应的 T0 分别为 498、646、776、897 和 1008 个块。规律是块数越多，探索应越少。现场测试中，epsilon 取 0.1 和 0.9 都产生最高的累积遗憾，而优化后的 epsilon 表现好得多，作者据此认为过度探索和过度利用都不可取。

梯度采样取代均匀探索

第二项贡献改变的是探索方式，而不是探索多少。所提梯度采样方案不再均匀抽取相位，而是为每个单元和相位选项维护一个数值偏好变量，把偏好转换为 softmax 概率，再从该分布中采样每个相位。每个块结束后，若观测 SNR 高于此前平均奖励，则提高所选相位的偏好，否则降低，并按学习率缩放。

由于采样是软性的而非均匀的，算法不再区分探索块和利用块。论文证明该更新是梯度上升的随机近似，这也是其收敛性结论的基础。论文报告了两个定理：Robbins-Monro 学习率下的渐近一阶平稳性，以及依赖时间跨度的常数学习率带来 T 的平方根分之一收敛阶的有限时间平稳性。作者指出，由于乘积 softmax 概率诱导的期望 SNR 目标非凸，无法保证全局最优，因此梯度采样也没有可用的遗憾界。

现场测试显示平均 SNR 提升 5 dB

该方法在 3.5 GHz、100 MHz 带宽的真实测试台上实现，IRS 原型每个印刷电路板模块含 10 乘 10 个超原子，每个超原子可编程为 0、pi/2、pi 和 3pi/2 四个相位状态。默认发射功率为 5 dBm，接收端以 500 kHz 采样基带。对比对象包括 CSM、epsilon 贪心、所提梯度采样，以及用探索阶段最佳相位向量替代利用步骤的随机最大采样基线。

在所有报告的对比中，梯度采样都取得最佳平均 SNR。其平均 SNR 从 T 等于 1000 个块时的约 19 dB 升至 T 等于 3000 时的近 23 dB，而 CSM 和 epsilon 贪心在 T 等于 3000 时低约 5 dB，随机最大采样始终最低。在反射单元数维度上，梯度采样从 N 等于 100 时的约 14 dB 升至 N 等于 400 时的约 23 dB，其他方法提升较小。在 T 等于 3000 的块级表现上，梯度采样达到并保持约 25 dB，而 CSM 和随机最大采样分别稳定在约 22 dB 和 19 dB，epsilon 贪心则呈现更长的低 SNR 尾部。

同一方案可迁移到其他目标

论文检验该采样方案是否只适用于 SNR 最大化。在 SNR 降低任务中，奖励为负 SNR，发射功率提高到 10 dBm，梯度采样在所有测试的 T 下都达到最低平均 SNR，T 等于 3000 时低于 3 dB，而 CSM 和 epsilon 贪心大多维持在约 10 至 12 dB，随机最大采样比梯度采样高约 8 dB。

在多用户广播场景中，奖励是用户间最差 SNR，随着用户数从 2 增至 4，所有方法都变差，但梯度采样保持明显优势。服务 4 个用户时，其平均最差 SNR 约为 14.7 dB，CSM 和 epsilon 贪心约为 8 dB，随机最大采样约为 5 dB。作者据此认为该方案可扩展到 SNR 最大化之外的目标，包括 SNR 降低和最大最小公平性。

增益的代价与适用边界

实际权衡在于，梯度采样需要学习率，以及每个单元和相位选项各一个偏好变量，并且放弃了让 CSM 易于调度的清晰先探索后利用划分。论文在现场测试中把学习率设为 0.005 乘以 T 的平方根，因此报告的增益与这一调度以及 1000 至 3000 的测试块数范围绑定。

收敛性保证也比现场结果暗示的更窄。论文建立的是平稳性而非全局最优，并明确指出梯度采样没有可用的遗憾界，因为这种界需要全局最优保证。现场证据来自一个室内 3.5 GHz 测试台、特定 IRS 原型、5 dBm 和 10 dBm 的发射功率以及最多 4 个用户，因此增益幅度应视为该配置下的结果，而非普适常数。

何时值得采用梯度采样

论文支持的决策不是盲波束成形是否可行，而是在排除信道估计之后该选哪种采样策略。如果部署能承担基于偏好的采样器和调好的学习率，梯度采样在此报告的所有指标上都优于均匀探索：累积遗憾、平均 SNR 随块数变化、平均 SNR 随反射单元数变化、块级 SNR 稳定性、SNR 降低以及多用户最差 SNR。

证据中最清晰的阈值是 1000 个样本时的对比，所提方案比现有盲波束成形方法平均 SNR 高出 5 dB 以上。优化探索概率是第二个杠杆：它从 1000 个块时的 0.498 降到 3000 个块时的 0.336，因此时间跨度更长的部署应减少探索，论文现场测试也显示固定取 0.1 或 0.9 都不如优化值。权衡两种方法的读者应把梯度采样视为上限更高的选项，把 epsilon 贪心或 CSM 表述视为更简单、但性能受 epsilon 选择好坏限制的选项。

本文引用的文献