提示词即采样器：条件生成压缩感知中的主动学习新范式

TL;DR

传统的压缩感知依赖于信号的稀疏性，而现代生成压缩感知（Generative CS）则利用预训练模型作为先验。本文提出了一种全新的框架，将“提示词（Prompt）”引入传感过程：通过提示词定制傅里叶采样掩码，并定量分析了采样、恢复和真实信号提示词不匹配时对重建质量的影响。

背景定位

该工作是 主动学习（Active Learning） 与 生成式反问题（Generative Inverse Problems） 的交叉创新。它不仅是在模型推理端做文章，更将触角伸向了数据采集端（Sensing），属于采样理论与生成模型深度耦合的前沿研究。

核心动机：为什么要让采样器“听懂”提示词？

在诸如 MRI 成像或遥感探测的场景中，我们往往拥有辅助信息（如“患者扫描的是膝盖”或“拍摄目标是海滩”）。

• Prior Work 的局限：传统方法假设采样必须是随机的或通用的，这浪费了宝贵的带宽。
• 作者的 Insight：如果生成模型能够通过提示词缩小信号的搜索空间，那么采样器也应该聚焦于能够区分该空间内不同细节的特定频率。

方法论详解：提示词兼容性与 Christoffel 采样

作者引入了 提示词兼容因子 (Prompt Compatibility Factor) $\Lambda$ 来统一衡量三者的协同效应：

1. $c^{\ast }$ (真实提示词)：信号本身的属性。
2. $c_r$ (恢复提示词)：你在重建时告诉模型的提示。
3. $c_s$ (采样提示词)：你在设计硬件采样掩码时参考的提示。

通过扩展 Christoffel 函数，框架能够计算出哪些傅里叶权重对于特定提示词下的模型类最重要。

上图展示了如何通过 Christoffel 规律 ${\mu }_c$ 将能量分配给高信息量的坐标。

对于常见的 ReLU 网络 架构，作者证明了只要采样数 $m$ 满足一定的对数复杂度（与 $\Lambda$ 线性相关），重建误差就能被稳定控制。

实验结果：语义对齐带来的收益

研究团队在 Stable Diffusion 1.5 上进行了大规模验证。他们对比了“白天海滩”、“日落海滩”和“猫”等不同提示词生成的采样分布。

实验显示（如上图），不同提示词诱导出的采样掩码具有明显的语义独特性：虽然都偏向低频，但在中高频的分布细节截然不同。

关键发现：

• 语义错配惩罚：用“猫”的采样掩码去采“海滩”的图像，恢复效果会剧烈下降。
• 分类器自由引导 (CFG) 的影响：高 CFG 虽然让图像更符合提示词，但由于通过限制了生成器的自由度，反而可能在配合采样设计时产生过度约束（Ablation Study 显示 CFG 为 1 时在特定任务下重建精度更高）。

在 In-range 实验中，匹配的提示词采样 law 在所有采样百分比下均显著优于其他分布。

深度洞察与总结

总结 (Takeaway)

这项研究将压缩感知的瓶颈从“采样率”转移到了“信息匹配度”上。它告诉我们，如果硬件能感知语义，我们就能用更少的数据实现更清晰的重建。

局限性与未来 (Future Work)

• 计算开销：目前估算 Christoffel 函数需要大量的蒙特卡洛采样，这对于大规模模型（如 SDXL）依然昂贵。
• 凸性挑战：隐空间（Latent Space）的优化是高度非凸的，提示词的约束力有时会与测量数据的真实性发生“竞争”。
• 展望：未来可以探索动态自适应采样——在采集过程中根据已获得的初步数据实时修正提示词 $c_s$，从而动态调整后续的采样点。

关键词：Active Learning, Generative Compressed Sensing, Stable Diffusion, Christoffel Function, Fourier Subsampling.