任务反馈取代固定频率采样规则
FourierFT 用一小组傅里叶分量构建权重更新，但其默认的均匀采样和可选的高斯带通采样都通过固定的、与任务无关的规则挑选这些坐标。因此被选中的频率坐标无法适应下游任务。HeuFouFT 改变了选择环节：它依据下游性能搜索坐标，而不是使用预设的采样模式。
动机来自频谱覆盖。论文图 1 展示了 GPT-2-Medium 第 1 层 Q 投影（秩 8，E2E）上学习到的 LoRA 更新，其频谱能量是局部集中的，论文认为均匀采样或径向受限采样对该能量的覆盖很差。作者指出这一频谱并非 FourierFT 的预言机，但它促使人们从任务反馈中选择坐标。
块级探测、随机森林过滤与元启发式搜索
HeuFouFT 首先通过轻量级块级探测构建粗略的强度图。1024×1024 的频率域矩阵被划分为 100 个不重叠的 10×10 块，每块在 10% 的 E2E 训练数据（4,200 个样本，批大小 4，最大序列长度 128，1 个 epoch）上做轻量微调，以加权 NLG 指标计算启发式强度。每块约耗时 45 秒，整张强度图约需 75 分钟和 8.2×10^17 FLOPs。
该强度图用于初始化三种元启发式优化器：带模拟退火的遗传算法（GA-SA）、粒子群优化（PSO）和布谷鸟搜索（CS）。搜索过程中，随机森林代理模型过滤每个种群，只有排名前 30% 的候选进入代理微调。该代理模型在 5,000 个随机生成的采样方案上训练，每个方案由一次耗时 30 秒的轻量微调打标签，总计约 6.94 小时和 2.05×10^19 FLOPs。论文报告该代理模型通过过滤掉 70% 的低潜力候选，将整体计算成本降低 68%，不过数据收集在随机森林相关成本中占 81%，是主要部分。
三种变体在五项指标上均胜过固定采样和 LoRA
评估使用 GPT-2-Medium 在 E2E 上，训练样本 42,000 个，验证和测试各 4,600 个。基线包括 Full FT、LoRA、LoCA，以及采用均匀或高斯带通采样的 FourierFT。指标为 BLEU、NIST、METEOR、ROUGE-L 和 CIDEr。所有 PEFT 方法都适配 Q 和 V 投影，而 Full FT 更新整个模型。
在这五项指标上，三种 HeuFouFT 变体均优于随机均匀 FourierFT、高斯带通 FourierFT 和 LoRA。PSO 更进一步，在四项指标上优于表现最好的基线 LoCA，同时可训练频谱系数少用 37.6%。摘要和讨论都指出，37.6% 的减少是相对于 FourierFT 和 LoCA 配置而言。
不同优化器从不同频谱达到相近性能
一个值得注意的内部比较是，三种搜索从不同的频率分布达到相近的性能。作者将此解读为：收益来自任务导向的选择本身，而非某个特定优化器。换言之，GA-SA、PSO 和 CS 是探索同一任务导向目标的替代方式，共同的要素是下游反馈，而不是搜索算法的身份。
这对比较方法的读者很重要：论文的主张关乎选择原则，而非为某个元启发式算法加冕。PSO 在四项指标上优于 LoCA 是该变体的结果，而更广泛的主张涵盖三种变体都胜过固定采样和 LoRA。
坐标选定后微调只需 Full FT 的 15–18% FLOPs
效率主张包含两个不应混淆的部分。37.6% 这一数字涉及相对于 FourierFT 和 LoCA 配置的可训练频谱系数。15–18% 这一数字涉及坐标选定后最终微调相对于 Full FT 的 FLOPs。两者分母不同：一个计算参数，另一个计算最终微调时的算力。
论文还报告，正文中的 FLOP 和内存减少指标是端到端的，涵盖启发式强度图构建、代理模型打标签与训练、元启发式采样搜索以及最终 LLM 微调。正是这种端到端核算，使得与只包含最终训练的 LoRA 和原始 FourierFT 等基线的比较成为全面的比较。
证据仅限一个模型、一个数据集、一套硬件
报告的结果来自 GPT-2-Medium 在 E2E 上，所有实验在单块 NVIDIA A100 80GB GPU 上以 FP16 精度、使用 PyTorch 2.1 和 CUDA 12.2 完成。论文自身的成本讨论将该方法描述为可扩展到 Llama 3-7B 等更大模型，但这是陈述的预期，而非本证据中实测的结果。
搜索流程还带有一次性开销：启发式强度图约需 75 分钟，为代理模型标注 5,000 个方案约需 6.94 小时。论文指出数据收集在随机森林相关成本中占 81%，且对多次元启发式迭代而言是一次性开销。权衡是否采用的读者应将这些成本视为方法的一部分，而非附带的前期准备。
重点在任务导向的选择，而非优化器
论文最具决策相关性的主张是：任务导向的坐标搜索比固定采样更有效地分配有限的频谱适配预算。支撑这一点的模式是：三种变体在五项指标上均胜过固定采样和 LoRA，PSO 在四项指标上以少 37.6% 的可训练频谱系数胜过 LoCA，且坐标选定后最终微调只需 Full FT 的 15–18% FLOPs。
由于三种搜索从不同频率分布达到相近性能，值得优先关注的变量是坐标选择是否由下游性能驱动。如果读者在比较傅里叶微调策略，这篇论文设定的门槛不是选哪个元启发式算法，而是选择环节是否响应任务；在受测设置中，优化器的选择似乎是次要的。
本文引用的文献
HeuFouFT: Task-Guided Metaheuristic Coordinate Search for Fourier Fine-Tuning
在 GPT-2-Medium 与 E2E 上，三种 HeuFouFT 变体在五项指标上均优于随机均匀 FourierFT、高斯带通 FourierFT 和 LoRA；PSO 在四项指标上优于 LoCA，同时可训练频谱系数少用 37.6%，且坐标选定后最终微调只需 Full FT 的 15–18% FLOPs。