扩散模型能否在保持时间结构的同时变形声音?

Smorph 将音色与时间结构分离,在改变音色身份的同时保持声音的时间结构。

直接答案

可以,但存在取舍。Smorph 是一个面向扩散模型的免训练引导框架,它在改变声音是什么的同时,保持声音随时间的行为方式(RMS 包络、音高轮廓),并在时间结构与源声音保持上明显优于基线。代价是在部分设置下向目标音色的转变更为保守。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

时间结构与音色被拆成两条引导轴

已有的基于扩散模型的变形方法把时间结构与音色身份纠缠在一起,因此没有机制在改变其中一者的同时固定另一者。Smorph 的核心做法是把引导分解为两条可组合的轴:时间结构由分层双条件引导处理,音色身份由加权多提示文本组合处理。

实际结果是,用户可以在固定音高下从铜管变形到弦乐,或把鼓采样推向日常质感的同时保留其节奏动态。结构不是事后修正,而是一种在音色项移动时锚定轨迹的条件信号。

音色项以结构条件预测为参照计算

引导速度场组合了无条件预测、仅结构预测,以及每个文本提示对应的一次预测。关键细节在于,音色项是相对于结构条件预测而非无条件基线计算的。

在两个提示的情况下,每个提示的权重由一个从一端扫到另一端的变形参数设定;当提示多于两个时,该参数推广为单纯形取值的权重集合。每个去噪步需要 2 加 N 次前向传播,作者指出这些传播可以批处理,因此增加的计算时间很小。

三种变形模式共用同一个引导方程

Smorph 支持提示到提示、音频到提示以及音频到音频三种变形。在提示到提示模式中,结构控制信号可以是自引导的,即由一个源提示生成参考声音并保持其结构;也可以是外部引导的,即由用户提供一段参考音频并从中提取结构信号。

在音频到提示模式中,源音频承担两个角色:其结构描述量提供控制信号,其编码潜变量被前向扩散以初始化去噪。去噪起始的噪声水平本身就是一个变形参数,起始越晚保留的源细节越多,起始越早、噪声越大则允许更大幅度的转变。在音频到音频模式中,目标音频被编码,其全局嵌入替换文本条件向量,引导公式保持不变。

结构保持与源保持优于基线

评估使用 NSynth、Clotho 和 FSL-10K 鼓录音,在域内设置(固定音高下的 NSynth-NSynth、保持 RMS 包络的 Clotho-Clotho)和两个跨域设置(NSynth-Clotho 检验单个音符的音高在音色转向非音乐质感时是否保持,Drumset-Clotho 检验真实鼓采样的 RMS 动态在打击音色转向日常质感时是否保持)中各使用 100 对源-目标。所有样本均为 4 秒。

在带结构控制的提示到提示变形中,smorph 各变体优于 CoA 基线,但效果因数据集设置而异。论文将其表述为时间结构与源保持的明显改善,同时指出部分设置下向目标的转变更为保守。

部分加噪初始化比仅用嵌入条件更好地保留源

在音频到音频变形中,论文比较了引入源的两种方式:作为潜变量初始化(SDEdit)或作为基于嵌入的条件(FLAM)。FLAM 到 FLAM 变体使用两段录音的 FLAM 嵌入来扫描变形参数,而 SDEdit 加 FLAM 变体使用源潜变量作为初始化、目标 FLAM 嵌入作为目标条件,在全部 24 个去噪步上扫描起始噪声水平。

报告的结果是,部分去噪比仅用 FLAM 条件更好地保留源,而轨迹与结构指标因设置而异。这是论文内部的比较,并不声称某一变体在所有情况下都占优。

音乐人认为这些轨迹富有表现力且可演奏

在一项探索性用户研究中,六位职业音乐人(年龄 26 至 37 岁,制作经验 2 至 28 年)在 55 分钟的实验环节中探索了一个由文本定义的二维变形画布,并连接到按音高映射的键盘,端点仅限文本。参与者通过指定全部四个端点来构建变形空间,并改变控制信号(RMS、音高开或关)。

研究归纳出两个主题:通过有结构的偶然性让不确定性变得可演奏,以及从离散参数得到连续的声音调色板。参与者形容遍历方向可预测且平滑,并在探索、愉悦、满意度和结果值得付出等维度给出较高的创造力支持评分。作者将其解读为结构锚定可以成为乐器交互中一种有生产性的约束,同时指出该研究是探索性的且规模较小。

保持结构的变形仍是未解难题

论文明确指出,当存在多个条件信号时,一个信号可能压过另一个,而在嵌入空间中看起来平滑的轨迹未必在感知上线性或在音乐上有意义。作者把感知线性化与更丰富的交互机制列为未来工作。

评估范围同样有限:客观比较使用所列数据集中的 100 对源-目标,用户研究只有六位参与者,且所报告的增益在部分设置下伴随更保守的向目标转变。这些条件限定了保持优势可被解读的范围。

按必须固定的对象选择模式

这篇论文中与决策相关的区分不是哪个变体整体最好,而是哪项约束对任务重要。如果优先保持节奏时值或音高轮廓而让音色变化,那么带显式结构控制信号的结构引导提示到提示模式是相关配置。如果优先对已有录音做小幅音色编辑,部分加噪初始化比仅用嵌入条件更好地保留源。如果两端都是录音,音频到音频各变体在不同数据集设置下对结构与轨迹指标的取舍不同。

最有用的结论是,结构锚定是让变形轨迹可演奏且保留源的变量,而这种锚定的代价是向目标转变更为保守。因此,比较变形系统的读者应检查固定的是哪种结构信号、源如何初始化,以及目标实际被达到的程度,而不是仅把平滑度当作成功标准。

本文引用的文献

1

Smorph: Playable Sound Morphing with Diffusion Models

Smorph 是一个免训练引导框架,在改变音色身份的同时保持时间结构(RMS、音高轮廓),在时间结构与源保持上明显优于基线,但在部分设置下向目标的转变更为保守。