这里的多样性指叙事选择而非表面措辞
论文把多样化短篇故事生成定义为：针对同一个提示生成一组高质量故事，且它们在显著叙事维度上彼此不同。它瞄准四个维度：体裁、语气、风格和命名实体。这刻意比词汇或词元层面的差异更宽，因为两次生成可以在表面细节上不同，却保持相同的底层叙事走向和其他高层属性。
这一区分决定了结果应如何解读。一个只替换同义词或调整句子顺序的模型，在这个意义上未必多样。论文自己的框架是：大模型多样性偏低很大程度上归因于后训练过程，即基于人类反馈的强化学习把输出分布收窄到高奖励或典型回答上，从而可能导致模式坍塌。作者也指出，仅靠温度缩放等解码方法提高采样随机性，并不必然提升多样性，反而会损害连贯性或质量。
两个阶段先拓宽分布再加以引导
DivLM 是一个两阶段后训练框架。第一步，作者在创意写作语料上做继续预训练（CPT），并用权重残差恢复指令遵循能力。论文报告说，加入残差的比例控制着输出多样性与质量之间的权衡。第二步，他们应用强化学习，使用自定义的复合奖励函数，在保持回答质量的同时，联合最大化目标叙事维度上的多样性。
奖励是在同一提示的多次生成上按组计算的，这正是强化论文所关心的集合属性、而非单次输出流畅度的原因。一个输出的总多样性奖励是四个分量的平均值：体裁、风格、语气和命名实体。最终奖励通过一个阈值把质量与多样性结合起来：只有达到最低结构质量水平后才会加入多样性奖励。作者称这引入了一种课程学习形式，因为训练早期优化的是更简单的质量导向目标，之后目标才扩展到包含多样性。
仅做继续预训练会以质量换多样性
结果表把原始指令模型（INS）、CPT 调优模型和完整的 DivLM 模型分开列出。CPT 模型在所有多样性指标上都优于 INS 模型，提示遵循度和连贯性保持相当。但完整性大幅下降，拉低了平均质量分：Llama-3.1-8B 的平均质量从 INS 的 .922 降到 CPT 的 .742，Gemma-2-9B 从 .904 降到 .770。
作者将此解读为 CPT 拓宽了模型的输出分布，而随后的强化学习阶段是恢复输出质量所必需的。这是论文对两阶段设计给出的自身解释，也是该框架被呈现为一对阶段而非单一干预的原因。
DivLM 在提升各项多样性指标的同时恢复质量
经过两个阶段后，DivLM 模型的质量指标与 INS 模型接近，同时完整性大幅提升。Llama-3.1-8B 的平均质量达到 .990，而 INS 为 .922；Gemma-2-9B 为 .990，而 INS 为 .904。所有多样性指标都有提升。与各自的 INS 基线相比，Llama 和 Gemma 的强化学习奖励平均分别提升 86.5% 和 42%；相对 CPT 则分别提升 23.7% 和 9.7%。
作者指出，Gemma 增益较小可能部分因为超参数只针对 Llama 做了优化，而 Gemma 上仍出现一致提升，说明该方法可跨模型家族迁移。覆盖度指标呈现类似模式：CPT 相对 INS 提升 23.23%，DivLM 相对 CPT 提升 20.65%。余弦距离也上升，表明语义差异增大，尽管训练中并未直接优化它。
覆盖度、奖励分量与余弦距离回答不同问题
评估报告了若干类不同的数字，它们不应互相替代。覆盖度指标（体裁、语气、风格）描述模型输出覆盖了每个目标维度的多少。奖励分量（体裁、语气、风格、命名实体）是训练所优化的组级信号。余弦距离是一种基于嵌入的语义距离，并未被直接优化。质量指标（连贯性、提示遵循度、无元评论、完整性）衡量的是另外一些属性，论文报告无元评论率是为了让平均值有意义。
差异的幅度在表中可见。Llama-3.1-8B 上，DivLM 的多样性平均值为 .672，而 INS 为 .452，风格覆盖度从 .542 升到 .801，语气覆盖度从 .603 升到 .832。Gemma-2-9B 上，多样性平均值为 .621，而 INS 为 .474，风格覆盖度从 .542 升到 .811。这些是覆盖度和奖励分量指标，不是质量指标，论文把它们与质量并列报告，而不是用一个换另一个。
对比 DQO 与 DDPO，DivLM 在多样性和质量上领先
对 Llama-3.1-8B，作者还使用自己的数据集与文献中的两种方法做了比较：多样性质量优化（DQO）和多样化直接偏好优化（DDPO）。DQO 的质量平均值为 .983，多样性平均值为 .447；DDPO 为 .534 质量和 .617 多样性；DivLM 为 .990 质量和 .672 多样性。
这一比较有信息量，因为两个替代方法各偏一端。DQO 保住了质量，但多样性几乎没超过 INS 基线 .452；DDPO 提升了多样性，却把质量压到远低于 INS。DivLM 是该表中唯一相对指令基线同时改善两者的配置，这也是论文的核心实证主张。
证据覆盖 9B 参数以内模型的短篇故事
评估使用 100 个测试提示，每个提示生成 G=10 个输出，每个模型共 1,000 个输出，覆盖两个大模型家族。作者说明，受计算和内存限制，实验仅限于参数量不超过 9B 的模型，在更大模型上评估 DivLM 才能更完整地理解其有效性和泛化性。
该研究也仅聚焦短篇故事生成，没有实验长篇故事和长时间角色扮演等其他创意写作形式，这些任务会引入叙事连续性和长期记忆等额外要求。最后，论文处理的是输出多样性，而非广义的创造力：多样性是生成输出之间的差异程度，只是创造性行为的一个组成部分。这些边界限定的是头条增益，而非否定它。
质量阈值是多样性不被钻空子的关键
设计中最具决策相关性的细节是奖励中的质量阈值。只有达到最低结构质量水平后才会奖励多样性；低于阈值时，模型只依据质量信号训练。作者解释说，这可以防止偏向低质量但表面多样的输出，因为错误输出否则可能利用多样性项人为抬高奖励。该阈值在验证集上校准，以反映任务可接受的最低质量。
因此，对考虑采用这类后训练的读者来说，实际优先级不是单独的多样性奖励，而是把经过校准的质量门槛与针对具名叙事维度的组级奖励配对。论文的证据支持这种配对用于 9B 参数以内模型的短篇故事生成；它并未证明同一阈值或同样四个维度能迁移到更长或交互式写作，作者预计叙事连续性和长期记忆会以当前评估框架未捕捉到的方式与多样性相互作用。
本文引用的文献
Improving Diversity in LLM Short Story Generation
DivLM 是一个两阶段后训练框架，把在创意写作数据上的继续预训练与基于组级多样性奖励的强化学习结合起来，在两个大模型家族上把多样性指标平均提升逾 9%，同时保持指令遵循、整体回答质量以及与人类输出的相似度。