WisPaper
WisPaper
学术搜索
学术问答
价格
TrueCite

LLMs能否在不使用受版权保护数据的情况下有效训练?

是的,大语言模型可以在不使用受版权保护数据的情况下进行训练,但现有模型仍会记忆并复现这些内容。新的方法在合规性方面展现出潜力。

直接答案

理论上,训练大型语言模型(LLM)不使用受版权保护的数据是可行的,但现有模型仍会记忆并复现受版权保护的文本。2024年的一项研究发现,GPT-4和Alpaca等主流LLM在实际使用中产生的潜在侵权输出不足1%,而其他模型则高出许多[3]。同年提出的一种新理论方法展示了如何修改核心训练算法(softmax回归)以防止生成受版权保护的数据,不过该方法尚未在实践中得到应用[1]

5篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

当前大语言模型真的会复制受版权保护的数据吗?

是的,不同模型之间的差异非常显著。2024年的一项系统分析在真实终端用户场景下测试了经过指令微调的大语言模型,采用160字符阈值(借鉴德国版权法)来标记潜在的侵权行为[3]。表现最佳的模型——GPT-4、GPT-3.5、Alpaca和Luminous——产生的违规内容极少,其中Alpaca和Luminous的绝对数量最低。相比之下,其他模型生成了更多可能受版权保护的文本。这意味着,即便没有经过专门训练,部分模型已具备相当高的合规性,但没有任何模型能做到绝对安全。

我们能否从一开始就训练大语言模型避免使用受版权保护的数据?

一篇2024年的论文从数学上证明了这一可能性。研究人员指出,大语言模型的训练本质上是一个softmax回归问题,并设计了一种改进版的回归方法,能够明确阻止模型输出受版权保护的数据[1]。这目前仍是一种理论方法——尚未在实际的大语言模型中实现——但它表明,核心优化过程可以被修改,从而在数学层面阻断版权内容的复现,而不仅仅是训练后加一道过滤程序。

使用受版权保护的数据进行训练,到底是否违法?

未必——法律仍在追赶。2025年的一项法律分析指出,根据俄罗斯法律,训练AI模型的行为本身并不构成对受版权作品的“使用”,因为训练过程既未复制受保护的表达形式,也未提供人类可感知的访问途径[2]。然而,同一分析指出,欧盟、美国及日本的法律各有不同,且许多司法管辖区正在为文本与数据挖掘设立例外情形。核心法律问题并非训练本身,而是模型后续能否复制受版权保护的内容。这意味着,即便基于受版权保护的数据进行训练是合法的,那些能够记忆并输出这些内容的模型仍可能构成侵权。

本文引用的文献

1

如何在大型语言模型优化中保护版权数据?

提出了一种理论方法,可在训练大语言模型时修改softmax回归,以防止模型生成受版权保护的数据,但该方法尚未实际应用。

2

复制或数据挖掘:AI训练中的版权法困境

结论认为,根据俄罗斯法律,AI模型训练在法律上不构成对版权作品的“使用”,但建议对文本与数据挖掘所需的临时复制件设置例外条款。

3

大语言模型与记忆:论版权合规的质量与特异性

研究发现,在主流大语言模型中,Alpaca、GPT-4、GPT-3.5和Luminous在现实场景下以160字符为阈值进行测试时,产生的潜在版权违规情况最少。

4

基于MCP的LLM用于超构光学逆向设计:无需LLM专业知识即可利用可微求解器。

展示了一个框架(MCP),该框架使大语言模型能够访问用于超构光学设计的专用代码模板,通过结构化提示实现了高成功率——这与版权无关,但表明大语言模型可以被引导以避免某些输出。

5

针对特定项目的代码摘要,对大型语言模型进行少样本训练

研究表明,使用GPT-3 Codex进行少样本训练,能够显著提升基于项目特定数据的代码摘要生成效果,这表明大型语言模型可以从极少量非版权示例中学习。