Nature封面：AI训AI 越训越傻

最近，来自牛津、剑桥等知名学府的研究人员发现了一个惊人的现象：当大型人工智能模型使用合成数据进行训练时，它们的表现可能会迅速下滑甚至崩溃。这项研究被选为Nature杂志的最新一期封面故事。

研究团队通过一系列实验展示了模型崩溃的过程。他们选取了Meta的OPT-125m模型作为测试对象，向其提问有关中世纪建筑的信息。每次模型的回答都会被用来训练下一轮的模型。起初，模型的回答尚可接受，但在经过九轮迭代后，模型开始出现严重的偏误，甚至开始胡言乱语，提及与主题无关的，如“兔子”。

论文的主要作者表示，虽然他们预见到合成数据可能导致模型出现误差，但模型性能恶化的速度之快超出了预期。研究团队进一步分析了模型崩溃的原因，并将其归结为三种类型的误差：统计近似误差、函数表达性误差和函数近似误差。

统计近似误差是由于样本数量有限造成的，随着样本数量的增加，这种误差会逐渐减小。函数表达性误差则源于模型本身的表达能力有限，特别是在神经网络规模不够大的情况下更为明显。函数近似误差是由学习过程中的局限性引起的，比如随机梯度下降的结构偏差或目标函数的选择等。

研究者还评估了模型崩溃对语言模型的影响。他们选择了微调设置下的语言模型进行实验，这是因为重新训练大型语言模型的成本过高。通过使用Meta的因果语言模型OPT-125m在wikitext2数据集上进行微调，研究团队观察到了模型崩溃的现象。他们采用五种波束搜索策略生成新的数据，并将序列长度设置为64个token。结果显示，随着时间的推移，模型产生的错误越来越多，最终导致模型性能严重下降。

对此，杜克大学的Emily Wenger教授指出，目前尚无有效的方法可以解决这个问题。尽管有些科技公司尝试通过给AI生成的打上“水印”来防止其被用于训练数据中，但这需要不同公司的合作，因此实施起来存在较大难度。因此，那些能够从互联网上获取大量真实数据的公司，其训练出的模型将更接近现实世界，从而具备一定的竞争优势。

本文来源： 快科技【阅读原文】