标签：纽约大学

引言 近期，Meta、纽约大学及加州大学洛杉矶分校的研究团队发布了一项新研究，揭示了一个令人震惊的现象：即使是少量的合成数据也可能导致大规模语言模型（LLM）性能急剧下降，甚至完全失效。研究指出，当合成数据占比达到1%时，模型的表现就会受到严重影响。更让人担忧的是，模型的参数越多，这种负面影响就越明显。这一发现引发了业界对合成数据在模型训练中的作用和风险的重新评估。 合成数据带来的挑战 “模型崩溃”是指在使用合成数据进行训练的过程中，模型的性能逐渐下降，直至最终失去功能。研究团队通过实验发现...