标签：合成数据

英伟达近日开源了Nemotron-4 340B，一个3400亿参数的大型AI模型，该模型在Hugging Face RewardBench排行榜上取得佳绩，尤其是在处理复杂任务和长文本查询时表现出色。Nemotron-4 340B超越了多个知名开源模型，如Llama-3-70B，尽管在某些对决中仅以微弱优势获胜。模型的亮点在于其对合成数据的利用，这可能革新LLM的训练方式。合成数据的生成使得AI行业不再过度依赖昂贵的真实世界数据集，Nemotron-4 340B支持生成各种语言和编程语言的数据，并且允许免费使用。通过奖励模型和指令模型，Nemotron-4 340B能够生成高质量数据并...

Epochai，一个专注于AI研究的机构，发布了一份研究报告，揭示了大模型训练数据的惊人消耗速度。当前，公开的高质量文本训练数据约为300万亿tokens，但随着ChatGPT等大模型的参数增多和过度训练，数据需求呈指数增长，预计2026年至2032年间将耗尽所有数据。过度训练是加速数据消耗的主要因素，以Meta的Llama3 8B版本为例，其过度训练程度高达100倍，远超其他模型。尽管过度训练能节省推理成本，但也可能导致模型学习过多噪音。此外，大模型的参数与训练数据比例超过最佳比例，可能增加数据需求，但降低推理阶段的计算成本。 ...

在人工智能领域，训练数据的重要性不言而喻，尤其是对于大型语言模型（LLM）。然而，Epoch AI的最新论文揭示了一个令人惊讶的预测：互联网上的人类文本数据可能在2028年耗尽。这篇论文指出，尽管算力不断提升，数据已经成为AI发展的关键制约因素。OpenAI在训练GPT-5时已遇到数据短缺问题，考虑使用YouTube视频转录文本作为补充。Epoch AI预测，未来十年内，数据增长速度无法满足大型模型的需求，2028年可能面临“数据耗尽”的局面。 Epoch AI是一家专注于人工智能趋势研究的非营利机构，其工作受到政府报告和智库的重视。论文...