Nemotron-4 340B对决英伟达：开源模型新秀，LLM训练与合成数据的胜利

英伟达近日开源了Nemotron-4 340B，一个3400亿参数的大型AI模型，该模型在Hugging Face RewardBench排行榜上取得佳绩，尤其是在处理复杂任务和长文本查询时表现出色。Nemotron-4 340B超越了多个知名开源模型，如Llama-3-70B，尽管在某些对决中仅以微弱优势获胜。模型的亮点在于其对合成数据的利用，这可能革新LLM的训练方式。合成数据的生成使得AI行业不再过度依赖昂贵的真实世界数据集，Nemotron-4 340B支持生成各种语言和编程语言的数据，并且允许免费使用。通过奖励模型和指令模型，Nemotron-4 340B能够生成高质量数据并进行有效筛选。对于行业而言，这一开源模型的出现缓解了高质量数据短缺的问题，预示着合成数据将是未来的趋势。

本文来源： 量子位【阅读原文】