标签：– 上下文推理

OpenAI的联合创始人Ilya Sutskever指出，使用大量未标记数据来理解语言模式和结构的训练阶段已经接近尾声。他表示，扩展训练的效果已经趋于平稳，这意味着通过增加数据和计算资源来提升AI模型性能的方法（即Scaling Law）已经遇到了瓶颈。像ChatGPT这样的大型语言模型（LLMs）当前的扩展策略已经达到了极限。 根据Ilya Sutskever的观点，简单地通过增加更多的数据和计算资源来扩大规模已不足以实现有意义的进步。虽然增加计算能力仍然是提升AI性能的一种方式，但已经无法像以前那样通过不断增加数据量和计算能力来显著提升...