标签：Scaling Law

OpenAI的联合创始人Ilya Sutskever指出，使用大量未标记数据来理解语言模式和结构的训练阶段已经接近尾声。他表示，扩展训练的效果已经趋于平稳，这意味着通过增加数据和计算资源来提升AI模型性能的方法（即Scaling Law）已经遇到了瓶颈。像ChatGPT这样的大型语言模型（LLMs）当前的扩展策略已经达到了极限。 根据Ilya Sutskever的观点，简单地通过增加更多的数据和计算资源来扩大规模已不足以实现有意义的进步。虽然增加计算能力仍然是提升AI性能的一种方式，但已经无法像以前那样通过不断增加数据量和计算能力来显著提升...

近日，关于OpenAI旗下企业Physical Intelligence (PI)的一系列报道引发了人们对具身智能大模型的关注，这些模型正引领着机器人时代的变革。在国内，我们也发现了一些走在这一变革前沿的中国公司。据机器之心报道，国内初创公司自变量机器人（X Square）是国内唯一一家从一开始就选择端到端统一大模型技术路线的公司，其技术路线与PI不谋而合。自变量机器人正在训练的Great Wall操作大模型系列的WALL-A在参数规模上已经超过了PI。 今年4月，机器之心曾报道过自变量机器人发布的Demo，展示了其基于自研的端到端统一具身大模型...

马毅教授曾评论，顶尖CS毕业生不应局限于大语言模型，而应寻求创新。OpenAI的Sora展示了新毕业生的潜力。马毅认为大语言模型不是通往AGI的终点，而ChatGPT引领了AI 2.0时代，使AI智能通用性显现。AGI成为可实现的目标，Scaling Law成为实现AGI的原理，即增加数据、参数和算力以提升模型性能。然而，这种资源投入可能导致模型性能提升的局限性，如逻辑推理和数理能力的缺乏。马毅团队通过白盒CRATE架构研究，揭示Transformer模型的本质是数据压缩，认为目前技术无法达到人类智能水平。白盒架构能更高效、有针对性地发展模型，...

在AI领域，Ilya Sutskever是一位传奇人物，他的成长历程深受他的导师Geoffrey Hinton的影响。早在2003年，Ilya凭借他对机器学习的热忱，未经预约就闯入Hinton的办公室，从此开始了他在AI领域的非凡旅程。在Hinton的指导下，Ilya展现了惊人的直觉和编程天赋，比如他早在2010年就用GPU开发了语言模型，预见到Scaling Law的重要性，这一理念后来成为AI领域的核心思想。Ilya在OpenAI的工作，包括领导开发GPT系列和ChatGPT，进一步改变了世界。尽管Ilya相对低调，但他的学术见解和技术贡献不容忽视，他坚信语言模型的潜力远超过预...

在最近的一次闭门演讲中，OpenAI的首席执行官Sam Altman在母校斯坦福大学分享了一系列引人深思的观点，揭示了人工智能领域的未来趋势。Altman指出，尽管像谷歌这样的公司能够复制现有模型，如创建Gemini，但真正的挑战在于推动AI能力的革新。他坚信Scaling Law（规模定律）仍然有效，暗示GPT-5和GPT-6将超越其前辈，带来更显著的智能提升。 Altman认为，OpenAI致力于实现人工智能的通用性（AGI），而开源AI并非达成这一目标的最佳途径。他提倡通过降低成本使AI在全球范围内普及，以减少不平等，并将ChatGPT视为增强人类能力...