标签：Scaling Law

马毅教授曾评论，顶尖CS毕业生不应局限于大语言模型，而应寻求创新。OpenAI的Sora展示了新毕业生的潜力。马毅认为大语言模型不是通往AGI的终点，而ChatGPT引领了AI 2.0时代，使AI智能通用性显现。AGI成为可实现的目标，Scaling Law成为实现AGI的原理，即增加数据、参数和算力以提升模型性能。然而，这种资源投入可能导致模型性能提升的局限性，如逻辑推理和数理能力的缺乏。马毅团队通过白盒CRATE架构研究，揭示Transformer模型的本质是数据压缩，认为目前技术无法达到人类智能水平。白盒架构能更高效、有针对性地发展模型，...

在AI领域，Ilya Sutskever是一位传奇人物，他的成长历程深受他的导师Geoffrey Hinton的影响。早在2003年，Ilya凭借他对机器学习的热忱，未经预约就闯入Hinton的办公室，从此开始了他在AI领域的非凡旅程。在Hinton的指导下，Ilya展现了惊人的直觉和编程天赋，比如他早在2010年就用GPU开发了语言模型，预见到Scaling Law的重要性，这一理念后来成为AI领域的核心思想。Ilya在OpenAI的工作，包括领导开发GPT系列和ChatGPT，进一步改变了世界。尽管Ilya相对低调，但他的学术见解和技术贡献不容忽视，他坚信语言模型的潜力远超过预...

在最近的一次闭门演讲中，OpenAI的首席执行官Sam Altman在母校斯坦福大学分享了一系列引人深思的观点，揭示了人工智能领域的未来趋势。Altman指出，尽管像谷歌这样的公司能够复制现有模型，如创建Gemini，但真正的挑战在于推动AI能力的革新。他坚信Scaling Law（规模定律）仍然有效，暗示GPT-5和GPT-6将超越其前辈，带来更显著的智能提升。 Altman认为，OpenAI致力于实现人工智能的通用性（AGI），而开源AI并非达成这一目标的最佳途径。他提倡通过降低成本使AI在全球范围内普及，以减少不平等，并将ChatGPT视为增强人类能力...