标签:Scaling Law

探讨AGI与Scaling Law:马毅教授解析大语言模型对白盒CRATE架构的逻辑推理新视野——打造全球第二个OpenAI

马毅教授曾评论,顶尖CS毕业生不应局限于大语言模型,而应寻求创新。OpenAI的Sora展示了新毕业生的潜力。马毅认为大语言模型不是通往AGI的终点,而ChatGPT引领了AI 2.0时代,使AI智能通用性显现。AGI成为可实现的目标,Scaling Law成为实现AGI的原理,即增加数据、参数和算力以提升模型性能。然而,这种资源投入可能导致模型性能提升的局限性,如逻辑推理和数理能力的缺乏。马毅团队通过白盒CRATE架构研究,揭示Transformer模型的本质是数据压缩,认为目前技术无法达到人类智能水平。白盒架构能更高效、有针对性地发展模型,...

Hinton揭秘Ilya成长历程:Scaling Law是他学生时代就有的直觉

在AI领域,Ilya Sutskever是一位传奇人物,他的成长历程深受他的导师Geoffrey Hinton的影响。早在2003年,Ilya凭借他对机器学习的热忱,未经预约就闯入Hinton的办公室,从此开始了他在AI领域的非凡旅程。在Hinton的指导下,Ilya展现了惊人的直觉和编程天赋,比如他早在2010年就用GPU开发了语言模型,预见到Scaling Law的重要性,这一理念后来成为AI领域的核心思想。Ilya在OpenAI的工作,包括领导开发GPT系列和ChatGPT,进一步改变了世界。尽管Ilya相对低调,但他的学术见解和技术贡献不容忽视,他坚信语言模型的潜力远超过预...

奥特曼斯坦福演讲全场爆满,GPT-5强到发指,Scaling Law依然有效

在最近的一次闭门演讲中,OpenAI的首席执行官Sam Altman在母校斯坦福大学分享了一系列引人深思的观点,揭示了人工智能领域的未来趋势。Altman指出,尽管像谷歌这样的公司能够复制现有模型,如创建Gemini,但真正的挑战在于推动AI能力的革新。他坚信Scaling Law(规模定律)仍然有效,暗示GPT-5和GPT-6将超越其前辈,带来更显著的智能提升。 Altman认为,OpenAI致力于实现人工智能的通用性(AGI),而开源AI并非达成这一目标的最佳途径。他提倡通过降低成本使AI在全球范围内普及,以减少不平等,并将ChatGPT视为增强人类能力...