标签：Transformer

整理后文章： 重新审视注意力机制：对数级别的复杂度？ 近年来，注意力机制在人工智能领域大放异彩，尤其是在 Transformer 模型中。然而，一篇最新的博客引发了 AI 社区的热烈讨论，提出了一个全新的视角：Transformers 中实现的注意力机制，在计算复杂度上应该被视为对数级别（logarithmic）。这篇博客不仅得到了 Karpathy 的高度评价，还为理解注意力机制提供了一个全新的框架。 Karpathy 曾经这样描述神经网络的计算图：“广度是免费的，深度是昂贵的”。这一观点正是 Transformer 的核心灵感来源。作者提到，早在 Neura...

长文本处理能力的突破：互信息缩放定律与 L²M 条件 在追求更强大的 AI 系统过程中，大语言模型处理长上下文的能力一直是发展的关键瓶颈。尽管 DeepSeek、GPT-4 和 LLaMA-3 等顶尖模型已能处理数万 token 的文本，但学术界对「模型究竟需要何种能力才能有效理解长文本」这一根本问题仍缺乏理论指导。近日，麻省理工学院的研究团队提出了自然语言中隐藏的互信息缩放定律（Mutual Information Scaling Law），并由此提出了长上下文语言建模的 L²M 条件（Long-context Language Modeling condition），为理解大语言模型的长文本...

传统的大规模语言模型（LLM）在数学计算方面表现不佳，尤其是面对简单的多位数乘法时，常常出现错误。然而，随着推理模型如o1、o3和DeepSeek-R1的推出，情况正在逐渐改善。例如，DeepSeek-R1在AIME 2024竞赛中取得了79.8%的准确率，而OpenAI发布的o3-mini (high)更是达到了87.3%的准确度。尽管如此，这些模型在处理多位数乘法时仍然存在显著的局限性。 实验结果：多位数乘法的挑战 滑铁卢大学助理教授邓云天通过实验发现，即使是较为先进的模型如o1，在处理超过9x9的乘法时，准确度明显下降。GPT-4o则在4x4乘法时就遇到了困...

深入探讨AI的未来与多模态融合 近年来，AI技术的快速发展正在改变各行各业。语音、视觉和自然语言处理等多模态能力的融合，正逐步模糊各领域的边界。以Transformer为代表的通用解决方案，正在重塑传统技术领域。在这一变革的关键时期，深耕细分领域的研究者们如何看待这种趋势？本期《智者访谈》邀请了著名开源语音识别项目Kaldi的创始人、小米集团语音首席科学家Daniel Povey博士，分享他对AI领域的深刻见解。 Kaldi之后的新探索 Povey博士指出，语音技术虽然取得了显著进展，但已进入一个相对低谷期。他目前更关注文字转...

导语 尽管ChatGPT在全球范围内掀起了AI革命，但很少有人了解其背后的诞生故事。近日，湛庐文化推出了一本关于“ChatGPT之父”山姆·奥尔特曼的新传记《奥尔特曼传》。本书作者周恒星基于与奥尔特曼长达十年的交流，首次全面、近距离地揭秘了这位科技巨头的AI帝国、权力之路和未来蓝图。在ChatGPT发布两周年之际，让我们一起走进书中的世界，跟随奥尔特曼的脚步，探寻GPT模型“从零到一”的诞生历程，致敬那些在创新道路上勇往直前的探索者们！ 01 西部世界 2016年初的硅谷，空气中弥漫着焦虑的气息。科技公司IPO比例跌至过去七...

欢迎来到 Transformer 的世界。两个月前，谷歌的 GameNGen 彻底颠覆了我们对 AI 游戏的认知。这项历史性的突破意味着，未来的游戏将不再依赖于传统的游戏引擎，而是基于扩散模型，实时生成可玩的游戏。GameNGen 的问世，使得开发者无需手动编程，全球价值 2000 亿美元的游戏产业将迎来重大变革。无论是何种类型的游戏，都能根据玩家的想法和需求，创造出独一无二的游戏世界。这一消息迅速在 AI 圈内引起轰动。当时，游戏界最热门的话题除了《黑神话：悟空》，就是米哈游创始人蔡浩宇的犀利观点：「AI 将颠覆游戏开发，建议大...

本文介绍的是国防科技大学智能图形计算团队在智能图形学、具身智能、机器学习及三维视觉等方面的研究成果。该团队拥有众多国家级人才，长期致力于数据驱动三维感知、建模与交互的研究，并在国际上发表了大量高质量论文，荣获多个奖项。 在机器人操作领域，抓取任务一直是核心难题之一。该任务的目标是使机械手准确地移动到指定位置并成功抓取物体。近年来，基于学习的方法显著提升了对不同物体抓取的泛化能力，但在灵巧手（多指机械手）上的泛化研究相对较少。由于灵巧手在结构和几何上有很大差异，抓取策略难以在不同灵巧...

在医学显微图像分类（MIC）领域，基于卷积神经网络（CNN）和 Transformer 的模型已经取得了广泛的研究成果。然而，CNN 在建模长距离依赖关系方面存在不足，而 Transformer 则受限于较高的计算复杂度。为了克服这些挑战，南京农业大学、国防科技大学、湘潭大学、南京邮电大学和苏州大学的研究团队共同开发了一种新的架构——Microscopic-Mamba。 Microscopic-Mamba 采用 Mamba 架构，旨在通过结合 CNN 的局部特征提取能力和状态空间模型（SSM）的全局依赖关系建模能力，改进显微图像分类的效果。研究团队设计了部分选择前馈网...

1999年8月，杰夫·迪安（Jeff Dean）加入了谷歌，成为该公司早期第20号员工。2011年，他参与创立了Google Brain团队，专注于智能机器领域的发展。自那时起，他的工作重心转向了人工智能（AI）和机器学习（ML）的研究、系统和应用，并引领了更广泛的AI/ML和计算机科学研究社区的发展。2020年12月，杰夫·迪安获得了2021年度IEEE冯诺依曼奖，以表彰他在大规模分布式计算机系统和人工智能系统科学与工程方面的贡献。2023年4月，谷歌宣布将旗下的Google Brain和DeepMind合并，成立了Google DeepMind。杰夫·迪安成为了该部门的首席...

引言 最近，来自清华大学姚班的李志远、Hong Liu、Google Brain推理团队创始人Denny Zhou以及斯坦福大学助理教授马腾宇共同发表了一篇论文，揭示了Transformer在推理能力方面的巨大潜力。这篇论文已经入选ICLR 2024会议，通过严谨的数学证明，展示了思维链（CoT）能够显著提升Transformer的表达能力和解决问题的能力。研究发现，只要思维链足够长，Transformer就能够解决任何由大小为T的布尔电路解决的问题。 思维链（CoT）的重要性 论文首先通过理论分析指出，对于固定深度、多项式宽度、常数精度的Transformer模型，如果...