标签：大型语言模型

新一代MoE架构：专家吞吐速度最高提升2.1倍！ 2024年10月21日，来源：量子位 近日，由北京大学和昆仑万维2050研究院联合提出的新型混合专家（MoE）架构——MoE++，在性能和效率方面取得了显著突破。这一架构通过引入“零计算量专家”设计，大幅提升了模型的计算效率和性能表现。 1. MoE++的主要创新点 MoE++的核心创新在于引入了三种“零计算量专家”，分别为Zero专家、Copy专家和Constant专家。这些专家的设计旨在优化计算资源的分配，使模型能够更高效地处理不同复杂度的Token。 - 降低计算成本：MoE++允许每个Token使用可...

快科技10月20日报道，NVIDIA的研究团队近期发布了一项可能彻底改变人工智能未来的创新成果——归一化Transformer（nGPT）。这一新型神经网络架构在超球面上进行表示学习，显著提升了大型语言模型（LLM）的训练速度，最高可达到20倍，同时保持了模型的精度。 nGPT的核心技术在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，归一化为单位范数。这种归一化处理使输入的token在超球面上移动，每一层模型通过位移来贡献最终的输出预测。实验结果显示，与标准Transformer模型相比，nGPT在训练时所需的步骤减少...

苹果公司最新发布的一篇论文《GSM-Symbolic： Understanding the Limitations of Mathematical Reasoning in Large Language Models》探讨了大型语言模型（LLM）在数学推理方面的局限性。这篇论文由苹果机器学习研究工程师 Iman Mirzadeh 主笔，Samy Bengio 等人共同完成。研究团队通过一系列实验发现，即使是当前最先进的 LLM，如 OpenAI 的 o1-preview，在面对稍微复杂的数学问题时，依然会出现明显的推理错误。 研究人员通过具体例子展示了这一现象。例如，当题目中包含无关紧要的细节时，模型往往会被误导。例如，题目...

北大AI奥数评测：o1-mini比o1-preview分数更高 明敏 2024-09-23 08：51：52 来源：量子位 自从OpenAI发布了o1系列模型后，传统数学评测基准似乎已经跟不上时代的步伐。最新的评测结果显示，o1系列模型在MATH-500基准测试中取得了94.8分的高分。而在更具挑战性的奥数邀请赛AIME 2024中，o1系列模型的准确率也达到了83.3%。这些成绩引发了人们的思考：大模型是否能在更高难度的数学竞赛中表现出色？ 为了解答这个问题，北京大学与阿里巴巴的研究团队合作开发了一个新的评测基准——Omni-MATH。该基准旨在评估大型语言模型在...

本文介绍了香港城市大学与华为诺亚方舟实验室合作的一项研究成果。主要作者姚宇璇是香港城市大学计算机系的二年级博士生，专注于大模型的复杂推理和生成技术，导师为宋林琦教授。此外，华为诺亚方舟实验室的研究员吴涵和郭志江也参与了这项研究。 尽管大型语言模型（LLMs）在许多领域取得了显著进展，但依然存在产生幻觉、生成有害以及不遵循人类指令的问题。一种流行的解决方案是通过自我纠正机制来改进模型，即让模型能够自行检测并修正错误。然而，现有的一些自我纠正方法依赖于复杂的提示工程、人类反馈或外部工具，这...

Y Combinator (YC) 的CEO Gary Tan与合伙人Jared Friedman、Harj Taggar和Diana Hu在最新一期播客节目中探讨了当前人工智能(AI)的热潮及其潜在价值。他们认为，虽然AI领域存在炒作现象，但与加密货币的泡沫不同，AI的技术基础更为坚实。 - 当前的AI热潮类似于互联网泡沫，虽然技术取得了重大进展，但在实际应用和商业模式方面仍存在不确定性。 - 大型语言模型的竞争格局在过去一年发生了显著变化，出现了多个具备竞争力的模型，如Claude 3.5和Llama。 - AI价值链中的价值分配尚不确定，需要时间来验证和成熟，类似智能手机...

分布式人工智能：探索未来的无限可能 随着科技进步的步伐不断加快，人工智能正逐渐成为推动社会发展的重要引擎。在这一浪潮中，分布式人工智能（Distributed Artificial Intelligence, DAI）作为AI领域的一个重要分支，近年来受到了广泛关注。尤其值得一提的是，基于大型语言模型（Large Language Model, LLM）的智能体（Agent）以其独特的语言理解和生成能力，在自然语言处理、知识推理及任务规划等方面展现出巨大潜力，成为了AI领域的焦点。 智能体引领新潮流 智能体不仅在游戏、编程等领域展现了其应用潜力，还在日常...

大型语言模型（LLM）不仅能够学习编程，还能形成对现实世界的独特理解。麻省理工学院（MIT）的一项最新研究表明，随着模型能力的增强，它不仅仅模仿现实，而是能够自发地模拟一些复杂的概念。这篇论文已被国际机器学习大会（ICML 24）接受，揭示了LLM在理解和处理现实问题方面的能力远远超出了简单的统计关联。 研究背景及目的 研究团队来自MIT计算机科学与人工智能实验室（CSAIL），由华裔博士生Charles Jin和其导师Martin Rinard教授领导。他们旨在探究LLM是否能够真正理解代码背后的意义，而不只是记忆训练数据。通过构...

大型语言模型（LLMs）的推理能力竟然受到输出格式的显著影响，尤其是当输出格式被严格限定为JSON时，这种影响更为明显。台湾大学与Appier AI Research的一项最新研究揭示了这一现象，并提出了一种有效缓解该问题的方法。 研究背景 在现实世界的应用场景中，为了使大型语言模型能够更好地融入各种工业应用程序，往往需要它们遵循特定的标准化输出格式，如JSON或XML。然而，如何在保持模型推理能力的同时满足这些格式要求，一直是研究者们关注的重点。 实验设计 研究团队选取了一个具体的例子进行实验：计算Eliza一周工作...

创业之路：李沐的LLM创业之旅 自从离开亚马逊，李沐便踏上了创建BosonAI的旅程。在这条路上，他不仅体验了创业的艰辛，还见证了人工智能领域的巨大变化。起初，他对创业充满了期待，尽管面临诸多未知挑战，但他坚信尝试总是必要的。随着时间的推移，BosonAI逐步成长，并在大型语言模型（LLM）领域取得了显著成就。 公司命名背后的故事 公司的名字“BosonAI”来源于量子物理学中的玻色子概念，代表着连接与合作的精神。虽然这个名字有时候会被误认为“Boston”，但它蕴含的意义却远不止于此。这个名字反映了团队希望人们能够...