标签：大型语言模型

斯坦福大学推出强大AI写作工具STORM 今年4月，斯坦福大学推出了一款名为STORM的强大工具，旨在利用大型语言模型（LLM）辅助编写类似维基百科的文章。这款开源工具可以在短短三分钟内将用户输入的主题转化为长篇文章或研究论文，并支持PDF格式直接下载。STORM通过检索、多角度提问和模拟专家对话等方式，整理收集到的信息，生成详细的写作大纲，最终形成一份深入且准确的报告。尤其适合需要大量研究和引用的写作任务。用户可以在STORM的官方网站上免费体验这一工具。自推出以来，STORM在GitHub上的Star数量已超过12k。 全新...

现代化学探索的革命：LLM-EO助力高效化学空间优化 在现代科学研究中，化学空间的探索一直是化学发现和材料科学的核心挑战之一。特别是在过渡金属配合物（TMCs）的设计中，庞大的化学空间使得多目标优化变得异常困难。为了解决这一难题，「深度原理」（Deep Principle）和康奈尔大学的研究团队共同开发了一种名为LLM-EO（Large Language Model for Evolutionary Optimization）的新型工作流程算法，该算法充分利用了大型语言模型（LLM）的生成和预测能力，显著提升了化学空间探索的效率。 LLM-EO的工作原理 LLM-EO是一种...

新一代MoE架构：专家吞吐速度最高提升2.1倍！ 2024年10月21日，来源：量子位 近日，由北京大学和昆仑万维2050研究院联合提出的新型混合专家（MoE）架构——MoE++，在性能和效率方面取得了显著突破。这一架构通过引入“零计算量专家”设计，大幅提升了模型的计算效率和性能表现。 1. MoE++的主要创新点 MoE++的核心创新在于引入了三种“零计算量专家”，分别为Zero专家、Copy专家和Constant专家。这些专家的设计旨在优化计算资源的分配，使模型能够更高效地处理不同复杂度的Token。 - 降低计算成本：MoE++允许每个Token使用可...

快科技10月20日报道，NVIDIA的研究团队近期发布了一项可能彻底改变人工智能未来的创新成果——归一化Transformer（nGPT）。这一新型神经网络架构在超球面上进行表示学习，显著提升了大型语言模型（LLM）的训练速度，最高可达到20倍，同时保持了模型的精度。 nGPT的核心技术在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，归一化为单位范数。这种归一化处理使输入的token在超球面上移动，每一层模型通过位移来贡献最终的输出预测。实验结果显示，与标准Transformer模型相比，nGPT在训练时所需的步骤减少...

苹果公司最新发布的一篇论文《GSM-Symbolic： Understanding the Limitations of Mathematical Reasoning in Large Language Models》探讨了大型语言模型（LLM）在数学推理方面的局限性。这篇论文由苹果机器学习研究工程师 Iman Mirzadeh 主笔，Samy Bengio 等人共同完成。研究团队通过一系列实验发现，即使是当前最先进的 LLM，如 OpenAI 的 o1-preview，在面对稍微复杂的数学问题时，依然会出现明显的推理错误。 研究人员通过具体例子展示了这一现象。例如，当题目中包含无关紧要的细节时，模型往往会被误导。例如，题目...

北大AI奥数评测：o1-mini比o1-preview分数更高 明敏 2024-09-23 08：51：52 来源：量子位 自从OpenAI发布了o1系列模型后，传统数学评测基准似乎已经跟不上时代的步伐。最新的评测结果显示，o1系列模型在MATH-500基准测试中取得了94.8分的高分。而在更具挑战性的奥数邀请赛AIME 2024中，o1系列模型的准确率也达到了83.3%。这些成绩引发了人们的思考：大模型是否能在更高难度的数学竞赛中表现出色？ 为了解答这个问题，北京大学与阿里巴巴的研究团队合作开发了一个新的评测基准——Omni-MATH。该基准旨在评估大型语言模型在...

本文介绍了香港城市大学与华为诺亚方舟实验室合作的一项研究成果。主要作者姚宇璇是香港城市大学计算机系的二年级博士生，专注于大模型的复杂推理和生成技术，导师为宋林琦教授。此外，华为诺亚方舟实验室的研究员吴涵和郭志江也参与了这项研究。 尽管大型语言模型（LLMs）在许多领域取得了显著进展，但依然存在产生幻觉、生成有害以及不遵循人类指令的问题。一种流行的解决方案是通过自我纠正机制来改进模型，即让模型能够自行检测并修正错误。然而，现有的一些自我纠正方法依赖于复杂的提示工程、人类反馈或外部工具，这...

Y Combinator (YC) 的CEO Gary Tan与合伙人Jared Friedman、Harj Taggar和Diana Hu在最新一期播客节目中探讨了当前人工智能(AI)的热潮及其潜在价值。他们认为，虽然AI领域存在炒作现象，但与加密货币的泡沫不同，AI的技术基础更为坚实。 - 当前的AI热潮类似于互联网泡沫，虽然技术取得了重大进展，但在实际应用和商业模式方面仍存在不确定性。 - 大型语言模型的竞争格局在过去一年发生了显著变化，出现了多个具备竞争力的模型，如Claude 3.5和Llama。 - AI价值链中的价值分配尚不确定，需要时间来验证和成熟，类似智能手机...

分布式人工智能：探索未来的无限可能 随着科技进步的步伐不断加快，人工智能正逐渐成为推动社会发展的重要引擎。在这一浪潮中，分布式人工智能（Distributed Artificial Intelligence, DAI）作为AI领域的一个重要分支，近年来受到了广泛关注。尤其值得一提的是，基于大型语言模型（Large Language Model, LLM）的智能体（Agent）以其独特的语言理解和生成能力，在自然语言处理、知识推理及任务规划等方面展现出巨大潜力，成为了AI领域的焦点。 智能体引领新潮流 智能体不仅在游戏、编程等领域展现了其应用潜力，还在日常...

大型语言模型（LLM）不仅能够学习编程，还能形成对现实世界的独特理解。麻省理工学院（MIT）的一项最新研究表明，随着模型能力的增强，它不仅仅模仿现实，而是能够自发地模拟一些复杂的概念。这篇论文已被国际机器学习大会（ICML 24）接受，揭示了LLM在理解和处理现实问题方面的能力远远超出了简单的统计关联。 研究背景及目的 研究团队来自MIT计算机科学与人工智能实验室（CSAIL），由华裔博士生Charles Jin和其导师Martin Rinard教授领导。他们旨在探究LLM是否能够真正理解代码背后的意义，而不只是记忆训练数据。通过构...