标签：大型语言模型

大型语言模型（LLMs）的推理能力竟然受到输出格式的显著影响，尤其是当输出格式被严格限定为JSON时，这种影响更为明显。台湾大学与Appier AI Research的一项最新研究揭示了这一现象，并提出了一种有效缓解该问题的方法。 研究背景 在现实世界的应用场景中，为了使大型语言模型能够更好地融入各种工业应用程序，往往需要它们遵循特定的标准化输出格式，如JSON或XML。然而，如何在保持模型推理能力的同时满足这些格式要求，一直是研究者们关注的重点。 实验设计 研究团队选取了一个具体的例子进行实验：计算Eliza一周工作...

创业之路：李沐的LLM创业之旅 自从离开亚马逊，李沐便踏上了创建BosonAI的旅程。在这条路上，他不仅体验了创业的艰辛，还见证了人工智能领域的巨大变化。起初，他对创业充满了期待，尽管面临诸多未知挑战，但他坚信尝试总是必要的。随着时间的推移，BosonAI逐步成长，并在大型语言模型（LLM）领域取得了显著成就。 公司命名背后的故事 公司的名字“BosonAI”来源于量子物理学中的玻色子概念，代表着连接与合作的精神。虽然这个名字有时候会被误认为“Boston”，但它蕴含的意义却远不止于此。这个名字反映了团队希望人们能够...

投机采样：加速大型语言模型推理的新途径 自2018年Mitchell Stern等人提出投机采样的概念以来，这一技术已成为加速大型语言模型（LLM）推理的关键方法之一。随着Lookahead Decoding、REST、Medusa 和 EAGLE 等后续工作的推进，投机采样的效能得到了显著提升。本文旨在解答一个核心问题：投机采样是否会影响LLM的原始准确度？ 答案是：不会。 标准的投机采样算法在理论上和实践上都是无损的。接下来，我们将通过详细的数学分析和直观的图表解释来展示这一点。 数学证明：投机采样的无损性 投机采样的核心公式可定义如下...

近期，AI领域再次掀起波澜，初创公司Character.AI宣布了一项重大决定：与科技巨头谷歌达成协议，授权后者使用其先进的大型语言模型（LLM）技术。此次合作不仅标志着Character.AI技术的认可，还伴随着两位关键人物——Noam Shazeer和Daniel De Freitas——回归谷歌。Noam Shazeer不仅是Character.AI的创始人兼CEO，同时也是著名的Transformer论文作者之一，曾在谷歌担任首席软件工程师。Daniel De Freitas则是Character.AI的总裁，拥有在谷歌担任高级软件工程师的经历。 2021年，由于对谷歌内部官僚体系感到不满，Noam Shazeer和...

北京时间7月24日，Meta（脸书母公司）公布了其最新的大型语言模型——Llama 3.1。这款模型被标榜为迄今为止最强大的开源模型之一，其实力足以与OpenAI等公司的专有大型模型相匹敌。 Meta的CEO马克·扎克伯格（Mark Zuckerberg）发布了一封公开信，详细阐述了他对AI开源的支持态度。他在脸书上发表的文章标题为“开源AI：通往未来的道路”。 扎克伯格认为，AI技术不应该仅仅掌握在少数几家大企业手中，即使是自己所在的公司也不例外。通过开源AI，技术专家能够深入了解高级AI模型的构建过程，并据此开发自己的AI应用程序。 回顾...

随着人工智能技术的迅速发展，聊天机器人如ChatGPT已成为获取信息的便捷途径。然而，这些智能系统常出现“幻觉”现象，即提供不准确甚至有害的信息。为解决这一问题，牛津大学的研究团队在《自然》杂志上发表了一项创新方法，旨在检测大型语言模型（LLMs）的错误生成行为。研究人员利用语义熵的概念，通过分析词语的多重含义来判断LLM是否可能产生“幻觉”。这种方法不需要额外的监督或强化学习，能有效检测LLM在新任务中的可靠性，增强用户对其的信任。尽管如此，研究人员强调，即便有了这样的检测工具，仍需谨慎对待聊天机器人...

在最近的谷歌I/O大会上，一项名为“AI摘要”的创新功能引起广泛关注。然而，这一基于人工智能的搜索工具在推出后遇到了一些挑战，因为它偶尔会生成一些令人困惑甚至荒谬的结果，比如建议在披萨中添加胶水以保持配料稳定，或者提倡每日食用小石块。据分析，这些奇怪的建议可能源于AI系统从Reddit等网络论坛抓取的不准确信息。目前，据SERanking的最新数据，Reddit已不再位列谷歌“AI摘要”功能的信息来源前十。Runners World、Healthline、LinkedIn、RunRepeat和维基百科成为前五大来源。尽管具体排名未知，但Reddit曾经确实在一...

在人工智能领域，训练数据的重要性不言而喻，尤其是对于大型语言模型（LLM）。然而，Epoch AI的最新论文揭示了一个令人惊讶的预测：互联网上的人类文本数据可能在2028年耗尽。这篇论文指出，尽管算力不断提升，数据已经成为AI发展的关键制约因素。OpenAI在训练GPT-5时已遇到数据短缺问题，考虑使用YouTube视频转录文本作为补充。Epoch AI预测，未来十年内，数据增长速度无法满足大型模型的需求，2028年可能面临“数据耗尽”的局面。 Epoch AI是一家专注于人工智能趋势研究的非营利机构，其工作受到政府报告和智库的重视。论文...

在互联网上，谷歌的人工智能搜索结果引发了一场关于“胶水披萨”的风波。最初，一位名叫凯蒂・诺托普洛斯的网红尝试制作并食用了“胶水披萨”，导致这一话题在网络上迅速升温。如今，谷歌的人工智能系统似乎开始学习并采纳这些网络热点。安全研究员科林・麦克米伦发现，当用户询问谷歌披萨中添加胶水的正确量时，谷歌给出的答案竟是推荐添加八分之一杯胶水，这无疑是一个错误且危险的建议。科技媒体The Verge证实了这一情况，并指出这样的反馈可能反而强化了人工智能的错误信息。 此外，谷歌的人工智能在处理自身产品问题时也出...

港大与百度携手开发的UrbanGPT是首个智慧城市大模型，该模型全面开源开放。UrbanGPT针对时空预测技术的挑战，如数据稀缺、高昂的训练成本和泛化能力不足，提出了一种新型时空大型语言模型。该模型通过时空依赖编码器和指令微调方法，强化了对时间和空间复杂关系的理解，即使在数据有限的情况下也能提供精确预测。实验表明，UrbanGPT在零样本学习和多种城市任务上表现出卓越性能，尤其在跨区域和跨城市预测中，展示了强大的泛化能力和对时空模式的精确理解。