标签：大型语言模型

投机采样：加速大型语言模型推理的新途径 自2018年Mitchell Stern等人提出投机采样的概念以来，这一技术已成为加速大型语言模型（LLM）推理的关键方法之一。随着Lookahead Decoding、REST、Medusa 和 EAGLE 等后续工作的推进，投机采样的效能得到了显著提升。本文旨在解答一个核心问题：投机采样是否会影响LLM的原始准确度？ 答案是：不会。 标准的投机采样算法在理论上和实践上都是无损的。接下来，我们将通过详细的数学分析和直观的图表解释来展示这一点。 数学证明：投机采样的无损性 投机采样的核心公式可定义如下...

近期，AI领域再次掀起波澜，初创公司Character.AI宣布了一项重大决定：与科技巨头谷歌达成协议，授权后者使用其先进的大型语言模型（LLM）技术。此次合作不仅标志着Character.AI技术的认可，还伴随着两位关键人物——Noam Shazeer和Daniel De Freitas——回归谷歌。Noam Shazeer不仅是Character.AI的创始人兼CEO，同时也是著名的Transformer论文作者之一，曾在谷歌担任首席软件工程师。Daniel De Freitas则是Character.AI的总裁，拥有在谷歌担任高级软件工程师的经历。 2021年，由于对谷歌内部官僚体系感到不满，Noam Shazeer和...

北京时间7月24日，Meta（脸书母公司）公布了其最新的大型语言模型——Llama 3.1。这款模型被标榜为迄今为止最强大的开源模型之一，其实力足以与OpenAI等公司的专有大型模型相匹敌。 Meta的CEO马克·扎克伯格（Mark Zuckerberg）发布了一封公开信，详细阐述了他对AI开源的支持态度。他在脸书上发表的文章标题为“开源AI：通往未来的道路”。 扎克伯格认为，AI技术不应该仅仅掌握在少数几家大企业手中，即使是自己所在的公司也不例外。通过开源AI，技术专家能够深入了解高级AI模型的构建过程，并据此开发自己的AI应用程序。 回顾...

随着人工智能技术的迅速发展，聊天机器人如ChatGPT已成为获取信息的便捷途径。然而，这些智能系统常出现“幻觉”现象，即提供不准确甚至有害的信息。为解决这一问题，牛津大学的研究团队在《自然》杂志上发表了一项创新方法，旨在检测大型语言模型（LLMs）的错误生成行为。研究人员利用语义熵的概念，通过分析词语的多重含义来判断LLM是否可能产生“幻觉”。这种方法不需要额外的监督或强化学习，能有效检测LLM在新任务中的可靠性，增强用户对其的信任。尽管如此，研究人员强调，即便有了这样的检测工具，仍需谨慎对待聊天机器人...

在最近的谷歌I/O大会上，一项名为“AI摘要”的创新功能引起广泛关注。然而，这一基于人工智能的搜索工具在推出后遇到了一些挑战，因为它偶尔会生成一些令人困惑甚至荒谬的结果，比如建议在披萨中添加胶水以保持配料稳定，或者提倡每日食用小石块。据分析，这些奇怪的建议可能源于AI系统从Reddit等网络论坛抓取的不准确信息。目前，据SERanking的最新数据，Reddit已不再位列谷歌“AI摘要”功能的信息来源前十。Runners World、Healthline、LinkedIn、RunRepeat和维基百科成为前五大来源。尽管具体排名未知，但Reddit曾经确实在一...

在人工智能领域，训练数据的重要性不言而喻，尤其是对于大型语言模型（LLM）。然而，Epoch AI的最新论文揭示了一个令人惊讶的预测：互联网上的人类文本数据可能在2028年耗尽。这篇论文指出，尽管算力不断提升，数据已经成为AI发展的关键制约因素。OpenAI在训练GPT-5时已遇到数据短缺问题，考虑使用YouTube视频转录文本作为补充。Epoch AI预测，未来十年内，数据增长速度无法满足大型模型的需求，2028年可能面临“数据耗尽”的局面。 Epoch AI是一家专注于人工智能趋势研究的非营利机构，其工作受到政府报告和智库的重视。论文...

在互联网上，谷歌的人工智能搜索结果引发了一场关于“胶水披萨”的风波。最初，一位名叫凯蒂・诺托普洛斯的网红尝试制作并食用了“胶水披萨”，导致这一话题在网络上迅速升温。如今，谷歌的人工智能系统似乎开始学习并采纳这些网络热点。安全研究员科林・麦克米伦发现，当用户询问谷歌披萨中添加胶水的正确量时，谷歌给出的答案竟是推荐添加八分之一杯胶水，这无疑是一个错误且危险的建议。科技媒体The Verge证实了这一情况，并指出这样的反馈可能反而强化了人工智能的错误信息。 此外，谷歌的人工智能在处理自身产品问题时也出...

港大与百度携手开发的UrbanGPT是首个智慧城市大模型，该模型全面开源开放。UrbanGPT针对时空预测技术的挑战，如数据稀缺、高昂的训练成本和泛化能力不足，提出了一种新型时空大型语言模型。该模型通过时空依赖编码器和指令微调方法，强化了对时间和空间复杂关系的理解，即使在数据有限的情况下也能提供精确预测。实验表明，UrbanGPT在零样本学习和多种城市任务上表现出卓越性能，尤其在跨区域和跨城市预测中，展示了强大的泛化能力和对时空模式的精确理解。

微软近期推出了 Phi-3 系列的大型语言模型，包括 Phi-3Vision、Phi-3Small7B 和 Phi-3Medium14B，这些模型展现出与业界领先水平匹敌的性能。其中， Phi-3Medium14B 的表现甚至超越了某些知名模型，如 Mixtral8x22B 和 GPT3.5。尽管 Phi-3Small7B 规模较小，但在处理大量数据时，它的效能仍然优于 Mistral7B 和 Llama38B，成为资源受限环境的理想选择。Phi-3 系列支持的上下文长度从4K到128K，适应各种长文本处理需求。模型参数分别为 Medium 版本的14B，Small 版本的7.5B，以及 Vision 版本的4.2B。微软使用了4.8T令牌对模型...

随着技术的飞速发展，OpenAI的首席运营官布拉德·莱特卡普近期预言，以ChatGPT为核心的生成式AI聊天机器人将在接下来的一年内实现重大突破。他指出，目前的系统在未来可能会显得极其落后，甚至有些可笑。莱特卡普相信，这些智能工具将能处理更复杂的任务，成为用户不可或缺的“理想伙伴”，协助解决各种难题。 这一观点与OpenAI的CEO山姆·阿尔特曼不谋而合，阿尔特曼曾评论GPT-4的表现“尚有不足”。尽管OpenAI在ChatGPT上的投入超过了5.2亿美元，但阿尔特曼强调，公司的关注点在于提升大型语言模型的效能和精确度，而非成本。他...