标签：大型语言模型（LLM）

提示工程是机器学习模型中的一种关键技术，特别是对于预训练语言模型而言，通过精心设计输入提示（prompt）来引导模型生成预期的结果。在大规模语言模型的应用中，提示词通常是一段文本，用于指导模型生成特定的输出或完成特定任务。然而，在多文档搜索、问答系统、文档自动摘要生成以及阅读理解等复杂应用场景中，输入提示（prompt）长度显著增加，这不仅增加了大型语言模型（LLM）的推理成本，还延长了推理时间，限制了其在需要即时响应的应用场景中的实用性。 为了解决这一问题，优化提示设计变得尤为重要。例如，通过压...

在8月2日这天，一家由两位前谷歌员工创立的人工智能新星企业——Character.AI，对外宣布了一项重要的合作进展。该公司已与科技巨头谷歌签署了一份非独家的技术许可协议，涉及其先进的大型语言模型（LLM）技术。根据协议条款，Character.AI的联合创始人诺姆-沙泽尔（Noam Shazeer）与丹尼尔·德·弗雷塔斯（Daniel De Freitas），以及公司的部分研究团队成员，将正式加入谷歌的行列。尽管如此，大部分团队成员仍将留在Character.AI继续工作。与此同时，公司的总法律顾问多米尼克·佩雷拉（Dominic Perella）将担任临时首席执行官一...

港大、北航和苏黎世联邦理工学院的研究团队近期提出了一项创新的训练后量化（PTQ）技术——BiLLM，该技术有效地解决了大型语言模型（LLM）的能源需求问题。BiLLM通过使用1.1bit来近似大多数网络参数，2bit表示关键权重，使得模型在保持高效性能的同时，大幅度减小了内存占用。实验结果显示，BiLLM在OPT和Llama系列模型上的表现甚至超越了全精度模型，且在单个GPU上可快速完成二值化。 针对LLM权重分布的特性，研究者发现权重存在极端的长尾分布和不均匀的钟形分布，这意味着大部分权重是冗余的，而少量权重至关重要。BiLLM采...