标签：检索增强

在工业应用场景中，检索技术常被用来为大型语言模型（LLM）提供外部数据库的知识文档，以提高模型回答的可信度。目前，RAG（Retrieval-Augmented Generation）被认为是向 LLM 注入特定领域知识最有效的方法之一。然而，RAG 也存在一些缺点。为了确保召回包含正确信息的文档，通常每次用户查询都会检索多个文档（大约 5 到 30 个），并将这些文档整合到输入提示中。这导致输入提示的序列长度增加，从而使推理效率显著下降。具体来说，RAG 模型的首次生成标记时间（TTFT）明显高于非 RAG 模型。 为了解决这一问题，研究人员提...

上海交通大学GAIR Lab推出了一种名为ReAlign的新方法，旨在提高大模型的数学推理能力和整体对齐性能，尤其适用于语言模型如ChatGPT。ReAlign通过改进现有数据集质量，降低了人工成本，避免了大模型幻觉问题。该方法开源，包括代码、ReAlign处理后的数据集、任务描述和格式、分类器以及评估工具。 ReAlign的优势在于提高了数学推理能力，如LLaMA-2-13B在GSM8K上的表现提升9%，并增强了模型的泛化能力。它与现有对齐技术兼容，可以改善模型的回答可读性和组织结构，同时采用检索增强技术提升事实性，减少幻觉影响。 方法包括...