仅需格式转换提升9%数学推理能力，上交开源新对齐方法ReAlign

上海交通大学GAIR Lab推出了一种名为ReAlign的新方法，旨在提高大模型的数学推理能力和整体对齐性能，尤其适用于语言模型如ChatGPT。ReAlign通过改进现有数据集质量，降低了人工成本，避免了大模型幻觉问题。该方法开源，包括代码、ReAlign处理后的数据集、任务描述和格式、分类器以及评估工具。

ReAlign的优势在于提高了数学推理能力，如LLaMA-2-13B在GSM8K上的表现提升9%，并增强了模型的泛化能力。它与现有对齐技术兼容，可以改善模型的回答可读性和组织结构，同时采用检索增强技术提升事实性，减少幻觉影响。

方法包括准则定义（定义任务和格式）、检索增强（获取外部知识证据）和格式重构（大模型重写和后处理）。实验表明，ReAlign在多个数据集和模型上提升了对齐能力、数学推理、事实性和可读性，且不会损害知识能力。仅需少量数据ReAlign，就能取得显著效果。

本文来源：