标签：后训练优化

微软近日正式发布了其下一代小型语言模型Phi-4，该模型拥有140亿参数，并且在数学性能上显著超越了GPT-4和Gemini Pro 1.5等竞争对手。根据最新发布的36页技术报告，Phi-4不仅在GPQA和MATH基准测试中表现出色，还在2024年ACM数学竞赛问题上取得了91.8%的准确率。 Phi-4的技术突破与优势 Phi-4的成功主要归功于三大核心技术突破： 1. 合成数据的广泛应用：Phi-4在训练过程中使用了高达40%的合成数据，这些数据通过多智能体提示、自修订工作流和指令反转等技术生成，构建了一个高效的推理和问题解决能力的数据集。 2. 高质量有...