标签:最小p采样

10行代码让大模型数学提升20%,“野路子”研究谷歌也测上了

少量代码显著提升大模型数学能力 通过不到10行的代码,研究人员发现了一种能够使大模型数学能力(GSM8k)提升20%的方法,这一成果引起了开源社区的高度关注。几位独立学者提出的这项改进被称为最小p采样(min-p sampling),它已经在Mistral-7B模型上取得了显著成效,并且正在Llama-70B模型上进行进一步测试。 平衡连贯性和多样性 最小p采样的核心目标在于平衡生成文本的连贯性和多样性。简而言之,该技术使得模型能够在处理事实问题时保持高度准确性,同时在创作等需要创意的场景中展现出更多变通性。这种方法已经在Mistra...