标签：投机采样

投机采样：加速大型语言模型推理的新途径 自2018年Mitchell Stern等人提出投机采样的概念以来，这一技术已成为加速大型语言模型（LLM）推理的关键方法之一。随着Lookahead Decoding、REST、Medusa 和 EAGLE 等后续工作的推进，投机采样的效能得到了显著提升。本文旨在解答一个核心问题：投机采样是否会影响LLM的原始准确度？ 答案是：不会。 标准的投机采样算法在理论上和实践上都是无损的。接下来，我们将通过详细的数学分析和直观的图表解释来展示这一点。 数学证明：投机采样的无损性 投机采样的核心公式可定义如下...