mitchell stern 等人于 2018 年提出了投机采样的原型概念。这种方法后来被各种工作进一步发展和完善，包括 lookahead decoding、rest、medusa 和 eagle，投机采样显著加快了大型语言模型 (llm) 的推理过程。

一个重要的问题是：LLM 中的投机采样会损害原始模型的准确性吗？先说答案：不会。

标准的投机采样算法是无损的，本文将通过数学分析和实验来证明这一点。

数学证明

投机采样公式可以定义如下：

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

其中：

• ? 是从均匀分布中采样的实数。
• 是要预测的下一个token。
• ?(?) 是草稿模型给出的下一个token分布。
• ?(?) 是基础模型给出的下一个token分布。

为简单起见，我们省略了概率条件。实际上，? 和 ? 是基于前缀token序列 的条件分布。

以下是 DeepMind 论文中关于该公式无损性的证明：

如果你觉得阅读数学方程式太枯燥，接下来我们将通过一些直观的图表来说明证明过程。

这是草稿模型 ? 和基础模型 ? 的分布示意图：

图1：草案模型p和基础模型q输出分布的概率密度函数

需要说明的是，这只是一个理想化的图表。在实践中，我们计算的是一个离散分布，它看起来像这样：

图2：语言模型预测词汇集中每个token的离散概率分布，蓝色条来自草稿模型，红色条来自基础模型。

然而，为了简单和清晰起见，我们使用它的连续近似来讨论这个问题。

现在的问题是：我们从分布 ? 中采样，但我们希望最终结果就像我们从 ? 中采样一样。一个关键思想是：将红色区域的概率搬运到黄色区域：

图3：接受和拒绝采样的区域

目标分布 ? 可以看作是两部分的总和：

I. 校验接受

该分支中有两个独立事件：

1. 在草稿分布 ? 上采样产生特定token ?。概率为 ?(?)
2. 随机变量 ? 接受该token ?。概率为：

将这些概率相乘：

图4：将蓝线和红线相乘，结果是图6中的绿线

II. 校验拒绝

该分支中也有两个独立事件：

1. ? 拒绝了 ? 中的某个token，概率为： 

这是一个积分值，数值与特定token x 无关

1. 在分布 ?−?（的正数部分）上采样产生特定token ?，概率为：

其分母作用是对概率分布进行归一化，以保持概率密度积分等于 1。

两项相乘，第二项的分母被约掉：

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

max(0,?(?)−?(?))

图5. 该图中的红线与绿线对应函数相乘，结果等于图6中的红线

为什么拒绝概率恰好可以归一化max(0,?−?) ？看起来似乎是巧合，这里一个重要的观察是，图 3 中红色区域的面积等于黄色区域的面积，因为所有概率密度函数的积分都等于 1。

将I, II两部分相加： 

最后，我们得到了目标分布 ?。

图6. 绿色区域与红色区域相加，正好等于黄线以下的面积

而这正是我们的目标。

实验

尽管我们已经从原理上证明了投机采样是无损的，但算法的实现仍然可能存在bug。因此，实验验证也是必要的。

我们对两种情况进行了实验：贪婪解码的确定性方法和多项式采样的随机方法。

贪婪解码

我们要求 LLM 生成两次短篇故事，首先使用普通推理，然后使用投机采样。两次采样温度均设置为 0。我们使用了 Medusa 中的投机采样实现。模型权重为 medusa-1.0-vicuna-7b-v1.5 及其基础模型 vicuna-7b-v1.5。

测试运行完成后，我们得到了两个精确相同的结果。生成的文本如下：

User: Please tell a tale about a cyperpunk knight named PPIO keeps a charming llama as his pet. Assistant: Once upon a time, in a world where technology had advanced beyond our wildest dreams, there lived a cyberpunk knight named PPIO. PPIO was a skilled warrior, with advanced cybernetic enhancements that g*e him incredible strength and speed. He was also a man of great honor, always striving to do what was right and just. One day, while out on a mission, PPIO stumbled upon a beautiful llama. Despite being a cybernetic being, PPIO had a soft spot for animals and he couldn't resist rescuing the llama from whatever danger it may h*e been in. From that day on, the llama followed PPIO wherever he went, and the two became fast friends. The llama, whose name was Llama-ella, was a special llama. It had a unique ability to sense when someone was in danger and would let out a loud, distinctive call to alert them to the danger. PPIO was grateful for Llama-ella's ability and the two became an unstoppable team. Together, PPIO and Llama-ella took on all sorts of challenges, from battling cybernetic villains to rescuing innocent people from harm. They were a force to be reckoned with, and their br*ery and honor were an inspiration to all who knew them.

多项式采样

在随机采样的情况下，情况更加复杂。大多数在随机程序中重现结果的方法都使用固定的随机种子来利用伪随机生成器的确定性。但是，这种方法不适合我们的场景。我们的实验依赖于大数定律：如果有足够的样本，则实际分布与理论分布之间的误差将收敛于零。

我们编制了四个提示文本，对LLM在每个提示下生成的首个token进行了 1,000,000 次投机采样迭代。使用的模型权重为 Llama3 8B Instruct 和 EAGLE-LLaMA3-Instruct-8B。统计结果如下所示：

@@##@@

@@##@@

@@##@@

@@##@@

• 蓝色：来自基础模型输出 logits 的 softmax
• 绿色：来自草稿模型输出 logits 的 softmax
• 橙色：来自投机采样（1,000,000 次）的首个token计数占比

基础模型输出结果与采样分布之间的标准差为 9.694e-5。符合预期。

结论

投机采样不会损害大型语言模型的推理精度。通过严格的数学分析和实际实验，我们证明了标准投机采样算法的无损性。其中数学证明说明了投机采样公式如何保留基础模型的原始分布。我们的实验，包括确定性贪婪解码和概率多项式采样，进一步验证了这些理论发现。贪婪解码实验在使用和不使用投机采样的情况下产生了相同的结果，而多项式采样实验表明，在大量样本中，token分布的差异可以忽略不计。

这些结果共同证明，投机采样可以显着加快 LLM 推理速度，而不会牺牲准确性，为未来更高效、更易于访问的 AI 系统铺平了道路。

以上就是投机采样会损失大语言模型的推理精度吗？的详细内容，更多请关注其它相关文章！

# git  # lsp  # llama  # follow  # looka  # 的是  # 工程  # 网站推广联系人是谁的  # 宿迁网站建设及优化  # 天津外贸网站优化建设  # 推广网站文章在哪里发布  # SEO报告论文  # 巢湖网站推广哪家服务好  # 何营销推广航云速捷超棒  # seo自动关键词扩展  # 武穴优化seo  # 小蓄网站推广  # 如何使用  # 首个  # 可直接  # 新能源  # 一个重要  # 问题是  # 日韩  # 两次  # 数学分析 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 电脑5G怎么上传手机  尼桑越野车中控前power是什么意思  花呗征信不好如何恢复 如何修复不良的花呗征信  如何打开命令提示符  导航power在汽车上是什么意思  gs是什么意思  为什么程序员热爱typescript  ensp命令如何提示  学typescript需要什么基础么  如何用adb命令停用系统软件  苹果16多有哪些功能  折叠屏手机选择哪个好  如何ping测试命令  单身交友必备软件  linux如何安装yum命令  苹果16有哪些自带配件  春运大巴上抢票怎么抢票  typescript多久能学会  vi命令如何退出编辑模式  显卡上面TYPE-C是什么接口  安卓手机怎么打开5g  165开头的是什么电话号码  复制 命令如何撤销  宵衣旰食是什么意思  安装固态硬盘如何设置  爱玛电动车power模式是什么意思  360手机壁纸怎么改  满射和单射定义  课程伴侣登不上怎么办  sofa是什么意思  台达变频器power灯是什么意思  苹果16要升级哪些功能  xdm是什么意思  单片机怎么控制闪烁技术  j*a 数组怎么循环输出  mysql的datediff函数怎么用  typescript为什么现在才火  怎么用win7系统盘重装系统  光猫power灯一直闪是什么意思  如何清理固态硬盘  360n7lite怎么设置动态壁纸  春运抢票如何抢连坐的票  苹果16系统有哪些缺陷  固态硬盘装完如何使用  市盈率和市净率是什么意思  自由服务器如何做动态ip域名解析  征信不好如何短期恢复  vue项目如何用typescript  阿里云盘扩容工具怎么用  夸克为什么老是投屏失败