开源羊驼大模型llama上下文追平gpt-4，只需要一个简单改动！

Meta AI这篇刚刚提交的论文表示，LLaMA上下文窗口从2k扩展到32k后只需要小于1000步的微调。

与预训练相比，成本忽略不计。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

扩展上下文窗口，就意味着AI的“工作记忆”容量增加，具体来说可以：

• 支持更多轮对话，减少遗忘现象，如更稳定的角色扮演
• 输入更多资料完成更复杂的任务，如一次处理更长文档或多篇文档

更重要的意义在于，所有基于LLaMA的羊驼大模型家族岂不是可以低成本采用此方法，集体进化？

羊驼是目前综合能力最强的开源基础模型，已经衍生出不少完全开源可商用大模型和垂直行业模型。

论文通信作者田渊栋也激动地在朋友圈分享这一新进展。

基于RoPE的大模型都能用

新方法名为位置插值（Position Interpolation），对使用RoPE（旋转位置编码）的大模型都适用。

RoPE早在2025年就由追一科技团队提出，到现在已成为大模型最常见的位置编码方法之一。

但在此架构下直接使用外推法（Extrapolation）扩展上下文窗口，会完全破坏自注意力机制。

具体来说，超出预训练上下文长度之外的部分，会使模型困惑度（perplexity）飙升至和未经训练的模型相当。

新方法改成线性地缩小位置索引，扩展前后位置索引和相对距离的范围对齐。

用图表现二者的区别更加直观。

实验结果显示，新方法对从7B到65B的LLaMA大模型都有效。

在长序列语言建模（Long Sequence Language Modeling）、密钥检索（Passkey Retrieval）、长文档摘要（Long Document Summarization）中性能都没有明显下降。

除了实验之外，论文附录中也给出了对新方法的详细证明。

Pippit AI

CapCut推出的AI创意内容生成工具

133 查看详情

Three More Thing

上下文窗口曾经是开源大模型与商业大模型之间一个重要差距。

比如OpenAI的GPT-3.5最高支持16k，GPT-4支持32k，AnthropicAI的Claude更是高达100k。

与此同时许多开源大模型如LLaMA和Falcon还停留在2k。

现在，Meta AI的新成果直接把这一差距抹平了。

扩展上下文窗口也是近期大模型研究的焦点之一，除了位置插值方法之外，还有很多尝试引起业界关注。

1、开发者kaiokendev在一篇技术博客中探索了一种将LLaMa上下文窗口扩展到8k的方法。

2、数据安全公司Soveren机器学习负责人Galina Alperovich在一篇文章中总结了扩展上下文窗口的6个技巧。

3、来自Mila、IBM等机构的团队还在一篇论文中尝试了在Transformer中完全去掉位置编码的方法。

有需要的小伙伴可以点击下方链接查看～

Meta论文：https://www.php.cn/link/0bdf2c1f053650715e1f0c725d754b96

Extending Context is Hard…but not Impossiblehttps://www.php.cn/link/9659078925b57e621eb3f9ef19773ac3

The Secret Sauce behind 100K context window in LLMshttps://www.php.cn/link/09a630e07af043e4cae879dd60db1cac

无位置编码论文https://www.php.cn/link/fb6c84779f12283a81d739d8f088fc12

以上就是羊驼家族大模型集体进化！32k上下文追平GPT-4，田渊栋团队出品的详细内容，更多请关注其它相关文章！

# 羊驼家族  # 关键词优化排名就找r火21星  # 地产seo技术  # 清徐推广营销策划  # 放心投seo官网  # 安陆网络营销推广价格  # 郑州seo服务早教  # seo外联的作用  # 找科技seo  # 胥口网站建设价格  # 插值  # 语音识别  # 扩展到  # 最全  # 文档  # 只需要  # 腾讯  # 这一  # 开源  # 追平  # perplexity  # llama  # claude  # 集体进化  # 大模型  # 萧山抖音推广团队营销服务 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 为什么学typescript  夸克网盘下载为什么要钱  如何在固态硬盘上安装win7系统  折叠屏手机好不好,耐不耐用  vs怎么编写typescript  固态硬盘如何判断大小  5G手机导航怎么旋转  怎么在typescript写原型链  单片机加法程序怎么写  ts什么意思  征信不好如何快速恢复 征信不好快速恢复的方法  春运返程如何抢票成功  typescript怎么设置滚动条  typescript怎么用  win10如何打开dos命令窗口大小  固态硬盘如何显示  反向春运抢票方式  51单片机贴片怎么*  自由服务器如何做动态ip域名解析  pp是什么意思  单片机程序负数怎么表示  哪个品牌有折叠屏手机卖  为什么夸克流畅播失败  抖音GMV是什么_抖音GMV是什么意思  电动车power灯亮是什么意思  如何安装tree命令  安卓手机怎么打开5g  如何用命令查看本机的操作系统  满射为什么没有逆映射  五十铃x-power是什么意思  如何使用ping命令  汽车收音机power是什么意思  春运预约抢票能抢到吗  光刻机的分类及其优缺点  夸克学习都有什么课程  春运车站抢票和网上抢票  哪些框架支持typescript  壁挂炉power常亮是什么意思  8800日元等于多少人民币  没网环境如何安装typescript  cron表达式在线工具有哪些  如何管理员打开cmd命令行窗口  linux环境中如何使用ping命令  为什么进行域名解析  有什么基础可以学typescript  阿里云盘的会员怎么用  导航power在汽车上是什么意思  npm如何声明命令  数组和J*A怎么打  苹果16主打颜色有哪些