今年 2 月，Meta 发布的 LLaMA 大型语言模型系列，成功推动了开源聊天机器人的发展。因为 LLaMA 比之前发布的很多大模型参数少（参数量从 70 亿到 650 亿不等），但性能更好，例如，最大的 650 亿参数的 LLaMA 模型可以媲美谷歌的 Chinchilla-70B 和 PaLM-540B，所以一经发布让很多研究者兴奋不已。

然而，LLaMA 仅授权给学术界的研发人员使用，从而限制了该模型的商业应用。

因而，研究者开始寻找那些可用于商业用途的 LLaMA，UC 伯克利的博士生 Hao Liu 发起的项目 OpenLLaMA，就是其中一个比较热门的 LLaMA 开源复制品，其使用了与原始 LLaMA 完全相同的预处理和训练超参数，可以说 OpenLLaMA 完全按照 LLaMA 的训练步骤来的。最重要的一点是，该模型可商用。

OpenLLaMA 在 Together 公司发布的 RedPajama 数据集上训练完成，有三个模型版本，分别为 3B、7B 和 13B，这些模型都经过了 1T tokens 的训练。结果显示，OpenLLaMA 在多项任务中的表现都与原始 LLaMA 相当，甚至有超越的情况。

除了不断发布新模型，研究者对模型处理 token 的能力探索不断。

几天前，田渊栋团队的最新研究用不到 1000 步微调，将 LLaMA 上下文扩展到 32K。再往前追溯，GPT-4 支持 32k token（这相当于 50 页的文字） ，Claude 可以处理 100k token （大概相当于一键总结《哈利波特》第一部）等等。

现在，一个新的基于 OpenLLaMA 大型语言模型来了，它将上下文的长度扩展到 256k token，甚至更多。该研究由 IDEAS NCBR 、波兰科学院、华沙大学、 Google DeepMind 联合完成。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

LongLLaMA 基于 OpenLLaMA 完成，微调方法采用 FOT （ Focused Transformer ）。本文表明，FOT 可以用于对已经存在的大型模型进行微调，以扩展其上下文长度。

该研究以 OpenLLaMA-3B 和 OpenLLaMA-7B 模型为起点，并使用 FOT 对它们进行微调。由此产生的模型称之为 LONGLLAMAs，能够在其训练上下文长度之外进行外推（甚至可以达到 256K），并且在短上下文任务上还能保持性能。

• 项目地址：https://github.com/CStanKonrad/long_llama
• 论文地址：https://arxiv.org/pdf/2307.03170.pdf

有人将这一研究形容为 OpenLLaMA 的无限上下文版本，借助 FOT，模型很容易外推到更长的序列，例如在 8K token 上训练的模型，可以很容易外推到 256K 窗口大小。

图片

本文用到了 FOT 方法，它是 Transformer 模型中一种即插即用的扩展，可用于训练新模型，也可对现有的较大模型进行更长上下文微调。

为了达到这一目的，FOT 使用了记忆注意力层和跨批次（crossbatch）训练过程：

• 记忆注意力层使模型能够在推理时从外部存储器中检索信息，从而有效地扩展了上下文；
• 跨批次训练过程使模型倾向于学习（键，值）表示，这些表示对于记忆注意力层的使用非常简便。

有关 FOT 架构的概述，请参见图 2：

图片

下表为 LongLLaMA 的一些模型信息：

图片

最后，该项目还提供了 LongLLaMA 与原始 OpenLLaMA 模型的比较结果。

下图为 LongLLaMA 一些实验结果，在密码检索任务上，LongLLaMA 取得了良好的性能。具体而言，LongLLaMA 3B 模型远远超出了它的训练上下文长度 8K，对于 token 为 100k 时，准确率达到 94.5%，当 token 为 256k 时，准确率为 73%。

图片

下表为 LongLLaMA 3B 模型在两个下游任务（TREC 问题分类和 WebQS 问题回答）上的结果，结果显示，在使用长上下文时，LongLLaMA 性能改进明显。

图片

下表显示了即使在不需要长上下文的任务上，LongLLaMA 也能表现良好。实验在零样本设置下，对 LongLLaMA 和 OpenLLaMA 进行了比较。

图片

 了解更多细节，可参考原论文与项目。

动易网上商城管理系统 2006 Sp6 Build 1120 普及版

将产品展示、购物管理、资金管理等功能相结合，并提供了简易的操作、丰富的功能和完善的权限管理，为用户提供了一个低成本、高效率的网上商城建设方案包含PowerEasy CMS普及版，主要功能模块：文章频道、下载频道、图片频道、留言频道、采集管理、商城模块、商城日常操作模块500个订单限制（超出限制后只能查看和删除，不能进行其他处理） 无订单处理权限分配功能（只有超级管理员才能处理订单）

0 查看详情

以上就是将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？的详细内容，更多请关注其它相关文章！

# 腾讯  # 私厨营销推广策划案例分析  # 星巴克推广营销广告图片  # seo6iqqtv  # 柳州seo搜索  # 安徽seo助手必看网站  # 湖北seo营销如何获客  # 剧目推广营销方案  # 南宁网站建设南宁  # 东莞关键词排名推广  # 网站优化信息设计  # 很容易  # 模型  # 下表  # 这一  # 动易  # 开源  # 管理系统  # 扩展到  # 普及版  # 来了  # llama  # claude  # ai 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 4800日元等于多少人民币  一天多少分钟  春运抢票准备什么  如何查看固态硬盘分区  typescript什么意思  苹果16多有哪些功能  HTML5如何引用typescript  如何去掉拍电脑的纹路详细教程  平板键盘nfc功能是什么意思  破太岁是什么意思  华为交换机如何复制命令行  put linux命令如何书写  热水器没热水显示power是什么意思  如何通过命令行启动tomcat  如何体验苹果16系统  征信信用不好如何恢复 征信信用不好如何恢复指南  如何打开win10命令  j*a怎么清除数组  react怎么用typescript  记录仪power灯亮是什么意思  单片机蓝牙怎么开启设备  linux环境中如何使用ping命令  爱奇艺中下载的视频怎么在PPT中播放操作方法  如何在昇腾Ascend 910B上运行Qwen2.5教程  如何检测固态硬盘温度  如何查看邮件域名解析  固态硬盘如何4k对其  夸克po什么意思  npm如何声明命令  固态硬盘如何测试  市盈率市净率是什么意思  typescript变量是什么  苹果电脑如何输入命令  ai怎么找链接文件位置教程  新找到ao3镜像网站链接入口  ao3镜像网站永久地址入口  固态硬盘如何消除缓存  夸克是什么空间单位  苹果16改掉了哪些  vb中的datediff函数怎么用 ​VB中的DateDiff函数：详尽指南  固态硬盘如何打开软件  vue组件typescript怎么用  如何通过命令行聊天  type-c全能接口是什么意思  为什么程序员热爱typescript  复制 命令如何撤销  typescript接口怎么选  电动车power灯亮红灯是什么意思  单片机的速度怎么求  电焊机power灯亮是什么意思