☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

7 月 13 日消息，外媒 Semianalysis 近日对 OpenAI 今年 3 月发布的 GPT-4 大模型进行了揭秘，其中包括 GPT-4 模型架构、训练和推理的基础设施、参数量、训练数据集、token 数、成本、混合专家模型（Mixture of Experts）等具体的参数和信息。

▲ 图源 Semianalysis

外媒表示，GPT-4 在 120 层中总共包含了 1.8 万亿参数，而 GPT-3 只有约 1750 亿个参数。而为了保持合理的成本，OpenAI 采用混合专家模型来进行构建。

IT之家注：混合专家模型（Mixture of Experts）是一种神经网络，该系统根据数据进行分离训练多个模型，在各模型输出后，系统将这些模型整合输出为一个单独的任务。

▲ 图源 Semianalysis

据悉，GPT-4 使用了 16 个混合专家模型 (mixture of experts)，每个有 1110 亿个参数，每次前向传递路由经过两个专家模型。

此外，它有 550 亿个共享注意力参数，使用了包含 13 万亿 tokens 的数据集训练，tokens 不是唯一的，根据迭代次数计算为更多的 tokens。

GPT-4 预训练阶段的上下文长度为 8k，32k 版本是对 8k 微调的结果，训练成本相当高，外媒表示，8x H100 也无法以每秒 33.33 个 Token 的速度提供所需的密集参数模型，因此训练该模型需要导致极高的推理成本，以 H100 物理机每小时 1 美元计算，那么一次的训练成本就高达 6300 万美元（约 4.51 亿元人民币）。

对此，OpenAI 选择使用云端的 A100 GPU 训练模型，将最终训练成本降至 2150 万美元（约 1.54 亿元人民币）左右，用稍微更长的时间，降低了训练成本。

以上就是GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型的详细内容，更多请关注其它相关文章！

# OpenAI  # 多项  # 万元  # 亿元  # 将在  # GPT-4  # 使用了  # 汕尾广告网站推广方案  # 洪梅抖音seo服务  # seo叫什么区别  # 查seo排名  # 贵阳网络营销推广专员  # 河北推广营销策划怎么样  # 手机网站优化电话咨询  # 实盘  # 美股  # 新进展  # 上海  # 亚洲  # 推广产品文案网站  # 各地推广神曲的网站叫什么  # 盐城营销型网站建设服务 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 车子上面nfc功能是什么意思  固态硬盘如何测试  记录仪power灯亮是什么意思  typescript卸载不掉怎么办  苹果16有哪些不同  如何打开命令框  夸克*免费吗  老电脑如何装固态硬盘  vb中的datediff函数怎么用 ​VB中的DateDiff函数：详尽指南  hive中datediff函数怎么用 Hive中DATEDIFF函数的使用指南  如何显示固态硬盘  苹果16系统有哪些缺陷  苹果16哪些型号好  夸克解压什么意思  春运抢票失败怎么抢  如何自己加装固态硬盘  5g手机4g卡怎么没有网络  如何设置sql命令  电脑5G怎么上传手机  rxjs和typescript什么意思  如何引用typescript中的方法  typescript掌握哪些可以做项目  固态硬盘如何消除缓存  i5 6500怎么装win7  春运抢票软件哪个好  宝马x5仪表盘上边有power是什么意思  如何4k对齐固态硬盘  春运抢票需要什么软件抢  固态硬盘如何查看盘符  春运抢票哪个城市好抢  固态硬盘装完如何使用  typescript如何标记私有方法  a股等权平均市盈率是什么意思  显示器的power是什么意思  征信信誉不好如何恢复 如何修复不良征信方法  win7怎么装扫描仪  如何利用运行命令查看声音启动  openwrt有什么用  市盈率292是什么意思  typescript属性只读如何修改  typescript怎么用  j*a如何运行curl命令行  三星固态硬盘如何保修  cos150度等于多少  drawing是什么意思  early什么意思  夸克用的什么服务器  vi命令如何退出  苹果16如何预购  春运抢票哪里最火热