OpenAI 最新模型 GPT-4 大揭秘：从架构、基础设施、训练数据集、成本、视觉到 MoE

(资料图片)

今天SemiAnalysis的DylanPatel和GeraldWong发表了一篇题为《GPT-4Architecture，Infrastructure，TrainingDataset，Costs，Vision，MoE》的文章，揭示GPT-4的所有细节。文章中详细介绍了GPT-4的架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型等非常具体的参数和信息。架构肯定会发展到超越当前简化的基于文本的密集和/或MoE模型的阶段。(站长之家)

推荐内容

OpenAI 最新模型 GPT-4 大揭秘：从架构、基础设施、训练数据集、成本、视觉到 MoE

三星有望在2025年为苹果MacBook Pro提供OLED屏幕

华为将于 7 月 20 日发布新款 MatePad 平板

索尼发布HT-AX7便携音箱 支持分体环绕声

消息称红米Note 13下半年推出 取消塑料支架

芯聚德科技获得天使轮投资

小米MIX Fold 3将于8月发布 主打轻薄耐摔、徕卡影像等

百济神州获得临床前ADC药物的全球开发和商业化权利

荣耀手表4首发一表双待功能 7月12日正式发布

在微软工作26年，Greg Nelson加入全球性非营利组织

Netflix 利用人工智能技术改进影视制作中的合成技术

顶级通讯社Thomson Reuters 收购Casetext

软通动力将与华为在大模型等方面深化合作

联发科发布天玑6100 芯片 面向主流5G终端

特斯拉Cyberquad玩具车国内将上市 售价或1.3万元

AI机器人称：它们可能会比人类更好地管理世界

联发科技发布天玑 6100+ 5G 芯片：支持高帧率和 AI 相机技术

李国庆早晚读书被强制执行 李国庆公司成被执行人

王小川旗下百川智能发布Baichuan-13B大模型 130亿参数开源可商用

马云实控文化艺术公司注销

魏大勋公司新增婚庆礼仪服务 魏大勋只是特别出演

小米MIX Fold3预计在8月份发布 搭载领先版二代骁龙8

TES成立文化传播公司 滔搏电竞成立文化传播公司

塔斯克TUSK获得A轮投资

三星Galaxy Z Fold5曝光 折叠铰链大升级

SK 海力士将供应专门为苹果 Vision Pro 开发的 DRAM：实现超快速度

兼职学生发文吐槽 优衣库门店回应：企业有规章流程

微软在 1 月份宣布裁员 10000 人的基础上 确认进一步裁员

都美竹已发起近百起维权诉讼 多位博主称被都美竹起诉侵犯肖像权

小米14外观曝光：1mm窄边框

微软将进一步裁员 未透露具体裁员数量

信通院：小米、华为等11家应用商店基本完成APP签名及验签工作

才过了5天Threads注册人数达到1亿

富士康将退出印度半导体合资企业

苹果Vision Pro将搭载SK海力士DRAM

苹果发布 iOS 16.5.1 和 macOS 13.4.1 快速安全响应更新：修复被主动利用的漏洞

数字人民币SIM卡硬钱包功能将上线 支持无电支付等特点

极氪汽车：将于今年第四季度进入以色列市场

调查显示通过使用人工智能 员工每年可节省 390 小时

毕马威：人工智能将深刻变革金融业，金融数字化转型正处爬坡期

金鸿顺：拟转让两家汽车部件全资子公司100%股权

一汽解放：上半年净利润预增123%-147%

汤姆猫：与西湖心辰团队正加速推进大模型应用落地

中兴通讯：多项6G潜在候选技术已成功完成IMT-2030(6G)推进组组织的原型验证测试

万兴科技：预计上半年净利润同比增长199%-345%

OLAY参加第25届世界皮肤病学大会，发布里程碑式科研成果

科大讯飞上半年营收78亿元 净利同比预降71%-80%

Parabola获得2400万美元B轮融资

Neko Health获得6000万欧元A轮融资

苏生生物完成Pre-A轮融资

三星有望在2025年为苹果MacBook Pro提供OLED屏幕

OpenAI 最新模型 GPT-4 大揭秘：从架构、基础设施、训练数据集、成本、视觉到 MoE

市见义勇为基金会召开换届大会

企业献爱心 “清凉”送记者

刚刚，山东发布防汛预警！

全市见义勇为表彰大会召开

入伏了，你贴三伏贴了吗？

航天信息两款数字化新品发布

磁盘碎片整理有什么好处和坏处呢（磁盘碎片整理有什么好处和坏处）

初二暑期转学国际初中，这些可以直升国际高中的学校是首选!

中科磁业今日涨停，机构合计净卖出937.49万元

北京一外卖骑手违法超车致人死亡 外卖员被指超速行驶

书香满赣鄱 截至2022年底江西建成城市书房372家

甘肃省启动防汛抗洪四级应急响应

6月份北京CPI同比上涨0.1% 环比下降0.2%

历时 30 年，Linux 市场份额达到 3%

消息称红米Note 13下半年推出 取消塑料支架

ST通葡拟向控股股东定增募不超3.39亿 股价一字涨停

SIM卡硬钱包上线数字人民币APP 支持无网无电支付

节奏大师类似游戏推荐 手速节奏缺一不可

小米MIX Fold 3将于8月发布 主打轻薄耐摔、徕卡影像等

午评：三大指数午后涨幅扩大 汽车板块强势领涨

朗新科技涨1.16% 拟买邦道科技10%股权实现全资控股

索尼发布HT-AX7便携音箱 支持分体环绕声

芯聚德科技获得天使轮投资

“金融十六条”迎优化，支持房企存量融资合理展期

华为将于 7 月 20 日发布新款 MatePad 平板

交通100《国学小书童》——皇帝里面的学霸康熙

成人白色糠疹怎么治疗 白色糠疹怎么治疗

索尼发布HT-AX7便携音箱支持分体环绕声

消息称红米Note 13下半年推出取消塑料支架

小米MIX Fold 3将于8月发布主打轻薄耐摔、徕卡影像等

联发科发布天玑6100 芯片面向主流5G终端

特斯拉Cyberquad玩具车国内将上市售价或1.3万元

李国庆早晚读书被强制执行李国庆公司成被执行人

魏大勋公司新增婚庆礼仪服务魏大勋只是特别出演

小米MIX Fold3预计在8月份发布搭载领先版二代骁龙8

TES成立文化传播公司滔搏电竞成立文化传播公司

三星Galaxy Z Fold5曝光折叠铰链大升级

兼职学生发文吐槽优衣库门店回应：企业有规章流程

微软在 1 月份宣布裁员 10000 人的基础上确认进一步裁员

都美竹已发起近百起维权诉讼多位博主称被都美竹起诉侵犯肖像权

微软将进一步裁员未透露具体裁员数量

数字人民币SIM卡硬钱包功能将上线支持无电支付等特点

调查显示通过使用人工智能员工每年可节省 390 小时

科大讯飞上半年营收78亿元净利同比预降71%-80%

北京一外卖骑手违法超车致人死亡外卖员被指超速行驶

书香满赣鄱截至2022年底江西建成城市书房372家

消息称红米Note 13下半年推出取消塑料支架

ST通葡拟向控股股东定增募不超3.39亿股价一字涨停

节奏大师类似游戏推荐手速节奏缺一不可

小米MIX Fold 3将于8月发布主打轻薄耐摔、徕卡影像等

午评：三大指数午后涨幅扩大汽车板块强势领涨

索尼发布HT-AX7便携音箱支持分体环绕声

成人白色糠疹怎么治疗白色糠疹怎么治疗

做花的包装纸在哪儿买做花的方法

中汽协：汽车行业二季度形势明显好转上半年累计实现较高增长

台湾一商业银行多名员工勾结诈骗集团涉案金额达数千万元新台币

特斯拉Cyberquad玩具车国内将上市售价或1.3万元

四部门公布2022年度双积分情况比亚迪拔得头筹

清理论坛活动乱象为“思想交流”护航

6月份北京CPI环比下降同比涨幅回落

联发科发布天玑6100 芯片面向主流5G终端

李国庆早晚读书被强制执行李国庆公司成被执行人

江淮汽车上半年销量27.88万辆出口业务增82.98%

力争到2025年成都市单位GDP能耗较2020年下降14%以上

宝骏云朵内饰细节正式公布提供双色设计 7月底上市

甘肃甘南发生泥石流灾害已致2人死亡7人受伤 2人失联

要求各地及时开展培训国家卫生健康委发布人偏肺病毒诊疗方案

魏大勋公司新增婚庆礼仪服务魏大勋只是特别出演

文旅消费潜力持续释放长沙位列2023年暑期热门旅游目的地