击败GPT-4o的开源模型如何炼成？关于Llama 3.1 405B，Meta都写在这篇论文里了

经历了提前两天的「意外泄露」之后，llama 3.1 终于在昨夜由官方正式发布了。llama 3.1 将上下文长度扩展到了 128k，拥有 8b、70b 和 405b 三个版本，再次以一已之力抬高了大模型赛道的竞争标准。对 ai 社区来说，llama 3.1 405b 最重要的意义是刷新了开源基础模型的能力上限，meta 官方称，在一系列任务中，其性能可与最好的闭源模型相媲美。下表展示了当前 llama 3 系列模型在关键基准测试上的性能。可以看出，405b 模型的性能与 gpt-4o 十分接近。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

与此同时，Meta 公布了《The Llama 3 Herd of Models》论文，揭示了 Llama 3 系列模型迄今为止的研究细节。

                               论文地址：https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

Llama3 论文亮点

1. Llama 3.1 405B 在使用 8K 上下文长度进行预训练后，以 128K 上下文长度进行连续训练，支持多语言和工具使用。
2. Meta 加强了 Llama 模型的预处理和预训练数据的 Curation pipelines，以及后训练数据的质量保证和过滤方法。

Meta 认为，高质量基础模型的开发有三个关键杠杆：数据、规模和复杂性管理。

码上飞

码上飞（CodeFlying） 是一款AI自动化开发平台，通过自然语言描述即可自动生成完整应用程序。

430 查看详情

• 数据：与早期 Llama 版本相比，Meta 数量和质量两方面改进了预训练和后训练数据。Llama 3 在大约 15 万亿的多语言 Token 语料库上进行预训练，而 Llama 2 仅使用 1.8 万亿 Token。
• 规模：训练的模型规模远大于以前的 Llama 模型：旗舰语言模型使用 3.8 x 10^25 次浮点运算（FLOPs）进行预训练，超过 Llama 2 最大版本近 50 倍。
• 复杂性管理：根据 Scaling law，Meta 的旗舰模型已近似计算最优规模，但较小模型的训练时间已远超计算最优时长。结果表明，这些较小模型在相同推理预算下的表现优于计算最优模型。在后训练阶段，Meta 使用 405B 旗舰模型进一步提高了 70B 和 8B 等较小模型的质量。

3. 为支持 405B 模型的大规模生产推理，Meta 将 16 位 (BF16) 量化为 8 位 (FP8)，降低了计算要求，使模型能够在单个服务器节点上运行。
4. 在 15.6T token（3.8x10^25 FLOPs）上预训练 405B 是一项重大挑战，Meta 优化了整个训练堆栈，并使用了超过 16K H100 GPU。

正如 PyTorch 创始人、Meta 杰出工程师 Soumith Chintala 所说，Llama3 论文揭示了许多很酷的细节，其中之一就是基础设施的构建。

1. 训练中，Meta 通过多轮对齐来完善 Chat 模型，其中包括监督微调（SFT）、拒绝采样和直接偏好优化。大多数 SFT 样本由合成数据生成。

2. 研究者在设计中做出了一些选择，以最大化模型开发过程的可扩展性。例如，选择标准的密集 Transformer 模型架构，只进行了少量调整，而不是采用专家混合模型，以最大限度地提高训练的稳定性。同样，采用相对简单的后训练程序，基于监督微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO），而不是更复杂的强化学习算法， 因为后者往往稳定性较差且更难扩展。
3. 作为 Llama 3 开发过程的一部分，Meta 团队还开发了模型的多模态扩展，使其具备图像识别、视频识别和语音理解的能力。这些模型仍在积极开发中，尚未准备好发布，但论文展示了对这些多模态模型进行初步实验的结果。
4. Meta 更新了许可证，允许开发者使用 Llama 模型的输出结果来增强其他模型。
5. 在这篇论文的最后，我们还看到了长长的贡献者名单：fenye1. 这一系列因素，最终造就了今天的 Llama 3 系列。
6. 当然，对于普通开发者来说，如何利用 405B 规模的 Llama 模型是一项挑战，需要大量的计算资源和专业知识。
7. 发布之后，Llama 3.1 的生态系统已准备就绪，超过 25 个合作伙伴提供了可与最新模型搭配使用的服务，包括亚马逊云科技、NVIDIA、Databricks、Groq、Dell、Azure、Google Cloud 和 Snowflake 等。

   

   更多技术细节，可参考原论文。

以上就是击败GPT-4o的开源模型如何炼成？关于Llama 3.1 405B，Meta都写在这篇论文里了的详细内容，更多请关注其它相关文章！

# 产业  # meta  # 最优  # 较小  # 在这篇  # 都写  # 炼成  # 里了  # 开源  # llama  # groq  # 时尚的关键词排名软件  # 罗湖关于网站优化排名  # 学校社区网站推广语  # 抖音营销推广托管  # 市场推广及营销服务  # seo标题最长  # 兰州外贸网站推广公司  # 外贸互联网营销推广方式  # 上海市优化教育资源网站  # 长春seo优化教程公司  # 多语言  # 剑指  # 可与 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」  优化系统韧性：故障恢复与监控在RabbitMQ中的应用  1000万张照片训练AI模型 科学家找到水下定位新方法  美图发布国内首个“懂美学的”AI视觉大模型MiracleVision  跑不动的元宇宙，虚拟世界比现实更冷酷  拓普龙7188ML：轻便壁挂式工控机箱，为人工智能应用场景提供有力保障  第二届光合组织AI解决方案大赛赛果揭晓  微软更新服务协议，以防止通过AI服务进行逆向工程和数据抓取  用人工智能技术，亚马逊为用户生成产品评论摘要，帮助他们轻松选购  掌阅科技入选北京市通用人工智能产业创新伙伴计划第二批成员名单  中国AI公有云市场2025年逆势蓬勃增长，增速高达80.6%  Adobe旗下Illustrator引入生成式AI工具Firefly  华为联合合作伙伴 共同发布昇腾AI大模型训推一体化解决方案  再度重仓 AI 赛道，SaaS 巨头 Salesforce 扩大 AIGC 风投基金规模  李开复官宣新公司「零一万物」，进军 AI 2.0  人工智能：解决劳动力短缺的关键策略  亚太地区 70% 的企业高管正探索生成式 AI 应用或已经进行投资  微幼科技晨检机器人：幼儿园健康保障的新伙伴  如何获得元宇宙的第一个属于自己的空间  第 66 届格莱美奖规定，AI 作品将无法获得评奖资格  随时随地，追踪每个像素，连遮挡都不怕的「追踪一切」视频算法来了  严打“黑飞”，无人机检测反制设备护航大运会净空安全  推动企业数字化转型升级！“松江智造”摘世界人工智能大会重磅奖项  生成式AI爆发，亚马逊云科技持续专注创新，助力企业数字化转型  为什么很多人对纽约《人工智能招聘法》感到生气？  华为小艺AI助手将实现强大的大模型能力  鸿蒙OS 4将实现AI大模型集成，余承东表示坚持AI辅助而非AI取代  腾讯机器狗进化：通过深度学习掌握自主决策能力  当一切设备都受到人工智能的控制  社区里，孩子们体验“机器人竞技”  AI与5G的强强联合：唤醒数字时代的无尽潜能  特斯拉门店可能启动机器人卖车？也许不是你想的那样  英伟达的AI领域垄断地位：一直无法撼动吗？  2025智源大会AI安全话题备受关注，《人机对齐》新书首发  618京东3C数码趋势产品备受青睐 AR设备成交额同比增长15倍  AI会帮我们把活干完吗？  腾讯AI首次模拟拼接三星堆文物，工作取得阶段性的成果  华为AI大模型将融入HarmonyOS 4  脑机接口产业联盟发布十大脑机接口关键技术  国内首款大尺寸仿鸵双足机器人“大圣”亮相，穿戴红色战袍  人工智能“Aria”现身 Opera浏览器100版本更新：新功能“标签岛”  小米发布CyberDog2 - 他们的第二代仿生四足机器人展示  世界人工智能大会机器人同台炫技！梳理A股相关业务营收占比超50%的个股名单  陈根：ChatGPT和人类合作开发机器人  AI证件照生成器：实际测试中AI软件展现了绝无仅有的强大效能  人脸识别+全景双摄+AI算法 萤石推动智能锁行业革新  无人机在电力巡检中的应用：全面解析高效巡检流程  7大探索区域打造沉浸式玩乐“元宇宙” 昆明京东MALL未来科技探索官全城招募中  pixivFANBOX 更新运营规则，禁止通过外链绕开 AI 生成禁令  昇腾AI & 讯飞星火：深度联手，共话国产大模型“大未来”