Meta Llama 为什么想做 3.1 Linux 大模型界 延迟曝光 (metallurgy)

外地时期 7 月 23 日早上，Meta 开源了外界等候已久的大参数模型——Llama 3 405B。

Meta 发文称，该模型在多项基准测试中优于 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。并且，扎克伯格估量，由 Llama3 支持的 Meta AI（Meta 的人工自动助手）经常经常使用量将在未来几个月内逾越 ChatGPT。

比肩全球上最弱小模型的 Llama3.1 开源，社交平台 X 上，很多人将这一事情视为历史、拐点、史诗级时辰，这意味开源、闭源之间的差距进一步参与乃至反超，还意味着开发者从此有了一个不要钱的最强基座模型在手。

在扎克伯格看来，这个拐点时辰则意味着 「Llama 无机遇成为开源 的行业规范」，就像 Linux 之于移动互联网一样 。

但与之相反，不少从业者指出一个疑问，4000 亿参数量级的密集模型，即使开源，很多人或许也用不起来，尤其是思索到运转如此规模模型的算力集群的复杂水平，再加上比拟高的运转、推理本钱，真正能用得上、用得转的开发者并不多。

去年 Llama2 开源时，外界原本等候 Meta 逐渐开源最强模型后，难望项背的 GPT-4 才干的可以瞬间不要钱地加持一切人，直接拿来探求 AI 运转。但如今似乎不同，从最强模型中蒸馏小模型，成为了 Llama 3 405B 新的产业意义吗？

比肩 GPT-4o， 非 MOE 架构，

但多模态才干仍是期货

早在往年四月，Meta 先开源了 Llama3 系列的两个小参数版本的模型，8B 和 70B。比起几个月前的 Llama 3，如今推出的 Llama 3.1 更新了先前的 8B 和 70B 模型，还公布了迄今为止最大的开源模型 Llama 3 405B——后者拥有 4050 亿个模型参数，采纳了密集 Transformer 架构，具有 128K 的上下文窗口。

相比 Meta 去年 7 月公布的 Llama2，迄今为止最大、最好的开源模型 Llama3.1 在众多方面做了更新。

数据： 经常经常使用了约 15T 的多言语 token，相较于 Llama 2 的 1.8T 有清楚优化。

规模： Llama 3 的训练规模是 Llama 2 的 50 倍，模型参数和训练计算量均大幅介入。

复杂性控制： 选择规范的密集 Transformer 架构，而非混合专家模型，以确保训练的稳如泰山性。

截图来源：Meet Llama 3.1

与行业水平相比，Llama 3 在多项义务上有着与抢先模型（如 GPT-4）相当的性能，其在多个基准测试中表现优秀，包括：

通用：在 MMLU、GSM8K 等基准上表现突出。

编程才干：在 HumanEval 和 MBPP 等编程基准上取得高分。

多言语才干：支持多种言语，尤其在德语、法语等言语上表现良好。

值得留意的是，去年 3 月 OpenAI 推出的 GPT-4 是拥有 1.8 万亿参数的 MOE 架构（混合专家模型），自那以来，海外外大模型厂商大都采纳或许迁移至这一架构，但今天公布的 Llama3.1 并没有采纳这一架构。

在目前炽热的技术路途——多模态融合上，Llama3 目前也并不支持。官方论文引见称，Llama 3.1 支持多言语、编程、推理和工具经常经常使用，但目前还无法处置图像、视频或语音。论文中提到，Meta 正在努力于为该模型介入图像识别、视频识别和语音了解性能，但具有这些性能的版本「仍在积极开发中，尚未预备好公布」。

Meta 的星河大海

是 AI 生态系统

往年 4 月的一档播客访谈节目中，扎克伯格走漏往年年末才会推出 Llama 3 405B，并且这个模型开源与否要视状况而定。显然，这个时期表被延迟了，在其尚不支持多模态、模型才干也尚不完美时，如今就开源可取得。这是为什么？

在 Meta 官方，扎克伯格写了一封「开源 AI 是未来之路」（Open Source AI Is the Path Forward）的信，或容许以回答这个疑问。

在他看来， 人工自动会以相似 Linux 的方式展开，而 Meta 无机遇做大模型时代的 Linux，成为开源 的行业规范 。

在高性能计算早期，关键科技公司都投入巨资开发自己的 Unix 闭源版本，事先也很难设想任何其他方法来开发软件。但最终，开源 Linux 取得了普及——最后是由于它支持开发人员为所欲为地修正其代码，而且多少钱更廉价，随着时期的推移，它变得更先进、更安保，并且拥有比任何关闭式 Unix 更普遍的生态系统，支持更多性能。如今，Linux 已成为云计算和运转大少数移动设备的操作系统的行业规范基础。

扎克伯格以为， 虽然多家公司正在开发抢先的闭源模型，但开源正在迅速参与差距 。以 Meta 为例，去年 Llama 2 只能与第一梯队玩家的旧版模型相媲美，往年，Llama 3 与最先进的模型竞争，并在某些方面处于抢先位置。Meta 估量，未来的几代 Llama 将成为业内最先进的模型。

从这一代模型末尾，Meta 还将经过树立普遍、开通的生态系统，努力于使开源 AI 成为行业规范，使 Llama 成为行业规范。比如像这次随同 Llama3.1 的公布，与生态同伴的「嵌合」也愈加严密：Amazon、Databricks 和英伟达推出全套服务来支持开发人员微谐和「蒸馏」自己的模型。

像 Groq 这样的创新者曾经为一切新模型构建了低延迟、低本钱的推理。云厂商曾经预备好云上部署 Llama3.1，包括 AWS、Azure、Google、Oracle 等。Scale.AI、戴尔、德勤等公司已预备好协助企业采纳 Llama 并经常经常使用自己的数据训练自定义模型。

截图来源：Meet Llama 3.1

Meta 鼎力投资开源的基本要素，当然是心愿确保其可以取得抢先的模型。

但扎克伯格称，在 Llama-3.1 之前，他天性地以为，假定 Llama 开源，就会有一个社区自发地围绕它生长。或许是思索到模型的部署不同于其他开源项目，还要求很多入手操作的环节、也要求很多资源支持，扎克伯格选择在扩充生态系统上更积极。

「我置信 Llama 3.1 版本将成为 行业的一个转机点，大少数开发人员末尾关键经常经常使用开源 ，并且我估量这种方法只会从这里末尾展开。」

OpenAI 的愿景是构建一个大 AI，Anthropic 和谷歌也有相似的愿景。但 Meta 的愿景是有很多不同的模型。每个创业公司、每个企业、每个政府都心愿拥有自己的定制模型。而当闭源生态系统比开源系统好得多时，经常经常使用现成的闭源模型是更好的选择，但如今不同了。

如今，开源基本上弥合了这一差距，人们如今有动力去定制和构建并训练适宜他们需求的模型，将他们的数据训练到模型中。

谁能用上 Llama 3.1？

官方报告指出，Llama 3.1 经常经常使用了逾越 1.6 万个英伟达 H100 GPU 训练而来，The Verge 依据其所用英伟达芯片的本钱估量，其训练本钱为数亿美元。

能省去这么一大笔钱，还有一个最强的基座模型，这是对开源最强模型的天性等候。但把模型落地到场景里，还有一个迫在眉睫的理想疑问——终究有多少开发者有才干把 4050 亿参数的密集模型用起来。

深度学习框架 PyTorch 的结合开创人、Facebook AI Research (FAIR) 的研讨员 Soumith Chintala 发推称 Meta 调度 1.6 万 H100 GPU 算力集群的有效训练时期抵达 90%。｜图片来源：X.com

Llama3 论文中，有很长的篇幅在讲基础设备，1.6 万张 H100 集群在训练环节中会如何失败，包括如何并行化、坚持集群牢靠等。对此，英伟达初级迷信家 Jim Fan 转发点评，「基础设备任务是人工自动范围最被低估的任务，我能从这张表中的数字感遭到内脏的疼痛和折磨」。

就运转 Llama 的开源模型而言，The Information 此前报道，运转程序开发者曾经能够经常经常使用一组八个衔接的 AI 主机芯片（称为节点）来运转开源模型。Llama 3 的较小版本可以失常运转，但较大的模型或许无法顺应单个节点，而是要求多个节点。

协助开发人员运转开源模型的推理提供商表示，这会带来很多复杂性。为大模型提供支持的节点肯定能够协同任务，或许相互「交谈」，而这并不容易设置。在某些状况下，这意味着节点在物理上肯定彼此接近。

通常，关于较小的模型，推理提供商可以经常经常使用相反的节点来处置不同客户的恳求，只需他们经常经常使用相反的 LLM。但是，关于较大的模型变得愈加艰难，由于它们要求同时协调多个节点（多节点推理）。

有推理供应商称，或许要求几周甚至几个月的时期来重新设计他们的系统，以便能够处置来自 Meta 的 4050 亿个参数模型。在一日千里的大模型范围，这是很多时期。

同时，这些多节点性能也会提高运转模型的本钱， 虽然模型是不要钱提供的，但运转本钱有时曾经高于闭源模型 。

Meta 当然看法到这个疑问，与最大开源模型一同推出的，还有生态同伴的协作计划，可以协助任何开发者部署 Llama3.1 和各种工程化调优义务。但它依然或许成为开发者经常经常使用 Llama3「超大杯」的一个应战。

扎克伯格：乐于看到人们

拿 Llama3.1 蒸馏小模型

在 Meta 看来，Llama 开源「除了相关于闭源模型具有清楚更好的性价比之外，405B 模型的开通性这一理想将使其成为 微谐和蒸馏较小模型的最佳选择 」。

此前，OpenAI 发现字节跳动经过大批与 GPT-4 对话、蒸馏其高质量数据后，第一时期封号、制止了这种做法。如今，Meta 却主动提出让大家蒸馏。更值得玩味的是，开源一个最强模型后的经常经常使用场景不是不要钱拿它去做 AI 运转，而是蒸馏自己的小模型。

ChatGPT 公布一年半以来，真实的市场需求下，很多企业并不会大规模经常经常使用大模型 API，而是基于开源模型做微调、从最强模型中蒸馏出企业自己可用的小模型，由于用户和企业都十分关心他们的公家数据，以及关键模型的「自主可控」。

其中，微调（Fine-tuning）指的是运行已有的预训练模型，在新的数据集上继续训练，对模型的参数启动大批的调整和优化，以使其顺应特定的义务或范围。

蒸馏（Distillation）则是一种将大型复杂模型的知识紧缩并传递给较小、较方便模型的技术。能在坚持肯定性能的前提下，下降模型的计算量和参数规模，提高模型的部署效率和运转速度。

扎克伯格在一档采访节目中重申了这一点，「我最感兴味的是看到人们用它来蒸馏和微调自己的模型。我十分等候看到人们如何经常经常使用它，特地是如今我们制定了社区政策，支持人们将其用作教员模型来启动蒸馏和微调，基本上可以创立他们想要的任何其他模型」。

他以为，人们会意愿直接在 4050 亿参数的模型上启动推理，由于据 Meta 估量，这样做的本钱将比 GPT-4 低 50% 左右。人们可以将模型蒸馏就职何他们想要的大小，用于分解数据生成，作为教员模型经常经常使用。

「Meta AI 将逾越 ChatGPT」

在大模型上，拥有最多 Super App 的 Meta，肯定确保不时能够取得最好的 AI 技术。为了成功这一目的，开源是 Meta 的手段之一，战略则是树立一个弱小的、开通的 AI 生态系统。

但这也带来一个质疑，Meta 没有像亚马逊、谷歌和微软那样拥有能够运行大模型推进业务的云计算，这就意味着 Meta 将其如此微小的投入转化为支出的才干愈加有限。

扎克伯格反而将这一质疑视为优点，他称，「出售大模型的访问权限不是我们的商业方式。这意味着地下公布 Llama 不会像闭源模型厂商那样削弱支出、可继续性或研讨、投资才干。」

Meta 的 AI 商业化， 目前仍是改良其广告业务、使其新的 AI 助手（Meta AI）成为杀手级 AI 用例 。

Llama 3.1 如今为 Meta AI 提供支持，Meta AI 是 Meta 运转程序和雷朋自动眼镜中提供的 AI 助手，它被定位为像 ChatGPT 这样的通用聊天，简直可以在 Instagram、Facebook 和 WhatsApp 的任何中央找到。

从本周末尾，Llama 3.1 将首先经过美国的 WhatsApp 和 Meta AI 网站访问，随后在接上去的几周内经过 Instagram 和 Facebook 访问。它正在更新以支持新言语，包括法语、德语、印地语、意大利语和西班牙语。

随同 Llama 3.1 的公布，Meta AI 介入了一项新的「设想我」性能，可以依据用户的特定肖像生成图像的性能。经过以这种方式而不是经过集团资料中的照片捕捉用户肖像，Meta 有望防止创立深度伪造（Deepfake）机器。

Meta AI 也将在未来几周内出如今 Quest 耳机中，取代其语音命令界面。就像它在 Meta Ray-Ban 眼镜中的成功一样，用户能够在 Quest 上经常经常使用 Meta AI 来识别和了解耳机直通方式下正在审核的内容，该方式经过显示屏显示理想全球。

扎克伯格在 Instagram 上发帖称，数亿人曾经经常经常使用了 Meta AI。他预测，到往年年底，Meta AI 将逾越 ChatGPT（ChatGPT 拥有逾越 1 亿用户），成为经常经常使用最普遍被经常经常使用的 AI 助手。

关于未来的 AI 运转图景，扎克伯格称，Meta 的愿景是，应该有许多不同的 AI 及其 AI 服务，而不只仅是单一的 AI，这一看法也影响了 Meta 的开源方法和产品路途图。

「我们的重点是让每个创作者和每个小企业都能创立自己的 AI Agent，使每集团都能在我们的平台上创立他们想要的 AI Agent，这些都是微小的市场。全球上有数亿的小企业，一个企业可以经过几次点击就能创立一个 AI Agent 来启动客户支持、销售，并与一切客户沟通。未来每个企业都会像如今有电子邮件地址、网站和社交媒体一样，拥有一个他们的客户可以交流的 AI Agent。我们将生活在一个拥有数亿甚至数十亿不同 AI Agent 的全球里，或许最终 AI Agent 的数量会逾越全球上的人口，人们将以各种不同的方式与它们互动。这是产品愿景的一部分，其中有很多商业机遇，这是我们心愿赚钱的中央。」

最后，他还剧透，Llama-4 曾经在路上了，甚至不止 Llama4。「规划计算集群和数据轨迹不只仅是针对 Llama-4，而是未来四五个版本的 Llama，这确实是件幽默的事情，由于这些都是要求终年投资的事情，树立数据中心、配套的电力、芯片架构和网络架构等」。

---

读书笔记——Llama 2: Open Foundation and Fine-Tuned Chat Models

Meta AI的LLAMA 2模型作为大模型开源范围的一座里程碑，其论文深化讨论了7B、13B、70B模型在可用性和安保性方面的表现，同时接受了人工和GPT-4的双重评价。 LLAMA 2在架构和上下文长度方面较前代有所优化，训练环节采用预训练SFT与强化学习RLHF相结合，经常使用2T级别的令牌，相较于LLAMA 1，训练细节愈加精心打磨。 在模型优化方面，LLAMA 2采用了学习率2e-5、权重衰减0.1以及64的批次大小，确保了4096长度的上下文了解。 在RLHF阶段，LLAMA 2经过与OpenAI Self Instruct模型的对比，创新地采用了团圆margin函数，成功了更佳的效果。 数据混合战略巧妙地融合新旧数据，坚持开源偏好，以增强泛化性和防止奖励诈骗，混合比例经过精心调优。 关于1个epoch的训练，70B模型的学习率阅历了从5e-6到1e-5的调整，并采用了余弦调度。 LLAMA 2的扩展趋向显示出随着模型和数据规模的优化，性能不时优化，但仍有优化空间。 在奖励模型结果剖析中，两种迭代微调方法——PPO和Rejection Sampling，各自展现了共同的深度和广度优势。 Rejection Sampling经过从每个迭代模型中采样K个输入，经常使用奖励函数选择最佳，这种方法在早期迭代中受限于上一阶段的样本，但前期改良后性能清楚优化。 而PPO则是以OpenAI的InstructGPT方法为基础，专注于安保性和协助性的奖励函数，经过过滤阈值启动优化。 训练环节中，LLAMA 2采用FSDP技术减速训练，但牺牲了生成速度。 为处置系统分歧性疑问，引入了Ghost Attention（GAtt）技术，经过火解数据和Rejection Sampling启动finetune，确保对话控制的精准。 最终的评价依赖于人工评价和奖励模型，两者都显示出与人类偏好的良好分歧性。 RLHF不只提高了协同人类注解的效率，还经过奖励机制调整了不良输入，引导模型探求更丰厚的写作途径。 值得留意的是，人类的评价才干在LLM的写作质量上起到了关键作用，RLHF训练方法的引入或许重塑了监视数据的影响力。 LLM在处置时期感知、发明力和理想提示时展现出共同的处置方式，且在无序数据训练中仍能了解时期顺序。 OpenAI插件的讨论也显示出模型在无标注环境下自发构成工具经常使用才干的潜力。

大模型是什么？

大模型与人工智能区别：以前的模型大都是弱人工智能，像阿尔法狗只能下围棋，而各种识别产品也只能成功一个义务。 这些模型之间是隔离的不能相互支撑。 而大模型则经过扩展模型的参数规模，并经过少量数据的训练，来支撑一切人工智能的义务。

大模型就是一种参数规模十分大的人工神经网络。 由于参数足够大之后它才干十分强，所以在很多义务上都表现出十分好的才干。

由于大模型学习了十分多的知识，经过了十分多的数据训练，这样就具有了十分好的通用性。 包括像我们日常生活中常经常出现到的各种人工智能产品，比如说人脸识别、对话机器人，等等。

由于大模型的容量十分大、才干十分强，所以它把一切的义务都合在一同，用一个模型来提供十分多的义务的支撑，就是我们人工智能这个范围所谓的通用人工智能，所以它展现出来通用人工智能一个十分好的前景。

人工智能大模型的类型

大模型可以分为两类，通用大模型和垂直大模型。 通用大模型，基础大模型，擅优点置多种义务，是行业技术的制高点，推进产业反派。 如GPT系列就是通用模型。 训练通用大模型的参数规模大，要求弱小的算力支撑，通常是头部企业的兵家必争之地。

国外科技、互联网巨头纷繁规划，网络的文心一言、阿里的通义千问大模型、腾讯的混元大模型、科大讯飞的星火认知大模型、商汤科技的日日新大模型等都是。

垂直大模型，行业大模型，是大模型运行落地的关键方式。 基于通用大模型启动微调，经过训练专业数据，向各行各业等多个场景提供愈加精准、高效的处置方案。 比如华为盘古大模型就是针对行业提供专业大模型，曾经初步运用在政务、金融、铁路、气候、煤矿等范围。

国际上，除了ChatGPT外，还有Llama2，是Meta与微软联手推出的开源大模型，包括70亿参数、130亿参数、700亿参数三个规模；其训练数据加快参与，接受了2万亿tokens的训练。

人称“GPT-4最强平替”的Llama 2 终究优秀在哪里

Llama2相关于GPT-4的优势不时备受关注。 Llama2是一个开源模型，被誉为逾越GPT-4的最强继任者，惹起了普遍的讨论和运行。 它具有惊人的参数规模，分为70亿、130亿和700亿三个版本。

一、Llama2的优势关键体如今言语生成才干方面

它能够依据用户提供的信息生成高质量、连接的文本输入，具有出色的言语了解和表达才干。 此外，Llama2在处置各种义务时表现出色，无论是问答、对话、文本摘要还是文档生成，都能胜任，并在多个范围展现出弱小的适用性。

Meta发布Llama2这一开源模型对OpenAI形成了一定的压力。 Meta是一家知名的科技公司，其开源模型的发布惹起了业界和学术界的普遍关注。 Llama2被视为对OpenAI的应战，引发了对OpenAI未来开展的猜想和思索。

值得讨论的是，OpenAI能否会推出与Llama2竞争的开源商用模型。 思索到Llama2的出色表现和市场潜力，OpenAI有或许推出自己的开源商用模型，以与Meta启动竞争。 这将是一场无声的竞赛，也是AI范围进一步开展的关键里程碑。

当商用模型不要钱后，公司能否还要求购置Llama2呢？构建自己的聊天机器人和LLM要求哪些步骤和费用？这些疑问是值得思索的。

二、经常使用开源AI模型构建聊天机器人和LLM是一个复杂且耗时的环节

1.公司要求拥有相应的技术团队，具有深度学习、自然言语处置等范围的专业知识。

2.公司要求处置少量的数据，包括训练数据和测试数据。 这些数据关于构建高质量的聊天机器人和LLM至关关键。

3.公司还要求投入少量的时期和人力资源启动模型的训练和调优。 这包括数据清洗、模型设计、参数调整等环节。 这些任务要求消耗少量的时期和精神，并要求不时启动实验和调整，才干取得满意的结果。

虽然构建自己的聊天机器人和LLM本钱较高，但许多AI喜好者和开发者共同开发了Llama2这一开源模型。 他们不只分享了自己的阅历和技巧，还共享了模型的代码和数据集。 这为许多公司提供了构建聊天机器人和LLM的时机和便利。 经过自创和经常使用开源模型，公司可以降低开发本钱，提高开发效率。

Meta发布的开源模型Llama2对AI范围的生态带来了积极的影响。 Meta的开源模型发布优化了公司的估值和品牌笼统，使其成为业界和学术界的关注焦点。 此举或许改动其他AI企业的产品发布节拍和商业形式，促进整个AI范围的创新和提高。

三、开源模型的发布也带来了一些应战和疑问

1.开源模型的众多和失控或许形成更多人经常使用和修正模型，或许造成模型质量降低甚至发生负面影响。

2.开源模型的加快进度引发了对隐私和安保的担忧。 团体信息暴露和滥用等疑问要求失掉充沛的关注和监管。

Meta发布的开源模型Llama2对AI生态系统带来了积极影响和应战。 继续关注和探求该范围的开展，同时对技术和伦理两方面给予充沛的注重和引导是必要的。