Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析

Llama 3.1 发布了！Llama 3.1 有三种规格: 8B 适合在消费者级 GPU 上进行高效部署和开发，70B 适合大规模 AI 原生应用，而 405B 则适用于合成数据、大语言模型 (LLM) 作为评判者或蒸馏。这三个规格都提供基础版和指令调优版。

除了六个生成模型，Meta 还发布了两个新模型: Llama Guard 3 和 Prompt Guard。Prompt Guard 是一个小型分类器，可以检测提示注入和越狱。Llama Guard 3 是一个保护模型，能够分类 LLM 输入和生成的内容。

此次发布的一些功能和集成包括:

Llama 3.1 的新功能

Llama 3.1 为什么令人兴奋？在前代产品的基础上，Llama 3.1 增加了一些关键新功能:

让我们深入了解这些新功能！

Llama 3.1 版本引入了基于 Llama 3 架构的六个新开源 LLM 模型。它们有三种规格: 8B、70B 和 405B 参数，每种都有基础版 (预训练) 和指令调优版。所有版本都支持 128K token 的上下文长度和 8 种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。Llama 3.1 继续使用分组查询注意力 (GQA)，这是一种高效的表示方式，有助于处理更长的上下文。

除了这六个语言模型，还发布了 Llama Guard 3 和 Prompt Guard。

与 Llama 3 相比，Llama 3.1 的新特点是指令模型在工具调用方面进行了微调，适用于智能体用例。内置了两个工具 (搜索，使用 Wolfram Alpha 进行数学推理)，可以扩展为自定义 JSON 功能。

Llama 3.1 模型在定制 GPU 集群上训练了超过 15 万亿 token，总计 39.3M GPU 小时 (8B 1.46M，70B 7.0M，405B 30.84M)。我们不知道训练数据集混合的具体细节，但我们猜测它在多语言方面有更广泛的策划。Llama 3.1 Instruct 已优化用于指令跟随，并在公开可用的指令数据集以及超过 2500 万合成生成的示例上进行监督微调 (SFT) 和人类反馈的强化学习 (RLHF)。Meta 开发了基于 LLM 的分类器，以在数据混合创建过程中过滤和策划高质量的提示和响应。

关于许可条款，Llama 3.1 具有非常相似的许可证，但有一个关键区别: 它允许使用模型输出来改进其他 LLM。这意味着合成数据生成和蒸馏是允许的，即使是不同的模型！这对 405B 模型尤其重要，如后面所讨论的。许可证允许再分发、微调和创建衍生作品，仍然要求派生模型在其名称的开头包括 “Llama”，并且任何衍生作品或服务必须提及 “Built with Llama”。有关完整详情，请确保阅读 官方许可证。

Llama 3.1 需要多少内存？

Llama 3.1 带来了令人兴奋的进步。然而，运行它需要仔细考虑硬件资源。我们分解了三种模型规格在训练和推理中的内存需求。

推理内存需求

对于推理，内存需求取决于模型规格和权重的精度。以下是不同配置所需的近似内存:

注意: 上面引用的数字表示仅加载模型检查点所需的 GPU VRAM。它们不包括内核或 CUDA 图形的 torch 保留空间。

例如，一个 H100 节点 (8x H100) 有约 640GB 的 VRAM，因此 405B 模型需要在多节点设置中运行或以较低精度 (例如 FP8) 运行，这是推荐的方法。

请记住，较低精度 (例如 INT4) 可能会导致一些精度损失，但可以显著减少内存需求并提高推理速度。除了模型权重外，您还需要将 KV 缓存保持在内存中。它包含模型上下文中所有 token 的键和值，以便在生成新 token 时不需要重新计算。特别是当利用可用的长上下文长度时，它变得至关重要。在 FP16 中，KV 缓存内存需求如下:

特别是对于小规格模型，当接近上下文长度上限时，缓存使用的内存与权重一样多。

训练内存需求

以下表格概述了使用不同技术训练 Llama 3.1 模型的大致内存需求:

注意: 这些是估计值，可能会根据具体实现细节和优化情况有所不同。

Llama 3.1 评估

注意: 我们目前正在新的 Open LLM Leaderboard 2 上单独评估 Llama 3.1，并将在今天晚些时候更新此部分。以下是 Meta 官方评估的摘录。

使用 Hugging Face Transformers

Llama 3.1 需要进行少量建模更新，以有效处理 RoPE 缩放。使用 Transformers 4.43 版，您可以使用新的 Llama 3.1 模型，并利用 Hugging Face 生态系统中的所有工具。确保使用最新的 transformers 版本:

	pip install "transformers>=4.43" --upgrade

几个细节:

以下代码段显示了如何使用 meta-llama/Meta-Llama-3.1-8B-Instruct 。它大约需要 16 GB 的 VRAM，适合许多消费者级 GPU。相同的代码段适用于 meta-llama/Meta-Llama-3.1-70B-Instruct ，在 140GB VRAM 和 meta-llama/Meta-Llama-3.1-405B-Instruct (需要 810GB VRAM)，使其成为生产用例的非常有趣的模型。可以通过以 8 位或 4 位模式加载进一步减少内存消耗。

	from transformers import pipeline

	import torch

	 

	model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"

	pipe = pipeline(

	    "text-generation",

	    model=model_id,

	    model_kwargs={"torch_dtype": torch.bfloat16},

	    device="cuda",

	)

	 

	messages = [

	    {"role": "user", "content": "Who are you? Please, answer in pirate-speak."},

	]

	outputs = pipe(

	    messages,

	    max_new_tokens=256,

	    do_sample=False,

	)

	assistant_response = outputs[0]["generated_text"][-1]["content"]

	print(assistant_response)

	# Arrrr, me hearty! Yer lookin' fer a bit o' information about meself, eh? Alright then, matey! I be a language-generatin' swashbuckler, a digital buccaneer with a penchant fer spinnin' words into gold doubloons o' knowledge! Me name be... (dramatic pause)...Assistant! Aye, that be me name, and I be here to help ye navigate the seven seas o' questions and find the hidden treasure o' answers! So hoist the sails and set course fer adventure, me hearty! What be yer first question?

您还可以自动量化模型，以 8 位甚至 4 位模式加载，使用 bitsandbytes。4 位加载大 70B 版本大约需要 34 GB 的内存运行。这是如何以 4 位模式加载生成管道:

	pipeline = pipeline(

	    "text-generation",

	    model=model_id,

	    model_kwargs={

	        "torch_dtype": torch.bfloat16,

	        "quantization_config": {"load_in_4bit": True}

	    },

	)

有关使用 transformers 模型的更多详细信息，请查看 模型卡片。

注意: Transformers 处理所有棘手的提示模板问题，如果您想了解更多关于提示的信息，请查看下一部分。

如何使用 Llama 3.1

基础模型没有提示格式。像其他基础模型一样，它们可以用于继续输入序列并进行合理的延续或零样本/少样本推理。它们也是微调您自己用例的绝佳基础。

指令版本支持具有 4 个角色的对话格式:

指令版本使用以下对话结构进行简单对话:

	<|begin_of_text|><|start_header_id|>system<|end_header_id|>

	 

	{{ system_prompt }}<|eot_id|><|start_header_id|>user<|end_header_id|>

	 

	{{ user_msg_1 }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

	 

	{{ model_answer_1 }}<|eot_id|>

Llama 3.1 指令模型现在支持工具调用，包括三个内置工具 (brave_search、wolfram_alpha 和 code_interpreter) 和通过 JSON 函数调用的自定义工具调用。内置工具使用 Python 语法。生成 Python 代码以进行函数调用是代码解释器工具的一部分，必须在系统提示中使用 Environment 关键字启用，如下所示。

内置工具调用

包括 “Environment: ipython” 会打开代码解释器模式，模型可以生成它期望被执行的 Python 代码。助手响应的消息体以特殊标记 <|python_tag|> 开头，以 <|eom_id|> 结尾，而不是标准 <|eot_id|>。后者表示回合结束，而前者表示继续多步推理。

内置工具调用示例

自定义工具调用

Llama 3.1 指令支持从单个用户消息中调用自定义函数。以下提示提供了如何从模型输出调用自定义函数的示例。在自定义函数调用中，模型输出 <|eot_id|>而不是 <|eom_id|> 。需要调整系统提示以告知模型如何处理函数调用输出。

自定义工具调用 JSON 函数

演示

您可以在以下演示中试验三种指令模型:

整个堆栈都是开源的。Hugging Chat 由 chat-ui 和 text-generation-inference 提供支持。

Llama 3.1 405B 的 FP8、AWQ 和 GPTQ 量化

Meta 创建了 Llama 3.1 405B 的官方 FP8 量化版本，精度损失最小。为实现这一目标，FP8 量化仅应用于模型的主要线性运算符，例如 FFNs 的门和上升及下降投影 (涵盖 75% 的推理 FLOPs)。我们共同努力，确保此 FP8 量化检查点在社区中兼容 (transformers, TGI, VLLM)。

此外，我们使用 AutoAWQ 和 AutoGPTQ 创建了 INT4 的 AWQ 和 GPTQ 量化变体。对于 AWQ，所有线性层都使用 GEMM 内核进行量化，将零点量化到 4 位，组大小为 128; 对于 GPTQ，相同的设置仅使用 GPTQ 内核。我们确保 INT4 检查点与 transformers 和 TGI 兼容，包括 Marlin 内核支持，以加快 TGI 中 GPTQ 量化的推理速度。

可用的 Llama 3.1 405B 的量化权重:

Hugging Quants 组织 还包含 70B 和 8B 版本的量化检查点。

推理集成

Hugging Face 推理 API

Hugging Face PRO 用户现在可以访问独家 API 端点，托管 Llama 3.1 8B Instruct、Llama 3.1 70B Instruct 和 Llama 3.1 405B Instruct AWQ，由 text-generation-inference 提供支持。所有版本都支持 Messages API，因此与 OpenAI 客户端库兼容，包括 LangChain 和 LlamaIndex。

注意: 使用 pip install "huggingface_hub>=0.24.1" 更新到最新的 huggingface_hub 版本。

	from huggingface_hub import InferenceClient

	 

	# 初始化客户端，指向一个可用的模型

	client = InferenceClient()

	 

	chat_completion = client.chat.completions.create(

	    model="meta-llama/Meta-Llama-3.1-405B-Instruct-FP8",

	    messages=[

	        {"role": "system", "content": "You are a helpful and honest programming assistant."},

	        {"role": "user", "content": "Is Rust better than Python?"},

	    ],

	    stream=True,

	    max_tokens=500

	)

	 

	# 迭代并打印流

	for message in chat_completion:

	    print(message.choices[0].delta.content, end="")

有关使用 Messages API 的更多详细信息，请查看 此帖子。

Hugging Face 推理端点

您可以在 Hugging Face 的 推理端点 上部署 Llama 3.1，它使用 Text Generation Inference 作为后端。Text Generation Inference 是 Hugging Face 开发的生产就绪推理容器，支持 FP8、连续批处理、token 流、张量并行，以便在多个 GPU 上快速推理。要部署 Llama 3.1，请转到 模型页面 并点击部署 -> 推理端点小部件:

	from huggingface_hub import InferenceClient

	 

	# 初始化客户端，指向一个可用的模型

	client = InferenceClient(

	    base_url="<ENDPOINT_URL>",

	)

	 

	# 创建一个聊天完成

	chat_completion = client.chat.completions.create(

	    model="ENDPOINT",

	    messages=[

	        {"role": "system", "content": "You are a helpful and honest programming assistant."},

	        {"role": "user", "content": "Is Rust better than Python?"},

	    ],

	    stream=True,

	    max_tokens=500

	)

	 

	# 迭代并打印流

	for message in chat_completion:

	    print(message.choices[0].delta.content, end="")

Hugging Face 合作伙伴集成

注意: 我们目前正在与我们的合作伙伴 AWS、Google Cloud、Microsoft Azure 和 DELL 合作，将 Llama 3.1 8B、70B 和 405B 添加到 Amazon SageMaker、Google Kubernetes Engine、Vertex AI Model Catalog、Azure AI Studio、DELL Enterprise Hub。我们将在容器可用时更新此部分 - 您可以 订阅 Hugging Squad 以获取电子邮件更新。

使用 Hugging Face TRL 进行微调

在本节中，我们将查看 Hugging Face 生态系统中可用的工具，以便在消费者级 GPU 上高效训练 Llama 3.1。下面是一个示例命令，用于在 OpenAssistant 的 chat 数据集 上微调 Llama 3.1 8B。我们使用 4 位量化和 QLoRA 来节省内存，以针对所有注意力块的线性层。

使用 Hugging Face TRL 的微调示例

使用 distilabel 生成合成数据

Llama 3.1 许可证的一个重大变化是，它允许使用模型输出来改进其他 LLM，这意味着您可以使用 Llama 3.1 模型生成合成数据集，并使用它们来微调更小、更专业的模型。

让我们看一个示例，如何使用 distilabel，一个用于生成合成数据的开源框架，生成一个偏好数据集。该数据集可用于使用 TRL 提供的偏好优化方法 (如 DPO 或 KTO) 微调模型。

首先安装最新的 distilabel 版本，包括 hf-inference-endpoints 额外组件，使用 pip 如下:

	pip install “distilabel[hf-inference-endpoints]” --upgrade

然后定义一个管道:

请参阅下面的代码以定义管道，或使用此 Colab 笔记本 自行运行并探索生成的数据集。

	from distilabel.llms import InferenceEndpointsLLM

	from distilabel.pipeline import Pipeline

	from distilabel.steps import LoadDataFromHub, CombineColumns

	from distilabel.steps.tasks import TextGeneration, UltraFeedback

	 

	llama70B = InferenceEndpointsLLM(

	    model_id="meta-llama/Meta-Llama-3.1-70B-Instruct"

	)

	llama405B = InferenceEndpointsLLM(

	    model_id="meta-llama/Meta-Llama-3.1-405B-Instruct-FP8"

	)

	 

	with Pipeline(name="synthetic-data-with-llama3") as pipeline:

	    # 加载带有提示的数据集

	    load_dataset = LoadDataFromHub(

	        repo_id="argilla/10Kprompts-mini"

	    )

	    # 为每个提示生成两个响应

	    generate = [

	        TextGeneration(llm=llama70B),

	        TextGeneration(llm=llama405B)

	    ]

	    # 将响应组合到一个列中

	    combine = CombineColumns(

	        columns=["generation", "model_name"],

	        output_columns=["generations", "model_names"]

	    )

	    # 使用 405B LLM-as-a-judge 对响应进行评分

	    rate = UltraFeedback(aspect="overall-rating", llm=llama405B)

	    # 定义管道

	    load_dataset >> generate >> combine >> rate

	 

	if __name__ == "__main__":

	    distiset = pipeline.run()
PYTHON 复制 全屏

接下来是什么？除了上述示例， distilabel 还提供了使用 LLM 在广泛的场景和主题中生成合成数据的令人兴奋的方法。它包括当前 SOTA 文献中的实现，用于任务如使用 LLM-as-a-judge 方法评估输出、进化指令、数据过滤以及定义自定义组件。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, ?有需要的小伙伴，可以 扫描下方二维码领取?↓↓↓

?CSDN大礼包?：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）?

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。

内容：

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

内容：

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

内容：

阶段4：AI大模型私有化部署

目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

内容：

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, ?有需要的小伙伴，可以 扫描下方二维码领取?↓↓↓

?CSDN大礼包?：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）?

​

总结