原文地址：meta-llama-3-optimized-cpu-inference-with-hugging-face-and-pytorch
了解在 CPU 上部署 Meta* Llama 3 时如何减少模型延迟
2024 年 4 月 19 日
万众期待的 Meta 第三代 Llama 发布了，我想确保你知道如何以最佳方式部署这个最先进的（SoTA）LLM。在本文中，我们将重点讨论如何执行只权重量化（WOQ）来压缩 8B 参数模型并改善推理延迟，但首先，让我们讨论一下 Meta Llama 3。
Llama 3
迄今为止，Llama 3 系列包括 8B 到 70B 参数的模型，未来还会有更多版本。这些模型都附带有允许使用的 Meta Llama 3 许可证，请在接受使用这些模型所需的条款之前仔细阅读。这标志着 Llama 模型系列和开源人工智能进入了激动人心的新篇章。
结构
Llama 3 是一种基于纯解码器transformer的自动回归 LLM。与 Llama 2 相比，Meta 团队做出了以下显著改进：
采用分组查询关注 (GQA)，提高了推理效率。 优化了标记符号生成器，其词汇量为 128K 标记，旨在更高效地编码语言。 在 15 万亿个 token 数据集上进行了训练，比 Llama 2 的训练数据集大 7 倍，包含的代码多 4 倍。下图是 print(model) 的结果，其中 model 为 meta-llama/Meta-Llama-3-8B-Instruct。从图中我们可以看到，该模型由 32 个 LlamaDecoderLayers 组成，这些 LlamaDecoderLayers 由 Llama Attention 自我注意组件构成。此外，它还有 LlamaMLP、LlamaRMSNorm 和一个线性头。