Llama 3.1 介绍
2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。
当然 405B 新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的 Llama 3.1 70B 和 8B 模型版本。
我们今天就在百度智能云 GPU 服务器上来部署体验最新 Llama3.1 8B 模型。
安装环境
硬件环境
百度智能云 GPU 服务器。本文以百度智能云 GPU 服务器为例进行安装部署，购买计算型 GN5 服务器， 配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G 显存，搭配 100GB SSD 数据盘， 安装 Windows 2022 Server 系统。
如果您使用自己的环境部署，建议 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器配置建议最低配置为 8 核 32 G 100G 磁盘，5M 带宽。安装步骤
购买服务器
登录 控制台 ，按需购买 云服务器 ，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。 安装操作系统 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。 通过 VNC 登录实例，安装 GPU 驱动程序。通过浏览器进入 NVIDIA官方驱动 下载地址，选择相应驱动下载进行安装，本教程我们选择 538.78， CUDA 版本为 12.2。
安装 Ollama 客户端
如果您有科学上网环境，最好从 官方下载地址 下载，保证最新版本。 如果没有，您可以从 临时下载地址 下载。 安装完毕会自动运行，右下角可以看到这个图标： 打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助下载模型文件
加载模型
由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模型版本，如果您的显存 80G 以上，那么推荐安装 70b 模型版本。在命令行中输入如下命令，即可在线拉取模型。
arduino
代码解读
复制代码
ollama run llama3.1:8b
如果您的显卡非常好，其他两个模型的拉取命令如下 ：
arduino
代码解读
复制代码
ollama run llama3.1:70b
ollama run llama3.1:405b
success提示时，说明模型加载完成，可以愉快地跟大模型交流了。
更多模型支持
当然 ollama 不仅支持运行 llama3.1，实际上他支持更多的开源模型，详细教程见官方文档： 模型库
手动导入模型
如果您的网络情况不太好，在线下载模型进度缓存，官方也支持从其他渠道下载好的模型导入。
详细参考 导入模型 ，这里不做赘述。
模型应用
直接在控制台中对话
模型加载完成之后，出现如下提示，就可以直接跟大模型对话了。
配置远程访问
Ollama 启动的默认地址为 [http://127.0.0.1:11434](http://localhost:11434) ，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。同时，如果要在open-webui等UI面板中调用 API ，需要为 Ollama 进行跨域配置后方可正常使用。
需要了解如下三个变量的用途
变量名 值 说明 OLLAMA_HOST 0.0.0.0:8888 用于配置监听的 IP 和端口 OLLAMA_ORIGINS * 支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com” OLLAMA_MODELS C:\Users\Administrator.ollama 模型文件较大，建议调整到数据盘目录下。windows 修改环境变量如下：
停止 ollama 服务右下角这个图标，右键选择退出 。
设置环境变量右键"此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。
设置环境变量，表示监听在0.0.0.0:8888上，其他变量设置依次添加。
arduino
代码解读
复制代码
ollama run llama3.1:8b
API 调用
开启远程连接之后，您就可以远程调用 API 了，示例如下：
vbnet
代码解读
复制代码
curl http://106.12.151.249:8888/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "你好啊"
}'
流式输出：
Web UI
上面的对话测试，我们都是通过命令行来进行交互的，当然肯定有可视化的 UI 界面，而且很多，这里介绍两个。
Open WebUI
Github: github.com/open-webui/…
官方文档： docs.openwebui.com/
安装官方给出了两种安装方式
使用 docker 安装。这个是官方推荐的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次虚拟化，Windows 上需要虚拟 Linux 环境才能安装 Docker。如果您使用的是 Linux 环境，可以通过 Docker 安装，本教程不使用这种。 使用 pip 安装。有两个注意点：
1） 您的 Python 版本不能为 Python3.12，因为截至本教程编写时，open-webui 还不支持 Python3.12，本教程使用 python3.11 环境，如您 windows 系统中已经有安装 Python3.12，推荐使用 Anaconda 来管理多个 Python 运行环境。
2） 运行依赖 pytorch，如您的环境没有安装，执行如下命令安装依赖：
python
代码解读
复制代码
pip install torch torchvision torchaudio --index-url
https://download.pytorch.org/whl/cu121
详细安装过程不做赘述，参考 官方安装文档
使用 打开页面，注册登录，进入设置，将ollama服务器中的模型加载进来。 加载成功后，回到对话界面，可以开始聊天了。 问个问题，响应速度还是不错的。LobeChat
Github: github.com/lobehub/lob…
官方文档： lobehub.com/zh/docs/sel…
安装详细安装过程不做赘述，参考 官方安装文档 。
使用 在设置里，选择语言模型，找到Ollama，开启它，并做连通性检查 。 检查通过，获取模型列表 回到聊天窗口，选择llama3.1:8b模型 开始愉快的聊天吧。如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
L1.1 人工智能简述与大模型起源 L1.2 大模型与通用人工智能 L1.3 GPT模型的发展历程 L1.4 模型工程 L1.4.1 知识大模型 L1.4.2 生产大模型 L1.4.3 模型工程方法论 L1.4.4 模型工程实践 L1.5 GPT应用案例阶段2：AI大模型API应用开发工程
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
L2.1 API接口 L2.1.1 OpenAI API接口 L2.1.2 Python接口接入 L2.1.3 BOT工具类框架 L2.1.4 代码示例 L2.2 Prompt框架 L2.3 流水线工程 L2.4 总结与展望阶段3：AI大模型应用架构实践
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
L3.1 Agent模型框架 L3.2 MetaGPT L3.3 ChatGLM L3.4 LLAMA L3.5 其他大模型介绍阶段4：AI大模型私有化部署
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
内容：
L4.1 模型私有化部署概述 L4.2 模型私有化部署的关键技术 L4.3 模型私有化部署的实施步骤 L4.4 模型私有化部署的应用场景这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈
总结
### Llama 3.1 介绍及部署指南#### 一、Llama 3.1 概述
**发布信息**：2024年7月24日，Meta推出了迄今为止最强大的开源模型——Llama 3.1 405B。该模型支持128K Tokens的上下文长度，新增了对八种语言的支持，并声称在常识、可操纵性、数学、工具使用和多语言翻译方面达到了顶级人工智能模型的水平。
**算力成本**：Llama 3.1 405B作为新一代大模型，所需的算力成本高昂，适合大型企业和机构。为便于广泛应用，Meta还发布了Llama 3.1 70B和8B等更轻量级的版本。
**部署环境**：本文以百度智能云GPU服务器为例，演示如何部署Llama 3.1 8B模型版本。
#### 二、安装环境
**硬件环境**：
- 百度智能云GPU服务器，配置16核CPU、64GB内存、Nvidia Tesla A10单卡24G显存，搭配100GB SSD数据盘，安装Windows 2022 Server系统。
- 建议NVIDIA GPU（民用卡30、40系列，商用卡T4、V100、A10等），至少8G以上显存，服务器配置建议最低为8核32G、100G磁盘、5M带宽。
#### 三、安装步骤
1. **购买服务器**：登录控制台，按需购买云服务器，配置为16核64G带A10 GPU卡。
2. **安装操作系统**：选择Windows公共镜像，本教程选择Windows 2022版本。
3. **安装GPU驱动程序**：通过NVIDIA官方驱动下载地址选择合适的驱动进行安装，本教程选择538.78版本，CUDA 12.2。
4. **安装Ollama客户端**：从官方下载地址下载最新版本，或通过临时下载地址获取。安装后可在PowerShell或CMD中使用`ollama`命令。
5. **下载模型文件**：根据GPU显存选择适合的模型版本（8B、70B、405B），使用`ollama run llama3.1:<模型大小>`命令在线拉取模型。
#### 四、模型应用
**直接对话**：模型加载完成后，即可直接在控制台中与大模型进行对话。
**配置远程访问**：修改环境变量以设置Ollama的监听地址和端口，实现远程调用API。设置环境变量包括`OLLAMA_HOST`、`OLLAMA_ORIGINS`、`OLLAMA_MODELS`，分别用于配置监听的IP和端口、支持跨域访问和模型文件位置。
**API调用**：通过curl命令或其他HTTP客户端，远程调用API与模型进行交互。
**Web UI**：推荐使用Open WebUI和LobeChat等可视化界面，支持模型加载和对话功能。Open WebUI需通过Docker或pip安装，注意Python版本和PyTorch依赖。
#### 五、LLM大模型学习资源
为帮助学习者系统地掌握LLM大模型相关知识，提供了全面的学习资源包，包括：
- **经典书籍**：涵盖AI大模型的基础理论和核心原理。
- **行业报告**：包含640套报告，涵盖大模型的理论研究、技术实现和行业应用。
- **视频教程**：详细讲解大模型的使用和开发技巧。
- **开源教程**：涉及多个主流大模型的学习教程，如LLaLA、Meta、chatglm、chatgpt等。
- **学习路线**：分为四个阶段，从基础理解到应用架构实践，再到私有化部署，全面覆盖大模型的学习路径。
扫描下方二维码领取全网最全的《LLM大模型入门+进阶学习资源包》。