Llama 3.1 介绍
2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。
当然 405B 新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的 Llama 3.1 70B 和 8B 模型版本。
我们今天就在百度智能云 GPU 服务器上来部署体验最新 Llama3.1 8B 模型。
安装环境
硬件环境
• 百度智能云 GPU 服务器。本文以百度智能云 GPU 服务器为例进行安装部署，购买计算型 GN5 服务器， 配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G 显存，搭配 100GB SSD 数据盘， 安装 Windows 2022 Server 系统。
• 如果您使用自己的环境部署，建议 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器配置建议最低配置为 8 核 32 G 100G 磁盘，5M 带宽。安装步骤
购买服务器
登录 控制台 ，按需购买 云服务器 ，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。 安装操作系统 • 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。 • 通过 VNC 登录实例，安装 GPU 驱动程序。通过浏览器进入 NVIDIA官方驱动 下载地址，选择相应驱动下载进行安装，本教程我们选择 538.78， CUDA 版本为 12.2。
安装 Ollama 客户端
• 如果您有科学上网环境，最好从 官方下载地址 下载，保证最新版本。如果没有，您可以从 临时下载地址 下载。 • 安装完毕会自动运行，右下角可以看到这个图标： • 打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助下载模型文件
加载模型
• 由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模型版本，如果您的显存 80G 以上，那么推荐安装 70b 模型版本。在命令行中输入如下命令，即可在线拉取模型。
ollama run llama3.1:8b
如果您的显卡非常好，其他两个模型的拉取命令如下 ：
ollama run llama3.1:70b ollama run llama3.1:405b
success提示时，说明模型加载完成，可以愉快地跟大模型交流了。
更多模型支持
当然 ollama 不仅支持运行 llama3.1，实际上他支持更多的开源模型，详细教程见官方文档： 模型库
手动导入模型
如果您的网络情况不太好，在线下载模型进度缓存，官方也支持从其他渠道下载好的模型导入。
详细参考 导入模型 ，这里不做赘述。
模型应用
直接在控制台中对话
模型加载完成之后，出现如下提示，就可以直接跟大模型对话了。
配置远程访问
Ollama 启动的默认地址为 [http://127.0.0.1:11434](http://localhost:11434) ，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。同时，如果要在open-webui等UI面板中调用 API ，需要为 Ollama 进行跨域配置后方可正常使用。
需要了解如下三个变量的用途
变量名 值 说明 OLLAMA_HOST 0.0.0.0:8888 用于配置监听的 IP 和端口 OLLAMA_ORIGINS * 支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com” OLLAMA_MODELS C:\Users\Administrator\.ollama 模型文件较大，建议调整到数据盘目录下。windows 修改环境变量如下：
停止 ollama 服务右下角这个图标，右键选择退出 。
设置环境变量右键"此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。
设置环境变量，表示监听在0.0.0.0:8888上，其他变量设置依次添加。
ollama run llama3.1:8b
API 调用
开启远程连接之后，您就可以远程调用 API 了，示例如下：
curl http://106.12.151.249:8888/api/generate -d '{ "model": "llama3.1:8b", "prompt": "你好啊" }'
流式输出：
Web UI
上面的对话测试，我们都是通过命令行来进行交互的，当然肯定有可视化的 UI 界面，而且很多，这里介绍两个。
Open WebUI
Github: https://github.com/open-webui/open-webui
官方文档：https://docs.openwebui.com/
安装官方给出了两种安装方式
• 使用 docker 安装。这个是官方推荐的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次虚拟化，Windows 上需要虚拟 Linux 环境才能安装 Docker。如果您使用的是 Linux 环境，可以通过 Docker 安装，本教程不使用这种。
• 使用 pip 安装。
有两个注意点：
1） 您的 Python 版本不能为 Python3.12，因为截至本教程编写时，open-webui 还不支持 Python3.12，本教程使用 python3.11 环境，如您 windows 系统中已经有安装 Python3.12，推荐使用 Anaconda 来管理多个 Python 运行环境。
2） 运行依赖 pytorch，如您的环境没有安装，执行如下命令安装依赖：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
详细安装过程不做赘述，参考 官方安装文档
使用 • 打开页面，注册登录，进入设置，将ollama服务器中的模型加载进来。 • 加载成功后，回到对话界面，可以开始聊天了。 • 问个问题，响应速度还是不错的。LobeChat
Github: https://github.com/lobehub/lobe-chat
官方文档：https://lobehub.com/zh/docs/self-hosting/start
安装详细安装过程不做赘述，参考 官方安装文档 ，或者您也可以参考我们的另一篇文章：零成本搭建一个多模态大模型对话平台
使用 • 在设置里，选择语言模型，找到Ollama，开启它，并做连通性检查 。 • 检查通过，获取模型列表 • 回到聊天窗口，选择llama3.1:8b模型 • 开始愉快的聊天吧。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！
?有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】?
?AI大模型学习路线汇总?
大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
?大模型实战案例?
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
?大模型视频和PDF合集?
观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
?学会后的收获：?
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
?获取方式：
?有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】?
总结
### Llama 3.1 介绍及部署体验总结#### 1. Llama 3.1 概述
2024年7月24日，Meta发布了迄今为止最强大的开源模型——Llama 3.1 405B。该模型支持128K Tokens的上下文长度，并新增了对八种语言的支持，被誉为在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级AI模型相媲美的模型。然而，其算力成本高昂，中小型企业及个人需谨慎评估成本与效益。为此，Meta同时推出了Llama 3.1 70B和8B版本，以满足不同需求。
#### 2. 部署环境
**硬件环境**：
- **推荐配置**：百度智能云GPU服务器，配置16核CPU、64GB内存、Nvidia Tesla A10单卡24G显存、100GB SSD数据盘，安装Windows 2022 Server系统。
- **个人环境**：建议使用NVIDIA GPU（如30、40系列民用卡或T4、V100、A10等商用卡），至少8G以上显存，服务器配置建议为8核32G内存、100G磁盘、5M带宽。
#### 3. 安装步骤
**购买服务器**：
- 登录控制台，按需购买云服务器，选择配置如16核64G带A10 GPU卡的实例。
**安装操作系统**：
- 选择Windows公共镜像（支持Windows 2019及以上版本），本教程使用Windows 2022。
- 通过VNC登录实例，安装GPU驱动程序（如NVIDIA 538.78，CUDA 12.2）。
**安装Ollama客户端**：
- 从官方下载地址或临时下载地址下载并安装Ollama客户端。
- 安装后，通过PowerShell或CMD命令行输入`ollama`命令查看帮助。
**下载并加载模型**：
- 根据GPU显存选择模型版本（8B、70B或405B）。
- 使用`ollama run llama3.1:模型版本`命令在线拉取模型。
- 加载成功后，即可与大模型进行交互。
#### 4. 模型应用
**直接在控制台中对话**：
- 模型加载完成后，即可在命令行中与大模型进行对话。
**配置远程访问**：
- 修改环境变量`OLLAMA_HOST`、`OLLAMA_ORIGINS`和`OLLAMA_MODELS`以配置远程访问和跨域设置。
- 重启Ollama服务并加载模型。
**API调用**：
- 通过curl命令远程调用API进行交互，如`curl http://IP:PORT/api/generate -d '{"model": "llama3.1:8b", "prompt": "你好啊"}'`。
**Web UI**：
- 推荐使用Open WebUI和LobeChat等可视化界面进行交互。
- Open WebUI支持Docker和pip安装，需注意Python版本和PyTorch依赖。
- LobeChat提供了多模态对话平台，可通过设置连接Ollama服务器进行交互。
#### 5. 学习资源
为帮助初学者快速入门大模型，提供了详尽的学习资料和实战案例，包括学习路线图、视频教程、PDF书籍等。这些资源涵盖了从基础理论到实战应用的全方位内容，助力学习者系统性地掌握大模型技术。
**获取方式**：
- 扫描二维码免费领取学习资料（保证100%免费）。
通过以上步骤和资源，读者可以轻松部署Llama 3.1模型，并通过多种方式进行交互，同时借助丰富的学习资源不断提升自己的大模型技术能力。