在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型

一、背景介绍

1. AutoDL平台（AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL）：算力平台，类似阿里云，它主要提供GPU算力。通常按小时收费，显卡（RTX 3090 - 24GB显存）+ CPU（14核）+ 内存（45GB）的配置，1.58元/时。开通后，可以通过网页或者ssh链接上服务器。

2. LLaMA大模型（魔搭社区-Meta-Llama-3-8B-Instruct）：Meta公司（母公司：FaceBook）发布的开源商用版本。2023年7月，Meta公司发布了人工智能模型LLaMA 2的开源商用版本，意味着大模型应用进入了“免费时代”，初创公司也能够以低廉的价格来创建类似ChatGPT这样的聊天机器人。LLaMA 2大语言模型系列是经过预训练和微调的生成式文本模型，其参数数量从70亿到700亿不等。2024年4月19日消息，Meta推出了新版本Llama人工智能模型Llama 3，希望与ChatGPT竞争。

二、创建环境

2.1 创建开发机

本节内容选择3090卡一张，创建实例。

2.2 创建运行环境

使用conda创建环境

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

可以看到有了一个名称为llama3 的 conda环境

2.3 下载Llama3-Tutorial，这里有运行Llama3所需要的配置文件

git clone https://github.com/SmartFlowAI/Llama3-Tutorial

2.4 下载模型

下面是通过SDK从魔塔下载模型的方式，通过修改参数可以下载不同模型。

import torch 
from modelscope import snapshot_download, AutoModel
import os
# 这里我用了llama3中文社区的微调模型，如果需要别的以相同方法到modelscope下载模型
# model_dir = snapshot_download('baicai003/Llama3-Chinese_v2',cache_dir='/root/autodl-tmp', revision='master')

model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct',cache_dir='/root/autodl-tmp', revision='master')

编辑down.py，并运行 python down.py。

通过软链接把下载文件映射到model文件夹。

三、启动模型

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

通过SSH创建隧道，把本地端口转发到远端端口。此处的端口号38374 和密码在AutoDL页面找

ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 38374

最终效果，通过本地端口访问：

完毕！

下一节介绍如何使用XTuner微调一个Llama模型。

总结

**文章总结：如何在AutoDL平台上部署和启动LLaMA 3大模型**
**背景介绍**：
- **AutoDL平台**：一个提供GPU算力的云平台，以小时计费，支持通过网页或SSH访问高性能计算资源，非常适合用于运行大型AI模型。
- **LLaMA大模型**：Meta公司发布的开源商用大模型，包括LLaMA 2和LLaMA 3，可支持低至初创公司的预算构建ChatGPT风格的聊天机器人。LLaMA 3作为最新版本，旨在与ChatGPT竞争。
**创建环境**：
1. **开发机创建**：选择带有RTX 3090显卡的实例进行创建。
2. **运行环境设置**：使用conda创建Python 3.10环境的`llama3`，并安装PyTorch等依赖库。
3. **下载教程与模型**：
- 克隆Llama3-Tutorial仓库，获取运行模型所需的配置文件。
- 通过ModelScope SDK下载指定的LLaMA 3模型，此处示例为80亿参数的`Meta-Llama-3-8B-Instruct`版本。
- 创建软链接将下载的文件映射至模型文件夹。
**启动模型**：
- 使用Streamlit框架运行LLaMA 3模型的Web界面部署脚本，指定模型路径。
- 通过SSH创建隧道，将本地的某个端口映射至远程服务器的8501端口，以便从本地访问运行的Web界面。
- 最终用户可以通过浏览器访问本地指定的端口来体验LLaMA 3模型的效果。
**后续内容预告**：
- 下一节将介绍如何使用XTuner工具对LLaMA模型进行微调，以进一步提升其性能。