文章目录
一、注册AutoDL账号、租用GPU 二、创建conda环境 三、下载llama模型 四、启动模型一、注册AutoDL账号、租用GPU
进入 AutoDL官网链接 注册账号，需要先充点钱，如下创建新实例。
随便选择一张3090创建实例即可，镜像可以按照如下选择
点击进入JupyterLab
二、创建conda环境
进入终端，如图：
依次执行以下代码,最后一行代码运行时间稍长，耐心等待即可。
cd autodl-tmp
conda create -n llama3 python=3.10
source activate
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
创建成功即如图所示，注意检查如下标注的两个地方是否一致！！！
补充下载一些库，不然后面会报错，依旧是在终端依次执行
pip install modelscope
pip install packaging
pip install streamlit
pip install 'transformers==4.41.2'
三、下载llama模型
下载Llama3-Tutorial，继续在终端执行如下代码。
git clone https://github.com/SmartFlowAI/Llama3-Tutorial
点击进入左边autodl-tmp文件夹，创建一个新的python文件，命名为down.py
通过SDK从魔塔下载模型，复制如下代码粘贴进down.py文件中，记得crtl+s保存
import torch
from modelscope import snapshot_download
import os
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct',cache_dir='/root/autodl-tmp', revision='master')
返回终端运行下面的代码，运行时间较长，耐心等待即可
python down.py
如下图所示便是执行成功
通过软链接把下载文件映射到model文件夹，在终端执行下面的代码。
ln -s /root/autodl-tmp/LLM-Research/Meta-Llama-3-8B-Instruct /root/autodl-tmp/model
检查一下/root/autodl-tmp-model/路径下是否有Meta-Llama-3-8B-Instruct文件夹。
四、启动模型
在终端执行下面代码。
streamlit run /root/autodl-tmp/Llama3-Tutorial/tools/internstudio_web_demo.py /root/autodl-tmp/model/Meta-Llama-3-8B-Instruct
如下便是执行成功。
JupyterLab保持开启，返回AutoDL控制台页面，记住登录指令和密码，之后都要用到。
根据登录指令和JupyterLab中最后输出的Local URL编写一段指令
检查一下上面两个对应是否正确，按照自己的环境来修改下面这行代码
ssh -CNg -L 8501:127.0.0.1:8501 root@connect.yza1.seetacloud.com -p 50301
返回自己的电脑，按住Win+R，打开cmd，将上述修改后的代码复制进去,回车出现下列提示，接下来把AutoDL中的密码复制进去，crtl+v之后仍然没有显示密码出来是正常的，接着按回车即可。
打开浏览器，输入127.0.0.1：8501出现如下页面即部署完成。
参考借鉴：在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型
总结
**在AutoDL平台上部署Meta-Llama-3-8B-Instruct模型的完整步骤**为了在AutoDL平台上成功部署和运行Meta-Llama-3-8B-Instruct模型，需要遵循以下步骤：
1. **注册AutoDL账号并租用GPU**
- 访问AutoDL官网并注册账号。
- 充值并创建新实例，选择一张3090显卡的计算节点进行使用。
2. **创建conda环境并安装相关库**
- 通过终端命令进入autodl-tmp目录。
- 使用conda创建一个新的Python 3.10环境，并命名为llama3。
- 激活llama3环境，并安装PyTorch、torchvision、torchaudio等必要的库，确保CUDA版本与GPU匹配。
3. **下载和配置Meta-Llama-3-8B-Instruct模型**
- 通过git clone命令下载Llama3-Tutorial项目。
- 在autodl-tmp目录下创建一个名为down.py的Python脚本，用于从魔塔下载模型。
- 运行down.py脚本，等待模型下载完毕。
- 创建从模型文件夹到指定位置的软链接，以便于访问。
4. **启动和运行模型**
- 在终端中使用streamlit命令启动模型，并指定模型文件夹的路径。
- 确保JupyterLab保持开启，以便使用ssh命令在本地通过JupyterLab进行连接和交互。
- 修改ssh命令，将其中的端口号、IP地址和用户名替换为实际的值，并在本地cmd中运行该命令以建立与AutoDL服务器的SSH隧道连接。
- 输入用户名和密码后，在浏览器中打开指定的Local URL（例如`127.0.0.1:8501`），即可访问模型的Web界面。
遵循以上步骤，用户可以在AutoDL平台上成功部署和运行Meta-Llama-3-8B-Instruct模型。如果需要在实际运用中对模型进行修改或者配合其他组件进行开发，还需要根据实际情况对模型部署步骤进行适当的调整和补充。