部署LLaMA-Factory及微调大模型测试

安装过程

安装依赖

按照GitHub上介绍的过程安装即可
GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMshttps://github.com/hiyouga/LLaMA-Factory参考代码：

git clone https://github.com/hiyouga/LLaMA-Factory.git
conda create -n llama_factory python=3.10
conda activate llama_factory
cd LLaMA-Factory
pip install -r requirements.txt
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[metrics]

选择PyTorch版本

查看pytorch版本

python
import torch
print(torch.__version__)

对比pytorch和CUDA的对应版本
Previous PyTorch Versions | PyTorchhttps://link.zhihu.com/?target=https%3A//pytorch.org/get-started/previous-versions/

安装pytorch

1. 卸载当前 PyTorch

pip uninstall torch torchvision torchaudio

2. 安装适用于 CUDA 11.8 的 PyTorch

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

3. 验证安装

python

   import torch
   print(torch.__version__)
   print("CUDA available: ", torch.cuda.is_available())
   print("Current CUDA device: ", torch.cuda.current_device())
   print("Device name: ", torch.cuda.get_device_name(torch.cuda.current_device()))

通过上述两个方法之一，你可以解决 PyTorch 和 CUDA 版本不匹配的问题，从而确保 PyTorch 能够正确识别并利用 GPU 进行计算。

LLaMA Board 可视化界面

注意：LLaMA Board 可视化界面目前仅支持单 GPU 训练，请使用命令行接口来进行分布式训练。

使用本地环境：

export CUDA_VISIBLE_DEVICES=0 # Windows 使用 `set CUDA_VISIBLE_DEVICES=0`

python webui.py

执行后：

然后就可以访问web界面了。（这里还需要去服务器安全组设置安全端口）

补充本地模型地址和数据集地址

训练完成

总结

**总结文章：安装LLaMA-Factory及其依赖，配置PyTorch，及运行LLaMA Board可视化界面**
本文详细描述了如何安装和运行`LLaMA-Factory`，一个用于统一高效微调100+大型语言模型(LLMs)的项目。以下是安装过程的主要步骤概述：
### 一、安装依赖
1. **克隆仓库**：从GitHub克隆`LLaMA-Factory`的源代码。
```bash
git clone https://github.com/hiyouga/LLaMA-Factory.git
```
2. **创建并激活conda环境**：为此项目创建一个新的conda环境，并激活它。
```bash
conda create -n llama_factory python=3.10
conda activate llama_factory
```
3. **安装项目要求**：在项目目录下安装必要的Python包。
```bash
cd LLaMA-Factory
pip install -r requirements.txt
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[metrics]
```
### 二、选择并安装PyTorch
1. **查看当前PyTorch版本**（如果需要）：确认当前安装的PyTorch版本，以便进行必要的调整。
```python
import torch
print(torch.__version__)
```
2. **对比并选择适合的PyTorch版本**：根据需要选择兼容CUDA的PyTorch版本，通过官方历史版本链接查找。

3. **安装**：
- **卸载现有PyTorch**（如版本不符）：
```bash
pip uninstall torch torchvision torchaudio
```
- **安装适合CUDA 11.8的PyTorch**（或其他所需版本）：
```bash
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
```
- **验证安装**：通过简短的Python脚本来检查PyTorch及其CUDA支持的状态。
### 三、运行LLaMA Board可视化界面
- **注意**：当前LLaMA Board仅支持单GPU训练，多GPU或分布式训练需使用命令行接口。
- **设置CUDA可视设备**：选择并设置CUDA设备。
```bash
export CUDA_VISIBLE_DEVICES=0 # Windows 使用 `set CUDA_VISIBLE_DEVICES=0`
```
- **启动web界面**：运行`webui.py`脚本启动界面。
```bash
python webui.py
```
- **访问web界面**：成功启动后，通过浏览器访问设定的端口（需确保服务器端口可访问，可能需要配置安全组）。
### 附加说明
- 补充模型和数据集地址（根据具体需求配置）。
- 提及训练完成后的下一步操作（文中未详细展开，但可理解为模型训练结束后可能的分析、评估或继续训练的步骤）。
这篇文章提供了从安装依赖、配置PyTorch到运行LLaMA Board可视化界面的详细步骤，帮助用户快速搭建并启动项目。