当前位置:AIGC资讯 > AIGC > 正文

Ubuntu LLaMA-Factory实战

一、Ubuntu LLaMA-Factory实战安装:

CUDA 安装

CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型,它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA

保证当前 Linux 版本支持CUDA. 在命令行中输入 uname -m && cat /etc/*release,应当看到类似的输出

x86_64
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=22.04

检查是否安装了 gcc . 在命令行中输入 gcc --version ,应当看到类似的输出

gcc (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0

在以下网址下载所需的 CUDA,这里推荐12.2版本。 https://developer.nvidia.com/cuda-gpus 注意需要根据上述输出选择正确版本

如果您之前安装过 CUDA(例如为12.1版本),需要先使用 sudo /usr/local/cuda-12.1/bin/cuda-uninstaller 卸载。如果该命令无法运行,可以直接:

sudo rm -r /usr/local/cuda-12.1/
sudo apt clean && sudo apt autoclean

卸载完成后运行以下命令并根据提示继续安装:

wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.run
sudo sh cuda_12.2.0_535.54.03_linux.run

注意:在确定 CUDA 自带驱动版本与 GPU 是否兼容之前,建议取消 Driver 的安装。

完成后输入 nvcc -V 检查是否出现对应的版本号,若出现则安装完成。

LLaMA-Factory 安装

在安装 LLaMA-Factory 之前,请确保您安装了下列依赖:

运行以下指令以安装 LLaMA-Factory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

如果出现环境冲突,请尝试使用 pip install --no-deps -e . 解决

LLaMA-Factory 校验

llamafactory-cli version

完成安装后,可以通过使用 llamafactory-cli version 来快速校验安装是否成功

如果您能成功看到类似下面的界面,就说明安装成功了。

注意:如果失败执行下面的代码

你遇到的问题是由于当前安装的 Keras 版本为 Keras 3,但 transformers 库还不支持这个版本。具体来说,报错提示需要你安装一个向后兼容的 tf-keras 包,来解决这个不兼容问题。

解决方案如下:

(1)运行以下命令,安装 tf-keras 兼容包:

pip install tf-keras

(2)如果问题依然存在,可能还需要锁定 Keras 版本为 2.x 系列。你可以尝试卸载现有的 Keras 版本,并安装旧版本:

pip uninstall keras
pip install keras==2.11.0

(3)确保 transformers 库版本也是最新的或者与 Keras 2.x 系列兼容。

运行以上命令后,再次尝试运行 llamafactory-cli,这样应该能解决当前的兼容性问题。

如果还有其他问题,请随时告知!

免费体验版本的成功界面:

总结

**Ubuntu 上安装 LLaMA-Factory:实战指南**
在 Ubuntu 系统上成功安装并运行 LLaMA-Factory 需要进行一系列的步骤,包括 CUDA 的安装和 LLaMA-Factory 的配置及校验。以下是详细步骤的概述:
### CUDA 安装
1. **检查 GPU 支持**:前往 [NVIDIA CUDA GPUs 官网](https://developer.nvidia.com/cuda-gpus) 确认您的 GPU 支持 CUDA。
2. **检查 Linux 兼容性**:在终端输入 `uname -m && cat /etc/*release` 确认您的 Ubuntu 版本(如示例中的 22.04)。
3. **确保已安装 GCC**:输入 `gcc --version` 检查 GCC 是否已安装。
4. **下载 CUDA**:从 [NVIDIA CUDA 官网](https://developer.nvidia.com/cuda-downloads) 下载适合您系统的 CUDA 版本(推荐 12.2 版本)。
5. **卸载旧版本(如有)**:如果已安装旧版 CUDA,使用卸载脚本或通过 `rm` 命令删除,然后清理 apt 缓存。
6. **安装 CUDA**:通过 wget 下载安装包并执行安装脚本,注意在安装过程中取消驱动安装,以避免可能与现有系统驱动冲突。
7. **验证安装**:输入 `nvcc -V` 确认 CUDA 版本号。
### LLaMA-Factory 安装
1. **获取源代码**:使用 `git clone` 命令下载 LLaMA-Factory 仓库。
2. **安装依赖**:通过 pip 安装 LLaMA-Factory 及其必需的依赖,支持 PyTorch 和 metrics 组件。
3. **解决环境冲突**:如遇到版本冲突,尝试无依赖安装或使用具体版本的依赖包。
### LLaMA-Factory 校验
1. **校验安装**:使用 `llamafactory-cli version` 命令检查 LLaMA-Factory 是否安装成功。
2. **解决兼容性问题**:
- 如果发生 Keras 版本不兼容问题,安装 `tf-keras` 包。
- 如需卸载并安装旧版本的 Keras,可使用 `pip` 命令操作。
- 确保 `transformers` 库版本与 Keras 兼容性良好。
### 成功体验
完成上述步骤后,您应能够在终端成功运行 `llamafactory-cli` 命令并看到版本信息,这标志着 LLaMA-Factory 在您的 Ubuntu 系统上已经成功安装并可进行进一步的实验或开发。如果遇到任何困难,随时根据错误信息调整配置或寻求帮助。

更新时间 2024-10-01