在进行安装前,请先确认你的GPU能支撑起训练的显存。如果和可怜的我一样是4GB可以选择上云或者换一个好一点的显卡。并且确定你安装了显卡驱动版本在官方给的版本以上,如果没有安装,详细参考我的另一篇文章:LLama-Factory运行异常,CUDA没安装,nvidia-smi的版本假的?-CSDN博客
注意nvidia-smi不一定是你的版本,我也被坑了一次,然后重新装了一遍。
一、下载LLamaFactory
llama-factory地址,如果你使用git拉取代码,可能会因为网络问题拉取失败,可以多试几次,或者直接下载文件包。
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
二、环境准备
针对LLamaFactory的安装软硬件环境,官方文档已经给出了软硬件的要求:
· 如果你有Python环境可以直接进行跳过以下步骤,如果你是conda选手需要创建虚拟环境并且激活环境。
新建虚拟环境
conda create -n llama_factory python=3.11 -y
激活虚拟环境
conda activate llama_factory
三、依赖安装
确认你的Python环境生效,在你的LLama-Factory的文件夹下执行以下命令
在LLama-Factory的官方文档中,有各个依赖,推荐是按需下载,我这里省事直接全部下载了
pip install -e .
按需下载
pip install -e .[metrics,modelscope,qwen]
官方给的额外依赖项:torch、torch-npu、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、quality
安装torch依赖-->gpu版本
这里你可以去官方链接找你的版本,只要下翻就能看见或者查看更多版本。这里一定要确认你的cuda版本,可以向下兼容,如果你是conda环境请选Conda。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
安装成功可以在Python环境下使用下面命令,如果是True,则安装成功
import torch
torch.cuda.is_available()
针对windows用户,官方要求安装bitsandbytes
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
安装tensorboard与启用ModelScope Hub (这两个命令我没有在官方中看到必须,但我参考了其他博客试了一遍,对项目也没影响我也执行了)
pip install tensorboard
Set USE MODELSCOPE HUB=1
四、启动项目
两种方式都可以
llamafactory-cli webui
或
python src/webui.py
如果顺利:
总结
**LLamaFactory安装指南****一、准备工作**
1. **确认GPU显存**:安装前请检查你的GPU显存是否满足训练需求。如显存较小(如4GB),可考虑使用云计算资源或升级显卡。
2. **显卡驱动安装**:请确保安装了正确版本(或以上版本)的显卡驱动。若未安装,可参考相关指南进行安装。
**二、下载LLamaFactory**
通过git或直接下载文件包获取LLamaFactory的代码。
**三、环境搭建**
1. **Python环境**:已存在Python环境的用户可以跳过,未安装的用户或希望使用conda的用户,需新建并激活虚拟环境。
2. **依赖安装**:
- 在LLama-Factory文件夹下执行`pip install -e .`以安装所有依赖(或按需安装)。
- 安装torch(GPU版),注意与CUDA版本兼容。
- Windows用户需额外安装`bitsandbytes`。
- 可选安装`tensorboard`和启用`ModelScope Hub`(参考官方或博客文档)。
**四、项目启动**
可通过命令行`llamafactory-cli webui`或`python src/webui.py`两种方式启动LLamaFactory项目。如启动顺利,将进入相应界面。
**注意事项**:
- 安装过程中注意检查版本兼容性,特别是CUDA版本与torch版本的匹配。
- 如有安装或运行问题,可参考官方文档、相关博客或社区讨论寻求帮助。
- 保持更新:技术更新快速,建议及时查看LLamaFactory的更新和文档变更。