当前位置:AIGC资讯 > AIGC > 正文

Windows下安装LLama-Factory

        在进行安装前,请先确认你的GPU能支撑起训练的显存。如果和可怜的我一样是4GB可以选择上云或者换一个好一点的显卡。并且确定你安装了显卡驱动版本在官方给的版本以上,如果没有安装,详细参考我的另一篇文章:LLama-Factory运行异常,CUDA没安装,nvidia-smi的版本假的?-CSDN博客

        注意nvidia-smi不一定是你的版本,我也被坑了一次,然后重新装了一遍。

一、下载LLamaFactory

       llama-factory地址,如果你使用git拉取代码,可能会因为网络问题拉取失败,可以多试几次,或者直接下载文件包。

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

二、环境准备

        针对LLamaFactory的安装软硬件环境,官方文档已经给出了软硬件的要求:

·        如果你有Python环境可以直接进行跳过以下步骤,如果你是conda选手需要创建虚拟环境并且激活环境。

        新建虚拟环境

conda create -n llama_factory python=3.11 -y

        激活虚拟环境

conda activate llama_factory

三、依赖安装

        确认你的Python环境生效,在你的LLama-Factory的文件夹下执行以下命令

        在LLama-Factory的官方文档中,有各个依赖,推荐是按需下载,我这里省事直接全部下载了

pip install -e .

        按需下载

pip install -e .[metrics,modelscope,qwen]

官方给的额外依赖项:torch、torch-npu、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、quality

        安装torch依赖-->gpu版本

        这里你可以去官方链接找你的版本,只要下翻就能看见或者查看更多版本。这里一定要确认你的cuda版本,可以向下兼容,如果你是conda环境请选Conda。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

       安装成功可以在Python环境下使用下面命令,如果是True,则安装成功

import torch
torch.cuda.is_available()

         针对windows用户,官方要求安装bitsandbytes

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

        安装tensorboard与启用ModelScope Hub (这两个命令我没有在官方中看到必须,但我参考了其他博客试了一遍,对项目也没影响我也执行了)

pip install tensorboard
Set USE MODELSCOPE HUB=1

四、启动项目

        两种方式都可以

llamafactory-cli webui

python src/webui.py

         如果顺利:

总结

**LLamaFactory安装指南**
**一、准备工作**
1. **确认GPU显存**:安装前请检查你的GPU显存是否满足训练需求。如显存较小(如4GB),可考虑使用云计算资源或升级显卡。
2. **显卡驱动安装**:请确保安装了正确版本(或以上版本)的显卡驱动。若未安装,可参考相关指南进行安装。
**二、下载LLamaFactory**
通过git或直接下载文件包获取LLamaFactory的代码。
**三、环境搭建**
1. **Python环境**:已存在Python环境的用户可以跳过,未安装的用户或希望使用conda的用户,需新建并激活虚拟环境。
2. **依赖安装**:
- 在LLama-Factory文件夹下执行`pip install -e .`以安装所有依赖(或按需安装)。
- 安装torch(GPU版),注意与CUDA版本兼容。
- Windows用户需额外安装`bitsandbytes`。
- 可选安装`tensorboard`和启用`ModelScope Hub`(参考官方或博客文档)。
**四、项目启动**
可通过命令行`llamafactory-cli webui`或`python src/webui.py`两种方式启动LLamaFactory项目。如启动顺利,将进入相应界面。
**注意事项**:
- 安装过程中注意检查版本兼容性,特别是CUDA版本与torch版本的匹配。
- 如有安装或运行问题,可参考官方文档、相关博客或社区讨论寻求帮助。
- 保持更新:技术更新快速,建议及时查看LLamaFactory的更新和文档变更。

更新时间 2024-07-22