LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练

LLaMA-Factory

基础篇

LLaMA-Factory简介

LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mistral等，旨在帮助用户快速适应和调整这些模型以适应特定的应用场景。LLaMA-Factory通过提供一套完整的工具和接口，使用户能够轻松地对预训练的模型进行定制化的训练和调整，包括（增量）预训练、指令监督微调、奖励模型训练、PPO训练、DPO训练和ORPO训练
等多种训练方法。此外，它还支持多种精度调整，如32比特全参数微调、16比特冻结微调、16比特LoRA微调和基于AQLM/AWQ/GPTQ/LLM.int8的2/4/8比特QLoRA微调，以及一系列先进算法和实用技巧，如GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ和Agent微调等。

LLaMA-Factory的特色在于它提供了一个内置的Web UI，使用户能够灵活定制100多个LLMs的微调，几乎不需要编写代码。这个框架不仅简化了大模型微调的过程，使得即使是技术门外汉也能通过学习LLaMA-Factory后，快速训练出自己需要的模型，同时也为想要了解微调大模型技术的技术人员提供了一个快速理解模型微调相关概念的平台。通过LLaMA-Factory，企业可以更好地利用大模型技术，实现真正的大模型应用。此外，LLaMA-Factory还支持通过命令行或Web界面进行操作，进一步降低了使用门槛。

整体架构：

调优框架：

项目特点：

支持模型:

提供的训练方法：

支持的数据集：

预训练数据集：

指令微调数据集

偏好数据集

实战篇

昇腾NPU环境测试

前置条件：已安装NPU卡驱动/CANN Toolkit/CANN kernels，并设置好环境变量

1.安装LLaMA-Factory

##克隆LLaMA-Factory代码仓：
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
##NPU环境安装
cd LLaMA-Factory
pip install -e ".[torch-npu,metrics]"

2.验证LLaMA-Factory可用性：

llamafactory-cli help

根据报错提示，镜像中默认安装了vllm，执行llamafactory-cli会默认调用vllm这个库，昇腾NPU不支持vllm库，卸载vllm解决

pip uninstall vllm

3.使用LLaMA-Factory仓进行qwen2-vl-7b微调训练

3.1.下载模型权重

yum install git-lfs
git clone https://www.modelscope.cn/qwen/qwen2-vl-7b-instruct.git

3.2使用LLaMA-Factory 提供的数据集进行测试

3.3修改启动脚本：

vim examples/train_lora/qwen2vl_lora_dpo.yaml

3.4指定运算设备

export ASCEND_RT_VISIBLE_DEVICES=0,1  ###指定两张NPU卡进行训练

3.5启动训练任务

llamafactory-cli train examples/train_lora/qwen2vl_lora_dpo.yaml

报keyerror“qwen2_vl”错误

根据提示报错原因为pip源中transformers版本问题不适配，需要从github上拉取安装最新的transformers

3.6安装最新版本transformers

pip install git+https://github.com/huggingface/transformers accelerate
#一次可能失败，拉取不下来，多尝试几次；
#上述方法不行，就使用以下方式安装：
git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e

重新拉起训练任务解决

loss收敛：

GPU环境测试

前置条件：已安装GPU卡驱动/CUDA/cudnn等基础环境，并设置好环境变量

1.安装LLaMA-Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

2.验证LLaMA-Factory可用性：

llamafactory-cli help

3.使用LLaMA-Factory仓进行qwen2-vl-7b微调训练

3.1.下载模型权重

yum install git-lfs
git clone https://www.modelscope.cn/qwen/qwen2-vl-7b-instruct.git

3.2使用LLaMA-Factory 提供的数据集进行测试

3.3修改启动脚本：

vim examples/train_lora/qwen2vl_lora_dpo.yaml

3.4安装最新版本transformers

pip install git+https://github.com/huggingface/transformers accelerate
#一次可能失败，拉取不下来，多尝试几次；
#上述方法不行，就使用以下方式安装：
git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e

3.5启动训练任务

llamafactory-cli train examples/train_lora/qwen2vl_lora_dpo.yaml

报端口错误

指定端口号解决：

export MASTER_PORT=45123

loss曲线收敛：

日常学习总结

总结