安装和微调大模型（基于LLaMA-Factory）2-补充资料

安装代码

https://github.com/echonoshy/cgft-llm/blob/master/llama-factory/README.md

https://github.com/hiyouga/LLaMA-Factory/tree/mainLLaMA-Factoryhttps://github.com/hiyouga/LLaMA-Factory/tree/main

【大模型微调】- 使用Llama Factory实现中文llama3微调_哔哩哔哩_bilibili



git clone https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory

pip install -e .

启动UI

cd LLaMA-Factory
llamafactory-cli webui

CUDA_VISIBLE_DEVICES=0 USE_MODELSCOPE_HUB=1 python src/webui.py

查看命令有没有装好

llamafactory-cli -h

gpu占有情况

nvitop

地址

pwd

微调命令（构建 cust/train_llama3_lora_sft.yaml）

（命令行执行：llamafactory-cli train cust/train_llama3_lora_sft.yaml）

(打开ui: llamafactory-cli webchat cust/train_llama3_lora_sft.yaml)


cutoff_len: 1024
dataset: fintech,identity
dataset_dir: data
do_train: true
finetuning_type: lora
flash_attn: auto
fp16: true
gradient_accumulation_steps: 8
learning_rate: 0.0002
logging_steps: 5
lora_alpha: 16
lora_dropout: 0
lora_rank: 8
lora_target: q_proj,v_proj
lr_scheduler_type: cosine
max_grad_norm: 1.0
max_samples: 1000
model_name_or_path: /root/autodl-tmp/models/Llama3-8B-Chinese-Chat
num_train_epochs: 10.0
optim: adamw_torch
output_dir: saves/LLaMA3-8B-Chinese-Chat/lora/train_2024-05-25-20-27-47
packing: false
per_device_train_batch_size: 2
plot_loss: true
preprocessing_num_workers: 16
report_to: none
save_steps: 100
stage: sft
template: llama3
use_unsloth: true
warmup_steps: 0

总结

**总结文章**：
本文指导如何安装并使用`LLaMA Factory`，特别针对中文的`llama3`模型进行微调。以下是详细步骤：
1. **安装LLaMA Factory**：
- 使用Git将`LLaMA-Factory`仓库克隆到本地。
- 进入仓库目录并使用pip以可编辑模式安装`LLaMA-Factory`。
2. **启动用户界面**：
- 可以使用命令行工具`llamafactory-cli`配合参数`webui`来启动Web用户界面。
- 另外，也可以直接运行Python脚本`src/webui.py`来启动UI，需设置环境变量以利用ModelScope Hub和指定CUDA设备。
3. **检查安装和了解GPU使用情况**：
- 通过执行`llamafactory-cli -h`可以查看命令行工具的帮助信息，检验是否安装成功。
- 使用`nvitop`可以查看GPU的占用情况。
4. **确认当前工作目录**：
- 使用`pwd`命令查看当前的工作目录，确保在正确的项目目录中操作。
5. **执行微调操作**：
- 构建微调配置文件（如`cust/train_llama3_lora_sft.yaml`），并设置所需的参数。
- 通过命令行执行微调任务：`llamafactory-cli train cust/train_llama3_lora_sft.yaml`。
- 同时，也可以使用UI界面启动微调任务：`llamafactory-cli webchat cust/train_llama3_lora_sft.yaml`。
微调配置文件（如`train_llama3_lora_sft.yaml`）包含了一系列重要参数，如数据集的路径、训练轮次、学习率、是否启用半精度等，都会影响模型训练的效果与性能。
总结来说，本文提供了一个详细的流程，从安装、配置到执行`llama3`模型的中文微调，帮助用户快速上手并使用`LLaMA Factory`进行大语言模型的训练与优化。