LlamaFactory 前言
LLaMA Factory 是一个用于微调大型语言模型的强大工具，特别是针对 LLaMA 系列模型。
可以适应不同的模型架构和大小。
支持多种微调技术，如全参数微调、LoRA（ Low-Rank Adaptation ）、QLoRA（ Quantized LoRA ）等。
还给我们提供了简单实用的命令行接口。
支持多 cpu 训练，多任务微调，还有各种内存优化技术，如梯度检查点、梯度累积等。
支持混合精度训练，提高训练效率。
本文不再赘述 LlamaFactory 的安装过程
LlamaFactory参数基本设置
打开我们 LlamaFactory 的 web 运行界面，进入根目录执行下列命令：
llamafactory-cli webui
看到下列界面
在浏览器打开我们开启的 webui 界面 http://127.0.0.1:7860：
我们依次来解释每个参数的选择：
这里是语言选择
选择 zh 即可。
模型选择
选择适合自己的模型，这里都会从 Hugging Face 里面下载，
这一步是自定义路径
一般就用选择好的默认路径即可。
微调方法：
这里有三种，full全参数微调， Freeze（冻结部分参数） LoRA&
总结
**文章总结：《LlamaFactory 前言与参数基本设置》****LlamaFactory简介：**
- LlamaFactory是一个专为大型语言模型，特别是LLaMA系列设计的强大微调工具。
- 它能够灵活适配多种模型架构和规模，支持全参数微调、LoRA（低秩适配）、QLoRA（量化LoRA）等多种先进的微调技术。
- 提供了方便快捷的命令行接口，以及支持多CPU训练、多任务微调和多种内存优化技术（如梯度检查点、梯度累积等），显著提升训练效率和灵活性。
- 此外，还支持混合精度训练，进一步优化训练效果和速度。
- 文章对LlamaFactory的安装过程不进行详细介绍，直接聚焦于参数基本设置。
**LlamaFactory参数基本设置步骤：**
1. **启动Web界面：**
- 使用命令`llamafactory-cli webui`启动LlamaFactory的Web界面服务。
- 在浏览器输入`http://127.0.0.1:7860`访问WebUI。
2. **参数选择与配置：**
- **语言选择**：可根据需要选择语言，例如`zh`代表中文。
- **模型选择**：从Hugging Face库中选取合适的模型进行下载，用户可根据具体需求进行选取。
- **路径自定义**：除非特殊需求，否则通常选择默认的下载路径即可。
- **微调方法**：
- **Full全参数微调**：对整个模型进行全部参数的微调，适合需要大幅度修改模型知识的场景。
- **Freeze（冻结部分参数）**：保持模型部分参数不变，仅对特定部分进行微调，适用于仅修改少量知识或提高特定任务性能的场景。
- **LoRA/QLoRA**：采用低秩适配或量化低秩适配技术，大幅降低微调所需的计算资源和时间，适用于资源受限或快速适应新任务的场景。
综上所述，LlamaFactory作为一款功能强大的语言模型微调工具，凭借其灵活性、高效性和易于使用的特点，为研究人员和开发者提供了强有力的支持。通过以上基本设置步骤，即可轻松开启模型的微调之旅。