LLaMA Factory
1.我们在ChatGLM3的github官方页面上能看到对LLaMA-Factory的推荐
2.LLaMA Factory github链接
hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMs (github.com)
步骤一：安装LLaMA Factory
进入DSW开发环境。
登录PAI控制台。
在页面左上方，选择DSW实例所在的地域。
在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。
在左侧导航栏，选择模型开发与训练>交互式建模（DSW）。
单击需要打开的实例操作列下的打开，进入DSW实例开发环境。
在Launcher页面中，单击快速开始区域Notebook下的Python3。
在Notebook中执行以下代码，拉取LLaMA-Factory项目到DSW实例。
!git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git安装LLaMA-Factory依赖环境。
!pip uninstall -y vllm
!pip install llamafactory[metrics]==0.7.1运行如下命令，如果显示llamafactory-cli的版本，则表示安装成功。
!llamafactory-cli version[2024-05-08 10:25:22,857] [INFO] [real_accelerator.py:161:get_accelerator] Setting ds_accelerator to cuda (auto detect)
Welcome to LLaMA Factory, version 0.7.1.dev0步骤二：启动LLaMA-Factory
1.看到如下页面就已经部署成功
总结
**LLaMA Factory 总结****概述**：
在ChatGLM3的官方GitHub页面，我们发现了对LLaMA-Factory的推荐，这是一个旨在高效微调100多个大型语言模型（LLMs）的工具集。通过本文，我们将详细了解如何在DSW（Data Science Workbench）开发环境中安装并启动LLaMA Factory。
**安装步骤**：
1. **进入DSW开发环境**：
- 登录PAI控制台。
- 选择DSW实例所在的地域。
- 在工作空间列表中选择并进入默认工作空间。
- 在模型开发与训练板块中选择“交互式建模（DSW）”。
- 打开DSW实例进入开发环境。
2. **安装LLaMA Factory**：
- 在Launcher页面选择Python3 Notebook。
- 使用git命令克隆LLaMA-Factory项目到DSW实例：
```bash
!git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
```
- 安装依赖并替换可能导致冲突的包：
```bash
!pip uninstall -y vllm
!pip install llamafactory[metrics]==0.7.1
```
- 检查LLaMA-Factory是否安装成功，运行`llamafactory-cli version`查看版本号。成功时，会显示类似“Welcome to LLaMA Factory, version 0.7.1.dev0”的信息。
**启动LLaMA-Factory**：
一旦上述安装步骤成功完成，LLaMA Factory就已在DSW环境中部署好了。此时，系统将自动显示启动成功的页面，标志着你可以开始使用LLaMA Factory强大的功能来进行大型语言模型的高效微调和评估。
**总结**：
本文提供了一个详细的指南，介绍了如何在阿里巴巴云的PAI平台中的DSW开发环境中安装并启动LLaMA Factory。通过这几个步骤，用户可以轻松接入并探索LLaMA Factory提供的丰富功能，实现大扫除级别的语言模型训练优化，提高大规模模型的处理效率和性能。