LLMs之Llama3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3-8b-Instruct-bnb-4bit模型采用alpaca数据集实现CLI方式/GUI傻瓜可视化方式进行LoRA指令微调→模型推理测试→CLI方式合并权重
目录
基于colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5倍~30+减少50%的内存占用】)对llama-3-8b-Instruct-bnb-4bit模型采用alpaca数据集实现CLI方式/GUI傻瓜可视化方式进行LoRA指令微调→模型推理测试→CLI方式合并权重
# 1、安装依赖
# 1.1、克隆 LLaMA-Factory 仓库并安装必要的 Python 包，包括 unsloth、xformers 和 bitsandbytes。
# 1.2、检查 GPU 环境，确保可以使用 Colab 的 Tesla T4 GPU。
# 2、更新身份数据集：
# 3、模型微调
# T1、通过 LLaMA Board 微调模型：
# T2、通过命令行微调模型：It takes ~30min for training.
# 4、模型推理
# 5、合并 LoRA 适配器并可选地上传模型：
实现代码
基于colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5倍~30+减少50%的内存占用】)对llama-3-8b-Instruct-bnb-4bit模型采用alpaca数据集实现CLI方式/GUI傻瓜可视化方式进行LoRA指令微调→模型推理测试→CLI方式合并权重
# 1、安装依赖
# 1.1、克隆 LLaMA-Factory 仓库并安装必要的 Python 包，包括 unsloth、xformers 和 bitsandbytes。
# 1.2、检查 GPU 环境，确保可以使用 Colab 的 Tesla T4 GPU。
# 2、更新身份数据集：
# 读取并修改 identity.json 文件，替换其中的占位符为 “Llama-3” 和 “LLaMA Factory”。
# 这一步骤是为了个性化训练数据，确保模型能够生成与特定身份相关的回复。
# 3、模型微调
# T1、通过 LLaMA Board 微调模型：
# 使用 llamafactory-cli 命令行工具启动一个 Web UI 界面，可能用于监控和调整微调过程。
# T2、通过命令行微调模型：It takes ~30min for training.
# 定义微调参数，包括使用的模型、数据集、模板、微调类型（此处使用 LoRA 适配器）、输出目录、批处理大小、学习率调度器、日志步骤等。
# 使用 llamafactory-cli 命令行工具开始微调过程。
# 这一步使用的技术包括 LoRA 适配器（用于节省内存）、4位量化、LoRA+ 算法以及浮点16混合精度训练。
# 4、模型推理
# 推断微调后的模型：用于测试和验证微调后的模型性能。
# 设置模型参数，加载微调时使用的 LoRA 适配器，并初始化一个 ChatModel 实例。
# 通过 CLI 应用程序与模型交互，输入查询并接收模型的生成文本。
f
# 5、合并 LoRA 适配器并可选地上传模型：
# 定义参数以合并 LoRA 适配器到原始模型，并指定输出目录。
# 使用 llamafactory-cli 命令行工具执行导出操作。
# 注意，由于 Colab 免费版本内存限制，无法在此环境中合并 8B 的模型。
实现代码
源码地址：https://colab.research.google.com/drive/1eRTPn37ltBbYsISy9Aw2NuI2Aq5CQrD9?usp=sharing#scrollTo=kTESHaFvbNTr
'''
Finetune Llama-3 with LLaMA Factory
Please use a free Tesla T4 Colab GPU to run this!
4月22日
源码地址：https://colab.research.google.com/drive/1eRTPn37ltBbYsISy9Aw2NuI2Aq5CQrD9?usp=sharing#scrollTo=kTESHaFvbNTr
'''
# 1、安装依赖
# 1.1、克隆 LLaMA-Factory 仓库并安装必要的 Python 包，包括 unsloth、xformers 和 bitsandbytes。
%cd /content/
%rm -rf LLaMA-Factory
!git clone https://github.com/hiyouga/LLaMA-Factory.git
%cd LLaMA-Factory
%ls
!pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
!pip install --no-deps xformers==0.0.25
!pip install .[bitsandbytes]
# 1.2、检查 GPU 环境，确保可以使用 Colab 的 Tesla T4 GPU。
import torch
try:
assert torch.cuda.is_available() is True
except AssertionError:
print("Please set up a GPU before using LLaMA Factory: https://medium.com/mlearning-ai/training-yolov4-on-google-colab-316f8fff99c6")
# 2、更新身份数据集：
# 读取并修改 identity.json 文件，替换其中的占位符为 “Llama-3” 和 “LLaMA Factory”。
# 这一步骤是为了个性化训练数据，确保模型能够生成与特定身份相关的回复。
import json
NAME = "Llama-3"
AUTHOR = "LLaMA Factory"
with open("data/identity.json", "r", encoding="utf-8") as f:
dataset = json.load(f)
for sample in dataset:
sample["output"] = sample["output"].replace("{{"+ "name" + "}}", NAME).replace("{{"+ "author" + "}}", AUTHOR)
with open("data/identity.json", "w", encoding="utf-8") as f:
json.dump(dataset, f, indent=2, ensure_ascii=False)
# 3、模型微调
# T1、通过 LLaMA Board 微调模型：
# 使用 llamafactory-cli 命令行工具启动一个 Web UI 界面，可能用于监控和调整微调过程。
%cd /content/LLaMA-Factory/
!GRADIO_SHARE=1 llamafactory-cli webui
# T2、通过命令行微调模型：It takes ~30min for training.
# 定义微调参数，包括使用的模型、数据集、模板、微调类型（此处使用 LoRA 适配器）、输出目录、批处理大小、学习率调度器、日志步骤等。
# 使用 llamafactory-cli 命令行工具开始微调过程。
# 这一步使用的技术包括 LoRA 适配器（用于节省内存）、4位量化、LoRA+ 算法以及浮点16混合精度训练。
import json
args = dict(
stage="sft", # do supervised fine-tuning
do_train=True,
model_name_or_path="unsloth/llama-3-8b-Instruct-bnb-4bit", # use bnb-4bit-quantized Llama-3-8B-Instruct model
dataset="identity,alpaca_gpt4_en", # use alpaca and identity datasets
template="llama3", # use llama3 prompt template
finetuning_type="lora", # use LoRA adapters to save memory
lora_target="all", # attach LoRA adapters to all linear layers
output_dir="llama3_lora", # the path to save LoRA adapters
per_device_train_batch_size=2, # the batch size
gradient_accumulation_steps=4, # the gradient accumulation steps
lr_scheduler_type="cosine", # use cosine learning rate scheduler
logging_steps=10, # log every 10 steps
warmup_ratio=0.1, # use warmup scheduler
save_steps=1000, # save checkpoint every 1000 steps
learning_rate=5e-5, # the learning rate
num_train_epochs=3.0, # the epochs of training
max_samples=500, # use 500 examples in each dataset
max_grad_norm=1.0, # clip gradient norm to 1.0
quantization_bit=4, # use 4-bit QLoRA
loraplus_lr_ratio=16.0, # use LoRA+ algorithm with lambda=16.0
use_unsloth=True, # use UnslothAI's LoRA optimization for 2x faster training
fp16=True, # use float16 mixed precision training
)
json.dump(args, open("train_llama3.json", "w", encoding="utf-8"), indent=2)
%cd /content/LLaMA-Factory/
!llamafactory-cli train train_llama3.json
# 4、模型推理
# 推断微调后的模型：用于测试和验证微调后的模型性能。
# 设置模型参数，加载微调时使用的 LoRA 适配器，并初始化一个 ChatModel 实例。
# 通过 CLI 应用程序与模型交互，输入查询并接收模型的生成文本。
from llmtuner.chat import ChatModel
from llmtuner.extras.misc import torch_gc
%cd /content/LLaMA-Factory/
args = dict(
model_name_or_path="unsloth/llama-3-8b-Instruct-bnb-4bit", # use bnb-4bit-quantized Llama-3-8B-Instruct model
adapter_name_or_path="llama3_lora", # load the saved LoRA adapters
template="llama3", # same to the one in training
finetuning_type="lora", # same to the one in training
quantization_bit=4, # load 4-bit quantized model
use_unsloth=True, # use UnslothAI's LoRA optimization for 2x faster generation
)
chat_model = ChatModel(args)
messages = []
print("Welcome to the CLI application, use `clear` to remove the history, use `exit` to exit the application.")
while True:
query = input("\nUser: ")
if query.strip() == "exit":
break
if query.strip() == "clear":
messages = []
torch_gc()
print("History has been removed.")
continue
messages.append({"role": "user", "content": query})
print("Assistant: ", end="", flush=True)
response = ""
for new_text in chat_model.stream_chat(messages):
print(new_text, end="", flush=True)
response += new_text
print()
messages.append({"role": "assistant", "content": response})
torch_gc()
# 5、合并 LoRA 适配器并可选地上传模型：
# 定义参数以合并 LoRA 适配器到原始模型，并指定输出目录。
# 使用 llamafactory-cli 命令行工具执行导出操作。
# 注意，由于 Colab 免费版本内存限制，无法在此环境中合并 8B 的模型。
# NOTE: the Colab free version has merely 12GB RAM, where merging LoRA of a 8B model needs at least 18GB RAM, thus you cannot perform it in the free version.
# !huggingface-cli login
import json
args = dict(
model_name_or_path="meta-llama/Meta-Llama-3-8B-Instruct", # use official non-quantized Llama-3-8B-Instruct model
adapter_name_or_path="llama3_lora", # load the saved LoRA adapters
template="llama3", # same to the one in training
finetuning_type="lora", # same to the one in training
export_dir="llama3_lora_merged", # the path to save the merged model
export_size=2, # the file shard size (in GB) of the merged model
export_device="cpu", # the device used in export, can be chosen from `cpu` and `cuda`
#export_hub_model_id="your_id/your_model", # the Hugging Face hub ID to upload model
)
json.dump(args, open("merge_llama3.json", "w", encoding="utf-8"), indent=2)
%cd /content/LLaMA-Factory/
!llamafactory-cli export merge_llama3.json