当前位置:AIGC资讯 > AIGC > 正文

LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例

参考:https://github.com/huggingface/peft
https://github.com/hiyouga/LLaMA-Factory

1、LLaMA-Factory可视化界面微调chatglm2

类似工具还有流萤,注意是做中文微调训练这块;来训练微调的chatglm2需要完整最新文件,不能是量化后的模型;另外测试下来显卡资源要大于20来G才能顺利,这边T4单卡训练中间显存不足,需要开启4bit量化才行

1)下载github代码
2)运行web界面

CUDA_VISIBLE_DEVICES=0 python src/train_web.py


3)chatglm2代码下载最新的:https://huggingface.co/THUDM/chatglm2-6b/tree/main
4)配置好参数即可点击开始训练

显卡使用:<

更新时间 2023-11-27