参考:https://github.com/huggingface/peft
https://github.com/hiyouga/LLaMA-Factory
1、LLaMA-Factory可视化界面微调chatglm2
类似工具还有流萤,注意是做中文微调训练这块;来训练微调的chatglm2需要完整最新文件,不能是量化后的模型;另外测试下来显卡资源要大于20来G才能顺利,这边T4单卡训练中间显存不足,需要开启4bit量化才行
1)下载github代码
2)运行web界面
CUDA_VISIBLE_DEVICES=0 python src/train_web.py
3)chatglm2代码下载最新的:https://huggingface.co/THUDM/chatglm2-6b/tree/main
4)配置好参数即可点击开始训练
显卡使用:<