当前位置:AIGC资讯 > AIGC > 正文

LLM-LLaMA:手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式;Step 2: 合并LoRA权重,生成全量模型权重】

准备工作

运行前确保拉取仓库最新版代码:git pull 确保机器有足够的内存加载完整模型(例如7B模型需要13-15G)以进行合并模型操作。 务必确认基模型和下载的LoRA模型完整性,检查是否与SHA256.md所示的值一致,否则无法进行合并操作。原版LLaMA包含:tokenizer.modeltokenizer_checklist.chkconsolidated.*.pthparams.json 主要依赖库如下(python>=3.9),请安装指定版本,否则合并后无法比对SHA256校验值:
pip install torch==1.13.1
pip install transformers==4.28.1
pip install sentencepiece==0.1.97
pip install peft==0.3.0

注意:经过多方比对,HuggingFace模型库中的elinas/llama-7b-hf-transformers-4.29与原版llama模型离线转换为HF格式后的SHA256一致(已验证7B/13B/33B)。如果你要使用,则应确保满足相应使用许可,我们不对其合规性做出任何保证(use at your own risk)。

更新时间 2023-11-30