准备工作
运行前确保拉取仓库最新版代码:git pull
确保机器有足够的内存加载完整模型(例如7B模型需要13-15G)以进行合并模型操作。
务必确认基模型和下载的LoRA模型完整性,检查是否与SHA256.md所示的值一致,否则无法进行合并操作。原版LLaMA包含:tokenizer.model
、tokenizer_checklist.chk
、consolidated.*.pth
、params.json
主要依赖库如下(python>=3.9),请安装指定版本,否则合并后无法比对SHA256校验值:
pip install torch==1.13.1 pip install transformers==4.28.1 pip install sentencepiece==0.1.97 pip install peft==0.3.0
注意:经过多方比对,HuggingFace模型库中的elinas/llama-7b-hf-transformers-4.29
与原版llama模型离线转换为HF格式后的SHA256一致(已验证7B/13B/33B)。如果你要使用,则应确保满足相应使用许可,我们不对其合规性做出任何保证(use at your own risk)。