LLaMA需要进行申请才能获得官方模型权重。
但是申请的审批时间一般都很长。
这里提供现有的huggingface上,第三方上传的一些LLaMA模型文件:
LLaMA-7B LLaMA-13B LLaMA-7B-hf LLaMA-13B-hf这里要注意,原始的LLaMA权重文件,是不能直接调用huggingface的transformers库进行使用的。
如果要使用huggingface transformer训练LLaMA,需要使用额外的转换脚本(具体详见huggingface官网指南),把上述的LLaMa-xx
进行额外的转换;或者使用上述已经被转换好的LLaMA-xx-hf
.
另外,LLaMA的在不同版本huggingface中的模型类名也不同:Llama
和LLaMA
。。。(大致见如下)
建议提前确认自己的huggingface版本。参考报错:ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported. #22222