LLaMA加载时遇见：ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.

蓝天采集器-开源免费无限制云端爬虫系统

在加载LLaMA模型时遇到到的问题及解决方法。

1. 问题1

解决方法：找到llama模型中的tokenizer_config.json文件，把“tokenizer_class”对应的“LLaMATokenizer”改为“LlamaTokenizer”。

2. 问题2

在解决问题1后，继续运行可能会遇到下面的问题：

解决方法：!pip install transformers[sentencepiece]

来源：https://blog.csdn.net/weixin_48030475/article/details/133125401

蓝天采集器-开源免费无限制云端爬虫系统