成功解决RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the following error (look up to see its traceback): tokenizers>=0.13.3 is required for a normal functioning of this module, but found tokenizers==0.12.1
目录
解决问题
解决思路
解决方法
T1、pip命令
T2、conda命令
解决问题
RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the following error (look up to see its traceback): tokenizers>=0.13.3 is required for a normal functioning of this module, but found tokenizers==0.12.1.
解决思路
运行时错误:导入transformer .models.llama失败。Tokenization_llama_fast，因为以下错误(查找查看其追溯):tokenizers>=0.13.3是该模块正常运行所必需的，但发现tokenizers==0.12.1。
解决方法
你使用的transformers库版本与所需的tokenizers版本不匹配导致的。根据错误消息，你的transformers版本要求tokenizers版本至少为0.13.3，但你安装的是0.12.1版本。
T1、pip命令
pip install --upgrade tokenizersT2、conda命令
可以运行以下命令
conda install -c huggingface tokenizers