这里是 用 llama.cpp 跑通 mixtral MoE 模型 视频的笔记哦。
主要命令
安装 huggingface_hub:pip install huggingface_hub -U
下载模型 huggingface-cli download TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf —local_dir $PWD —local_dir_use_symlinks=False
编译 llama.cpp LLAMA_CUBLAS=1 make -j10
运行 ./main -m ~/autodl-tmp/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf -ngl 999 --color -i -cml -p prompts/chat-with-qwen.txt