文章目录
Llamp.cpp环境配置 Chinese-LLaMA-Alpaca-2模型介绍 模型下载 转换生成量化模型 Anaconda环境安装 运行Llamp.cpp环境配置
git clone git@github.com:ggerganov/llama.cpp.git
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release
生成的文件在.\build\bin\，我们要用的是main.exe，bin\main.exe -h查看使用帮助
Chinese-LLaMA-Alpaca-2模型介绍
本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升
项目地址https://github.com/ymcui/Chinese-LLaMA-Alpaca-2
模型下载
我们选择2-7B的版本，进入huggingface：https://huggingface.co/hfl/chinese-llama-2-7b