前期准备
在github上下载llama.cpp或克隆。
GitHub - ggerganov/llama.cpp: LLM inference in C/C++
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp执行make命令编译llama.cpp
make在huggingface里下载量化了的 gguf格式的llama2模型。
https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/tree/main
我下载的是llama-2-7b-chat.Q4_0.gguf
拷贝llama-2-7b-chat.Q4_0.gguf 到llama.cpp目录里的models目录里
正常安装的错误信息
安装 gcc 和gcc-c++ 之后，你运行Make 命令编译llama.cpp的时候，你会发现下面问题。
yum -y install gcc --nogpgcheck
yum -y install gcc-c++ --nogpgcheck错误信息， 因为gcc 的版本是4.8
cc -I. -Icommon -D_XOPEN_SOURCE=600 -D_GNU_SOURCE -DNDEBUG -std=c11 -fPIC -O3 -Wall -Wextra -Wpedantic -Wcast-qual -Wno-unused-function -Wshadow -Wstrict-prototypes -Wpointer-arith -Wmissing-prototypes -Werror=implicit-int -Werror=implicit-function-declaration -pthread -march=native -mtune=native -Wdouble-promotion -c ggml.c -o ggml.o
ggml.c:92:23: fatal error: stdatomic.h: No such file or directory
#include <stdatomic.h>
^
compilation terminated.
make: *** [ggml.o] Error 1解决方法
1. 从下面连接下载 gcc-12.2.0
Index of /gnu/gcc/releases/gcc-12.2.0
2. 解压下载的gcc-12.2.0.tar.gz
tar xvf gcc-12.2.0.tar.gz3. 用root权限运行下面命令
yum -y install gmp-devel mpfr-devel libmpc-devel --nogpgcheck4. 运行下面命令安装gcc 12.2.0 版本
cd gcc-12.2.0
./configure --disable-multilib --enable-languages=c,c++
# change -j <cores_num> if you have more cpu cores for building be faster
make -j 4
make install
gcc --version
export CC=gcc
export LD_LIBRARY_PATH=/usr/local/lib:/usr/lib:/usr/local/lib64:/usr/lib645. 下载和编译llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make
或者直接下载后运行make命令
GitHub - ggerganov/llama.cpp at llama_server_completions
6. 运行llama.cpp
./main -m ./models/llama-2-7b-chat.Q4_0.gguf --color --ctx_size 2048 -n -1 -ins -b 256 --top_k 10000 --temp 0.2 --repeat_penalty 1.1 -t 8在Redhat 8安装
在redhat8 上直接安装gcc, gcc-c++ , 然后编译llama.cpp就可以了
yum -y install make --nogpgcheck
yum -y install gcc --nogpgcheck
yum -y install gcc-c++ --nogpgcheck其它llama2的系列博客
在Windows或Mac上安装并运行LLAMA2