好久没写代码了,上头了,强撸了!
1、自己买个GPU服务器(如果不训练,可以随便买个高内存的即可),有些网站很便宜,小时起租!
2、alpaca和模型下载地址:GitHub - antimatter15/alpaca.cpp: Locally run an Instruction-Tuned Chat-Style LLM
git clone GitHub - antimatter15/alpaca.cpp: Locally run an Instruction-Tuned Chat-Style LLM
cd alpaca.cpp
3、模型下载:ggml-alpaca-7b-q4.bin 、ggml-alpaca-13b-q4.bin ,不知道哪里下载的我可以放出网盘地址
4、编译:make chat
5、运行起来:./chat -m ggml-alpaca-13b-q4.bin ,记得放到同一个目录哦
7b效果如下:
虽然我的服务器配置相当可以了,但是速度还是不快哦!毕竟是斯坦福大学训练的模型,对中文的确支持的不好
13b效果如下:
后续:
1、中文的大语言模型已经有人训练出来了
2、中文的alpaca模型也训练出来了
3、上面两个模型搞定跑起来之后,是否能训练自己的模型呢?你猜