炸裂！本地部署，轻松切换多个 AI 模型

周末一直在耍 AI 本地部署个人知识库，基本都是基于 OpenAI 的开放接口进行封装，亦或者你本地部署自己部署一个小模型。

感觉这两个要求对小白玩家都太高了，一个要求有科学上网能力，一个要求你电脑带高端显卡能够本地部署。

今天给大家带来一个炸裂产品gpt_academic，你可以玩 GPT-3、GPT-4、Claude-2  等国外模型，也可以玩国内文心一言、星火、通义千文等国产大模型。

一、部署项目

1、前置条件

通过 docker-compose 方式启动一直有点问题，应该是镜像有问题，看 issue 也有很多人提问，索性就直接根据源码进行启动。

需要我们本地安装好 Pyhton 环境，这个就不多做介绍，网上有很多教程。

2、下载&安装

gpt_academic 的 GitHub 地址：https://github.com/binary-husky/gpt_academic

进入到上方网址，直接下载（免去安装 Git）

图片

下载好之后解压到你对应 Python 项目位置，尝试启动时会出现很多组件需要安装，大家根据提示逐一安装即可。

3、国内模型配置

如果使用的时国内大模型比较简单，映射关系如下：

这里我们以使用讯飞星火举例，主要是讯飞实名注册即送星火大模型3.0的200万 token数。

图片

实名注册后拿到星火的 API 信息，将其填充到 config.py 这个文件对应的星火模型配置处。

图片

最后将 sparkv3 模型填充到 config.py 的 AVAIL_LLM_MODELS 属性中：

图片

这样就可以直接启动项目使用了。

4、国外模型配置

使用国外模型就会比较复杂一些，我们需要配置好代理，运行 check_proxy.py 文件看是否存在问题。

这里以我使用的 Clash 软件为例，查看代理端口并在代理页面切换至全局模式：

图片

将上面获取到的本地端口配置到 config.py 文件，修改两处地方：

1. 将你的 OpenAI Key 进行填充进去
2. 修改你本地的代理端口，我的就是 http://127.0.0.1:7890

图片

运行 check_proxy.py 文件输出结果如下就表示通过，否则还需要调整配置（使用的软件不同，大家自行解决）：

图片

5、应用实战

这里如果大家想使用多模型输出（同时询问多个 AI 模型），还需要修改一个配置：

# 定义界面上“询问多个GPT模型”插件应该使用哪些模型，请从AVAIL_LLM_MODELS中选择，并在不同模型之间用`&`间隔，例如"gpt-3.5-turbo&chatglm3&azure-gpt-4"
# 默认 MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3"
MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&sparkv3

这里就配置 gpt-3.5-turbo 和 sparkv3，如果大家有更多模型可以都配置上去。

然后我们运行 main.py 文件即可，运行成功会自动弹出页面 http://localhost:29717，端口每次都是随机的。

图片

在右上角可以切换不同的模型，默认是使用 gpt-3.5 模型。我们将其切换到星火模型看看，效果如下：

图片

在页面右下角，我们选择询问多个模型试下，可以看到同时输出了结果。

图片

这里还可以直接输入文件内容，有 AI 帮你总结。其实就是将你文件的内容转换成文本发给模型，最后会返回总结文件给你。

图片

二、总结

里面功能还是很多，大家可以挖掘一下。我尝试将整个 Java 项目导入，结果返回的只是对每个文件代码的解读，实际上没啥大用（花费了我15万 token 数，心痛~ ）。