一、前言
前面五篇文章已经将整个应用介绍得差不多了,昨天我将应用的已经开源到github,源码下载地址:
https://github.com/hubo0417/EasyGC
在此我要说两点
1.开源版本的LLM,是基于ChatGLM2-6B-INT4(运行时显存暂用:约6G)的量化模型进行开发的,因为考虑到大多数人的显卡并没有支持全量模型的能力。如果你的显卡够好,请自己替换成全量模型,甚至32K模型(我开发的时候使用的32K模型ChatGLM2-2B-32K,运行时显存占用:13G)
2.如果不使用ChatGLM2-6B-INT4的量化模型,可能会导致应用内的提示词与模型不能完美契合的情况,尤其是在Agent模块,让LLM判断使用哪些工具的场景。遇到这种情况,请自行修改提示词
3.开源仓库中只包含应用源码,不包含LLM,Embedding,SDXL的模型文件,如有需要模型文件的朋友可以留言,我私发,也可以自行去huggingface下载
二、功能介绍
应用分为3个模块
1、文本生成模块
在这个模块里主要有三个功能,一是对话功能,二是上传文本文件进行向量化的功能,三是上传自定义工具功能
文本生成模块1.1、对话功能
在文本框输入信息,点击【发送信息】按钮实现与AI对话
1.2、上传文本文件功能
在页面最右边,拖入事先处理好的文本文件(建议是txt文件),设置好参数,点击【处理文件】。便可将文档中的内容进行向量化处理(向量化后的文档,目前需配合工具使用,可自己修改源码直接使用)
1.3、上传自定义工具
在页面输入框的下方,有一个【工具】的下拉框,还有一个【上传工具】的上传组件,将工具拖入到上传组件中,点击【加载工具】,便可将工具植入到应用中,在下来框中出现对应选项。(工具其实就是.py文件,自己可以参照源码,写一个自己的.py文件,上传之后就可以应用便会加载你的.py文件)
模块思路:在这个页面,如果【工具】下拉框选择了一个或多个工具,当点击【发送消息】后,应用会先让LLM判断是否有合适的