当前位置:AIGC资讯 > AIGC > 正文

chatglm2-2b+sdxl1.0+langchain打造私有AIGC(六)-完结

一、前言

前面五篇文章已经将整个应用介绍得差不多了,昨天我将应用的已经开源到github,源码下载地址:

https://github.com/hubo0417/EasyGC

在此我要说两点

1.开源版本的LLM,是基于ChatGLM2-6B-INT4(运行时显存暂用:约6G)的量化模型进行开发的,因为考虑到大多数人的显卡并没有支持全量模型的能力。如果你的显卡够好,请自己替换成全量模型,甚至32K模型(我开发的时候使用的32K模型ChatGLM2-2B-32K,运行时显存占用:13G)

2.如果不使用ChatGLM2-6B-INT4的量化模型,可能会导致应用内的提示词与模型不能完美契合的情况,尤其是在Agent模块,让LLM判断使用哪些工具的场景。遇到这种情况,请自行修改提示词

3.开源仓库中只包含应用源码,不包含LLM,Embedding,SDXL的模型文件,如有需要模型文件的朋友可以留言,我私发,也可以自行去huggingface下载

二、功能介绍

应用分为3个模块

1、文本生成模块

在这个模块里主要有三个功能,一是对话功能,二是上传文本文件进行向量化的功能,三是上传自定义工具功能

文本生成模块

1.1、对话功能

在文本框输入信息,点击【发送信息】按钮实现与AI对话

1.2、上传文本文件功能

在页面最右边,拖入事先处理好的文本文件(建议是txt文件),设置好参数,点击【处理文件】。便可将文档中的内容进行向量化处理(向量化后的文档,目前需配合工具使用,可自己修改源码直接使用)

1.3、上传自定义工具

在页面输入框的下方,有一个【工具】的下拉框,还有一个【上传工具】的上传组件,将工具拖入到上传组件中,点击【加载工具】,便可将工具植入到应用中,在下来框中出现对应选项。(工具其实就是.py文件,自己可以参照源码,写一个自己的.py文件,上传之后就可以应用便会加载你的.py文件)

模块思路:在这个页面,如果【工具】下拉框选择了一个或多个工具,当点击【发送消息】后,应用会先让LLM判断是否有合适的

更新时间 2024-03-08