当前位置:AIGC资讯 > AIGC > 正文

Fastgpt接入Whisper本地模型实现语音输入

前言

FastGPT 默认使用了 OpenAI 的 LLM 模型和语音识别模型,如果想要私有化部署的话,可以使用openai 开源模型Whisper。参考文章 《openai 开源模型Whisper语音转文本模型下载使用》

开源项目地址 :
兼容openai接口api服务 https://gitee.com/taisan/whisper-api

设置安全凭证(即oneapi中的渠道密钥)

默认值:sk-tarzan
也可以通过环境变量引入:sk-key。有关docker环境变量引入的方法请自寻教程,此处不再赘述。
接入 One API
为 Whisper1添加一个渠道,参数如下:

接入 FastGPT

修改 config.json 配置文件,在 llmModels 中加入 qwen-plus, 在 vectorModels 中加入 M3E 模型, 在 whisperModel中加入 openai的开源模型Whisper :

{
   
  

总结

### 文章总结
#### 概述
本文提供了关于如何在FastGPT中集成openai的开源语音转文本模型Whisper的指南。文中首先提及了FastGPT默认使用的技术栈,随后详细介绍了如何设置安全凭证、接入One API服务,并最终说明了如何在FastGPT的配置文件中添加Whisper模型。
#### 主要内容
1. **技术背景**:
- FastGPT默认使用了OpenAI的LLM(大型语言模型)和语音识别模型。
- 如需私有化部署,推荐使用OpenAI的开源模型Whisper。
2. **Whisper模型集成**:
- 提供了Whisper模型的开源项目地址,该项目兼容openai接口api服务。
3. **设置安全凭证**:
- 介绍了如何设置安全凭证(即oneapi中的渠道密钥),包括默认值(sk-tarzan)和通过环境变量(sk-key)引入的方式。
4. **接入FastGPT**:
- 修改config.json配置文件,向其中添加特定的模型信息,包括在`llmModels`中加入`qwen-plus`,在`vectorModels`中加入`M3E`模型,以及在`whisperModel`中加入openai的开源模型Whisper。
#### 结论
通过本文的指南,读者可以了解到如何在FastGPT中集成openai的开源语音转文本模型Whisper,包括设置安全凭证和修改配置文件等关键步骤。这为希望在FastGPT中使用最新技术的开发者提供了有价值的参考。

更新时间 2024-07-15