前言
多模态交互离不开硬件载体，近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以聆思CSK6大模型开发板接入文心一言为例，分享具体的接入步骤，大家按照文档步骤操作即可。
由上图可见，当前SDK方案是把开发套件当做输入端，文字或图片内容先上传到聆思的大模型平台（LSPlatform），然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。
实物演示
文心一言
链路说明
链路1: 可通过inject节点调用文心一言节点，并将结果输出到debug1。 链路2: 可通过web对话页调用文心一言节点，最终将大模型结果输出到对话页面上。 链路3: 可通过开发板调用文心一言节点，最终将大模型输出的结果进行语音合成实现端侧播报。
云端服务接入文心一言
1、创建应用
登录LSplatform，创建新应用
创建成功后在弹出的界面进入应用编排服务。
2、导入工程
下载工程示例：文心一言示例.json 导入工程示例：选择文心一言示例.json文件导入若提示“您要导入的某些节点已经存在于工作空间中。”，则选择“导入副本”即可。
3、配置参数
参数说明：
HOST:api.baidubce.com AK（Access Key）/SK（Secret Key）：这里使用AK和SK鉴权调用API流程，可前往百度智能云官网创建AK与SK，详情可查看文档 基于安全认证AK和SK鉴权调用API流程 - 千帆大模型平台 | 百度智能云文档 Model：这里提供ENRIE-3.5-8K/ENRIE-4.0-Turbo-8K-Preview可选择，若要更换其他模型，可自行添加。调用其他模型可根据百度智能云文档来查询调用方法 千帆大模型平台 | 百度智能云文档 Stream：是否流式返回4、部署验证
在完成参数配置，进入完整体验之前，我们可以简单测试验证，验证是否成功调用文心一言。
部署成功后关闭当前编排服务 重启应用 测试接口重启应用后，再次点开【编排应用】，点击时间戳（注入节点），会触发一次文心一言子流程调用，标记2的红框中输出类似日志即代表成功建立链接。
打开web验证页面回到【我的应用】，双击聆思CSK6_文心一言应用，在弹出的应用详情页面点击右上角分享按钮打开web验证配置，该配置页包含测试地址和访问密码。
访问web验证页面链接，在打开的web页即可与文心一言对话大模型开发板接入文心一言
云端接入文心一言成功后，要想在聆思CSK6大模型开发板上进行语音交互，需要把对接了文心一言的云端服务跟指定开发板绑定。
1、创建产品
在产品管理模块点击新建产品按钮，并按要求填写你的产品名称。
2、云端应用和云端产品信息绑定
配置你需要调用的大模型应用，完成配置后，用户即可体验文心一言与开发板交互。在此我们仅需在配置应用勾对文章第一步创建的应用即可。
3、云端应用设备列表加入硬件设备ID
读取设备id
设备ID是一个产品下的唯一设备标识，我们需要获取当前设备ID方便后续在云端配置，才能让设备鉴权通过实现端云交互。
读取方式：
cskburn desktop是一款聆思推出的桌面烧录工具，下载地址（cskburn桌面烧录工具 | 聆思文档中心）打开软件后
1.点击串口下拉框，选择连接开发套件后识别到的串口编号；
2.点击获取信息
3.得到设备ID
加入设备列表
聆思平台只会对列表中的设备鉴权提供交互服务，因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。
4、CSK6开发板设备端写入云端产品服务配置
云端配置设备id后，还需将产品ID写入开发板固件中，才能让设备在运行时找到正确的云端产品服务完进行鉴权，鉴权完成就可以进行大模型语音交互了。
写入方式：
使用数据线连接开发板 DAP_USB 接口后，打开聆思在线串口终端,选择对应的串口设 备进行连接，波特率默认115200，完成配置后点击连接按钮。
通过 aiui set product_id 和aiui set secret_id指令可以分别配置开发板接入的大模型应用 product ID 及其密钥，示例如下：
aiui set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f
aiui set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218
product_id和 product_secret 可在对应产品的产品信息中获取，请将指令中的参数替换为产品信息中的 id 与 secret 信息。
语音交互用小美小美唤醒，并提问你是谁，语音回复它是文心一言即可验证成功。至此，可以确认文心一言接入成功。本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。套件简介 | 聆思文档中心
--------------------------------------------------------------------------------------------------
简介：
本贴介绍了如何使用聆思CSK6大模型开发板接入文心一言做一个可以语音交互的AI助手。
当前方案是把开发套件当做输入端，交互内容先上传到聆思的大模型平台（LSPlatform），然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。
首先，需要在LSplatform上创建新应用并导入文心一言示例工程。(工程文件可以从附件文档中获得）
然后配置包括HOST、AK/SK、Model和Stream等参数，部署验证成功后，将云端服务与产品配置绑定。
在云测试页面交互返回如上图信息，就可以在CSK6开发板设备端写入云端产品服务配置，无需修改固件即可实现语音交互。
本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。套件简介 | 聆思文档中心
总结
### 文章总结本文详细介绍了如何将聆思CSK6大模型开发板接入国内大模型“文心一言”，以实现语音交互功能。整个接入过程包括但不限于以下几个核心步骤：
1. **理解接入背景**：由于多模态交互依赖硬件载体，开发者面临将不同大模型（如文心一言、通义千问等）接入到开发板中的挑战，本篇以聆思CSK6开发板和文心一言为例进行说明。
2. **SDK工作原理**：使用聆思SDK时，输入端（如文字或图片）先上传到其大模型平台（LSPlatform），然后通过平台应用编排功能将请求转发至合适的后端大模型处理，最终返回结果。
3. **云端服务接入文心一言**：
- **创建应用**：在LSPlatform上创建新应用，并进入应用编排服务。
- **导入工程**：下载并导入“文心一言示例”工程文件。
- **配置参数**：设置HOST、AK/SK、Model和Stream等必要参数以调用文心一言模型。
- **部署验证**：通过重启应用和调用接口测试配置是否成功，确保链路通畅。
4. **大模型开发板接入文心一言**：
- **创建产品**：在聆思平台中新建产品，填写必要信息。
- **绑定云端应用与产品信息**：关联创建的应用与特定产品，配置调用权限。
- **加入设备ID**：利用聆思桌面烧录工具读取设备ID，并在云端设备管理页面进行设备ID录入，以便云端对设备进行鉴权。
- **写入云端配置到开发板**：通过串口终端向开发板写入产品ID和密钥，完成设备端设置。
- **语音验证**：用特定唤醒词与设备进行语音互动，如能成功回应则表明接入成功。
### 结论
本文系统地阐述了从云端服务配置到开发板设备端配置的全过程，为开发者提供了详细、可操作的步骤，以便实现聆思CSK6开发板与文心一言大模型的接入与语音交互功能。这种接入方式基于聆思的SDK和LSPlatform平台，具备灵活性，支持通过云端更改大模型接入节点， 快速接入不同的国内大模型进行开发和应用。