当前位置:AIGC资讯 > AIGC > 正文

RWKV模型启动工具RWKV Runner新手教程(上)

大家好,今天我们带来了 RWKV Runner 的新手教程。

RWKV Runner 是 RWKV 模型的管理和启动工具,由 RWKV 开源社区成员 josStorer 开发,它本身也是一个开源软件,且体积仅 10MB 左右(不含依赖项)。

RWKV Runner 仓库地址:https://github.com/josStorer/RWKV-Runner

用户可使用 RWKV Runner 轻松运行本地 RWKV 模型,体验各类 AI 功能,包括但不限于聊天、写作、作曲交互等。

这篇新手教程(上篇)旨在为一些刚接触 RWKV 大模型的朋友们提供指引。遵循本文的步骤,应该可以成功使用 RWKV Runner 驱动本地 RWKV 模型,体验 RWKV 模型的魅力。

软件特性

🤖 开箱即用的 AI 功能:易于使用的聊天、写作、作曲交互等 AI 功能,支持聊天预设,支持 MIDI 硬件输入及音轨编辑等功能。

✨ 用户友好的 UI 设计:易于理解和操作的参数配置,丰富的操作引导提示;支持多语言;支持主题切换;支持自动更新

⚙️ 丰富的内置功能:内置 WebUI 选项,可一键启动 Web 服务,共享硬件资源,内置模型转换工具、下载管理和远程模型检视、一键 LoRA 微调 (仅限 Windows)

🥂 强大的兼容性:预设多级显存配置,几乎在各种电脑上工作良好。(通过配置页面将 Strategy 切换到 CPU / WebGPU,可以在 AMD、Intel 等显卡上运行)。

🧷 前后端分离架构:用户可以在服务器部署 backend-python,然后将此程序仅用作客户端,也允许单独部署前端服务,或后端推理服务,或具有 WebUI 的后端推理服务。

下载与安装

RWKV Runner 仓库提供 Windows、MacOS、Linux 平台的安装包,在  Releases 页面可以下载。

若 Github 下载链接无法打开或下载速度太慢,可以在 Baidu 网盘中下载对应的安装包。

Baidu 网盘地址:https://pan.baidu.com/s/1zdzZ_a0uM3gDqi6pXIZVAA?pwd=1111

注意:无论下载哪个版本,请将程序放在一个空目录(空文件夹)内再执行,因为软件所有依赖文件均会放在此目录。

准备启动环境

在体验 RWKV Runner 的 AI 功能之前,需要确保设备中安装了 Python 和 Pytorch 等依赖项,这是 RWKV Runner 正常运作的前提。

以下两种方法可为你的 RWKV Runner 软件提供完整的启动环境:

方法 1:下载懒人包

下载 Baidu 网盘中的懒人包,然后在一个空白的目录中解压懒人包。

下载地址:https://pan.baidu.com/s/1zdzZ_a0uM3gDqi6pXIZVAA?pwd=1111

懒人包中预置了 Python 、 Pytorch 等依赖项,以及一个 3B 的 RWKV 模型。下载至本地并解压即可使用。

方法 2 :通过 RWKV Runner 自动下载

首次打开 RWKV Runner 软件时,点击“运行”按钮,软件会提示你缺失 Python 等依赖项。

跟随软件的引导点击 “安装”,RWKV Runner 会为你自动下载并安装所需的文件。

下载完成并启动 RWKV Runner 后,放置 RWKV Runner 的文件夹应该会具有以下标准的离线环境目录:

其中 models 文件夹用于存放 RWKV 模型,RWKV Runner 默认从此文件夹读取本地 RWKV 模型。

启动环境只需在首次启动 RWKV Runner 时配置一次。

对于 Mac 和 Linux 用户,请手动安装 Python3.10 (通常最新的系统已经内置了)。此外,你可以在设置中指定使用的 Python 解释器。

模型配置与运行

完成启动环境的配置后,我们可以开始下一步:配置、下载并运行 RWKV 模型。

为了照顾新手用户,RWKV Runner 内置了一系列预设模型配置,以降低使用难度。

每个模型配置名称的规则,依次代表着:设备-所需显存/内存-模型规模-模型语言。

例如 GPU-8G-3B-CN,表示该配置用于 Nvidia 显卡,需要 8G 显存,模型规模为 30 亿参数,使用的是中文模型。

模型的规模越大,理论上的任务效果会更好,但对设备的内存、显存等性能要求也会更高。

我该选择哪一项模型配置?

如果你使用 NVIDIA(英伟达)的显卡,可以选择“GPU” 前缀的预设模型配置。

如果你使用的是 AMD 或 Intel 的显卡,请选择 “CPU” 或“AnyGPU” 前缀的预设模型配置。

选择一项预设的模型配置后,点击右下角的 运行 按钮,即可运行对应的模型。

如果你尚未拥有该预设配置所需的 RWKV 模型,请点击弹窗的“下载”按钮,系统将自动为你下载对应的模型文件。(如果模型下载失败或无响应,请看下一个章节:其他模型下载方法)

等待模型下载完成,再度点击 运行 按钮,即可启动模型,并运行各类 AI 功能。

其他模型下载方法

有几种方法可以下载 RWKV 模型:

1. 在 RWKV runner 中下载(默认)

在 RWKV runner 的“模型”版块,可以筛选并下载 RWKV 模型。

注意:如果你无法科学上网,请先勾选 使用 Hugging Face 镜像源 再下载模型。

2.在 Huggingface 镜像站中下载

如果 RWKV runner 的下载任务迟迟未响应,你可以按以下步骤手动下载:

手动复制 Huggingface 镜像站的地址 在浏览器中下载 RWKV 模型

将模型放在 models 文件夹中

3. 在 Huggingface 中下载

RWKV-5 模型下载:https://huggingface.co/BlinkDL/rwkv-5-world

RWKV-6 模型下载:https://huggingface.co/BlinkDL/rwkv-6-world

👀 功能预览

RWKV runner 可提供基于 RWKV 模型的聊天、写作、作曲三项基础功能。

如果你不知道如何提示 RWKV 模型,才能让它更好地完成某项任务。可以从以下途径获得 RWKV-Prompts(提示词)参考:

1:参考我们整理的 RWKV-Prompts(提示词)示例,地址:https://shoumenchougou.github.io/Awesome-RWKV-Prompts

2:加入 RWKV 企鹅群 :224287095 ,在群里提问(请附上任务文本)

聊天功能

软件提供了开箱即用的聊天功能,你可以与 AI畅聊、提出问题并获取建议。

写作功能

写作功能可根据你提供的文本内容作进一步的续写、翻译等任务。

作曲功能

作曲功能可提供基于 MIDI 格式的乐谱创作、续写等功能,同时为生成的乐谱提供播放功能。

MIDI(Musical Instrument Digital Interface)是一种音乐数字化协议,它不传输录制的声音,而是使用标准化的数据格式来描述各种音乐元素,例如音符音调信息、旋律、节奏、声音效果等等。

RWKV Runner 新手教程(下篇)很快将发布。在教程下篇中,我们将重点介绍 RWKV Runner 的进阶用法,包括自定义模型参数调整、服务器部署、API 相关、模型微调等内容,敬请期待!

RWKV 模型介绍

RWKV 是一种创新的深度学习网络架构,它将 Transformer 与 RNN 各自的优点相结合,同时实现高度并行化训练与高效推理,时间复杂度为线性复杂度,在长序列推理场景下具有优于 Transformer 的性能潜力。

图:RWKV 架构

RWKV 模型的最新版本是 RWKV-6 ,架构图如下:

图:RWKV-6 架构

相对 Transformer 架构,RWKV 架构的推理成本降低 2~10 倍,训练成本降低 2~3 倍。 RWKV 模型最初由彭博设计,如今,RWKV 已捐赠给 Linux Foundation AI&Data 作为孵化项目。

加入 RWKV 社区

RWKV 官网:https://www.rwkv.com/

QQ 频道:https://pd.qq.com/s/9n21eravc

更新时间 2024-04-03