欢迎大家收看《RWKV 社区最新动态》第五期，本期内容收录了 RWKV 社区 2024 年 9 月的最新动态。
9 月动态省流版（TL;DR）
RWKV 官方新闻动态 RWKV-7 发布预览版 RWKV-7 论文撰写已面向社区开放 RWKV 官网上线 Bad Case 收集页面 RWKV 中文文档已开源 RWKV 学术研究相关 RWKV-CLIP 论文被 EMNLP 主会收录 新论文：OccRWKV（3D 语义占用预测） 新论文：MSRWKV-2DTCN（光伏发电预测） 新论文：Mod-RWKV（多模态内容审核） 新论文：OnlySportsLM（体育运动任务） 新论文：RWKV-TIM（人类动作交互建模） 社区新项目 RWKV-nonogramRWKV 官方新闻动态
RWKV-7 发布预览版
RWKV-7（代号 Goose 雁）现已推出预览版！
RWKV-7 超越了 attention / linear attention 范式，它的状态演化很灵活，可以解决在相同算力消耗下 attention 无法解决的问题。
RWKV-7 代码：https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v7 RWKV-7 模型（训练中）：https://huggingface.co/BlinkDL/temp-latest-training-models/tree/main详情查看： RWKV-7 预览版已发布，真正超越 attention 范式
RWKV-7 论文撰写面向社区开放
RWKV-7 论文的撰写已面向社区开放，请在此 Discord 频道 中参与论文讨论和撰写。
RWKV 官网上线 Bad Case 收集页面
RWKV 官网已上线 Bad Case 收集页面：https://rwkv.cn/feedback
我们邀请大家反馈 RWKV 模型回答效果不佳的示例。您的每次反馈，都可以帮助我们改进 RWKV 模型！
RWKV 中文文档已开源
rwkv.cn 的文档板块现已在 GitHub 仓库开源：https://github.com/LeoLin4258/rwkvcn-docs
我们欢迎任何关于 RWKV 文档的 Issue / PR ，让我们一起共建更完善的 RWKV 中文文档。
RWKV 学术研究相关
RWKV-CLIP 论文被 EMNLP 主会收录
RWKV-CLIP 被 EMNLP 主会收录！现可在 EMNLP 2024 的 CheckList 中查看。
论文：https://arxiv.org/pdf/2406.06973 代码：https://github.com/deepglint/RWKV-CLIPOccRWKV（3D 语义占用预测）
论文名称：OccRWKV: Rethinking Efficient 3D Semantic Occupancy Prediction with Linear Complexity 论文链接：https://jmwang0117.github.io/OccRWKV/ GitHub 仓库：https://github.com/jmwang0117/OccRWKV 发布时间：2024-09-06论文提出了 “OccRWKV” ：基于 RWKV 的 3D 语义占用预测，可用于自动驾驶、具身智能等领域。
OccRWKV 已提交至 ICRA 2025 。
实验表明，OccRWKV 在 SemanticKITTI 数据集达到 25.1 的 mIoU，比最佳基线 Co-Occ 快 20 倍，使其适合在机器人上实时部署，以增强自主导航效率。
MSRWKV-2DTCN（光伏发电预测）
论文名称：Multi-scale RWKV with 2-dimensional temporal convolutional network for short-term photovoltaic power forecasting 论文链接：https://www.sciencedirect.com/science/article/abs/pii/S0360544224028433 发布时间：2024-09-06论文提出了“多尺度 RWKV 二维时间卷积网络”（MSRWKV-2DTCN），将 FFT 和 2D TCN 与 RWKV 架构相结合，并应用于光伏发电预测。
研究证实，对比其他光伏发电功率预测模型，MSRWKV-2DTCN 在短期光伏发电功率预测方面具有更高的准确性。
Mod-RWKV（多模态内容审核）
论文名称：Experimentation in Content Moderation using RWKV 论文链接：https://arxiv.org/abs/2409.03939 发布时间：2024-09-05论文提出了 Mod-RWKV ，研究了 RWKV 模型在内容审核方面的效果。
团队通过使用一个包含图像、视频、声音和文本的数据集对 RWKV 模型进行 SFT 微调，使其适用于各种内容的审查场景。
OnlySportsLM（体育运动任务）
论文名称：OnlySportsLM: Optimizing Sports-Domain Language Models with SOTA Performance under Billion Parameter 论文链接：https://arxiv.org/abs/2409.00286 发布时间：2024-08-30论文提出了 OnlySportsLM ：针对体育运动相关任务优化 RWKV-v6 架构，并训练了一个 196M 的 OnlySportsLM 模型。
Benchmark 显示，与 SOTA 135M/360M 体育运动模型相比， OnlySportsLM 的精度提高了 37.62%/34.08% ,其性能比肩运动领域的 SomlLM 1.7B 和 Qwen 1.5B 等较大参数模型。
RWKV-TIM（人类动作交互建模）
论文名称：Temporal and Interactive Modeling for Efficient Human-Human Motion Generation 论文链接：https://arxiv.org/abs/2408.17135 发布时间：2024-08-30论文提出了时间交互式建模（Temporal and Interactive Modeling，TIM），将 RWKV 模型应用于生成人类之间的交互动作。
实验数据显示：TIM 仅使用 InterGen 数据集中 32% 的可训练参数，就取得了 SOTA 效果。
社区新项目
RWKV-nonogram
RWKV-nonogram 使用 RWKV-6 + Chain Of Thought 训练了一个 20M 参数 RWKV 模型，这个模型可以做数织(nonogram)任务。
RWKV-nonogram 的 CoT 过程：
关于《RWKV 社区动态》栏目
《RWKV 社区动态》栏目会不定期播报 RWKV 社区的最新消息，以帮助 RWKV 的关注者、爱好者、开发者更好地了解 RWKV 的发展情况。
《RWKV 社区最新动态》不定期更新，所以请保持关注我们的微信公众号（RWKV 元始智能）、QQ 频道（RWKV）等公开平台，以获取最新的消息。
加入 RWKV 社区
RWKV 是一种创新的深度学习网络架构，它将 Transformer 与 RNN 各自的优点相结合，同时实现高度并行化训练与高效推理。
RWKV 中文官网（有多篇多模态论文）：https://rwkv.cn/ RWKV-5/6（Eagle & Finch）论文： https://arxiv.org/abs/2404.05892 RWKV-4 论文： https://arxiv.org/abs/2305.13048欢迎大家加入 RWKV 社区！可以从 RWKV 中文官网了解 RWKV 模型，也可以加入我们的 QQ 频道和群聊，一起探讨 RWKV 模型。
QQ 频道：https://pd.qq.com/s/9n21eravc总结
**《RWKV 社区最新动态》第五期总结**本期《RWKV 社区最新动态》概览了RWKV社区在2024年9月的重要发展成果，涵盖官方新闻、学术研究进展及社区新项目，展示了RWKV技术的持续创新与丰富应用。
**官方新闻亮点**：
- **RWKV-7预览版发布**：RWKV-7（代号Goose）预览版正式上线，其独特的状态演化特点超越传统注意力机制，为解决复杂问题提供新思路。
- **论文撰写开放**：RWKV-7论文撰写向社区全面开放，鼓励参与讨论与贡献。
- **Bad Case收集**：RWKV官网新增Bad Case收集页面，诚邀用户反馈以优化模型性能。
- **中文文档开源**：RWKV中文文档正式开源，邀请社区成员共同完善。
**学术研究进展**：
- 多篇RWKV相关论文被权威会议与期刊收录，包括RWKV-CLIP在EMNLP的接纳，展示了其跨学科融合的潜力。
- **OccRWKV**：针对3D语义占用预测的新模型，显著提升自动驾驶与机器人自主导航的精准性。
- **MSRWKV-2DTCN**：结合FFT与2D TCN技术，提升短期光伏发电预测的精度与效率。
- **Mod-RWKV**：新模型聚焦多模态内容审核，展现RWKV在内容治理领域的潜在应用。
- **OnlySportsLM与RWKV-TIM**：分别优化体育任务与人类动作交互建模，展现了RWKV在特定领域的卓越表现。
**社区新项目**：
- **RWKV-nonogram**：利用RWKV-6与Chain Of Thought技术，探索解决数织任务的新方法，进一步拓展RWKV的应用边界。
**社区参与与互动：**
- 邀请大家通过RWKV中文官网、微信公众号、QQ频道等多种渠道关注RWKV最新动态，积极参与社区讨论与合作，共同推动RWKV技术的发展与进步。
总结而言，RWKV社区在9月份取得了显著的进展，不仅在技术研究上取得多项突破，还在社区建设与用户互动方面展现出强大活力，预示着RWKV未来广阔的发展前景。