一键式RWKV RAG、RWKV-Keras、新论文...RWKV社区7月动态速览！

news2024/9/24 13:24:12

大家好，《RWKV 社区最新动态》迎来了第三期内容，本期统计了 RWKV 社区 7 月的重要动态，一起来看看吧！

省流版本：

RWKV 官方公告
- RWKV-6-World 14B 模型已发布
- RWKV 中文官网 rwkv.cn 正式上线
RWKV 社区新项目
- RWKV RAG：一键式 RWKV RAG 本地搭建项目，实现了最小封装和极高的扩展性
- RWKV-Keras：RWKV 的 Keras 实现，支持 RWKV 模型和 State 的推理和训练
- rwkv6-keras-operator：RWKV6 模块的 RWKV 核算子，已发 PIP 包
- RWKV Runner：更新版本并启动易用性改版计划，正在招募前端贡献者
RWKV 的新学术研究：
- GoldFinch：RWKV/Transformer 混合模型架构
- Restore-RWKV：RWKV 医学图像修复模型
- Decision-RWKV：基于 RWKV 模型的机器人终身学习算法
8 月预告：RWKV 的小说微调模型（7B、14B）正在训练中，有望在 8 月发布！

RWKV 官方动态

RWKV-6-World 14B 开源发布

2024 年 7 月 19 日，RWKV 开源基金会宣布正式向全球开源 RWKV-6-World 14B 模型。

RWKV-6-World 14B 是迄今最强的稠密纯 RNN 大语言模型。在最新的性能测试中，该模型英文性能相当于 Llama2 13b。在同参数的模型评测中，RWKV-6-World 14B 的多语言性能显著最强，且支持全球 100+种语言和代码。

在“无法作弊的模型评测” Uncheatable Eval 排行榜中，RWKV-6-World 14B 的综合评测分数比 llama2 13B 和 Qwen1.5 14B 更强。

RWKV 中文官网正式上线

RWKV 中文官网（rwkv.cn）正式上线了，RWKV 中文官网目前有四大板块，分别是首页、生态页、资讯页，以及 RWKV 中文文档页面。

你可以在 RWKV 中文官网找到关于 RWKV 的绝大多数信息，包括但不限于 RWKV 架构的介绍、RWKV 多模态等研究和相关论文、RWKV 的本地部署和推理教程、RWKV 的全参/微调训练教程，以及 RWKV 最新新闻动态等信息。

RWKV 社区的新项目/更新

RWKV RAG 项目

RWKV_RAG 是 RWKV 的本地 RAG 项目，实现了傻瓜式的本地 RWKV RAG 系统搭建流程。

RWKV_RAG 架构实现了实现了最小封装和高扩展性：所有功能异步化且无封装，想怎么调接口就怎么调接口。

此外，RWKV_RAG 已支持带图形化界面的 LoRA、State tuning、Pissa 等主流 RWKV 微调方法，可以一键微调以适应任何下游任务。

RWKV_RAG 很快会适配多模态和知识图谱功能，敬请期待！

RWKV-RAG 仓库地址： https://github.com/AIIRWKV/RWKV_RAG
RWKV——RAG 架构

RWKV6-Keras

RWKV6-Keras 项目是基于 RWKV 模型的 Keras 实现，由 RWKV 社区的 infiy-quine 兴趣组牵头开发，基于 bert4keras3 和 RWKV6_Keras 算子两个项目。

除了支持训练和推理 RWKV 模型，RWKV6-Keras 还支持 RWKV State 的训练和推理。

以下是 RWKV6-Keras 基于不同后端的生成速度对比：

前置条件	torch(keras)	jax(keras)	tensorflow(keras)	RWKV-Pytorch
有 cuda 算子(bs=1)	4 token/s	78.0 token/s	/	/
无 cuda 算子(bs=1)	4 token/s	77.0 token/s	77.0 token/s	25.75 tokens/s
有 cuda 算子(bs=64)	/	1500.0 token/s	/	/
无 cuda 算子(bs=64)	/	1289.0 token/s	/	578.68 tokens/s
prefill(有 cuda)	185ms	5ms	/	/
prefill(无 cuda)	6s	209ms	186ms	480 ms

对比测试显示，更推荐使用 jax 作为 RWKV6-Keras 后端，以获得最佳性能。

RWKV6-Keras 模型下载：https://www.modelscope.cn/models/q935499957/RWKV6-1.6B-Keras

rwkv6-keras-operator 项目

rwkv6-keras-operator 是一个适用于 bert4keras3 库中 RWKV6 模块的 RWKV 核算子，这个算子在 jax、pytorch 框架提供了原生 CUDA 实现，但对于 TensorFlow 框架只提供基本的上层 api 实现。

RWKV6_Keras 算子 pip 包地址:https://pypi.org/project/rwkv6-keras-operator
GitHub 仓库：https://github.com/infiy-quine/RWKV6_Keras_Operator

rwkv.cpp 新增 RWKV-6 支持

rwkv.cpp 项目新增了对于 RWKV-6 架构的支持，这意味着 RWKV-6 模型可以在 CPU 上实现较快的推理速度。

详情可见：https://github.com/RWKV/rwkv.cpp/pull/174

在 1.8.5 版本的更新中，RWKV Runner 的 rwkv.cpp 模式也同步支持 RWKV-6 架构。

RWKV Runner 项目更新

1. RWKV Runner 发布 1.8.5 版本

RWKV Runner 更新到了 v1.8.5，新版本支持了开发者工具，允许用户自定义头像，并且修复了一些已知问题。

2. RWKV Runner 易用性改版

RWKV Runner 正在启动易用性改版计划，使得软件更开箱即用，对新手更友好。

易用性改版主要围绕前端板块展开，具体任务如下：

RWKV Runner 前端改版

RWKV Runner 开发组正在寻找有意向参与改版的前端高手（技术栈 react, typescript, tailwindcss），以加快改版的进度。如果您有意向参与到改版计划，欢迎在公众号后台留言“改版计划”，我们将第一时间联系您。

Runner API 指南

RWKV 社区发布了关于 RWKV Runner API 的详细用法。文章列出 RWKV Runner 每一个 API 的作用、请求主体的参考结构、必需字段和可选字段等内容，帮助大家更轻松、更灵活地调用 RWKV Runner 的 API。

Runner API 使用指南：https://mp.weixin.qq.com/s/ZU9vpBa6cRMe-0PmrZkJew

RWKV 学术研究相关

格灵深瞳开源 RWKV-CLIP 模型

格灵深瞳近日在 WiseModel 平台上开源了 RWKV-CLIP 模型，RWKV-CLIP （Contrastive Language-Image Pre-training）是一个 RWKV 驱动的视觉语言表示学习模型，该框架可以利用大型语言模型（LLMs）来合成和细化基于网络的文本、合成标题和检测标签的内容。

RWKV-CLIP 模型下载：https://wisemodel.cn/models/deepglint/RWKV-CLIP/file

RWKV-CLIP 更多链接：

RWKV-CLIP GitHub 仓库：https://github.com/deepglint/RWKV-CLIP
RWKV-CLIP 论文地址：https://arxiv.org/abs/2406.06973

Restore-RWKV

Restore-RWKV 是首个基于 RWKV 的医学图像修复模型。文章提出了一种循环 WKV(Re-WKV)注意力机制，该机制以线性计算复杂度捕获全局依赖关系。Restore-RWKV 在各种医学图像修复任务中均具有卓越的性能，包括 MRI 图像超分辨率、CT 图像去噪 PET 图像合成和一体化医学图像修复。

相关链接：

Restore-RWKV 论文地址：https://arxiv.org/abs/2407.11087
Restore-RWKV GitHub 仓库：https://github.com/Yaziwel/Restore-RWKV

GoldFinch

GoldFinch 是一种 RWKV/Transformer 混合序列模型，将新的 GOLD transformer 叠加在 Finch(RWKV-6) 架构的增强版本之上，有效地在线性时间和空间中生成高度压缩和可重用的 KV-Cache。相对于 1.5B 参数的 Finch 和 Llama 模型而言，GoldFinch 的建模性能显着提高。