RWKV 中级教程

RWKV 模型本地部署工具

RWKV-FLA 适合进行 RWKV 算子实验和已有 fla-hub 模型推理。目前其 RWKV-7 实现尚未与官方参考实现完全对齐。需要训练正式的 RWKV-7 模型时，请使用 RWKV-LM 的 train_temp。

Albatross 面向 NVIDIA GPU 的 RWKV-7 高吞吐并行推理。rwkv_lightning 在此基础上提供批量推理和 HTTP API。二者都需要自行配置运行环境，适合希望开发或部署推理服务的用户。

RWKVpip 库是 RWKV 官方 pip 包，代码开源易用，可用于开发各种 RWKV 应用。

RWKV Runner 和 Ai00 是 RWKV 社区开发的 RWKV 模型本地运行软件包，无需任何代码基础即可实现 RWKV 模型的本地部署。

RWKV-FLA 使用教程

使用 RWKV-FLA 进行算子实验和已有模型推理

RWKVpip 指南

了解 RWKVpip 包如何推理 RWKV 模型，对代码进行分段详解

RWKV Runner 使用教程

RWKV 的本地部署软件包，带新手友好的图形化界面

Ai00 使用教程

基于 WebGPU（vulkan） 的推理工具，支持大多数 GPU 和集显

Albatross

面向 NVIDIA GPU 的 RWKV-7 高吞吐推理实现

rwkv_lightning 教程

基于 Albatross 的批量推理与 HTTP API 后端

其他开源模型推理工具

RWKV 模型也适配了其他热门的开源模型部署和推理工具：

llama.cpp 推理教程

本地部署 llama.cpp 并运行 RWKV 模型

Ollama 推理教程

本地部署 Ollama 并推理 RWKV 模型

TextGen 推理教程

使用 TextGen 运行 RWKV GGUF 模型并进行聊天

KoboldCpp 推理教程

使用 KoboldCpp 运行 RWKV 模型

SillyTavern 角色扮演教程

将 SillyTavern 连接到 RWKV 推理服务并使用角色卡聊天