# RWKV.CN Machine-Readable Summary ## RWKV Papers RWKV.CN currently lists 266 RWKV-related papers. The catalog was last updated on 2026-10-10. - Human page: https://www.rwkv.cn/eco/papers - Machine-readable summary: https://www.rwkv.cn/eco/papers/summary.json - Machine-readable full list: https://www.rwkv.cn/eco/papers.json - Current count: 266 - Last updated: 2026-10-10 ## RWKV Projects RWKV.CN currently lists 95 RWKV open-source and community projects. The catalog was last updated on 2026-10-19. - Human page: https://www.rwkv.cn/eco/projects - Machine-readable summary: https://www.rwkv.cn/eco/projects/summary.json - Machine-readable full list: https://www.rwkv.cn/eco/projects.json - Current count: 95 - Last updated: 2026-10-19 ## RWKV Models RWKV.CN currently lists 57 RWKV models and fine-tuned model resources. The catalog was last updated on 2026-09-21. - Human page: https://www.rwkv.cn/eco/models - Machine-readable summary: https://www.rwkv.cn/eco/models/summary.json - Machine-readable full list: https://www.rwkv.cn/eco/models.json - Current count: 57 - Last updated: 2026-09-21 ## RWKV News RWKV.CN currently lists 100 RWKV news, activities, and articles. The catalog was last updated on 2026-10-22. - Human page: https://www.rwkv.cn/news - Machine-readable summary: https://www.rwkv.cn/news/summary.json - Machine-readable full list: https://www.rwkv.cn/news.json - Current count: 100 - Last updated: 2026-10-22 ## RWKV Apps RWKV.CN currently lists 3 RWKV applications and demos. - Human page: https://www.rwkv.cn/eco/app - Machine-readable summary: https://www.rwkv.cn/eco/app/summary.json - Machine-readable full list: https://www.rwkv.cn/eco/app.json - Current count: 3 # Components Example import React from 'react'; import { Accordion, Accordions } from 'fumadocs-ui/components/accordion'; import { LearnMore } from 'components-docs/learn-more/learn-more.tsx'; import { File, Folder, Files } from 'fumadocs-ui/components/files'; import { Step, Steps } from 'fumadocs-ui/components/steps'; import { Tab, Tabs } from 'fumadocs-ui/components/tabs'; import { CardContainer } from '../../components-docs/card/card-container.tsx' import { Card } from '../../components-docs/card/card.tsx' import { PanelBottomDashed } from "lucide-react"; import { CallOut } from '../../components-docs/call-out/call-out.tsx' import { TabsCN, TabsContentCN, TabsListCN, TabsTriggerCN } from "../../components-docs/tabs/tabs.tsx" import { LinkCard, LinkCardContainer } from '../../components-docs/link-card/link-card.tsx' import { TerminalWindow } from '../../components-docs/terminal-docs/terminal-docs.tsx' import { ApiReference, ApiSchemaSection, ApiField } from '../../components-docs/api-reference/api-reference.tsx' # MDX ### Code #### 代码块支持的语言高亮以及语言关键字请在[fumadocs](https://fumadocs.vercel.app/docs/ui/components/dynamic-codeblock)查看支持的语言和关键字点击第一个下拉框就可以看见支持的语言和关键字注意一些语言可能与你想想的不同例如`Javascript`应该写为`js` #### 复制(copy) 代码块默认支持copy,你不需要,也不应该在语言关键字后面加`copy` ````mdx ```js const x = 1 function name(params) { x ++ } ``` ```` ```js const x = 1 function name(params) { x ++ } ``` ### Math ````mdx ```math c = \pm\sqrt{a^2 + b^2} ``` ```` ```math c = \pm\sqrt{a^2 + b^2} ``` *** **Long equations example** ```math \displaystyle {\begin{aligned}T_{f}(z)&=\sum _{k=0}^{\infty }{\frac {(z-c)^{k}}{2\pi i}}\int _{\gamma }{\frac {f(w)}{(w-c)^{k+1}}}\,dw\\&={\frac {1}{2\pi i}}\int _{\gamma }{\frac {f(w)}{w-c}}\sum _{k=0}^{\infty }\left({\frac {z-c}{w-c}}\right)^{k}\,dw\\&={\frac {1}{2\pi i}}\int _{\gamma }{\frac {f(w)}{w-c}}\left({\frac {1}{1-{\frac {z-c}{w-c}}}}\right)\,dw\\&={\frac {1}{2\pi i}}\int _{\gamma }{\frac {f(w)}{w-z}}\,dw=f(z),\end{aligned}} ``` ### Mermaid ````mdx ```mermaid graph TD; subgraph AA [Consumers] A[Mobile app]; B[Web app]; C[Node.js client]; end subgraph BB [Services] E[REST API]; F[GraphQL API]; G[SOAP API]; end Z[GraphQL API]; A --> Z; B --> Z; C --> Z; Z --> E; Z --> F; Z --> G; ``` ```` # 组件 ### Accordion ```mdx import React from 'react'; import { Accordion, Accordions } from 'fumadocs-ui/components/accordion'; My Content ; ``` My Content ### 了解更多用于收纳不影响主线操作的原理、实现细节和兼容性说明。默认保持收起，不要把必须执行的步骤或关键风险放入其中。 ```mdx import { LearnMore } from 'components-docs/learn-more/learn-more.tsx'; 推理后端决定由哪套程序加载并运行模型。普通用户使用 Runner 预设即可。 ``` 推理后端决定由哪套程序加载并运行模型。普通用户使用 Runner 预设即可。 ### Files ```mdx import { File, Folder, Files } from 'fumadocs-ui/components/files'; ``` ### Image Zoom 图片放大已全局引用，正常使用图片md即可 ```mdx ![rwkv-prompts-copy-button](./RWKV-Wiki/imgs/classic-RNN.png) ```

### Steps ```mdx import { Step, Steps } from 'fumadocs-ui/components/steps'; ### Read the docs ### Make sure you had read the docs ``` ### Read the docs ### Make sure you had read the docs ### Tabs ```mdx import { Tab, Tabs } from 'fumadocs-ui/components/tabs'; Javascript is weird Rust is fast ``` Javascript is weird Rust is fast # 高级组件 ### 卡片 ```mdx import { CardContainer } from '../../components-docs/card/card-container.tsx' import { Card } from '../../components-docs/card/card.tsx' import { PanelBottomDashed } from "lucide-react"; ``` ### 提示框 ```mdx import { CallOut } from '../../components-docs/call-out/call-out.tsx' this is a info callout support markdown this is a warning callout 同样**支持 markdown** 字体为 15px this is a alert callout this is a error callout ``` this is a tips callout support markdown this is a info callout support markdown this is a warning callout 同样**支持 markdown** 字体为 15px this is a alert callout this is a error callout #### 内容嵌套 ```mdx import { CallOut } from '../../components-docs/call-out/call-out.tsx' **微调是什么?** [this is a info callout](#)(Dimension-Sharding Adaptation)是一种新颖的参数高效微调方法(PEFT - Parameter-Efhcient Fine-Tuning)，旨在进一步降低可训练参数数量，同时加速收敛。 ![rwkv-prompts-copy-button](./RWKV-Wiki/imgs/RWKV-Architecture/rwkv-4-architecure.png) ``` **微调是什么?** [this is a info callout](#)(Dimension-Sharding Adaptation)是一种新颖的参数高效微调方法(PEFT - Parameter-Efhcient Fine-Tuning)，旨在进一步降低可训练参数数量，同时加速收敛。 rwkv-prompts-copy-button

### Tabs 高级tabs，你可以在 `TabsContentCN` 中嵌套任何组件，例如 `CallOut` 和 `image`： ```mdx import { TabsCN, TabsContentCN, TabsListCN, TabsTriggerCN } from "../../components-docs/tabs/tabs.tsx" RWKV-4 RWKV-3 ### RWKV-4 - fast - efficient - scalable You can import any thing inside this `TabsContentCN` like `callout`: this is a info callout or images: ![rwkv-prompts-copy-button](./RWKV-Wiki/imgs/RWKV-Architecture/rwkv-4-architecure.png) ``` RWKV-4 RWKV-3 * fast * efficient * scalable You can import any thing inside this `TabsContentCN` like `callout`: this is a info callout or images: rwkv-prompts-copy-button

### Link Card ```mdx import { LinkCard, LinkCardContainer } from '../../components-docs/link-card/link-card.tsx' ``` ## 终端文档组件 `TerminalWindow` 是独立的全宽模拟终端，用于替代命令行截图。操作说明仍使用普通 MDX 编写；命令和输出通过 `commands` 维护。 ```mdx import { TerminalWindow } from 'components-docs/terminal-docs/terminal-docs.tsx' ## 启动推理服务安装依赖后运行服务。终端用于展示命令与模拟输出，不提供整段复制按钮。 ``` 安装依赖后运行服务。终端用于展示命令与模拟输出，不提供整段复制按钮。 * 支持多条命令和逐条输出 * 全宽展示，较长命令无需挤在半栏中 * 自动适配亮色、暗色和移动端 * `shell` 可设为 `bash`、`zsh`、`fish`、`powershell` 或 `cmd`，用于选择提示符、强调色和 Shiki 语法高亮；默认值 `auto` 会根据 `title` 推断，无法识别时使用 Bash * 单条命令可用 `language` 覆盖终端默认的高亮语言，用 `prompt` 覆盖默认提示符 ## API 参考组件 `ApiReference` 是独立的双栏 API 组件：左侧展示端点说明与可展开 schema，右侧是轻量代码面板，支持切换请求、响应和 cURL 并复制。它不使用模拟终端组件。 * `kind="request"` 使用“必填 / 可选”，`kind="response"` 使用“始终返回 / 可能返回”，避免把响应 schema 写成需要调用者填写的表单。 * `statusCode` 与 `contentType` 分别描述 HTTP 状态和媒体类型；流式响应可使用 `text/event-stream`。 * 字段还支持 `location`、`format`、`enumValues`、`example`、`nullable` 和 `deprecated`，用于表达参数位置与 schema 约束。 * 带子字段的 `ApiField` 默认展开；可设置 `defaultOpen={false}` 默认收起，或设置 `collapsible={false}` 始终展示。 ```mdx import { ApiReference, ApiSchemaSection, ApiField } from 'components-docs/api-reference/api-reference.tsx' ``` # RWKV 文档首页 import { CardContainer } from '../../components-docs/card/card-container.tsx' import { Card } from '../../components-docs/card/card.tsx' import { History, LibraryBig, PanelBottomDashed, CircleHelp, Server, Cpu, Smartphone, BookOpen, FileText, MessageSquare, PenTool, BarChart3, Sliders, Users, Github } from "lucide-react"; import { CallOut } from 'components-docs/call-out/call-out.tsx' import { SingleCard } from 'components-docs/hero-card/single-card.tsx' import { MultiCard } from 'components-docs/hero-card/muti-card.tsx' import { HeroCardContainer } from 'components-docs/hero-card/hero-card-container.tsx' import Bolt from 'components-docs/hero-card/icons/bolt.tsx' import ArrowsBoldOppositeDirection from 'components-docs/hero-card/icons/arrows-bold-opposite-direction.tsx' import CodeEditor from 'components-docs/hero-card/icons/code-editor.tsx' import Slider from 'components-docs/hero-card/icons/slider.tsx' import Feather from 'components-docs/hero-card/icons/feather.tsx' import Gauge from 'components-docs/hero-card/icons/gauge.tsx' import ClipboardCheck from 'components-docs/hero-card/icons/clipboard-check.tsx' import Clipboard from 'components-docs/hero-card/icons/clipboard.tsx' import File from 'components-docs/hero-card/icons/file.tsx' import CircleArrowRight from 'components-docs/hero-card/icons/circle-arrow-right.tsx' import AppStack from 'components-docs/hero-card/icons/app-stack.tsx' import Heart from 'components-docs/hero-card/icons/heart.tsx' 欢迎来到 RWKV 中文文档，可在此处了解 RWKV 的**概念性知识**，包括但不限于： * RWKV 的介绍，比如[架构迭代历史](/docs/RWKV-Wiki/RWKV-Architecture)、模型版本、[训练数据集](/docs/RWKV-Wiki/Dataset)、本地部署的显存需求等 * RWKV 的基准测试表现如何？在不同设备（如各种 GPU/CPU/NPU 等）的推理速度如何？ * RWKV 社区有哪些[优秀的项目](/docs/RWKV-Wiki/Links)？如何[参与 RWKV 社区](/docs/RWKV-Wiki/Contribute)并贡献您的力量？ RWKV 文档**不包含实操教程**，如果您需要学习 RWKV 的具体用法，比如本地部署、微调训练，请参考 [RWKV 教程](../tutorials)。 ## 了解 RWKV RWKV 是一个大语言模型架构，基于这个架构训练出来的 RWKV 模型可以**理解并生成文本**。此外，还有一些 RWKV 多模态模型可以**理解或生成图像、声音等多种模态的内容**。 ## 改善模型的生成质量 ## RWKV 基准测试表现 ## RWKV 的端侧推理性能 ## 加入 RWKV 社区 ## 如何反馈文档问题？若您有任何文档相关的问题（包括但不限于：错别字、文档不完整、文档难以理解或希望看到某一类文档等），请通过以下渠道向我们反馈： * 通过 [GitHub Issue](https://github.com/LeoLin4258/rwkvcn-docs/issues/new/choose) 向我们反馈 * 向我们[发送邮件](mailto:qilongluo@rwkvos.com) * 加入 RWKV QQ 交流群 224287095 讨论 # 基准测试数据 import { Tab, Tabs } from 'fumadocs-ui/components/tabs' import { RadarChartComponent } from 'components-docs/radar-charts' import { HeatMap } from 'components-docs/heat-map' import { CallOut } from 'components-docs/call-out/call-out.tsx' import { LineChart } from 'components-docs/line-chart' 本页保留各表所列模型权重的已验证评测结果。RWKV-7 G1 系列仍在持续迭代，数据只代表表中明确列出的 checkpoint；比较时请以模型名称和测试条件为准，不要将结果外推到其他权重或整个模型系列。 ## Uncheatable Eval 测试 [Uncheatable Eval](https://huggingface.co/spaces/Jellyfish042/UncheatableEval) 是“无法作弊的评测”，它使用最新的论文和新闻文章等实时数据，评估开源大语言模型的真实建模能力和泛化能力。 Uncheatable Eval 测试的结果是压缩率，因此其评分越低，意味着模型性能越好。以下是 RWKV 和其他模型的 Uncheatable Eval 评分对比： ### 14B 参数模型为了更直观地观察模型在每项评测上的表现，我们对原始数据进行了归一化处理。 | Name | Params (B) | Average (lower=better) | ao3 english | bbc news | wikipedia english | arxiv computer science | arxiv physics | github cpp | github python | | :--------------------- | :--------- | :--------------------- | :---------- | :------- | :---------------- | :--------------------- | :------------ | :--------- | :------------ | | Qwen3-14B-Base | 14.768 | 6.845 | 10.569 | 8.445 | 7.942 | 7.001 | 7.210 | 3.439 | 3.312 | | rwkv7-g0b-13.3b | 13.269 | 6.870 | 9.848 | 8.202 | 7.636 | 7.108 | 7.380 | 4.026 | 3.892 | | gemma-3-12b-pt | 12.187 | 6.945 | 10.540 | 7.914 | 7.607 | 7.286 | 7.387 | 3.883 | 3.997 | | Qwen2.5-14B | 14.770 | 6.951 | 10.558 | 8.317 | 7.944 | 7.224 | 7.392 | 3.625 | 3.599 | | Mistral-Nemo-Base-2407 | 12.248 | 6.970 | 10.165 | 8.118 | 7.642 | 7.287 | 7.455 | 4.079 | 4.042 | | Motif-2-12.7B-Base | 12.704 | 7.099 | 10.628 | 8.328 | 7.897 | 7.134 | 7.404 | 4.189 | 4.114 | | Llama-2-13b-hf | 13.016 | 7.540 | 10.655 | 8.307 | 7.901 | 7.993 | 8.122 | 4.795 | 5.009 | ### 7B 参数模型为了更直观地观察模型在每项评测上的表现，我们抽取了平均分排行前七的模型，并对原始数据进行了归一化处理。 | Name | Params (B) | Average (lower=better) | ao3 english | bbc news | wikipedia english | arxiv computer science | arxiv physics | github cpp | github python | | :------------------------------------- | :--------- | :--------------------- | :---------- | :------- | :---------------- | :--------------------- | :------------ | :--------- | :------------ | | Qwen3-8B-Base | 8.191 | 7.091 | 10.890 | 8.718 | 8.255 | 7.207 | 7.465 | 3.617 | 3.482 | | Meta-Llama-3-8B | 8.030 | 7.162 | 10.619 | 8.295 | 7.785 | 7.536 | 7.541 | 4.174 | 4.181 | | RWKV7-g0a3-7.2b-20251029-ctx8192 | 7.199 | 7.222 | 10.164 | 8.480 | 7.996 | 7.440 | 7.747 | 4.378 | 4.347 | | Qwen2.5-7B | 7.616 | 7.323 | 11.079 | 8.729 | 8.449 | 7.539 | 7.792 | 3.868 | 3.806 | | Falcon-H1-7B-Base | 7.586 | 7.339 | 10.958 | 8.576 | 8.225 | 7.403 | 7.569 | 4.251 | 4.392 | | Mistral-7B-v0.1 | 7.242 | 7.406 | 10.662 | 8.306 | 7.976 | 7.745 | 7.903 | 4.612 | 4.635 | | Hunyuan-7B-Pretrain | 7.505 | 7.541 | 11.509 | 8.987 | 8.499 | 7.653 | 8.108 | 4.201 | 3.829 | | falcon-mamba-7b | 7.273 | 7.548 | 10.760 | 8.958 | 8.589 | 7.674 | 7.737 | 4.437 | 4.680 | | Zamba2-7B | 7.357 | 7.582 | 10.702 | 8.627 | 8.074 | 7.843 | 8.124 | 4.833 | 4.869 | | Minitron-8B-Base | 8.272 | 7.582 | 10.835 | 8.654 | 8.284 | 7.856 | 8.230 | 4.508 | 4.708 | | Olmo-3-1025-7B | 7.298 | 7.595 | 11.101 | 8.784 | 8.522 | 7.490 | 7.947 | 4.930 | 4.394 | | RWKV-x060-World-7B-v3-20241112-ctx4096 | 7.636 | 7.633 | 10.629 | 8.753 | 8.288 | 7.936 | 8.109 | 4.786 | 4.929 | ### 3B 参数模型为了更直观地观察模型在每项评测上的表现，我们抽取了平均分排行前七的模型，并对原始数据进行了归一化处理。 | Name | Params (B) | Average (lower=better) | ao3 english | bbc news | wikipedia english | arxiv computer science | arxiv physics | github cpp | github python | | :--------------------------------------- | :--------- | :--------------------- | :---------- | :------- | :---------------- | :--------------------- | :------------ | :--------- | :------------ | | RWKV7-g1a4-2.9b-20251118-ctx8192 | 2.948 | 7.486 | 10.481 | 8.800 | 8.310 | 7.712 | 8.072 | 4.553 | 4.474 | | Llama-3.2-3B | 3.213 | 7.643 | 11.219 | 8.701 | 8.365 | 7.928 | 8.065 | 4.661 | 4.562 | | Qwen2.5-3B | 3.086 | 7.722 | 11.575 | 9.139 | 8.895 | 7.911 | 8.220 | 4.203 | 4.113 | | SmolLM3-3B-Base | 3.075 | 7.784 | 11.187 | 8.905 | 8.611 | 8.097 | 8.631 | 4.513 | 4.546 | | RWKV-x070-World-2.9B-v3-20250211-ctx4096 | 2.948 | 7.800 | 10.812 | 8.909 | 8.501 | 8.049 | 8.307 | 4.955 | 5.066 | | stablelm-3b-4e1t | 2.795 | 7.907 | 11.211 | 8.815 | 8.434 | 8.299 | 8.476 | 4.906 | 5.207 | | Falcon-H1-3B-Base | 3.149 | 7.936 | 11.685 | 9.158 | 8.910 | 7.891 | 8.161 | 4.832 | 4.917 | | recurrentgemma-2b | 2.683 | 8.052 | 11.632 | 8.951 | 8.835 | 8.401 | 8.488 | 4.897 | 5.157 | | RWKV-x060-World-3B-v2.1-20240417-ctx4096 | 3.100 | 8.147 | 11.005 | 9.161 | 8.815 | 8.451 | 8.559 | 5.479 | 5.561 | | mamba2attn-2.7b | 2.698 | 8.204 | 11.436 | 9.246 | 8.947 | 8.474 | 8.236 | 5.336 | 5.751 | ### 1.5B 参数模型为了更直观地观察模型在每项评测上的表现，我们抽取了平均分排行前七的模型，并对原始数据进行了归一化处理。 | Name | Params (B) | Average (lower=better) | ao3 english | bbc news | wikipedia english | arxiv computer science | arxiv physics | github cpp | github python | | :---------------------------------------- | :--------- | :--------------------- | :---------- | :------- | :---------------- | :--------------------- | :------------ | :--------- | :------------ | | Qwen3-1.7B-Base | 1.721 | 7.965 | 12.016 | 9.743 | 9.352 | 7.936 | 8.350 | 4.260 | 4.095 | | rwkv7-g1b-1.5b-20251015-ctx8192 | 1.527 | 7.969 | 10.972 | 9.250 | 8.843 | 8.110 | 8.537 | 5.041 | 5.027 | | Qwen2.5-1.5B | 1.544 | 8.124 | 12.114 | 9.562 | 9.393 | 8.270 | 8.646 | 4.502 | 4.384 | | RWKV-x070-World-1.5B-v3-20250127-ctx4096 | 1.527 | 8.231 | 11.273 | 9.320 | 8.965 | 8.431 | 8.758 | 5.385 | 5.483 | | SmolLM2-1.7B | 1.711 | 8.298 | 11.536 | 9.373 | 9.351 | 8.547 | 9.047 | 5.080 | 5.152 | | Llama-3.2-1B | 1.236 | 8.306 | 12.036 | 9.331 | 9.097 | 8.556 | 8.755 | 5.267 | 5.101 | | Index-1.9B | 2.173 | 8.340 | 11.831 | 9.493 | 9.069 | 8.497 | 8.561 | 5.380 | 5.547 | | stablelm-2-1\_6b | 1.645 | 8.396 | 11.761 | 9.237 | 8.943 | 8.762 | 9.088 | 5.558 | 5.425 | | Falcon-H1-1.5B-Deep-Base | 1.555 | 8.505 | 12.144 | 9.666 | 9.482 | 8.407 | 8.968 | 5.497 | 5.368 | | RWKV-x060-World-1B6-v2.1-20240328-ctx4096 | 1.600 | 8.564 | 11.434 | 9.555 | 9.276 | 8.822 | 8.990 | 5.906 | 5.968 | | Falcon-H1-1.5B-Base | 1.555 | 8.639 | 12.287 | 9.796 | 9.645 | 8.507 | 9.089 | 5.635 | 5.514 | | mamba2-1.3b | 1.344 | 8.699 | 11.944 | 9.710 | 9.463 | 8.925 | 8.714 | 5.851 | 6.286 | | RWKV-5-World-1B5-v2-20231025-ctx4096 | 1.578 | 8.715 | 11.595 | 9.731 | 9.451 | 8.977 | 9.103 | 6.039 | 6.110 | | mamba-1.4b-hf | 1.372 | 8.806 | 12.026 | 9.783 | 9.552 | 9.081 | 8.836 | 5.958 | 6.408 | ## MMLU 测试 MMLU 测试（Massive Multitask Language Understanding）评估模型的多任务语言理解能力的基准测试。MMLU 涵盖了从初中到研究生水平的 57 个不同学科，包括数学、物理、历史、法律、生物学等，测试语言模型是否能够在不同领域内进行推理、回答问题和表现出跨学科的知识。 | Model | MMLU | MMLU COT | | ------------------- | ----- | -------- | | **rwkv7-g0b-13.3b** | 0.765 | 0.827 | | **rwkv7-g0b-7.2b** | 0.660 | 0.731 | | **rwkv7-g1b-2.9b** | 0.622 | 0.669 | | **rwkv7-g1b-1.5b** | 0.505 | 0.542 | ## MMLU Pro 测试 MMLU-Pro 是一个更稳健且更具挑战性的大规模多任务理解数据集，更严格地评测大型语言模型的能力。该数据集包含涵盖各个学科的 1.2 万个复杂问题。 | Model | MMLU-PRO | MMLU-PRO COT | | ------------------- | -------- | ------------ | | **rwkv7-g0b-13.3b** | 0.502 | 0.612 | | **rwkv7-g0b-7.2b** | 0.361 | 0.526 | | **rwkv7-g1b-2.9b** | 0.322 | 0.433 | | **rwkv7-g1b-1.5b** | 0.222 | 0.292 | ## MMLU 变体测试 MMLU Redux 是 MMLU 的精简和修正版本，移除了部分错误标签；MMMLU (Multilingual MMLU) 则是多语言版本的测试。 | Model | MMLU Redux | Redux COT | MMMLU | MMMLU COT | | ------------------- | ---------- | --------- | ----- | --------- | | **rwkv7-g0b-13.3b** | 0.787 | 0.863 | 0.765 | 0.827 | | **rwkv7-g0b-7.2b** | 0.685 | 0.772 | 0.660 | 0.731 | | **rwkv7-g1b-2.9b** | 0.641 | 0.699 | 0.622 | 0.669 | | **rwkv7-g1b-1.5b** | 0.529 | 0.569 | 0.505 | 0.541 | ## GSM8K 测试 GSM8K (Grade School Math 8K) 是一个包含 8500 道高质量、语言表达多样的小学数学应用题数据集，用于评估模型的数学推理能力。 | Model | GSM8K COT | | ------------------- | --------- | | **rwkv7-g0b-13.3b** | 0.923 | | **rwkv7-g0b-7.2b** | 0.851 | | **rwkv7-g1b-2.9b** | 0.766 | | **rwkv7-g1b-1.5b** | 0.585 | ## MATH500 测试 MATH-500 是衡量 AI 模型数学推理能力的权威基准测试，包含 500 道具有挑战性的数学问题，涵盖代数、几何、微积分、概率统计等多个领域。 | Model | MATH500 COT | | ------------------- | ----------- | | **rwkv7-g0b-13.3b** | 0.768 | | **rwkv7-g0b-7.2b** | 0.635 | | **rwkv7-g1b-2.9b** | 0.495 | | **rwkv7-g1b-1.5b** | 0.298 | ## 通用数学与推理测试包含 Hendrycks Math, SVAMP, ASDiv, MAWPS 等数据集，以及 Algebra 222 和 Math Odyssey。涵盖了从基础算术、代数到几何等多种类型的数学问题，重点考察模型的思维链（CoT）能力。 | Model | Hendrycks Math | SVAMP | ASDiv | MAWPS | | ------------------- | -------------- | ----- | ----- | ----- | | **rwkv7-g0b-13.3b** | 0.558 | 0.942 | 0.923 | 0.949 | | **rwkv7-g0b-7.2b** | 0.488 | 0.926 | 0.905 | 0.924 | | **rwkv7-g1b-2.9b** | 0.383 | 0.840 | 0.844 | 0.890 | | **rwkv7-g1b-1.5b** | 0.246 | 0.683 | 0.735 | 0.813 | | Model | GSM+ | Algebra 222 | Math Odyssey | | ------------------- | ----- | ----------- | ------------ | | **rwkv7-g0b-13.3b** | 0.767 | 0.892 | 0.494 | | **rwkv7-g0b-7.2b** | 0.685 | 0.856 | 0.401 | | **rwkv7-g1b-2.9b** | 0.575 | 0.795 | 0.320 | | **rwkv7-g1b-1.5b** | 0.406 | 0.658 | 0.202 | ## 代码生成能力测试包含 HumanEval 和 MBPP (Mostly Basic Python Problems) 及其扩展版本。这些测试评估模型将自然语言描述转换为可执行代码的能力，涵盖了基础编程逻辑到复杂算法实现。 | Model | HumanEval | HumanEval+ | MBPP | MBPP+ | | ------------------- | --------- | ---------- | ----- | ----- | | **rwkv7-g0b-13.3b** | 0.817 | 0.762 | 0.820 | 0.706 | | **rwkv7-g0b-7.2b** | 0.640 | 0.604 | 0.757 | 0.640 | | **rwkv7-g1b-2.9b** | 0.537 | 0.494 | 0.627 | 0.550 | | **rwkv7-g1b-1.5b** | 0.396 | 0.348 | 0.439 | 0.368 | HumanEval Fix / CN 补充数据： * **rwkv7-g0b-13.3b**: Fix 0.823 / CN 0.799 * **rwkv7-g0b-7.2b**: Fix 0.585 / CN 0.659 * **rwkv7-g1b-2.9b**: Fix 0.524 / CN 0.524 * **rwkv7-g1b-1.5b**: Fix 0.323 / CN 0.390 ## 中文综合能力测试 C-Eval 和 CMMLU 是针对中文大模型的综合性能力评测基准，涵盖了人文、社科、理工等多个学科，考察模型在中文语境下的知识和推理能力。 | Model | C-Eval | C-Eval COT | CMMLU | CMMLU COT | | ------------------- | ------ | ---------- | ----- | --------- | | **rwkv7-g0b-13.3b** | 0.640 | 0.674 | 0.667 | 0.689 | | **rwkv7-g0b-7.2b** | 0.540 | 0.563 | 0.564 | 0.598 | | **rwkv7-g1b-2.9b** | 0.496 | 0.513 | 0.523 | 0.556 | | **rwkv7-g1b-1.5b** | 0.427 | 0.426 | 0.422 | 0.442 | **Gaokao 2023 English COT** (高考英语): 13.3b: 0.665 | 7.2b: 0.535 | 2.9b: 0.447 | 1.5b: 0.273 ## IFEval IFEval（Instruction-Following Evaluation）是一个专门用于评估大模型指令跟随能力的基准数据集。核心特点是使用**可验证指令（verifiable instructions）**，通过确定性规则（如正则匹配、计数、格式检查）自动判断模型是否遵循指令。 | Model | IFEval (strict prompt-level) | | ------------------- | ---------------------------- | | **rwkv7-g0b-13.3b** | 0.689 | | **rwkv7-g0b-7.2b** | 0.579 | | **rwkv7-g1b-2.9b** | 0.494 | | **rwkv7-g1b-1.5b** | 0.421 | ## GPQA 测试 GPQA (Graduate-Level Google-Proof Q\&A Benchmark) 是一个极具挑战性的问答数据集，包含生物、物理和化学领域的研究生水平问题。这些问题设计为"Google-Proof"，即通过简单的搜索引擎查询很难找到直接答案。 | Model | GPQA Main | GPQA Main COT | SuperGPQA | | ------------------- | --------- | ------------- | --------- | | **rwkv7-g0b-13.3b** | 0.379 | 0.429 | 0.288 | | **rwkv7-g0b-7.2b** | 0.308 | 0.317 | 0.220 | | **rwkv7-g1b-2.9b** | 0.333 | 0.326 | 0.194 | | **rwkv7-g1b-1.5b** | 0.283 | 0.279 | 0.158 | # 长文本基准测试数据 import { Tab, Tabs } from 'fumadocs-ui/components/tabs' import { RadarChartComponent } from 'components-docs/radar-charts' import { HeatMap } from 'components-docs/heat-map' import { LineChart } from 'components-docs/line-chart' import { CallOut } from 'components-docs/call-out/call-out.tsx' 本页记录的是 RWKV-6 在 RULER 和 LongBench 上的历史评测结果。数据来源已经验证，可用于复查对应模型的表现，但不代表当前 RWKV-7 G1x 模型。 ## RULER 测试 [RULER](https://arxiv.org/abs/2404.06654) 测试是一个新的 LLM 测试方法，相比于 NIAH 大海捞针测试做了优化和扩展，其包含四种测试任务：增强的检索任务（NIAH 扩展版本）、多跳跟踪（Multi-hop Tracing）、信息聚合（CWE、FWE）、带干扰的问答（QA）。 ### 增强的大海捞针（NIAH） RULER 包含增强的大海捞针（NIAH）测试，分为四个子任务，评估模型的检索能力： | 测试子项目 | 简要描述 | | ---------------------------- | ---------------------------- | | Single NIAH (S-NIAH) | 测试模型处理单一输入和单一目标输出的能力。 | | Multi-keys NIAH (MK-NIAH) | 测试模型处理多键值对的能力，其中每个键关联一个单一输出。 | | Multi-values NIAH (MV-NIAH) | 测试模型处理多键值对的能力，其中每个键关联多个值或输出。 | | Multi-queries NIAH (MQ-NIAH) | 测试模型在多个查询条件下，综合处理并生成相应结果的能力。 | Single NIAH 的测试结果如下： | 模型 | NIAH\_single\_1 | NIAH\_single\_2 | NIAH\_single\_3 | | ------------------- | --------------- | --------------- | --------------- | | RWKV-6-7B-v2.1-4k | 100 | 98.67 | 95 | | Llama2-7B-4k | 97.6 | 100 | 96.8 | | Mamba-2.8B-4k | 100 | 19 | 1 | | Mamba-1.4B-4k | 94 | 21 | 5 | | RWKV-6-3B-v2.1-4k | 100 | 88 | 79 | | RWKV-6-1.6B-v2.1-4k | 98 | 53 | 55 | NIAH-Multi-keys 的测试结果如下： | 模型 | NIAH\_multikey\_1 | NIAH\_multikey\_2 | NIAH\_multikey\_3 | | ------------------- | ----------------- | ----------------- | ----------------- | | RWKV-6-7B-v2.1-4k | 48.33 | 7.67 | 1.33 | | Llama2-7B-4k | 100 | 84.4 | 60 | | Mamba-2.8B-4k | 7 | 0 | 1 | | Mamba-1.4B-4k | 8 | 0 | 0 | | RWKV-6-3B-v2.1-4k | 36 | 1 | 0 | | RWKV-6-1.6B-v2.1-4k | 25 | 1 | 0 | Multi-values 和 Multi-queries 的 NIAH 测试结果如下： | 模型 | NIAH\_multivalue | NIAH\_multiquery | | ------------------- | ---------------- | ---------------- | | RWKV-6-7B-v2.1-4k | 80.42 | 83.67 | | Llama2-7B-4k | 94 | 96.7 | | Mamba-2.8B-4k | 0.75 | 1.25 | | Mamba-1.4B-4k | 5.25 | 4.75 | | RWKV-6-3B-v2.1-4k | 38.5 | 40.75 | | RWKV-6-1.6B-v2.1-4k | 25 | 20.75 | ### 变量跟踪（VT）多跳跟踪 - 变量跟踪（Multi-hop Tracing: Variable Tracking）：该任务主要检查模型能否在长上下文中成功识别并跟踪具有多跳连接的实体（变量）和指代关系。比如赋值 $X_1 = V $，然后 $X_2 = X_1$、$X_3 = X_2$ ... 最终返回所有指向值 $V$ 的变量名。 | 模型 | 多跳跟踪 | | ------------------- | ----- | | RWKV-6-7B-v2.1-4k | 7.53 | | Llama2-7B-4k | 63.12 | | Mamba-2.8B-4k | 45 | | Mamba-1.4B-4k | 23.4 | | RWKV-6-3B-v2.1-4k | 11.8 | | RWKV-6-1.6B-v2.1-4k | 1.4 | ### 信息聚合（CWE、FWE） **信息聚合（CWE、FWE）**：该任务为常用词（Common Words）/高频词（Frequent Words）提取，用于测试模型**跨长上下文聚合常见信息**的能力 | 模型 | 常用词提取（CWE） | 高频词提取（FWE） | | ------------------- | ----------- | ----------- | | RWKV-6-7B-v2.1-4k | 38.6 | 78.33 | | Llama2-7B-4k | 73.04 | 78.8 | | Mamba-2.8B-4k | 2 | 53 | | Mamba-1.4B-4k | 15.5 | 57.33 | | RWKV-6-3B-v2.1-4k | 30.3 | 62.67 | | RWKV-6-1.6B-v2.1-4k | 11 | 46.33 | ### 问答（QA） **问答（QA）**：该任务在现有短上下文问答数据集的输入中添加了干扰信息，以评估各种上下文大小下的问答能力。 | 模型 | qa\_1 | qa\_2 | | ------------------- | ----- | ----- | | RWKV-6-7B-v2.1-4k | 45 | 37 | | Llama2-7B-4k | 59.2 | 42 | | Mamba-2.8B-4k | 23 | 18 | | Mamba-1.4B-4k | 24 | 23 | | RWKV-6-3B-v2.1-4k | 35 | 25 | | RWKV-6-1.6B-v2.1-4k | 35 | 28 | RULER 数据来源：[https://github.com/Ojiyumm/RULER\_RWKV](https://github.com/Ojiyumm/RULER_RWKV) ## LongBench 测试 [LongBench](https://arxiv.org/abs/2308.14508) 测试是一个针对大语言模型长文本理解能力的评测基准。 LongBench 共有六大类、二十一个不同的中英双语任务，覆盖了单文档 QA、多文档 QA、摘要、Few-shot 学习、合成任务和代码补全等关键的长文本应用场景。以下是 RWKV 和其他模型的 LongBench 测试分数对比，数据表格按照六个分类展示： ### Single-Document QA （单文档问答）单文档问答包含以下四种测试任务： | 任务 | 任务说明 | | --------------- | ------------------------------------ | | NarrativeQA | 基于故事或剧本提问，包括对人物、情节、主题等重要元素的理解 | | Qasper | 基于单篇论文的提出，问题由 NLP 的读者提出，并由 NLP 从业者回答 | | MultiFieldQA-en | 基于单篇文档回答英文问题，文档所属的领域相对多元 | | MultiFieldQA-zh | 基于单篇文档回答中文问题，文档所属的领域相对多元 | **Single-Document QA 测试结果：** | 模型 | NarrativeQA | Qasper | MultiFieldQA-en | MultiFieldQA-zh | | --------------------------- | ----------- | ------ | --------------- | --------------- | | GPT-3.5-Turbo-16k | 23.6 | 43.3 | 52.3 | 61.2 | | Llama2-7B-chat-4k | 18.7 | 19.2 | 36.8 | 11.9 | | LongChat-v1.5-7B-32k | 16.9 | 27.7 | 41.4 | 29.1 | | XGen-7B-8k | 18.0 | 18.1 | 37.7 | 14.8 | | InternLM-7B-8k | 12.1 | 16.7 | 23.4 | 33.6 | | ChatGLM2-6B-32k | 21.1 | 31.5 | 46.2 | 51.6 | | Vicuna-v1.5-7B-16k | 19.4 | 26.1 | 38.5 | 43.0 | | ChatGLM3-6B-32k | 26.0 | 43.3 | 51.7 | 62.3 | | Mamba\_1B4 | 2.23 | 4.44 | 11.33 | 13.03 | | Mamba\_2B8 | 2.32 | 4.89 | 8.15 | 6.83 | | Llama2-7B | 18.7 | 19.2 | 11.90 | 36.8 | | Mistral-7B | 12.79 | 8.9 | 30.55 | 17.91 | | **RWKV-6-World-1B6-v2.1** | 4.53 | 19.79 | 22.99 | 18.57 | | **RWKV-6-World-3B-v2.1** | 2.87 | 14.2 | 18.78 | 21.49 | | **RWKV-6-World-7b-v2.1-4k** | 20.75 | 40.2 | 36.01 | 50.19 | ### Multi-Document QA（多文档问答）多文档问答包含以下四种测试任务： | 任务 | 任务说明 | | --------------- | --------------------------------------------------------------------- | | HotpotQA | 基于 HotpotQA 文档回答问题，HotpotQA 涉及许多由母语人士根据两个相关段落编写的 2 跳问题 | | 2WikiMultihopQA | 基于 2WikiMultihopQA 数据回答问题，2WikiMultihopQA 由最多 5 跳问题组成，这些问题通过手动设计的模板合成 | | MuSiQue | 基于 MuSiQue 数据回答问题，MuSiQue 由最多 4 跳推理（4-hop reasoning）的简单问题组合而成 | | DuReader | 基于 DuReader 的中文数据集回答相关问题，包含来自基于百度搜索和百度知道的 20 万个问题和 1M 文档 | **Multi-Document QA 测试结果：** | 模型 | HotpotQA | 2WikiMQA | Musique | DuReader (zh) | | --------------------------- | -------- | -------- | ------- | ------------- | | GPT-3.5-Turbo-16k | 51.6 | 37.7 | 26.9 | 28.7 | | Llama2-7B-chat-4k | 25.4 | 32.8 | 9.4 | 5.2 | | LongChat-v1.5-7B-32k | 31.5 | 20.6 | 9.7 | 19.5 | | XGen-7B-8k | 29.7 | 21.1 | 10.3 | 11.0 | | InternLM-7B-8k | 28.7 | 22.8 | 9.0 | 11.1 | | ChatGLM2-6B-32k | 45.1 | 34.0 | 21.9 | 37.6 | | Vicuna-v1.5-7B-16k | 25.3 | 20.8 | 9.8 | 19.3 | | ChatGLM3-6B-32k | 54.4 | 44.9 | 40.4 | 44.78 | | Mamba\_1B4 | 5.73 | 8.77 | 3.3 | 11.95 | | Mamba\_2B8 | 5.49 | 8.45 | 3.45 | 13.96 | | Llama2-7B | 25.4 | 32.8 | 9.4 | 5.2 | | Mistral-7B | 9.39 | 11.17 | 4.58 | 11.68 | | **RWKV-6-World-1B6-v2.1** | 8.72 | 11.86 | 3.96 | 11.40 | | **RWKV-6-World-3B-v2.1** | 6.79 | 9.64 | 4.13 | 17.41 | | **RWKV-6-World-7b-v2.1-4k** | 22.74 | 16.3 | 10.49 | 28.01 | ### Summarization（摘要）摘要任务涉及以下四种测试： | 任务 | 任务说明 | | --------- | ----------------------- | | GovReport | 摘要任务，要求对政府的工作报告进行总结摘要 | | QMSum | 摘要任务，要求基于用户的查询对会议记录进行摘要 | | MultiNews | 多文档摘要任务，要求基于多篇新闻进行摘要 | | VCSUM | 摘要任务，要求对中文会议记录进行总结摘要 | **摘要任务测试结果如下：** | 模型 | GovReport | QMSum | MultiNews | VCSUM (zh) | | --------------------------- | --------- | ------ | --------- | ---------- | | GPT-3.5-Turbo-16k | 29.5 | 23.4 | 26.7 | 16.0 | | Llama2-7B-chat-4k | 27.3 | 20.8 | 25.8 | 0.2 | | LongChat-v1.5-7B-32k | 30.8 | 22.7 | 26.4 | 9.9 | | XGen-7B-8k | 27.3 | 20.5 | 26.2 | 2.2 | | InternLM-7B-8k | 9.7 | 15.9 | 22.8 | 12.4 | | ChatGLM2-6B-32k | 32.4 | 24.0 | 26.5 | 16.2 | | Vicuna-v1.5-7B-16k | 27.9 | 22.8 | 27.2 | 15.1 | | ChatGLM3-6B-32k | 36.8 | 23.9 | 27.9 | 17.8 | | Mamba\_1B4 | 9.34 | 10.85 | 15.86 | 6.33 | | Mamba\_2B8 | 10.41 | 11.42 | 18.94 | 6.1 | | Llama2-7B | 27.3 | 20.8 | 25.8 | 0.2 | | Mistral-7B | 28.84 | 20.32 | 22.79 | 4.1 | | **RWKV-6-World-1B6-v2.1** | 17.51 | 20.36 | 21.52 | 10.71 | | **RWKV-6-World-3B-v2.1** | 19.21 | 21 | 21.76 | 10.18 | | **RWKV-6-World-7b-v2.1-4k** | 31.64 | 21.31 | 26.06 | 15.19 | ### Few-shot Learning（小样本学习）小样本学习包含以下四种测试任务： | 任务 | 任务说明 | | -------- | ---------------------------- | | TREC | 分类任务，要求对问题进行分类，一共包含 50 个类别 | | TriviaQA | 单文档问答任务，提供若干的 Few Shot 样例 | | SAMSum | 对话摘要任务，提供若干的 Few Shot 样例 | | LSHT | 中文分类任务，要求对新闻进行分类，一共包含 24 个类别 | **Few-shot Learning测试结果如下：** | 模型 | TREC | TriviaQA | SAMSum | LSHT (zh) | | --------------------------- | ----- | -------- | ------ | --------- | | GPT-3.5-Turbo-16k | 68.0 | 91.4 | 41.7 | 29.2 | | Llama2-7B-chat-4k | 61.5 | 77.8 | 40.7 | 19.8 | | LongChat-v1.5-7B-32k | 63.5 | 82.3 | 34.2 | 23.2 | | XGen-7B-8k | 65.5 | 77.8 | 25.3 | 20.5 | | InternLM-7B-8k | 52.0 | 77.8 | 21.2 | 15.2 | | ChatGLM2-6B-32k | 62.5 | 78.7 | 36.3 | 27.7 | | Vicuna-v1.5-7B-16k | 71.5 | 86.2 | 40.8 | 28.8 | | ChatGLM3-6B-32k | 79.0 | 87.1 | 38.2 | 42.0 | | Mamba\_1B4 | 45.5 | 37.33 | 12.56 | 8.5 | | Mamba\_2B8 | 21.5 | 34.62 | 9.3 | 5 | | Llama2-7B | 61.5 | 77.8 | 40.7 | 19.8 | | Mistral-7B | 70.0 | 89.26 | 43.74 | 25.5 | | **RWKV-6-World-1B6-v2.1** | 39.5 | 47.64 | 13.58 | 18.8 | | **RWKV-6-World-3B-v2.1** | 51.5 | 57.15 | 17.95 | 15.2 | | **RWKV-6-World-7b-v2.1-4k** | 55.5 | 86.89 | 44.25 | 30.2 | ### Synthetic Tasks（合成任务）合成任务测试任务包含以下三种测试任务： | 任务 | 任务说明 | | ------------------- | --------------------------------- | | PassageCount | 判断给定的若干的段落中不重复的段落一共有几个 | | PassageRetrieval-en | 给定 30 个英文维基的段落，判断给定的摘要属于哪个段落 | | PassageRetrieval-zh | 给定若干个出自 C4 数据集的中文段落，判断给定的摘要属于哪个段落 | **Synthetic Tasks 测试结果如下：** | 模型 | Passage Count | PassageRetrieval-en | PassageRetrieval-zh | | --------------------------- | ------------- | ------------------- | ------------------- | | GPT-3.5-Turbo-16k | 4.5 | 71.0 | 77.5 | | Llama2-7B-chat-4k | 2.1 | 9.8 | 0.5 | | LongChat-v1.5-7B-32k | 1.0 | 30.5 | 7.6 | | XGen-7B-8k | 2.1 | 8.5 | 3.5 | | InternLM-7B-8k | 3.0 | 6.0 | 0.9 | | ChatGLM2-6B-32k | 1.5 | 77.0 | 64.5 | | Vicuna-v1.5-7B-16k | 6.5 | 4.5 | 5.0 | | ChatGLM3-6B-32k | 2.0 | 99.0 | 94.0 | | Mamba\_1B4 | 0.45 | 3.32 | 3.81 | | Mamba\_2B8 | 0.74 | 1.83 | 3.37 | | Llama2-7B | 2.1 | 9.8 | 0.5 | | Mistral-7B | 1.05 | 12.5 | 16.75 | | **RWKV-6-World-1B6-v2.1** | 0 | 4.25 | 4.16 | | **RWKV-6-World-3B-v2.1** | 0 | 3.83 | 4.12 | | **RWKV-6-World-7b-v2.1-4k** | 5 | 34.5 | 54.22 | ### Code Completion（代码续写）代码续写包含以下两种测试任务： | 任务 | 任务说明 | | ----------- | ------------------------------------------- | | LCC | 给定一段较长代码，要求预测出下一行代码 | | RepoBench-P | 给定一个 github 仓库内多个文件中的代码（包含文件间依赖），要求预测出下一行代码 | **代码续写测试结果如下：** | 模型 | LCC | RepoBench-P | | --------------------------- | ------ | ----------- | | GPT-3.5-Turbo-16k | 54.7 | 53.6 | | Llama2-7B-chat-4k | 52.4 | 43.8 | | LongChat-v1.5-7B-32k | 53.0 | 55.3 | | XGen-7B-8k | 38.6 | 38.6 | | InternLM-7B-8k | 44.1 | 28.8 | | ChatGLM2-6B-32k | 55.6 | 49.9 | | Vicuna-v1.5-7B-16k | 51.0 | 43.5 | | ChatGLM3-6B-32k | 57.66 | 54.76 | | Mamba\_1B4 | 44.33 | 41.86 | | Mamba\_2B8 | 39.53 | 24.38 | | Llama2-7B | 52.4 | 43.8 | | Mistral-7B | 70.64 | 59.7 | | **RWKV-6-World-1B6-v2.1** | 39.5 | 40.44 | | **RWKV-6-World-3B-v2.1** | 40.01 | 41.35 | | **RWKV-6-World-7b-v2.1-4k** | 73.84 | 54.1 | ### RWKV、Mamba 和 Llama2 的综合评分对比 | 模型 | Single DocQ | Few-shc | Summarization | Multi Doc QA | Code Completion | Syntetic | | --------------------------- | ----------- | ------- | ------------- | ------------ | --------------- | -------- | | **RWKV-6-World-1B6-v2.1** | 16.470 | 29.868 | 17.525 | 8.985 | 39.970 | 2.803 | | **RWKV-6-World-3B-v2.1** | 14.335 | 35.443 | 18.038 | 9.493 | 40.680 | 2.650 | | **RWKV-6-World-7b-v2.1-4k** | 36.788 | 54.203 | 23.550 | 19.385 | 63.970 | 31.240 | | Mamba\_1B4 | 7.758 | 25.973 | 10.595 | 7.438 | 43.095 | 2.527 | | Mamba\_2B8 | 5.548 | 17.605 | 11.718 | 7.838 | 31.955 | 1.980 | | Llama2-7B | 21.650 | 49.950 | 18.525 | 18.200 | 48.100 | 4.133 | | Mistral-7B | 17.538 | 52.833 | 19.013 | 9.205 | 65.17 | 10.100 | 评测数据来源：[https://github.com/Ojiyumm/LongBench\_RWKV](https://github.com/Ojiyumm/LongBench_RWKV) # AMD 硬件 import { Tab, Tabs } from 'fumadocs-ui/components/tabs' import { RadarChartComponent } from '../../../components-docs/radar-charts' import { HeatMap } from '../../../components-docs/heat-map' import { CallOut } from 'components-docs/call-out/call-out.tsx' RWKV 模型在 AMD 硬件上的推理性能，包括各类专业显卡、消费级显卡，甚至集成显卡。TPS 只在模型、量化、后端版本、驱动、操作系统和测试参数一致时适合直接比较。此页面的数据来自：[RWKV 推理性能测试指南](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test)，数据均由社区成员测试并报告。欢迎大家参照仓库的指引进行测试，并提交 AMD 硬件的推理性能数据。 ## AMD RX 7900 XTX | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :--------------------------------------------------------: | :-----------: | :---: | :-----------: | :----: | | [llama.cpp(Vulkan)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | fp16 | 41.55 | 5.75GB | | [llama.cpp(Vulkan)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | Q8\_0 | 42.85 | 3.47GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 106.00 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 137.36 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 151.64 | 2.4GB | 数据来源：[issue #5](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/5) | [issue #6](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/6) 测试环境： * CPU：AMD Ryzen 9 5950X * OS version: Ubuntu 25.04 @ Kernel: 6.14.0-23-generic * driver\_info: "radv Mesa 25.0.3-1ubuntu2" ## AMD Radeon RX 6750 GRE 12GB | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :--: | :-----------: | :---: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 48.69 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 70.79 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 74.98 | 2.4GB | 数据来源：[issue #26](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/26) 测试环境： * CPU：AMD Ryzen 5 3600 * OS: Windows11 Pro 25H2 * AMD Software:Adrenalin Edition 25.12.1 Vulkan ## AMD Radeon RX 6650 XT | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :--: | :-----------: | :---: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 37.71 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 52.88 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 66.69 | 2.4GB | 数据来源：[issue #25](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/25) 测试环境： * CPU：Intel(R) Core(TM) i7-10700F CPU @ 2.90GHz * Driver: 25.10.16.01 ## AMD Radeon PRO W7900 | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :--------------------------------------------------------: | :-----------: | :---: | :-----------: | :-----: | | [RWKV pip](https://pypi.org/project/rwkv/) | RWKV7-G1 2.9B | fp16 | 45.28 | 5.52 GB | | [llama.cpp(ROCm)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | fp16 | 48.71 | 5.75GB | | [llama.cpp(ROCm)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | Q8\_0 | 58.59 | 3.47GB | | [llama.cpp(Vulkan)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | fp16 | 39.49 | 5.75GB | | [llama.cpp(Vulkan)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | Q8\_0 | 45.21 | 3.47GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 61.62 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 79.46 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 89.76 | 2.4GB | 数据来源：[issue #9](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/9) | [issue #13](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/13) | [issue #14](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/14) 测试环境： * CPU：Intel I3 12100 * OS version: Ubuntu 24.04.2 LTS @ Kernel: 6.11.0-26-generic ## AMD Radeon Pro VII (Instinct MI50) | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :--: | :-----------: | :---: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | FP16 | 59.83 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | INT8 | 72.70 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | NF4 | 65.99 | 2.4GB | 数据来源：[issue #10](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/10) 测试环境： * CPU：AMD Ryzen 9 5900X * OS version: Windows 11 24H2 * AMD Software: PRO Edition25.5.1 Vulkan ## AMD RYZEN AI MAX+ 395w \[CPU] | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 内存用量 | | :-----------------------------------------------------: | :-----------: | :---: | :-----------: | :----------: | | [llama.cpp(CPU)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | fp16 | 14.10 | to-be-tested | | [llama.cpp(CPU)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | Q8\_0 | 22.42 | to-be-tested | 数据来源：[issue #18](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/18) 测试环境： * CPU：AMD RYZEN AI MAX+ 395w * OS version: Ubuntu 24.04.2 @ Kernel: Linux-6.14.0-24-generic * driver\_info: "Mesa 24.2.8-1ubuntu1 24.04.1" ## Radeon 8060S \[Integrated] | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :------------------------------------------------------: | :-------------------------------------------------------------------------------------------------------------------: | :---: | :-----------: | :-----: | | [RWKV pip](https://pypi.org/project/rwkv/) | RWKV7-G0 7.2B | fp16 | 9.49 | 13.47GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G0 7.2B | fp16 | 10.16 | 13.25GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G0 7.2B | int8 | 14.71 | 7.82GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G0 7.2B | nf4 | 26.09 | 4.85GB | | [RWKV pip](https://pypi.org/project/rwkv/) | RWKV7-G1 2.9B | fp16 | 17.57 | 5.52 GB | | [llama.cpp(ROCm)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | fp16 | 27.38 | 5.75GB | | [llama.cpp(ROCm)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | Q8\_0 | 43.10 | 3.47GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 31.29 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 51.56 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 77.71 | 2.4GB | 数据来源：[issue #16](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/16) | [issue #17](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/17) | [issue #18](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/18) 测试环境： * CPU：AMD RYZEN AI MAX+ 395w * OS version: Ubuntu 24.04.2 @ Kernel: Linux-6.14.0-24-generic * driver\_info: "Mesa 24.2.8-1ubuntu1\~24.04.1" ## AMD Radeon 780M \[Integrated] | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-------------------------------------------------------------------------------------------------------------------: | :--: | :-----------: | :-----: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G0 7.2B | fp16 | 5.80 | 13.26GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G0 7.2B | int8 | 10.26 | 7.8GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G0 7.2B | nf4 | 15.76 | 4.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 13.61 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 23.65 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 32.22 | 2.4GB | 数据来源：[issue #11](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/11) | [issue #12](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/12) | [issue #15](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/15) 测试环境： * CPU：AMD Ryzen 7 8845H (16) @ 5.61 GHz * OS version: Arch Linux x86\_64 @ Kernel: Linux 6.15.7-arch1-1 * driver\_info: "Mesa 25.1.6-arch1.1" ## AMD Radeon 610M \[Integrated] | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :--------------------------------------------------------: | :-----------: | :---: | :-----------: | :----: | | [llama.cpp(vulkan)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | fp16 | 6.12 | 5.75GB | | [llama.cpp(vulkan)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | Q8\_0 | 7.54 | 3.47GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 8.49 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 11.96 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 8.03 | 2.4GB | 数据来源：[issue #19](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/19) | [issue #20](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/20) 测试环境： * CPU：AMD Ryzen 9 9955HX 16-Core Processor * OS version: Ubuntu 25.04 @ Kernel: 6.14.0-15-generic * driver\_info: "Mesa 25.0.7-0ubuntu0.25.04.1" # 移动端和边缘设备 import { Tab, Tabs } from 'fumadocs-ui/components/tabs' import { RadarChartComponent } from '../../../components-docs/radar-charts' import { HeatMap } from '../../../components-docs/heat-map' import { CallOut } from 'components-docs/call-out/call-out.tsx' RWKV 模型在移动端和边缘设备的推理性能，包括高通、MTK Soc 和 RK3588 等各类嵌入式/边缘计算设备。移动端速度会受 SoC、散热状态、系统与驱动、运行后端、量化格式和测试时长影响，只有测试条件一致时才适合直接比较。 ## 高通骁龙 8 Gen3 在骁龙 8 Gen3（小米 14）上的性能表现： | Model | Precision | 每秒生成的 Token 数 | | ------------- | --------- | ------------- | | RWKV7-G1 2.9B | A16W4 | 31.3 | | RWKV7-G1 2.9B | A16W8 | 18.7 | ## 高通骁龙 8 Elite 在高通骁龙 8 Elite (小米 15) 上的性能表现： | Model | Precision | 每秒生成的 Token 数 | | ------------- | --------- | ------------- | | RWKV7-G1 2.9B | A16W4 | 30.26 | | RWKV7-G1 2.9B | A16W8 | 19.34 | {/* ## MTK 联发科天玑 9300 RWKV 模型在天玑 9300 上的性能表现： | Model | Precision | 每秒生成的 Token 数 | | ------------ | --------- | ------------------- | | RWKV v6 1.6B | fp16i8 | 26.2743 | | RWKV v6 3B | fp16i8 | 13.0599 | 3.89911，71.2206% | | RWKV v6 7B | fp16i8 | out of memory | TODO | */} **表格中的参数解释：** * Precision：代表不同量化策略或计算精度。 * a16：激活值被量化为 16 位(int16) * w8/w4：权重（weights）被量化为 8 位/4 位（per-channel 线性量化） ## Rockchip RK3588 | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :------------------------------------------------------: | :-----------: | :---: | :-----------: | :------------------------------------------------------------------------------------------------------------------: | | [llama.cpp(BLAS)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | F16 | 3.62 | \~6.5GB 系统内存 | | [llama.cpp(BLAS)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | Q8\_0 | 5.67 | \~3.9GB 系统内存 | | [RKNN-LLM(NPU)](https://github.com/airockchip/rknn-llm) | RWKV7-G1 2.9B | FP16 | 4.04 | 5.49GB | | [RKNN-LLM(NPU)](https://github.com/airockchip/rknn-llm) | RWKV7-G1 2.9B | W8A8 | 6.58 | 2.80GB | 数据来源：[issue #7](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/7) 测试环境： * CPU：Rockchip RK3588 * OS version: Armbian 25.5.2 noble on Radxa ROCK 5B # NVIDIA 硬件 import { Tab, Tabs } from 'fumadocs-ui/components/tabs' import { RadarChartComponent } from 'components-docs/radar-charts' import { HeatMap } from 'components-docs/heat-map' import { CallOut } from 'components-docs/call-out/call-out.tsx' RWKV 模型在 NVIDIA 硬件上的推理性能。TPS 只在模型、精度、推理后端、工作负载和测试环境一致时适合直接比较。此页面的数据来自：[RWKV 推理性能测试指南](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test)，数据均由社区成员测试并报告。欢迎大家参照仓库的指引进行测试，并提交 NVIDIA 硬件的性能数据。 ## NVIDIA RTX 5090 ### Albatross：RWKV-7 G1f 7.2B 以下结果来自 [Albatross `faster3a_2607`](https://github.com/BlinkDL/Albatross/tree/main/faster3a_2607)，测试使用 RWKV-7 G1f 7.2B、FP16 模型和单张 RTX 5090。表中的吞吐量为上游测试记录的 p50 结果。 | 工作负载 | 批量大小（B） | 序列长度（T） | 吞吐量（p50） | | ------ | ------: | ------: | ----------------: | | B1T1 | 1 | 1 | 145.80 token/s | | B256T1 | 256 | 1 | 13,134.48 token/s | | B16T16 | 16 | 16 | 17,343.98 token/s | B1T1 最接近单路逐 token 生成；B256T1 和 B16T16 测量的是不同批量与序列形状下的总吞吐量，不能与 B1T1 当作同一种工作负载直接比较。 ### 较早的 RWKV7-G1 2.9B 测试以下数据来自较早的官方测试记录，数值已经验证，但模型和推理后端与上方 Albatross 测试不同，仅作为历史性能参考。 | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :------------------------------------------------: | :-----------: | :--: | :-----------: | :-----: | | [RWKV pip](https://pypi.org/project/rwkv/) | RWKV7-G1 2.9B | fp16 | 39.55 TPS | 5.52 GB | | [llama.cpp](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | fp16 | 84 TPS | 5.52 GB | 测试环境： * CPU：AMD EPYC 7302 * GPU：NVIDIA GeForce RTX 5090 ## NVIDIA RTX 4090 RWKV 模型在 NVIDIA RTX 4090 上的性能表现： | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :------------------------------------------------------: | :-----------: | :---: | :-----------: | :-----: | | [RWKV pip](https://pypi.org/project/rwkv/) | RWKV7-G1 2.9B | fp16 | 56.18 | 5.52 GB | | [llama.cpp(CUDA)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | fp16 | 89.16 | 5.75GB | | [llama.cpp(CUDA)](https://github.com/ggml-org/llama.cpp) | RWKV7-G1 2.9B | Q8\_0 | 110.3 | 3.47GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 95.98 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 108.22 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 115.46 | 2.4GB | 数据来源：[issue #3](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/3) 测试环境： * CPU：Intel(R) Xeon(R) Platinum 8331C * OS: ubuntu 22.04 Linux-6.8.0-60-generic-x86\_64-with-glibc2.35 * python\_version: 3.10.16 * pytorch\_version: 2.5.1+cu121 ## NVIDIA RTX 4080 RWKV 模型在 NVIDIA RTX 4080 上的性能表现： | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :--: | :-----------: | :---: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 76.99 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 95.92 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 105.05 | 2.4GB | 数据来源：[issue #21](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/21) 测试环境： * CPU：12th Gen Intel(R) Core(TM) i7-12700 * OS: Windows 11 Professional edition 24H2-26100.4652 * driver version: 560.94 ## NVIDIA RTX 4060Ti 8GB RWKV 模型在 NVIDIA RTX 4060Ti 8GB 上的性能表现： | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :--: | :-----------: | :-----: | | [RWKV pip](https://pypi.org/project/rwkv/) | RWKV7-G1 2.9B | fp16 | 36.61 | 5.52 GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 43.92 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 62.93 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 86.03 | 2.4GB | 数据来源：[issue #1](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/1) 测试环境： * CPU：Intel i7-13700F * OS version: Windows10 专业版 * driver version: 576.02 * CUDA version: 12.9 ## NVIDIA RTX 4060 Laptop | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-------------------------------------------------------------------------------------------------------------------: | :--: | :-----------: | :---: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G0 7.2B | nf4 | 40.30 | 5.1GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 40.98 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 60.21 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 77.26 | 2.4GB | 数据来源：[issue #15](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/15) 测试环境： * CPU：AMD Ryzen 7 8845H (16) @ 5.61 GHz * OS version: Arch Linux x86\_64 @ Kernel: Linux 6.15.7-arch1-1 * driver version: 575.64.05 ## NVIDIA GeForce RTX 2080 Ti | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :--: | :-----------: | :---: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 67.74 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 87.35 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 96.73 | 2.4GB | 数据来源：[issue #27](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/27) 测试环境： * CPU：13th Gen Intel(R) Core(TM) I5-13400TE * OS: Windows 11 PRO 25H2 * CUDA:13.1 * Driver version:591.86 ## NVIDIA Tesla P100-PCIE-16GB | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :--: | :-----------: | :---: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 61.90 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 67.25 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 55.21 | 2.4GB | 数据来源：[issue #24](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/24) 测试环境： * CPU：AMD Ryzen 5 7600X * OS:Windows11 PRO 24H2 * driver version:551.78 * CUDA Version:12.4 ## NVIDIA CMP 40HX 8GB | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :--: | :-----------: | :---: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 68.89 | 5.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 78.78 | 3.9GB | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 80.23 | 2.4GB | 数据来源：[issue #23](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/23) 测试环境： * CPU：AMD Ryzen 7 5700G * OS version: Windows11 PRO 24H2 * driver version: DCH-581.57 * CUDA version: 13.0 # Apple 和其他硬件 import { CallOut } from 'components-docs/call-out/call-out.tsx' import { Tab, Tabs } from 'fumadocs-ui/components/tabs' import { RadarChartComponent } from '../../../components-docs/radar-charts' import { HeatMap } from '../../../components-docs/heat-map' RWKV 在 Apple Silicon 和摩尔线程等其他硬件上的推理性能，包括 Apple Silicon、MTT-S4000 等硬件。不同运行时、量化方式、线程数和测试脚本的 TPS 不适合直接横向比较。 ## Apple M2 8-core RWKV 模型在 Apple M2 8-core 上的性能表现： | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :---: | :-----------: | :--: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 14.75 | - | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 23.21 | - | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 21.65 | - | | llama.cpp (Metal,BLAS,4 threads) | RWKV7-G1 2.9B | fp16 | 11.26 | - | | llama.cpp (Metal,BLAS,4 threads) | RWKV7-G1 2.9B | Q8\_0 | 18.24 | - | | llama.cpp (Metal,BLAS,4 threads) | RWKV7-G1 2.9B | Q4\_K | 25.92 | - | 数据来源：[issue #22](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/22) ## M4 Pro 12-core RWKV 模型在 Apple M4 Pro 12-core 上的性能表现： | 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 | | :---------------------------------------------: | :-----------: | :---: | :-----------: | :--: | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | fp16 | 33.98 | - | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | int8 | 47.70 | - | | [web-rwkv](https://github.com/cryscan/web-rwkv) | RWKV7-G1 2.9B | nf4 | 32.95 | - | | llama.cpp (Metal,BLAS,8 threads) | RWKV7-G1 2.9B | fp16 | 32.08 | - | | llama.cpp (Metal,BLAS,8 threads) | RWKV7-G1 2.9B | Q8\_0 | 46.20 | - | | llama.cpp (Metal,BLAS,8 threads) | RWKV7-G1 2.9B | Q4\_K | 56.60 | - | 数据来源：[issue #22](https://github.com/RWKV-Vibe/RWKV-Inference-Performance-Test/issues/22) ## 摩尔线程 MTT-S4000（历史 RWKV-6 数据）以下数据有多次交叉验证，但对应的是 RWKV-6 和当时的软件环境，因此仅作为历史性能参考。 RWKV 模型在摩尔线程 MTT-S4000 上的性能表现： | Model | Precision | 每秒生成的 Token 数 | 显存用量（GB） | | :-------------: | :-------: | :-----------: | :-------: | | RWKV-6-1B6-v2.1 | fp16 | 57.31 | 3.42 | | RWKV-6-1B6-v2.1 | fp32 | 30.45 | 6.30 | | RWKV-6-3B-v2.1 | fp16 | 36.09 | 6.27 | | RWKV-6-3B-v2.1 | fp32 | 30.03 | 11.99 | | RWKV-6-7B-v2.1 | fp16 | 30.39 | 14.43 | | RWKV-6-7B-v2.1 | fp32 | 16.62 | 28.71 | | RWKV-6-14B-v2.1 | fp16 | 16.19 | 26.57 | 表格中的参数解释： * Model：代表不同参数量的 RWKV-6 模型。 * Precision：代表不同量化策略或计算精度。 # RWKV 提示词示例 import { CallOut } from 'components-docs/call-out/call-out.tsx' 本页按使用方式收录经过复测的 prompt 示例。示例面向 RWKV7-G1i 系列，并使用 7.2B 模型验证；使用其他模型规格或调整参数时，生成结果可能不同。 | 模式 | 如何使用 | | ---- | ------------------------------------ | | 聊天模式 | 在聊天界面中直接发送任务内容，由工具补全聊天模板。 | | 续写模式 | 将包含任务说明、输入内容和续写起点的完整 prompt 粘贴到续写界面。 | ## 聊天模式聊天示例适合直接粘贴到 RWKV Runner、Ai00 等推理工具的聊天文本框中。 ### ⭐ 生成或修改代码建议的参数：Temperature = 1、Top\_P = 0.3、Presence Penalty = 0、Frequency Penalty = 1 **分析并修改简单代码** **输入 prompts：** ```markdown 请阅读以下 Python 代码，说明它的用途、三个变量的数值、总数的计算结果和程序会输出什么： ming_apples = 7 leo_apples = 6 blink_apples = 85 total_apples = ming_apples + leo_apples + blink_apples print("Ming has", ming_apples, "apples.") print("Leo has", leo_apples, "apples.") print("Blink has", blink_apples, "apples.") print("Total apples for all: ", total_apples) ``` **参考输出：** ````markdown 这段Python代码展示了三个人（Ming、Leo和Blink）拥有的苹果数量及其总和。具体来说： 1. **定义变量**： - `ming_apples = 7` 表示Ming拥有7个苹果。 - `leo_apples = 6` 表示Leo拥有6个苹果。 - `blink_apples = 85` 表示Blink拥有85个苹果。 2. **计算总数**： - `total_apples = ming_apples + leo_apples + blink_apples` 计算三人共同拥有的苹果总数： \[ 7 + 6 + 85 = 98 \] - 结果存储在变量`total_apples`中。 3. **打印信息**： - 使用 `print` 的多个参数输出每个人的苹果数量： ```python print("Ming has", ming_apples, "apples.") print("Leo has", leo_apples, "apples.") print("Blink has", blink_apples, "apples.") ``` - 打印总共拥有的苹果数： ```python print("Total apples for all: ", total_apples) ``` - 运行后会输出： ```text Ming has 7 apples. Leo has 6 apples. Blink has 85 apples. Total apples for all: 98 ``` **总结**：代码展示了三人各自拥有的苹果数量及其总和，便于直观理解每个人持有多少苹果。 ```` **继续输入 prompts：** ```markdown 请将程序中Ming的苹果数改为80，并提供修改后的代码。 ``` **参考输出：** ````markdown ```python ming_apples = 80 # 将Ming拥有的苹果数从7改为80 leo_apples = 6 # Leo拥有6个苹果不变 blink_apples = 85 # Blink拥有85个苹果不变 total_apples = ming_apples + leo_apples + blink_apples # 计算总共拥有的苹果数 print("Ming has", ming_apples, "apples.") # Ming拥有80个苹果 print("Leo has", leo_apples, "apples.") # Leo拥有6个苹果不变 print("Blink has", blink_apples, "apples.") # Blink拥有85个苹果不变 print("Total apples for all: ", total_apples) # 总共拥有171个苹果（80+6+85） ``` ```` ### ⭐ 撰写线上技术分享会策划案建议的参数：Temperature = 1.2、Top\_P = 0.5、Presence Penalty = 0、Frequency Penalty = 1 **输入 prompts:** ```markdown 策划一个面向前端开发者的线上技术分享会，主题为“现代前端框架的新趋势”，方案需包括活动目标、议程安排、嘉宾邀请、宣传渠道和预期效果。活动必须完全在线举行。议程固定为：开场 5 分钟、趋势分享 25 分钟、技术演示 20 分钟、实战分享 20 分钟、问答 15 分钟、总结 5 分钟，总计 90 分钟，不要增删环节或改动时长。嘉宾邀请只写所需岗位和能力，不添加姓名、组织、账号或虚构履历数据。 ``` **参考输出：** ```markdown ### 活动目标 1. 帮助前端开发者了解现代前端框架的演进方向。 2. 通过演示和项目经验说明框架选型与落地方法。 3. 集中回答参与者在升级、性能和工程化方面的问题。 ### 议程安排 | 时间 | 环节 | 内容 | | --- | --- | --- | | 00:00–00:05 | 开场 | 介绍主题、线上参与方式和议程 | | 00:05–00:30 | 趋势分享 | 梳理框架设计、工具链和生态变化 | | 00:30–00:50 | 技术演示 | 展示一项新特性及其使用边界 | | 00:50–01:10 | 实战分享 | 讲解项目选型、迁移或性能优化经验 | | 01:10–01:25 | 问答 | 回答参与者提交的问题 | | 01:25–01:30 | 总结 | 回顾重点并提供后续资料 | ### 嘉宾邀请 - **前端架构师**：能解释框架选型、架构取舍和迁移风险。 - **项目实践工程师**：能演示真实开发流程，并总结常见问题。 - **技术主持人**：能控制线上节奏、整理问题并引导讨论。 ### 宣传渠道 - 活动报名页和主办方网站 - 开发者社区、技术社群和邮件列表 - 活动开始前的提醒邮件与线上直播预告 ### 预期效果 - 参与者能够区分趋势、适用场景和主要取舍。 - 问答环节收集可继续整理的实际问题。 - 活动后可发布回放、示例代码和资料索引。 ``` ### ⭐ 生活贴士-除去冰箱异味建议的参数：Temperature = 1、Top\_P = 0.3、Presence Penalty = 0、Frequency Penalty = 1 **输入 prompts** ```markdown 请给出一份不超过 300 个中文字符、适合普通家庭执行的冰箱除味指南。未提供具体型号说明书，因此只建议断电、移出食物、丢弃变质食物，并用软布和说明书允许的温水或中性清洁剂清洁后擦干。不要推荐小苏打、白醋、柠檬、活性炭、香料或其他自制除味剂，也不要建议混用清洁剂或自行拆卸内部部件。 ``` **参考输出** ```markdown 1. 将仍可食用的食物转移到另一台冰箱或保冷箱，然后拔掉冰箱电源。 2. 检查并丢弃已经过期或变质的食物，清除可见的残渣。 3. 用软布蘸取说明书允许的温水或中性清洁剂，擦拭冰箱内壁和可见区域，然后彻底擦干。 4. 如果清洁后仍有异味，联系售后检查。不要混用清洁剂、使用自制除味剂或自行拆卸内部部件。 ``` ### ⭐ 厨房帮手-麻婆豆腐的做法建议的参数：Temperature = 1、Top\_P = 0.3、Presence Penalty = 0、Frequency Penalty = 1 **输入 prompts** ```markdown 请给出麻婆豆腐的材料、步骤和安全注意事项。肉末需要充分加热；需要加水或高汤时，应先转小火并沿锅边缓慢加入，不要把水直接倒入大量热油；剩菜应及时冷藏并彻底再热。不要只用肉末是否变色判断熟度。 ``` **参考输出** ```markdown 材料： - 嫩豆腐 300 克、牛肉末或猪肉末 100 克 - 豆瓣酱、豆豉、姜末、蒜末、花椒粉适量 - 食用油、水或高汤、水淀粉适量步骤： 1. 豆腐切块，姜、蒜和豆豉切碎备用。 2. 锅中放少量油，炒香姜蒜、豆瓣酱和豆豉。 3. 加入肉末并充分加热；不要只凭颜色判断是否熟透，有条件时按当地食品安全建议使用食物温度计确认。 4. 先转小火，确认锅内没有大量热油，再沿锅边缓慢加入水或高汤。 5. 放入豆腐，小火煮至入味，最后用水淀粉勾芡并撒上花椒粉。注意事项： 1. 不要把水直接倒入大量热油，以免飞溅烫伤。 2. 肉末必须充分加热，不能只用是否变色判断熟度。 3. 吃不完的麻婆豆腐应及时分装冷藏，再次食用前彻底加热。 ``` ## 续写模式续写示例需要保留代码块中的完整结构，包括末尾的 `Response:`、`English:` 等续写起点。 **结构化任务** 在执行材料提取、总结等任务时，可以保持 Temperature = 1，并将 Top\_P 调低到 0.1，减少输出的随机性。 ### ⭐ 提取对话信息并输出 JSON 信息提取是纯机械任务，建议的参数：Temperature 设为 1 ，Top\_P、Presence Penalty、Frequency Penalty 都设为 0 **输入 prompts:** ```bash Instruction: You are an expert assistant for summarizing and extracting insights from sales call transcripts. Generate a valid JSON in the following format: { "summary": "Summary of the call transcript. ", "products": ["product 1", "product 2"], "rep_name": "Name of the sales rep", "prospect_name": "Name of the prospect", "action_items": ["Owner: action item 1", "Owner: action item 2"] } The action_items array must include every explicitly agreed next step and name the responsible person. Do not claim that a meeting has already been scheduled when the transcript only says it will be arranged. Output JSON only, without a Markdown code fence or explanation. Input: [Phone rings] Peter: Hello, this is Peter. Sarah: Hi Peter, this is Sarah from XYZ Company. I'm calling to discuss our new product, the XYZ Widget, and see if it might be a good fit for your business. Peter: Hi Sarah, thanks for reaching out. I'm definitely interested in learning more about the XYZ Widget. Can you give me a quick overview of what it does? Sarah: Of course! The XYZ Widget is a cutting-edge tool that helps businesses streamline their workflow and improve productivity. Peter: That sounds really interesting. I can see how that could benefit our team. Do you have any case studies or success stories from other companies who have used the XYZ Widget? Sarah: Absolutely, we have several case studies that I can share with you. I'll send those over along with some additional information about the product. No demo has been scheduled yet. Peter: That would be great. I'll review the case studies after you send them. Sarah: Our next steps are: I will send the case studies and additional information, you will review them, and then I will follow up to arrange a demo. In the meantime, feel free to reach out if you have any questions. Peter: Sounds good, I appreciate your help Sarah. I'm looking forward to learning more about the XYZ Widget and seeing how it can benefit our business. Sarah: Thank you, Peter. Peter: You too, bye. Response: ``` **参考输出：** ```bash { "summary": "Peter is interested in the XYZ Widget. Sarah will send case studies and additional information, Peter will review them, and Sarah will then follow up to arrange a demo. No demo has been scheduled yet.", "products": ["XYZ Widget"], "rep_name": "Sarah", "prospect_name": "Peter", "action_items": [ "Sarah will send case studies and additional information.", "Peter will review the materials.", "Sarah will follow up to arrange a demo after Peter reviews them." ] } ``` *** ### ⭐ 总结新闻关键词并输出 JSON 材料总结是结构化任务，建议的参数：Temperature = 1、Top\_P = 0.1、Presence Penalty = 0、Frequency Penalty = 0 此 prompt 使用了 [few-shot 技巧](./Prompt-Format#Few-Shot)，为模型提供示范。 **输入 prompt:** ```bash Instruction: 仅依据给定材料提取关键词，不补充或核验材料中的新闻事实。每次只输出合法 JSON，且只能包含 `keywords` 一个字段。`keywords` 必须是 4 个互不重复的字符串，并依次覆盖“需求方、服务提供方、核心技术、主要供应问题”，不要使用“经济”“市场”“科技”等过宽的词。 User: 公安部今年以来在全国各地共收缴枪支4万支，全国持枪、爆炸犯罪案件同比下降1%。 Assistant: {"keywords": ["公安部", "枪支收缴", "持枪犯罪", "爆炸犯罪"]} User: 板块方面，春节即将来临，文旅板块再度涌现潜伏盘，丽江股份、九华旅游双双封板，三特索道、峨眉山A涨超5%。因高股息开始受关注的公路股继续悄悄发育，山西路桥涨停，山东高速涨超4%创历史新高，宁沪高速、粤高速A双双新高。 Assistant: {"keywords": ["春节文旅", "丽江股份", "公路股", "高股息"]} User: 据UDN报道，由于先进封装产能长期短缺，导致英伟达AI芯片供应紧张，之前已经寻求其他途径试图增加先进封装产能，现在已经将目光投向英特尔，作为其高级封装服务的提供商，以减缓紧张的供应形势。除了在美国，英特尔在马来西亚槟城也有封装设施，而且制定了一个开放的模式，允许客户单独利用其封装解决方案。预计英特尔最早会在今年第二季度开始向英伟达提供先进封装，月产能为5000片晶圆。台积电依然会是英伟达主要的封装合作伙伴，占据着最多的份额，不过随着英特尔的加入，使得英伟达所需要的封装总产能大幅度提升了近10%。台积电也没有减慢封装产能的扩张步伐，今年第一季度大概能增至月产能接近5万片晶圆，比去年12月增长25%。AI芯片供应短缺主要源自先进封装产能不足，另外HBM3供应紧张也是原因之一，另外部分云端服务商过度下单也增加了供应链的压力。当然，一些服务器供应商则从这些订单中受惠，并加速扩大产能，以便云端服务商能快速部署设备。 Assistant: ``` **参考输出：** ```json { "keywords": ["英伟达", "英特尔", "先进封装", "HBM3"] } ``` **日常问答** ### ⭐ 多语言互相翻译在执行翻译任务时，可以通过降低 Top\_P 减少输出差异。建议的参数：Temperature = 1、Top\_P = 0.1、Presence Penalty = 0、Frequency Penalty = 1 **输入 prompts:** ```bash Japanese: 春の初め、桜の花が満開になる頃、小さな町の片隅にある古びた神社の境内は、特別な雰囲気に包まれていた。 English: ``` **参考输出：** ```bash At the beginning of spring, when the cherry blossoms were in full bloom, the grounds of an old shrine tucked away in a corner of a small town were enveloped in a special atmosphere. ``` 可以将“Japanese” 和 “English” 修改成其他语言，实现国际语言的翻译，例如： **输入 prompts:** ```bash Instruction: Translate the English sentence into natural Spanish. Translate "cherry blossoms" as "flores de cerezo", not the fruit. Preserve every detail and output only the continuation of the Spanish sentence. English: In the early spring, when the cherry blossoms were in full bloom, a small shrine in a remote corner of a town was enveloped in an atmosphere of special charm. Spanish: A principios ``` **拼接后的完整结果：** ```bash A principios de la primavera, cuando las flores de cerezo estaban en plena floración, un pequeño santuario en un rincón remoto de un pueblo estaba envuelto en un ambiente de encanto especial. ``` ### ⭐ 根据标题撰写视频文案在执行创造类型任务时，可以通过适当增大 Temperature 和 Top\_P 两项参数，提高回答的创意。比如 : Temperature = 1 ，Top\_P = 0.3 **输入 prompts:** ```bash Instruction: 根据标题写一段面向首次使用者的中文视频口播稿，长度为 220 至 350 个中文字符。按“注册后核对账号信息—根据后台实际可见项配置基础功能—发布一条测试内容并预览—查看反馈数据”的顺序展开。不同账号可用的菜单、自动回复等能力可能不同，因此不要编造具体后台路径，也不要承诺所有账号具有相同功能。不要承诺涨粉或商业收益，只输出完整口播稿。 Input: 新手必须知道的微信公众号基础功能搭建方法 Response: ``` **参考输出：** ```bash 大家好，今天用四步完成微信公众号的基础检查。第一步，注册后登录后台，核对账号名称、头像、简介和主体信息，发现不一致先确认可修改范围。第二步，只根据后台当前实际可见的设置配置基础功能；菜单、自动回复等能力会随账号类型不同，以自己的页面为准。第三步，发布一条简短测试内容并先发送预览，检查标题、封面、正文排版和链接在手机上的显示，确认无误后再正式发布。第四步，回到后台查看实际提供的阅读、互动等反馈数据，记录内容表现和用户反馈，再据此调整下一次发布。先走通这套最小流程，再逐步增加功能，排查问题会更容易。 ``` **自然语言处理** 在执行自然语言处理任务时，可以保持 Temperature = 1，并将 Top\_P 调低到 0.1，使标签和结构化输出更稳定。 ### ⭐ 自然语言处理（情感分类） #### 1. 用户评论情感分析 **输入 prompts:** ```bash Instruction: 请判断下面句子的情感倾向，情感类型包括: 负向、正向。请直接输出类型名称，不要额外输出多余内容。 Input: 服务和环境都不错…… Response: ``` **参考输出：** ``` 正向 ``` *** #### 2. 外卖评论情感分析 **输入 prompts:** ```bash Instruction: 对中文外卖应用客户评价进行情感分类，0 为消极，1 为积极。只输出 0 或 1，不要输出解释。 Input: 粉送來的時候已經「斷」完了，跟米飯一樣，唉，有些失望? Response: ``` **参考输出：** ``` 0 ``` *** #### 3. 电商产品评论情感分析 **输入 prompts:** ```bash Instruction: 请分析给定评论属于正面评论还是负面评论。 Input: 物流很快，早上下单，下午就到了。包装也很高档。就是耳机音质很差，煲了一百多小时，音质和同事的一百多元的耳机差不多，1580元买这耳机亏大了。 Response: ``` **参考输出：** ``` 负面评论 ``` ### ⭐ 自然语言处理（相似度分类） **输入 prompts:** ```bash Instruction: 请判断下面两句话在语义上是否相似。请直接输出“是”或“否”，不要额外输出多余内容。 Input: 句子1：剧烈运动后咯血,是怎么了? 句子2：剧烈运动后为什么会咯血？ Response: ``` **参考输出：** ``` 是 ``` ### ⭐ 根据餐饮评价进行打分 **输入 prompts:** ```bash Instruction: 根据餐厅评价给出 1 至 5 星评分，只输出一个整数。1 星表示强烈负面，2 星表示负面为主但有少量优点，3 星表示褒贬大致相当，4 星表示整体正面但存在较明显的问题，5 星表示整体高度正面且只有轻微不便。 Input: 状元楼饭店第一次去，因为地理位置优越，装修中式，菜是地道的宁波菜，口味纯正，醉泥螺特别棒，吃到了小时候的味道。因为去晚了，在大堂等了一会儿，期间有茶水喝，服务员还会聊天。就餐时生意很好，服务员一直忙碌，但服务态度绝对不打折，样样服务到位，点酒水时还耐心解释。整体体验值得夸赞。 Response: ``` **参考输出：** ``` 5 ``` ### ⭐ 自然语言处理（情感倾向分类） **输入 prompts:** ```bash Instruction: 请判断给定中文文本的情感倾向是积极、消极还是中性。只输出类别名称，不要解释。 Input: 这次退款拖了两个月，客服始终没有解决问题，我对此非常失望。 Response: ``` **参考输出：** ``` 消极 ``` ### ⭐ 自然语言处理（机器阅读理解） **输入 prompts:** ```bash Instruction: 请首先阅读以下文本信息，然后回答问题。问题的答案应该在文本中能找到，是一句话的形式。 Input: 文本：材料列出的《战国无双3》开发名称是光荣和 ω-Force。本作属于《战国无双》系列，并包含多个故事和战场。问题：文中列出了哪两个开发名称？ Response: ``` **参考输出：** ``` 文中列出的开发名称是光荣和 ω-Force。 ``` ### ⭐ 自然语言处理（触发词识别） **输入 prompts:** ```bash Instruction: 请从下面的文本中识别“解除质押”事件的触发词，只输出合法 JSON，格式为 {"TRIGGERS": ["触发词"]}。 Input: text:<万讯自控发布公告称，股东傅宇晨已解除部分股份质押。> Response: ``` **参考输出：** ``` {"TRIGGERS": ["解除"]} ``` ### ⭐ 自然语言处理（理解对话问答） **输入 prompts:** ```bash Instruction: 根据男和女的对话，以及问题，从选项中选出答案。只输出合法 JSON，格式为 {"答案": "选项"}，不要解释。 Input: { "对话": [ "男：你今天晚上有时间吗？我们一起去看电影吧？", "女：你喜欢恐怖片和爱情片，但是我喜欢喜剧片，科幻片一般。" ], "问题": "女的最喜欢哪种电影？", "选项": ["恐怖片", "爱情片", "喜剧片", "科幻片"] } Response: ``` **参考输出：** ``` {"答案": "喜剧片"} ``` ### ⭐ 自然语言处理（文本主题分类） **输入 prompts:** ```bash Instruction: 请判断下面的句子属于哪个类别，类别包括文化、娱乐、体育、财经、房产、汽车、教育、科技、军事、旅游、国际、证券、农业、电竞、民生。请直接输出类别，不要额外输出多余内容。 Input: 国家统计局公布居民消费价格指数和社会消费品零售总额的最新变化。 Response: ``` **参考输出：** ``` 财经 ``` # RWKV 的提示词格式 import { CallOut } from 'components-docs/call-out/call-out.tsx' import { Tab, Tabs } from 'fumadocs-ui/components/tabs' import { LinkCard } from 'components-docs/link-card/link-card.tsx' **RWKV 是 RNN 的变体。出于架构原理，RWKV 对提示词的格式比 Transformer 更敏感。** RWKV 更适合 QA 和指令问答两种提示格式： ## QA 格式 prompt QA（问答）格式是 RWKV 的默认训练格式。其中 `User:` 是用户提问的问题，`Assistant:` 是模型的回答。因此我们需要在**最后一个** `Assistant:` 后面留空，让模型进行续写。 ```bash User: 将下面的英语翻译成中文：RWKV (pronounced RwaKuv) is an RNN with great LLM performance and parallelizable like a Transformer. Assistant: ```bash User: 将下面的英语翻译成中文：RWKV (pronounced RwaKuv) is an RNN with great LLM performance and parallelizable like a Transformer. Assistant: 快思考模式直接闭合 ` ## 指令问答格式 prompt ```bash Instruction: 请将下列英语翻译成中文 Input: RWKV (pronounced RwaKuv) is an RNN with great LLM performance and parallelizable like a Transformer. Response: ``` 指令问答是 RWKV 另一种训练格式。其中 `Instruction:` 是用户给模型的指令，`Input:` 是用户给模型的输入，`Response:` 是模型的回答。 `Response:` 后面留空，让模型进行续写。 ```bash Instruction: 以json格式总结下面的材料文本，包含date/location/title Input: 2025 年 2 月 22 日，RWKV project 在中国上海漕河泾举办了主题为《RWKV-7 与未来趋势》的开发者大会。来自全国各地的开发者、行业专家和技术创新者齐聚一堂 —— 从知名高校实验室到前沿创业团队，现场涌动的创新能量印证了 RWKV-7 的优秀性能和深远意义。 Response: ``` 参考的回复： ```json { "date": "2025年2月22日", "location": "中国上海漕河泾", "title": "RWKV-7 与未来趋势开发者大会" } ``` ## 材料问答格式推荐使用以下材料问答格式： ```markdown User:\n材料：\n{context}\n问题：{question}\n只根据下文回答；没有就答null。\n\nAssistant: {"answer": User:\n下文：\n{context}\n问题：{question}\n只写材料中的答案；没有就答null。\n\nAssistant: {"answer": User:\n材料：\n{context}\n问题：{question}\n只回答材料中的答案；没有就答null。\n\nAssistant: {"answer": User:\n下文：\n{context}\n根据上文回答：{question}\n只根据上文回答；没有就答null。\n\nAssistant: {"answer": ``` 可以根据具体的材料内容，修改问题和限制条件。例如： ```markdown User: 材料： # 下载最新的 MiniConda 安装包 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # 运行 MiniConda 安装包的安装脚本，安装期间一定要注意进展，及时输入 yes ！ sh Miniconda3-latest-Linux-x86_64.sh -u # 重启环境变量，激活 Conda 环境 source ~/.bashrc # 创建名为 rwkv-lm-v7 的 conda 环境, 并指定 python 版本为 3.12 conda create -n rwkv-lm-v7 python=3.12 # 激活 rwkv 环境 conda activate rwkv-lm-v7 问题：用中文简单解释这段材料的含义只写答案，不解释。 Assistant: {"answer": ``` 在 [web demo](https://www.modelscope.cn/studios/BlinkDL/RWKV-CHN-2) 中并发 16 路测试： RWKV7-G1 Prompt

推荐参数： Temperature=1、Topp=0.2、Penalty 参数调整为 0。 ## few-shot 对于一些带上下文的问答任务，我们建议在 prompt 中重复几个同类的问题为模型作示范，这种技巧被称为 few-shot。举个例子：直接使用以下 prompt 进行续写时，模型生成的回复缺乏明显的风格特征： ```bash User: 请你帮我给以下句子写广告词：这是一款新的笔记本，很轻，电池能用很久。 Assistant: ``` 参考的模型回复： ```bash 这款笔记本轻巧便携，让你随时随地畅享移动办公。同时，它的电池续航能力惊人，让你不用担心频繁充电的烦恼。无论是学习、工作还是娱乐，这款笔记本都能满足你的需求。快来体验它吧！ ``` 使用下面的 few-shot prompt 进行续写时，模型能够从上下文中学习到具有鲜明风格特征的前文信息，从而生成带有明显风格特色的广告词： ```bash User: 请你帮我给以下句子写广告词：这是一款手冲咖啡壶，玻璃材质，可以过滤咖啡。 Assistant: 告别速溶，只需3分钟，在家复刻咖啡馆级的风味。高透玻璃壶身，亲眼见证每一滴香醇的萃取。用一个清晨的仪式感，唤醒一整天的活力。 User: 请你帮我给以下句子写广告词：我们新出了一门口语课，教你怎么跟外国人聊天。 Assistant: 还在对着屏幕说“Hello, how are you?” 别让你的口语停留在课本里！我们的课程带你走进真实对话场景，从点餐到侃大山，让你自信开口，像本地人一样聊天！ User: 请你帮我给以下句子写广告词：这是一款新的笔记本，很轻，电池能用很久。 Assistant: ``` 参考的回复： ```bash 轻盈如羽，电池如海。这款笔记本让你随时随地畅游数字世界，无需担心续航问题。 ``` ## function call 请使用最新的 RWKV-7 G1x 模型。其他模型即使套用相同提示词，也不具备可靠的 Function Call 能力。工具定义必须放在 `System: Tools:` 后，并明确要求模型只返回 JSON 函数调用。 ````text System: Tools: - get_weather(location: string, unit?: "celsius" | "fahrenheit") - get_stock_price(ticker: string) - translate_text(text: string, target_language: string) Return only a JSON function call. User: Translate "Will it rain tomorrow?" into Japanese. Assistant: ```json ```` ````text System: Tools: [ {"name":"find_free_slots","description":"Find free calendar slots","arguments":{"date":{"type":"string"},"duration_minutes":{"type":"integer"},"time_window":{"type":"string"}}}, {"name":"create_calendar_event","description":"Create a calendar event","arguments":{"title":{"type":"string"},"start_time":{"type":"string"},"end_time":{"type":"string"},"attendees":{"type":"array","items":{"type":"string"}}}} ] Return only a JSON function call. User: Schedule a 30-minute sync with Bob on 2026-05-08 afternoon. Assistant: ```json {"name":"find_free_slots","arguments":{"date":"2026-05-08","duration_minutes":30,"time_window":"afternoon"}} ``` User: Function output: {"free_slots":[{"start":"2026-05-08T15:00:00+09:00","end":"2026-05-08T15:30:00+09:00"}],"bob_email":"bob@example.com"} Assistant: ```json ```` 应用需要解析并校验模型返回的 JSON、限制可调用的工具，并处理参数缺失与执行失败；模型只负责生成调用请求，不会替应用执行工具。 ## 视频介绍