NVIDIA 硬件
RWKV 模型在 NVIDIA 硬件上的推理性能。TPS 只在模型、精度、推理后端、工作负载和测试环境一致时适合直接比较。
此页面的数据来自：RWKV 推理性能测试指南，数据均由社区成员测试并报告。欢迎大家参照仓库的指引进行测试，并提交 NVIDIA 硬件的性能数据。
NVIDIA RTX 5090
Albatross：RWKV-7 G1f 7.2B
以下结果来自 Albatross faster3a_2607，测试使用 RWKV-7 G1f 7.2B、FP16 模型和单张 RTX 5090。表中的吞吐量为上游测试记录的 p50 结果。
| 工作负载 | 批量大小（B） | 序列长度（T） | 吞吐量（p50） |
|---|---|---|---|
| B1T1 | 1 | 1 | 145.80 token/s |
| B256T1 | 256 | 1 | 13,134.48 token/s |
| B16T16 | 16 | 16 | 17,343.98 token/s |
B1T1 最接近单路逐 token 生成；B256T1 和 B16T16 测量的是不同批量与序列形状下的总吞吐量，不能与 B1T1 当作同一种工作负载直接比较。
较早的 RWKV7-G1 2.9B 测试
以下数据来自较早的官方测试记录，数值已经验证，但模型和推理后端与上方 Albatross 测试不同，仅作为历史性能参考。
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| RWKV pip | RWKV7-G1 2.9B | fp16 | 39.55 TPS | 5.52 GB |
| llama.cpp | RWKV7-G1 2.9B | fp16 | 84 TPS | 5.52 GB |
测试环境：
- CPU：AMD EPYC 7302
- GPU：NVIDIA GeForce RTX 5090
NVIDIA RTX 4090
RWKV 模型在 NVIDIA RTX 4090 上的性能表现：
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| RWKV pip | RWKV7-G1 2.9B | fp16 | 56.18 | 5.52 GB |
| llama.cpp(CUDA) | RWKV7-G1 2.9B | fp16 | 89.16 | 5.75GB |
| llama.cpp(CUDA) | RWKV7-G1 2.9B | Q8_0 | 110.3 | 3.47GB |
| web-rwkv | RWKV7-G1 2.9B | fp16 | 95.98 | 5.9GB |
| web-rwkv | RWKV7-G1 2.9B | int8 | 108.22 | 3.9GB |
| web-rwkv | RWKV7-G1 2.9B | nf4 | 115.46 | 2.4GB |
数据来源：issue #3
测试环境：
- CPU：Intel(R) Xeon(R) Platinum 8331C
- OS: ubuntu 22.04 Linux-6.8.0-60-generic-x86_64-with-glibc2.35
- python_version: 3.10.16
- pytorch_version: 2.5.1+cu121
NVIDIA RTX 4080
RWKV 模型在 NVIDIA RTX 4080 上的性能表现：
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| web-rwkv | RWKV7-G1 2.9B | fp16 | 76.99 | 5.9GB |
| web-rwkv | RWKV7-G1 2.9B | int8 | 95.92 | 3.9GB |
| web-rwkv | RWKV7-G1 2.9B | nf4 | 105.05 | 2.4GB |
数据来源：issue #21
测试环境：
- CPU：12th Gen Intel(R) Core(TM) i7-12700
- OS: Windows 11 Professional edition 24H2-26100.4652
- driver version: 560.94
NVIDIA RTX 4060Ti 8GB
RWKV 模型在 NVIDIA RTX 4060Ti 8GB 上的性能表现：
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| RWKV pip | RWKV7-G1 2.9B | fp16 | 36.61 | 5.52 GB |
| web-rwkv | RWKV7-G1 2.9B | fp16 | 43.92 | 5.9GB |
| web-rwkv | RWKV7-G1 2.9B | int8 | 62.93 | 3.9GB |
| web-rwkv | RWKV7-G1 2.9B | nf4 | 86.03 | 2.4GB |
数据来源：issue #1
测试环境：
- CPU：Intel i7-13700F
- OS version: Windows10 专业版
- driver version: 576.02
- CUDA version: 12.9
NVIDIA RTX 4060 Laptop
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| web-rwkv | RWKV7-G0 7.2B | nf4 | 40.30 | 5.1GB |
| web-rwkv | RWKV7-G1 2.9B | fp16 | 40.98 | 5.9GB |
| web-rwkv | RWKV7-G1 2.9B | int8 | 60.21 | 3.9GB |
| web-rwkv | RWKV7-G1 2.9B | nf4 | 77.26 | 2.4GB |
数据来源：issue #15
测试环境：
- CPU：AMD Ryzen 7 8845H (16) @ 5.61 GHz
- OS version: Arch Linux x86_64 @ Kernel: Linux 6.15.7-arch1-1
- driver version: 575.64.05
NVIDIA GeForce RTX 2080 Ti
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| web-rwkv | RWKV7-G1 2.9B | fp16 | 67.74 | 5.9GB |
| web-rwkv | RWKV7-G1 2.9B | int8 | 87.35 | 3.9GB |
| web-rwkv | RWKV7-G1 2.9B | nf4 | 96.73 | 2.4GB |
数据来源：issue #27
测试环境：
- CPU：13th Gen Intel(R) Core(TM) I5-13400TE
- OS: Windows 11 PRO 25H2
- CUDA:13.1
- Driver version:591.86
NVIDIA Tesla P100-PCIE-16GB
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| web-rwkv | RWKV7-G1 2.9B | fp16 | 61.90 | 5.9GB |
| web-rwkv | RWKV7-G1 2.9B | int8 | 67.25 | 3.9GB |
| web-rwkv | RWKV7-G1 2.9B | nf4 | 55.21 | 2.4GB |
数据来源：issue #24
测试环境：
- CPU：AMD Ryzen 5 7600X
- OS:Windows11 PRO 24H2
- driver version:551.78
- CUDA Version:12.4
NVIDIA CMP 40HX 8GB
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| web-rwkv | RWKV7-G1 2.9B | fp16 | 68.89 | 5.9GB |
| web-rwkv | RWKV7-G1 2.9B | int8 | 78.78 | 3.9GB |
| web-rwkv | RWKV7-G1 2.9B | nf4 | 80.23 | 2.4GB |
数据来源：issue #23
测试环境：
- CPU：AMD Ryzen 7 5700G
- OS version: Windows11 PRO 24H2
- driver version: DCH-581.57
- CUDA version: 13.0
这份文档对您有帮助吗？
粤公网安备44030002010697号