AMD 硬件

RWKV 模型在 AMD 硬件上的推理性能，包括各类专业显卡、消费级显卡，甚至集成显卡。

此页面的数据来自：RWKV 推理性能测试指南，数据均由社区成员测试并报告。欢迎大家参照仓库的指引进行测试，并提交 AMD 硬件的推理性能数据。

AMD RX 7900 XTX

推理工具	Model	精度	每秒生成的 Token 数	显存用量
llama.cpp(Vulkan)	RWKV7-G1 2.9B	fp16	41.55	5.75GB
llama.cpp(Vulkan)	RWKV7-G1 2.9B	Q8_0	42.85	3.47GB
web-rwkv	RWKV7-G1 2.9B	fp16	106.00	5.9GB
web-rwkv	RWKV7-G1 2.9B	int8	137.36	3.9GB
web-rwkv	RWKV7-G1 2.9B	nf4	151.64	2.4GB

数据来源：issue #5 | issue #6

测试环境：

CPU：AMD Ryzen 9 5950X
OS version: Ubuntu 25.04 @ Kernel: 6.14.0-23-generic
driver_info: "radv Mesa 25.0.3-1ubuntu2"

AMD Radeon PRO W7900

推理工具	Model	精度	每秒生成的 Token 数	显存用量
RWKV pip	RWKV7-G1 2.9B	fp16	45.28	5.52 GB
llama.cpp(ROCm)	RWKV7-G1 2.9B	fp16	48.71	5.75GB
llama.cpp(ROCm)	RWKV7-G1 2.9B	Q8_0	58.59	3.47GB
llama.cpp(Vulkan)	RWKV7-G1 2.9B	fp16	39.49	5.75GB
llama.cpp(Vulkan)	RWKV7-G1 2.9B	Q8_0	45.21	3.47GB
web-rwkv	RWKV7-G1 2.9B	fp16	61.62	5.9GB
web-rwkv	RWKV7-G1 2.9B	int8	79.46	3.9GB
web-rwkv	RWKV7-G1 2.9B	nf4	89.76	2.4GB

数据来源：issue #9 | issue #13 | issue #14

测试环境：

CPU：Intel I3 12100
OS version: Ubuntu 24.04.2 LTS @ Kernel: 6.11.0-26-generic

AMD Radeon Pro VII (Instinct MI50)

推理工具	Model	精度	每秒生成的 Token 数	显存用量
web-rwkv	RWKV7-G1 2.9B	FP16	59.83	5.9GB
web-rwkv	RWKV7-G1 2.9B	INT8	72.70	3.9GB
web-rwkv	RWKV7-G1 2.9B	NF4	65.99	2.4GB

数据来源：issue #10

测试环境：

CPU：AMD Ryzen 9 5900X
OS version: Windows 11 24H2
AMD Software: PRO Edition25.5.1 Vulkan

AMD RYZEN AI MAX+ 395w [CPU]

推理工具	Model	精度	每秒生成的 Token 数	内存用量
llama.cpp(CPU)	RWKV7-G1 2.9B	fp16	14.10	to-be-tested
llama.cpp(CPU)	RWKV7-G1 2.9B	Q8_0	22.42	to-be-tested

数据来源：issue #18

测试环境：

CPU：AMD RYZEN AI MAX+ 395w
OS version: Ubuntu 24.04.2 @ Kernel: Linux-6.14.0-24-generic
driver_info: "Mesa 24.2.8-1ubuntu1 24.04.1"

Radeon 8060S [Integrated]

推理工具	Model	精度	每秒生成的 Token 数	显存用量
RWKV pip	RWKV7-G0 7.2B	fp16	9.49	13.47GB
web-rwkv	RWKV7-G0 7.2B	fp16	10.16	13.25GB
web-rwkv	RWKV7-G0 7.2B	int8	14.71	7.82GB
web-rwkv	RWKV7-G0 7.2B	nf4	26.09	4.85GB
RWKV pip	RWKV7-G1 2.9B	fp16	17.57	5.52 GB
llama.cpp(ROCm)	RWKV7-G1 2.9B	fp16	27.38	5.75GB
llama.cpp(ROCm)	RWKV7-G1 2.9B	Q8_0	43.10	3.47GB
web-rwkv	RWKV7-G1 2.9B	fp16	31.29	5.9GB
web-rwkv	RWKV7-G1 2.9B	int8	51.56	3.9GB
web-rwkv	RWKV7-G1 2.9B	nf4	77.71	2.4GB

数据来源：issue #16 | issue #17 | issue #18

测试环境：

CPU：AMD RYZEN AI MAX+ 395w
OS version: Ubuntu 24.04.2 @ Kernel: Linux-6.14.0-24-generic
driver_info: "Mesa 24.2.8-1ubuntu1~24.04.1"

AMD Radeon 780M [Integrated]

推理工具	Model	精度	每秒生成的 Token 数	显存用量
web-rwkv	RWKV7-G0 7.2B	fp16	5.80	13.26GB
web-rwkv	RWKV7-G0 7.2B	int8	10.26	7.8GB
web-rwkv	RWKV7-G0 7.2B	nf4	15.76	4.9GB
web-rwkv	RWKV7-G1 2.9B	fp16	13.61	5.9GB
web-rwkv	RWKV7-G1 2.9B	int8	23.65	3.9GB
web-rwkv	RWKV7-G1 2.9B	nf4	32.22	2.4GB

数据来源：issue #11 | issue #12 | issue #15

测试环境：

CPU：AMD Ryzen 7 8845H (16) @ 5.61 GHz
OS version: Arch Linux x86_64 @ Kernel: Linux 6.15.7-arch1-1
driver_info: "Mesa 25.1.6-arch1.1"

AMD Radeon 610M [Integrated]

推理工具	Model	精度	每秒生成的 Token 数	显存用量
llama.cpp(vulkan)	RWKV7-G1 2.9B	fp16	6.12	5.75GB
llama.cpp(vulkan)	RWKV7-G1 2.9B	Q8_0	7.54	3.47GB
web-rwkv	RWKV7-G1 2.9B	fp16	8.49	5.9GB
web-rwkv	RWKV7-G1 2.9B	int8	11.96	3.9GB
web-rwkv	RWKV7-G1 2.9B	nf4	8.03	2.4GB

数据来源：issue #19 | issue #20

测试环境：

CPU：AMD Ryzen 9 9955HX 16-Core Processor
OS version: Ubuntu 25.04 @ Kernel: 6.14.0-15-generic
driver_info: "Mesa 25.0.7-0ubuntu0.25.04.1"

这份文档对您有帮助吗？

On this page

AMD RX 7900 XTX AMD Radeon PRO W7900 AMD Radeon Pro VII (Instinct MI50)AMD RYZEN AI MAX+ 395w [CPU]Radeon 8060S [Integrated]AMD Radeon 780M [Integrated]AMD Radeon 610M [Integrated]