Ollama 推理教程

Ollama 是一个简单易用的开源本地大语言模型运行框架，支持在个人电脑上一键部署和运行各类开源模型，具有配置简单、资源占用低等特点。

随着 RWKV 社区成员 @MollySophia 的工作，Ollama 现已适配 RWKV-6 模型。

本章节介绍如何在 Ollama 中使用 RWKV-6 模型进行推理。

视频教程

高画质视频请跳转到 B 站观看。

可从 Ollama 官网下载 Ollama 的安装程序。

下载完成后，双击 exe 文件进行安装。安装完成后 Ollama 会自动启动，启动后可在系统任务栏看到 Ollama 图标。

以下两种方法可以在 Ollama 中运行 gguf 格式的 RWKV 模型：

从 Ollama 的 RWKV-6 仓库下载：操作简单，但 Ollama 提供的 RWKV 模型只有 q4_k_m 量化版本
自定义 RWKV 模型：需要手动下载 gguf 格式的 RWKV 模型并创建 Modelfile 配置文件，但是可以自由运行任意量化的 RWKV 模型

Ollama 的 RWKV-6 仓库提供了 1.6B、3B、7B、14B 四种参数规模的 RWKV-6-World 模型。

ollama-rwkv-6-model-repo

在你的终端执行 ollama run mollysama/rwkv-6-world:1.6b 命令，即可自动下载并运行 q4_k_m 量化版本的 RWKV-6-World 1.6B 模型。

ollama-run-rwkv-6-world-1.6b

可以把 1.6b 换成 3b、7b 或 14b，以运行其他参数规模的 RWKV-6-World 模型。

Ollama 本身并没有提供 GUI 或 WebUI 服务，但其社区提供了第三方 GUI 和桌面程序。

可以在 Ollama 的 GitHub 文档中查看所有第三方 Ollama 工具。