MoE4All README

The project's README from github.com/Headmaster218/MoE4All. As one markdown file: README.md.

MoE4All

只需约 10 MiB，Windows 免安装，拖入模型即下即用！

让 A 卡用户也能在本地运行大型 MoE AI Making huge MoE LLMs accessible to AMD users.

下载最新版 Windows 程序 | 快速开始 | English | 技术文档

MoE4All 是一个面向 AMD 显卡和 Windows 11 的本地大模型运行项目。它让 MoE 模型的专家权重按需在显存、内存和 SSD 之间流动，因此模型不必全部塞进 显存，也能在消费级 A 卡上运行。

无需理解分页、KV Cache 或 Vulkan。下载发布包，准备好 GGUF 模型， 双击启动向导并选择“自动配置：保守”，就可以开始聊天；确认机器余量充足后可改用 “自动配置：激进性能”。

当前主要开发和实测平台是原生 Windows 11、AMD Radeon RX 7900 XTX 和 Vulkan。其他 Vulkan GPU 可能可用，但不是 MoE4All 当前的重点验证平台。

最新进展：完整支持 Qwen3.8-Flash-Next

Qwen3.8-Flash-Next 已经通过 MoE4All 在消费级 AMD Radeon RX 7900 XTX 上稳定生成正常内容，简单数学和推理问题也能够正确回答。Q2_K_XL 和 IQ4_XS 量化均已完成 Windows 11 实测，并可在受限进程 RAM 预算下从 SSD 分页运行。

2026-09-01 的发版资源矩阵验证了较高 RAM 覆盖率下的真实多轮 API 性能。以下使用 device.vram_budget=22g、device.ram_budget=54g（进程总 RAM 目标）和 Q8 K/V；

模型 32K / 64K / 96K 增量 prefill 32K / 64K / 96K decode
Qwen3.6-35B-A3B APEX-I-Balanced 720.2 / 709.3 / 686.4 tok/s 95.8 / 94.7 / 75.6 tok/s
Qwen3.8-Flash-Next IQ4_XS 229.1 / 279.0 / 282.2 tok/s 45.7 / 45.7 / 40.9 tok/s

更多历史稳定成绩与测试条件见 Windows 本地大模型代表性性能记录。

Q2 与 IQ4_XS 都通过了三轮真实 API 对话，能够保持校验码、完成跨轮算术并总结 先前内容。

QSA 当前使用保持 score/index 精确顺序的 radix top-k，并已接入 batched QSA/PLE Prefill。Decode 仍明显受专家 RAM/SSD 覆盖率影响，仍有继续优化空间。

三步开始

1. 下载

打开 最新 Release， 下载 MoE4All-Windows-x86_64-v*.zip 并完整解压。

发布包已经包含 infr.exe 和中英双语启动向导。运行发布版不需要安装 Rust、 Visual Studio 或 Vulkan SDK，只需要正常的 64 位 AMD 显卡驱动及其 Vulkan 运行时。

2. 准备模型

模型需要是当前支持架构的 GGUF 文件，发布包不包含模型。分片 GGUF 的所有 分片必须放在同一个目录；加载器可以从其中任意一片找到完整模型。

建议第一次先用小模型确认环境，再尝试几十到上百 GiB 的大型 MoE。模型下载、 分片和量化选择见快速开始。

3. 启动

双击：

Start-INFR-Wizard.cmd

选择终端聊天、OpenAI 兼容 API 或性能测试，然后输入或拖入 GGUF 路径。 普通用户建议使用“自动配置：保守”：MoE4All 会探测 GPU、可用显存和系统内存， 并自动规划 KV Cache、运行时空间和专家缓存。“激进性能”仍使用自动探测和硬性 资源保护，但会减少部分 RAM/VRAM 余量，并尝试更大的 Ubatch 和 Submit cap。

向导启动时会用很短的网络请求检查 GitHub Release；发现新版本时只显示下载 链接，不会自动修改程序。断网不会阻止启动。

它能做什么

需要什么

项目 说明
操作系统 主要测试于 64 位 Windows 11
GPU 当前重点支持 AMD Vulkan；显存越大，可常驻的权重和 KV 越多
驱动 安装 AMD 官方稳定驱动，infr.exe devices 应能看到显卡
内存 大型 MoE 会利用系统 RAM；模型远大于 RAM 时可继续从 SSD 分页
存储 建议高速本地 SSD，并为模型全部分片留足空间
模型 自备受支持架构的 GGUF，单文件或完整分片组

能运行多大的模型取决于模型量化、固定权重、上下文、显存、RAM 和 SSD。MoE4All 的目标是尽量利用现有硬件，而不是承诺任意模型都能在任意 A 卡上达到同样速度。

实测结果

以下代表值来自 RX 7900 XTX 24 GiB、Ryzen 5 5600X、64 GiB DDR4、Windows 11 主机的历史稳定测试。已排除进入系统分页的资源压力诊断结果；各行测试日期、模型量化、 上下文和缓存条件不同，不能直接横向比较。

模型与负载 关键条件 结果
Qwen3.6-35B-A3B，250K synthetic depth 后 decode Q8 K/V，生成 1,000 token 41.2 tok/s
Qwen3.6-35B-A3B，250K 后 prefill 4,096 Q8 K/V 477.9 tok/s
Qwen3.6-35B-A3B，depth 0 prefill 4,096 Q8 K/V 2,855.6 tok/s
Qwen3.5-122B-A10B，depth 0 decode F16 K/V，45 GiB bounded RAM，3 次重复 23.2 tok/s
Qwen3.8-Flash-Next Q2_K_XL，250K 后 decode Q8 K/V，40 GiB bounded RAM，tg128，3 次平均 22.82 tok/s
Qwen3.8-Flash-Next Q2_K_XL，250K 后 prefill 1,024 Q8 K/V，40 GiB bounded RAM，3 次平均 152.27 tok/s
Qwen3.8-Flash-Next IQ4_XS，250K 后 decode Q8 K/V，40 GiB bounded RAM，tg128，3 次平均 15.26 tok/s
Qwen3.8-Flash-Next IQ4_XS，250K 后 prefill 1,024 Q8 K/V，40 GiB bounded RAM，3 次平均 239.00 tok/s

完整条件和优化历史见：

当前模型支持

模型家族 GGUF 架构 状态
Llama、Llama 4 llama、llama4 Dense 与 MoE Vulkan 推理
Qwen2 / Qwen2.5 / Qwen3 qwen2、qwen3、qwen3moe Dense 与 Qwen3 MoE
Qwen3.5 / Qwen3.6 qwen35、qwen35moe Gated DeltaNet、Attention 与分页 MoE
Qwen3.8 Flash Next qwen4exp Hyper-Connection、Gated DeltaNet、PLE、QSA 与分页 MoE Vulkan 文本推理
Gemma 3 / Gemma 4 gemma3、gemma4 Dense、MoE 与 E2B 变体
Ling 3.0 Flash bailingmoe3 KDA、gated MLA、512 experts 与 RAM/SSD 分页
DeepSeek V4 Flash deepseek4 FP8 KV、MXFP4 indexer cache 与分页 MoE
DiffusionGemma diffusion-gemma 文本扩散推理
Embedding GGUF 受支持的 Embedding 架构 原生 CPU/Vulkan OpenAI Embedding API

同一架构上的微调模型通常可以直接复用现有实现，但 GGUF metadata、量化格式和 chat template 仍必须完整。项目不会仅凭模型名称假定兼容。

三种日常用法

终端聊天

启动向导中选择“实时终端对话”，或者直接运行：

.\infr.exe run 'D:\Models\model.gguf'

OpenAI 兼容 API

.\infr.exe serve --addr 127.0.0.1:8080 'D:\Models\model.gguf'

API Base URL 为 http://127.0.0.1:8080/v1。对局域网开放前请配置 API key， 不要把无鉴权服务直接暴露到公网。

性能测试

# Prefill
.\infr.exe bench -p 1024 -n 0 -r 1 'D:\Models\model.gguf'

# Decode
.\infr.exe bench -p 0 -n 128 -r 1 'D:\Models\model.gguf'

更多参数和“已有长上下文后再测”的 synthetic depth 用法见 快速开始。

为什么能跑超过显存的模型

大型 MoE 每个 token 通常只激活全部专家中的一小部分。MoE4All 不要求所有 专家一直留在 GPU，而是维护三级存储：

SSD 上的完整 GGUF
        ↓
完整 Host store 或有上限的 RAM cache
        ↓
弹性 GPU expert cache
        ↓
AMD Vulkan 计算

常用专家尽量留在显存，RAM 作为更大的热数据层，剩余内容继续由 SSD 提供。 显存中的模型固定部分、KV Cache、运行时 scratch 和专家缓存由统一预算协调， prefill 与 decode 切换时可以重新分配弹性空间。

更深入的实现说明在 技术文档索引 和 MoE4All Wiki。

当前限制

项目与署名

MoE4All 由 John / Headmaster218 维护。 项目基于 kryptic.sh 的 Pure-Rust、Vulkan-first 推理引擎 infr。上游项目的原始说明请直接阅读 infr README，不再在本仓库中重复 嵌入。

本项目的架构决策、性能调查和验收由维护者主导，并广泛使用 AI coding agents 辅助 Rust、Vulkan、测试和文档工作。

MoE4All 的修改与整体发行采用 Apache License 2.0。继承自上游 infr 的代码保留其原始 MIT License 和版权声明；详细归属见 NOTICE。同时保留两个许可证文件是为了分别说明本项目与上游代码的 许可来源，并不表示用户必须在二者中二选一。

MoE4All (Headmaster218/MoE4All)

Searching Database…

291 ·GitHub
MoE4All
这是什么？MoE4All 是一款便携的 Windows 应用，通过在 GPU 显存、系统内存和 SSD 之间流转专家权重，运行超出显存容量的大型混合专家（MoE）大语言模型，它构建在 Vulkan 优先的 Rust 推理引擎之上，让消费级 AMD（及其他 Vulkan）GPU 也能在本地运行超大模型。
这是 GUI 应用还是命令行工具？Windows 发行版由命令行设置向导驱动，提供终端聊天、OpenAI 兼容 API 和基准测试；浏览器 GUI 只存在于源码树中，预构建发行版里没有。
怎么让它运行起来？从最新 Release 下载 MoE4All-Windows-x8664-v.zip 并解压，然后双击启动器，选择终端聊天、OpenAI 兼容 API 或性能测试，并指向你的 GGUF 模型路径。
需要先安装 Rust、Visual Studio 或 Vulkan SDK 吗？不需要——发行包是自包含的；你只需要正常的 64 位 GPU 驱动及其 Vulkan 运行时，再加上你自己的 GGUF 模型文件（包内不含模型）。
目前有哪些不完善的地方？冷启动可能明显偏慢，因为大模型要从 SSD 流式载入；prefill 期间的 SSD 到内存预取仍需调优；自动预算的目标是可靠启动，而不是保证每台机器都达到峰值吞吐。
它在 NVIDIA 和 Intel GPU 上运行效果一样好吗，还是它其实是为 AMD 打造的？原生 Windows 11 上使用 Vulkan 的 AMD Radeon（在 RX 7900 XTX 上测试过）是主要的、经过验证的配置；包括 NVIDIA 和 Intel 在内的其他支持 Vulkan 的 GPU 或许也能运行，但还不是该项目的主要验证目标。
它开箱支持哪些模型？它支持多种 GGUF 模型，包括 Llama/Llama4、从 Qwen2 到 Qwen3.8-Flash-Next 的系列、Gemma 3/4、Ling 3.0 Flash、DeepSeek V4 Flash、DiffusionGemma 以及仅用于嵌入的 GGUF，每个都映射到特定的受支持 GGUF 架构。
它为什么能运行超过显存容量的模型？大型 MoE 模型每个 token 只激活一小部分专家，所以 MoE4All 把热点专家放在显存、较大的一批放在内存、其余放在 SSD，并在 prefill 和 decode 之间动态调整这个预算。
“infr”是什么？它和 MoE4All 是什么关系？infr 是 kryptic.sh 开发的纯 Rust、Vulkan 优先的推理引擎，MoE4All 构建在它之上；MoE4All 在其外围添加了 Windows 打包、设置向导和面向 AMD 的专家分页。
可以把我现有的 OpenAI 风格客户端指向它吗？可以，它在本地基础 URL 上提供 OpenAI 兼容的聊天和嵌入 API，但 README 警告不要把这个未经身份验证的端点直接暴露到公网。
What are similar projects?unsloth, ktransformers, vllm, Strata, Offensive-Security-AI-Models, project-maya, sglang, dgx-spark-qwen38
Which topics is it in?intel, gemma, vulkan-api, portable, amd-gpu, amd, moe, gguf, llama, windows-11, llm-inference, embeddings
Creator
Headmaster218
Size
16.9 MB
Stars
291
Updated
CommitOct 16Releaserelease-1.0.3Oct 16
Age
2mo
Commits · 90 Days