Kimi-K3 README

The project's README from github.com/MoonshotAI/Kimi-K3. As one markdown file: README.md.

Kimi K3

Chat Homepage
Hugging Face Twitter Follow Discord ModelScope
License

📰  Tech Blog |     📄  Full Report

1. Model Introduction

Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (KDA) and Attention Residuals (AttnRes), with native vision capabilities and a 1-million-token context window. It is the world's first open 3T-class model, designed for frontier intelligence across long-horizon coding, knowledge work, and reasoning.

Key Features

2. Model Summary

Architecture Mixture-of-Experts (MoE)
Total Parameters 2.8T
Activated Parameters 104B
Number of Layers 93
Number of Dense Layers 1
Attention-Layer Composition 69 KDA + 24 Gated MLA
Attention Hidden Dimension 7168
Number of Attention Heads 96
Latent MoE Dimension 3584
MoE Hidden Dimension (per Expert) 3072
Number of Experts 896
Selected Experts per Token 16
Number of Shared Experts 2
Vocabulary Size 160K
Context Length 1048576
Attention Mechanism KDA & Gated MLA
Activation Function SiTU-GLU
Vision Encoder MoonViT-V2
Parameters of Vision Encoder 401M
Quantization MXFP4 weights / MXFP8 activations
(quantization-aware training)
Modality Text, Image

3. Evaluation Results

Benchmark Kimi K3
(max)
Claude Fable 5
(max, w/ fallback)
GPT-5.6 Sol
(max)
Claude Opus 4.8
(max)
GPT-5.5
(xhigh)
GLM-5.2
(max)
Reasoning & Knowledge
GPQA Diamond 93.5 92.6 94.1 91.0 93.5 91.2
CritPt 23.4 28.6 32.3 20.9 27.1 20.9
AA-LCR 74.7 70.0 73.7 67.7 74.3 71.3
HLE-Full 43.5 / 56.0 53.3 / 63.0 44.5 / 58.0 49.8 / 57.9 41.4 / 52.2 —
Coding
DeepSWE 67.5 70.0 73.0 59.0 67.0 46.2
ProgramBench 77.8 76.8 77.6 71.9 70.8 63.7
Terminal-Bench 2.1 88.3 88.0 88.8 84.6 83.4 82.7
FrontierSWE 81.2 86.6 71.3 66.7 64.9 67.3
SWE-Marathon 42.0 35.0 39.0 40.0 14.0 13.0
PostTrainBench 36.6 41.4 34.6 34.1 28.4 34.3
MLS-Bench-Lite 48.3 49.9 46.2 42.8 35.5 40.4
SciCode 58.7 60.2 56.1 53.5 56.1 50.5
Kimi Code Bench 2.0 72.9 76.9 64.8 71.7 69.0 64.2
Agentic
BrowseComp 91.2 88.0 90.4 84.3 84.4 —
DeepSearchQA (F1) 95.0 94.2 — 93.1 — —
ResearchRubrics 76.2 — 73.8 73.5 64.0 71.1
GDPval-AA v2 (Elo) 1686 1747 1736 1593 1491 1510
Toolathlon-Verified 76.5 77.9 74.9 76.2 73.5 59.9
MCPMark-Verified 94.5 87.4 92.9 76.4 92.9 —
MCP-Atlas

Kimi-K3 (MoonshotAI/Kimi-K3)

Searching Database…

8.9K ·GitHub
Что это?Kimi K3 — это открытая (по весам) нативно мультимодальная агентная модель от MoonshotAI — система Mixture-of-Experts на 2,8 трлн параметров, созданная для кодинга переднего края на длинных горизонтах, агентной работы со знаниями и рассуждений.
Это готовый чатбот, которым можно просто пользоваться, или то, что мне нужно запускать самому?Это релиз сырых весов модели, а не хостинговый продукт — вы сами скачиваете веса и разворачиваете их под условия Kimi K3 License.
Какое железо реально нужно для запуска полной модели?Благодаря разреженной MoE-архитектуре на каждый токен активируется лишь 104 млрд параметров из 2,8 трлн общих, а веса обучены с учётом квантизации MXFP4/MXFP8, чтобы уменьшить занимаемый объём; тем не менее для обслуживания модели такого размера нужна мульти-GPU инфраструктура.
Насколько модель реально разрежена — включает ли она всех экспертов сразу?Нет, на каждый токен через фреймворк Stable LatentMoE активируются лишь 16 экспертов из 896 — именно это удерживает объём эффективных вычислений в разумных пределах при 2,8 трлн параметров.
Что такое Kimi Delta Attention (KDA)?KDA — новый механизм внимания, лежащий в основе K3: он задействован в 69 из 93 слоёв наряду с Gated MLA в остальных слоях и работает в паре с Attention Residuals (AttnRes) для повышения эффективности масштабирования.
Насколько K3 лучше предшественника Kimi K2?MoonshotAI сообщает примерно о 2,5-кратном росте общей эффективности масштабирования по сравнению с Kimi K2 за счёт новой разреженной архитектуры Stable LatentMoE.
Он понимает изображения и видео или только текст?K3 нативно мультимодален: он обрабатывает текст, изображения и видео в одной модели с помощью визуального энкодера MoonViT-V2 на 401 млн параметров, плюс контекстное окно в 1 млн токенов.
Как он выглядит на фоне Claude и GPT в кодинг-бенчмарках?На Terminal-Bench 2.1 он набирает 88.3, опережая Claude Opus 4.8 (84.6) и GPT-5.5 (83.4), и лидирует на SWE-Marathon (42.0) среди сравниваемых frontier-моделей.
Creator
MoonshotAI
Size
1.4 MB
Stars
8.9K
Updated
CommitAug 06
Age
2mo
Commits · 90 Days