Что это такое?
Набор для развёртывания Qwen3.8-27B (квантованной в EXL3 3.5bpw) через OpenAI-совместимый сервер со спекулятивным декодированием для ускорения генерации. В комплекте лаунчер, сервер и конфиг; веса модели лежат на Hugging Face, а инференс идёт на командном форке exllamav3.
Набор для развёртывания Qwen3.8-27B (квантованной в EXL3 3.5bpw) через OpenAI-совместимый сервер со спекулятивным декодированием для ускорения генерации. В комплекте лаунчер, сервер и конфиг; веса модели лежат на Hugging Face, а инференс идёт на командном форке exllamav3.Это сама модель или только код для её обслуживания?Только код обслуживания. В этом репозитории лаунчеры start.sh/stop.sh, сервер tools/serve_openai.py и конфиг .env; сами веса лежат на Hugging Face (две карточки моделей), а GPU-движок инференса — отдельный форк exllamav3.
Только код обслуживания. В этом репозитории лаунчеры start.sh/stop.sh, сервер tools/serve_openai.py и конфиг .env; сами веса лежат на Hugging Face (две карточки моделей), а GPU-движок инференса — отдельный форк exllamav3.Как это запустить?Запустите start.sh — он сам себя разворачивает: при первом запуске создаёт .venv, ставит GPU-версию torch, устанавливает через pip форк exllamav3, пишет .env из примера и автоматически скачивает target- и draft-веса с Hugging Face (докачивая прерванные загрузки).
Запустите start.sh — он сам себя разворачивает: при первом запуске создаёт .venv, ставит GPU-версию torch, устанавливает через pip форк exllamav3, пишет .env из примера и автоматически скачивает target- и draft-веса с Hugging Face (докачивая прерванные загрузки).Какая GPU нужна для запуска?GPU Nvidia с CUDA; по умолчанию набор нацелен на DGX Spark (121 ГБ, GB10/aarch64), но в комплекте есть и конфиг на 24 ГБ для RTX 3090/4090. Вариант с NVFP4/FP8 KV-кэшем требует compute capability ≥8.9 (Ada/Hopper/Blackwell); Ampere (3090, sm86) должен откатиться к формату KV Hadamard-4.
GPU Nvidia с CUDA; по умолчанию набор нацелен на DGX Spark (121 ГБ, GB10/aarch64), но в комплекте есть и конфиг на 24 ГБ для RTX 3090/4090. Вариант с NVFP4/FP8 KV-кэшем требует compute capability ≥8.9 (Ada/Hopper/Blackwell); Ampere (3090, sm86) должен откатиться к формату KV Hadamard-4.Может ли он обслуживать несколько запросов одновременно?Нет — сервер генерирует один запрос за раз (спекулятивное декодирование с batch-1); параллельные запросы просто встают в очередь, так что пропускная способность не растёт с ростом конкуренции (замерено ~16,7 tok/s суммарно при 8 одновременных запросах на DGX Spark).
Нет — сервер генерирует один запрос за раз (спекулятивное декодирование с batch-1); параллельные запросы просто встают в очередь, так что пропускная способность не растёт с ростом конкуренции (замерено ~16,7 tok/s суммарно при 8 одновременных запросах на DGX Spark).Работает ли это на GPU любых брендов или только Nvidia?Только Nvidia — всё построено на CUDA через форк exllamav3, с отдельными путями Triton-ядер для GPU Ada/Hopper/Blackwell против Ampere, плюс aarch64-сборка для GB10 в DGX Spark.
Только Nvidia — всё построено на CUDA через форк exllamav3, с отдельными путями Triton-ядер для GPU Ada/Hopper/Blackwell против Ampere, плюс aarch64-сборка для GB10 в DGX Spark.В чём разница между черновыми режимами MTP и DFlash2?MTP использует черновую голову, встроенную в целевой чекпойнт — без дополнительной загрузки, лучший контекст на ГБ, ~30 tok/s на DGX Spark. DFlash2 использует отдельную черновую модель EXL3 5.0bpw на 1,4 ГБ для ~34,5 tok/s, но требует лишнюю KV-память и снижает запас контекста, целиком помещающегося в памяти.
MTP использует черновую голову, встроенную в целевой чекпойнт — без дополнительной загрузки, лучший контекст на ГБ, ~30 tok/s на DGX Spark. DFlash2 использует отдельную черновую модель EXL3 5.0bpw на 1,4 ГБ для ~34,5 tok/s, но требует лишнюю KV-память и снижает запас контекста, целиком помещающегося в памяти.Какое окно контекста он поддерживает?Родной лимит — 262 144 токена. Установка CONTEXTSIZE до 1M работает, и лаунчер сам подменяет конфиг на вариант с YaRN, но 262k описывается как лимит без потери качества.
Родной лимит — 262 144 токена. Установка CONTEXTSIZE до 1M работает, и лаунчер сам подменяет конфиг на вариант с YaRN, но 262k описывается как лимит без потери качества.Можно отключить выдачу рассуждений модели?Нет — сервер всегда рассуждает, и сейчас отключить это нельзя; флаг enable_thinking из vLLM/SGLang молча игнорируется, а трасса рассуждений делит один бюджет max_tokens с видимым ответом.
Нет — сервер всегда рассуждает, и сейчас отключить это нельзя; флаг enable_thinking из vLLM/SGLang молча игнорируется, а трасса рассуждений делит один бюджет max_tokens с видимым ответом.Поддерживается ли tool calling?Да — он возвращает стандартный массив tool_calls OpenAI с finish_reason: 'tool_calls', проверено, что работает вместе с отдельным полем reasoning_content и в полных, и в потоковых ответах.
Да — он возвращает стандартный массив tool_calls OpenAI с finish_reason: 'tool_calls', проверено, что работает вместе с отдельным полем reasoning_content и в полных, и в потоковых ответах.What are similar projects?qwen3.8-Flash-DGX, dgx-spark-qwen38, v100-skinny, DeepSeek-v4-Flash-One-DGX-Spark, GLM-5.3-Flash-EXL3-2x-DGX-Sparks, Qwen3.8-Flash-Next-Single-DGX-Spark, GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold, TensorFold
qwen3.8-Flash-DGX, dgx-spark-qwen38, v100-skinny, DeepSeek-v4-Flash-One-DGX-Spark, GLM-5.3-Flash-EXL3-2x-DGX-Sparks, Qwen3.8-Flash-Next-Single-DGX-Spark, GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold, TensorFoldWhich topics is it in?nvfp4, triton, aarch64, speculative-decoding, model-serving, deployment, llm-inference, gpu-acceleration, quantization, openai-compatible, large-language-models, local-llm
nvfp4, triton, aarch64, speculative-decoding, model-serving, deployment, llm-inference, gpu-acceleration, quantization, openai-compatible, large-language-models, local-llm