Что это такое?
FreeToken — это движок обслуживания моделей с архитектурой Mixture-of-Experts (MoE), созданный для запуска крупных открытых моделей промышленного масштаба, включая модели с более чем 290 млрд параметров, на обычном потребительском железе, например игровых ПК.
FreeToken — это движок обслуживания моделей с архитектурой Mixture-of-Experts (MoE), созданный для запуска крупных открытых моделей промышленного масштаба, включая модели с более чем 290 млрд параметров, на обычном потребительском железе, например игровых ПК.Это десктопное приложение или инструмент командной строки?И то, и другое: есть десктопное приложение с графическим интерфейсом для Windows и Linux, которое настраивает движок за вас, а также CLI, который можно установить отдельно для более тонкой настройки.
И то, и другое: есть десктопное приложение с графическим интерфейсом для Windows и Linux, которое настраивает движок за вас, а также CLI, который можно установить отдельно для более тонкой настройки.Как это запустить?Скачайте десктопное приложение для Windows или Linux с сайта flashml.ai, либо установите CLI через `uv` (рекомендуется) или pip, либо соберите из исходного кода.
Скачайте десктопное приложение для Windows или Linux с сайта flashml.ai, либо установите CLI через `uv` (рекомендуется) или pip, либо соберите из исходного кода.Нужен ли Python для установки?Да, CLI написан на Python и устанавливается через `uv` или pip; десктопное приложение вместо этого само настраивает движок.
Да, CLI написан на Python и устанавливается через `uv` или pip; десктопное приложение вместо этого само настраивает движок.В чём подвох запуска моделей с 290 млрд+ параметров на игровом ПК?Вся модель не помещается в VRAM; вместо этого используются адаптивное под пропускную способность совместное выполнение на CPU и GPU, потоковая загрузка префилла и LRU-кэширование экспертов, поэтому реальная скорость зависит от пропускной способности между CPU и GPU в вашей системе и ограничена поддерживаемыми семействами видеокарт RTX.
Вся модель не помещается в VRAM; вместо этого используются адаптивное под пропускную способность совместное выполнение на CPU и GPU, потоковая загрузка префилла и LRU-кэширование экспертов, поэтому реальная скорость зависит от пропускной способности между CPU и GPU в вашей системе и ограничена поддерживаемыми семействами видеокарт RTX.Какие операционные системы поддерживает десктопное приложение?Десктопное приложение доступно для Windows и Linux; версии для macOS не упоминается.
Десктопное приложение доступно для Windows и Linux; версии для macOS не упоминается.Нужна ли видеокарта NVIDIA?Да, нативная поддержка рассчитана на видеокарты NVIDIA RTX 30, RTX 40 и RTX 50 серий в сочетании с CPU и оперативной памятью для выгрузки экспертов.
Да, нативная поддержка рассчитана на видеокарты NVIDIA RTX 30, RTX 40 и RTX 50 серий в сочетании с CPU и оперативной памятью для выгрузки экспертов.Какие модели поддерживает FreeToken?Поддерживаются современные открытые MoE-модели, такие как DeepSeek-V4-Flash, Qwen3.6-35B-A3B и GLM-5.2, в форматах квантования MXFP4, NVFP4, FP8 и BF16.
Поддерживаются современные открытые MoE-модели, такие как DeepSeek-V4-Flash, Qwen3.6-35B-A3B и GLM-5.2, в форматах квантования MXFP4, NVFP4, FP8 и BF16.Можно ли использовать FreeToken с агентами для программирования вроде Claude Code или Codex?Да, он предоставляет API, совместимые с Anthropic и OpenAI, поэтому подключается к агентам для программирования и агентам с вызовом инструментов, таким как Codex, Claude Code, OpenCode, OpenClaw и DeepSeek Harness.
Да, он предоставляет API, совместимые с Anthropic и OpenAI, поэтому подключается к агентам для программирования и агентам с вызовом инструментов, таким как Codex, Claude Code, OpenCode, OpenClaw и DeepSeek Harness.Что такое формат FTW, упомянутый в возможностях?FTW — это собственный формат быстрых весов FreeToken, часть его edge-native среды выполнения, предназначенная для эффективной загрузки и обслуживания моделей MoE.
FTW — это собственный формат быстрых весов FreeToken, часть его edge-native среды выполнения, предназначенная для эффективной загрузки и обслуживания моделей MoE.Что повлияло на дизайн FreeToken?На него сильно повлиял mini-sglang, а также использованы идеи и код из SGLang, vLLM, FlashInfer, flash-linear-attention, LightLLM и llama.cpp.
На него сильно повлиял mini-sglang, а также использованы идеи и код из SGLang, vLLM, FlashInfer, flash-linear-attention, LightLLM и llama.cpp.What are similar projects?sglang, project-maya, TypeLLM, Strata, v100-skinny, vllm, airllm, jeeves
sglang, project-maya, TypeLLM, Strata, v100-skinny, vllm, airllm, jeevesWhich topics is it in?edge, minimax, glm, inference-engine, edge-ai, model-serving, moe, llm-inference, qwen, quantization, transformer, local-llm
edge, minimax, glm, inference-engine, edge-ai, model-serving, moe, llm-inference, qwen, quantization, transformer, local-llm