Что это такое?
Magnitude — это открытый сервер инференса, который определяет характеристики вашего компьютера, подбирает локальные модели, которые на нём будут работать, а затем скачивает, настраивает и запускает их для вашего агента для программирования.
Magnitude — это открытый сервер инференса, который определяет характеристики вашего компьютера, подбирает локальные модели, которые на нём будут работать, а затем скачивает, настраивает и запускает их для вашего агента для программирования.Это библиотека или отдельный сервер, который я запускаю?Это самостоятельный сервер инференса/CLI, который работает в фоновом режиме на вашем компьютере; вы подключаете его к существующему агенту для программирования (харнесу), а не встраиваете как библиотеку.
Это самостоятельный сервер инференса/CLI, который работает в фоновом режиме на вашем компьютере; вы подключаете его к существующему агенту для программирования (харнесу), а не встраиваете как библиотеку.Как это запустить?Запустите команду настройки: она определит характеристики железа, составит рейтинг моделей и подключит ваш харнес к выбранной модели. Также можно просто попросить вашего агента (Pi, Claude Code, OpenCode и др.) выполнить настройку за вас.
Запустите команду настройки: она определит характеристики железа, составит рейтинг моделей и подключит ваш харнес к выбранной модели. Также можно просто попросить вашего агента (Pi, Claude Code, OpenCode и др.) выполнить настройку за вас.С какими агентами для программирования (харнесами) он работает?Он работает с Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi и Cline, а также можно использовать встроенный харнес Magnitude.
Он работает с Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi и Cline, а также можно использовать встроенный харнес Magnitude.Есть ли минимальные требования к железу?Фиксированного минимума нет: Magnitude определяет характеристики вашего компьютера и рекомендует модели, которые на нём хорошо работают; чем больше памяти, тем крупнее модели можно запустить.
Фиксированного минимума нет: Magnitude определяет характеристики вашего компьютера и рекомендует модели, которые на нём хорошо работают; чем больше памяти, тем крупнее модели можно запустить.Работает ли он на Windows или только на macOS и Linux?Поддерживаются macOS, Linux и Windows (через WSL); для видеокарты (GPU) используются Metal, CUDA или Vulkan, либо только процессор (CPU).
Поддерживаются macOS, Linux и Windows (через WSL); для видеокарты (GPU) используются Metal, CUDA или Vulkan, либо только процессор (CPU).Покидают ли мой компьютер какие-либо данные?Нет — промпты, файлы и модели остаются локально, а после загрузки модели интернет-соединение не нужно.
Нет — промпты, файлы и модели остаются локально, а после загрузки модели интернет-соединение не нужно.Чем Magnitude быстрее llama.cpp?Он компилирует и настраивает собственные вычислительные ядра специально под ваше устройство, включая спекулятивное декодирование, поэтому открытые модели работают до 2x быстрее, чем в llama.cpp на том же железе.
Он компилирует и настраивает собственные вычислительные ядра специально под ваше устройство, включая спекулятивное декодирование, поэтому открытые модели работают до 2x быстрее, чем в llama.cpp на том же железе.Стоит ли его запуск денег?Нет, запуск бесплатный: без оплаты за токены, API-ключей и лимитов запросов, поскольку всё работает на вашем собственном железе.
Нет, запуск бесплатный: без оплаты за токены, API-ключей и лимитов запросов, поскольку всё работает на вашем собственном железе.Что происходит с моделями, когда я их не использую?Модели загружаются по требованию, когда агенту нужна модель, и автоматически выгружаются, когда простаивают или когда памяти начинает не хватать.
Модели загружаются по требованию, когда агенту нужна модель, и автоматически выгружаются, когда простаивают или когда памяти начинает не хватать.What are similar projects?TensorFold, ds4, petals, deltafin, Bud-Decision-Studio, ODS, project-maya, text-generation-inference
TensorFold, ds4, petals, deltafin, Bud-Decision-Studio, ODS, project-maya, text-generation-inferenceWhich topics is it in?model-router, on-device, model-serving, amd, local-ai, local-llm, apple-silicon, offline, inference, nvidia, cuda, coding-agent
model-router, on-device, model-serving, amd, local-ai, local-llm, apple-silicon, offline, inference, nvidia, cuda, coding-agent