Что это?
DMI — развязанный асинхронный стек наблюдаемости, дающий доступ в реальном времени к внутреннему состоянию работающей LLM — residual-потокам, паттернам внимания, выходам MLP, срезам KV-кэша, логитам — во время инференса или обучения, с минимальными накладными расходами.
DMI — развязанный асинхронный стек наблюдаемости, дающий доступ в реальном времени к внутреннему состоянию работающей LLM — residual-потокам, паттернам внимания, выходам MLP, срезам KV-кэша, логитам — во время инференса или обучения, с минимальными накладными расходами.Это отдельное приложение или то, что я встраиваю в свой код?Это Python-инструментарий для интеграции в существующую модель: вы добавляете примитив HookPoint в PyTorch-модель (или используете тонкие обёртки HF/vLLM либо интеграцию обучения Megatron-LM), плюс опциональный визуальный конфигуратор и CLI для сборки конфигов захвата.
Это Python-инструментарий для интеграции в существующую модель: вы добавляете примитив HookPoint в PyTorch-модель (или используете тонкие обёртки HF/vLLM либо интеграцию обучения Megatron-LM), плюс опциональный визуальный конфигуратор и CLI для сборки конфигов захвата.Как его запустить?Сейчас DMI устанавливается только из исходников. Для каждого нужного бэкенда (core, HuggingFace, vLLM или Megatron-LM) создаётся отдельное окружение и чекаут, и ставится только нужная интеграция.
Сейчас DMI устанавливается только из исходников. Для каждого нужного бэкенда (core, HuggingFace, vLLM или Megatron-LM) создаётся отдельное окружение и чекаут, и ставится только нужная интеграция.С какими бэкендами инференса или обучения работает DMI?Он интегрируется с HuggingFace Transformers и vLLM для инференса и с Megatron-LM для обучения; поддержка SGLang запланирована, но пока недоступна.
Он интегрируется с HuggingFace Transformers и vLLM для инференса и с Megatron-LM для обучения; поддержка SGLang запланирована, но пока недоступна.Готово ли это к промышленному использованию?Нет — он прямо помечен как исследовательский превью с API, которые ещё могут измениться, а поддержка SGLang всё ещё остаётся в планах.
Нет — он прямо помечен как исследовательский превью с API, которые ещё могут измениться, а поддержка SGLang всё ещё остаётся в планах.Для кого это сделано?Для исследователей и инженеров, которые отлаживают галлюцинации в проде, изучают интерпретируемость или управление активациями, строят черновики спекулятивного декодирования, добывают данные для дистилляции или следят за коллапсом внимания при длинных генерациях.
Для исследователей и инженеров, которые отлаживают галлюцинации в проде, изучают интерпретируемость или управление активациями, строят черновики спекулятивного декодирования, добывают данные для дистилляции или следят за коллапсом внимания при длинных генерациях.Какие модели поддерживает DMI?Более 20 семейств плотных и MoE-моделей, включая Qwen3, Llama, Gemma, Mistral, GPT-OSS, Phi и Granite, с ранней поддержкой новых архитектур вроде Llama 4, DeepSeek V4 Flash и GLM-5.2.
Более 20 семейств плотных и MoE-моделей, включая Qwen3, Llama, Gemma, Mistral, GPT-OSS, Phi и Granite, с ранней поддержкой новых архитектур вроде Llama 4, DeepSeek V4 Flash и GLM-5.2.Что такое Ring2 и почему это важно?Ring2 — механизм промежуточного хранения в DMI, совместно спроектированный для GPU↔CPU: кольцо полезной нагрузки на стороне GPU изолирует захваченные тензоры от пула памяти KV-кэша, а мета-кольцо на хосте асинхронно их выкачивает, чтобы не замедлять инференс.
Ring2 — механизм промежуточного хранения в DMI, совместно спроектированный для GPU↔CPU: кольцо полезной нагрузки на стороне GPU изолирует захваченные тензоры от пула памяти KV-кэша, а мета-кольцо на хосте асинхронно их выкачивает, чтобы не замедлять инференс.Как DMI сравнивается с собственным извлечением скрытых состояний в vLLM?На prefill Qwen3-4B DMI захватывает примерно в 13 раз больше тензорных данных на токен, удерживая накладные расходы на извлечение в 15–17 раз ниже, чем при нативном сохранении скрытых состояний vLLM, при размерах батча 16–32.
На prefill Qwen3-4B DMI захватывает примерно в 13 раз больше тензорных данных на токен, удерживая накладные расходы на извлечение в 15–17 раз ниже, чем при нативном сохранении скрытых состояний vLLM, при размерах батча 16–32.Что такое DMI-configurator?Это опциональный веб-интерфейс (dmi ui), который превращает модель и пару кликов в проверенную конфигурацию захвата и оценивает стоимость до того, как вы что-то запустите; ему нужен опциональный extra [ui], а для распознавания голых папок моделей или ID с Hugging Face — extra [hf].
Это опциональный веб-интерфейс (dmi ui), который превращает модель и пару кликов в проверенную конфигурацию захвата и оценивает стоимость до того, как вы что-то запустите; ему нужен опциональный extra [ui], а для распознавания голых папок моделей или ID с Hugging Face — extra [hf].What are similar projects?Model-Optimizer, jeeves, minimind, MiniCPM, halo, StartLux-Decision, nano-vllm, lectures
Model-Optimizer, jeeves, minimind, MiniCPM, halo, StartLux-Decision, nano-vllm, lecturesWhich topics is it in?hallucination-detection, interpretability, knowledge-distillation, profiler, distributed-training, speculative-decoding, attention-mechanism, moe, jupyter-notebook, transformers, llm-inference, vllm
hallucination-detection, interpretability, knowledge-distillation, profiler, distributed-training, speculative-decoding, attention-mechanism, moe, jupyter-notebook, transformers, llm-inference, vllm