Figure 1: MSA scalability under extreme-long contexts
Figure 2: Memory-Sparse Attention layer and parallel/global RoPE
Figure 3: Offline encoding → online routing → sparse generation; optional multi-round interleave for multi-hop
Figure 4: Accuracy vs context length (higher is better)Что это?
MSA (Memory Sparse Attention) — обучаемая end-to-end масштабируемая структура с латентной памятью, которая позволяет LLM работать с контекстными окнами до 100 млн токенов, заменяя RAG или RNN-подобную память фиксированного размера дифференцируемым банком памяти на основе разреженного внимания.
MSA (Memory Sparse Attention) — обучаемая end-to-end масштабируемая структура с латентной памятью, которая позволяет LLM работать с контекстными окнами до 100 млн токенов, заменяя RAG или RNN-подобную память фиксированного размера дифференцируемым банком памяти на основе разреженного внимания.Это готовый чат-бот или исследовательский фреймворк для обучения моделей с длинным контекстом?Это исследовательский/обучающий фреймворк на базе Qwen3-4B: вы продолжаете предобучение модели со слоем внимания MSA и кастомным движком инференса Memory Parallel, а не получаете готовое чат-приложение.
Это исследовательский/обучающий фреймворк на базе Qwen3-4B: вы продолжаете предобучение модели со слоем внимания MSA и кастомным движком инференса Memory Parallel, а не получаете готовое чат-приложение.Как это запустить?Следуйте быстрому старту: установите пакет, скачайте предобученную модель, затем скачайте данные бенчмарка и запустите прилагаемые скрипты; данные бенчмарка автоматически подтягиваются из EverMind-AI/MSA-RAG-BENCHMARKS в data/ при первом запуске (подробности в QUICKSTART.md).
Следуйте быстрому старту: установите пакет, скачайте предобученную модель, затем скачайте данные бенчмарка и запустите прилагаемые скрипты; данные бенчмарка автоматически подтягиваются из EverMind-AI/MSA-RAG-BENCHMARKS в data/ при первом запуске (подробности в QUICKSTART.md).Нужно ли специфическое GPU-железо для запуска?Да — референсная конфигурация использует 2×A800 GPU для достижения пропускной способности на 100 млн токенов через движок инференса Memory Parallel; это кодовая база на Python, так что также нужно Python-окружение.
Да — референсная конфигурация использует 2×A800 GPU для достижения пропускной способности на 100 млн токенов через движок инференса Memory Parallel; это кодовая база на Python, так что также нужно Python-окружение.Держится ли качество на очень длинных контекстах?Да, MSA сохраняет точность 94.84% на 1 млн токенов в бенчмарке RULER NIAH, тогда как немодифицированная базовая модель проваливается до 24.69% после 128K, и деградация у нее менее крутая, чем у гибридных linear-attention-моделей или агентских бейзлайнов с внешней памятью.
Да, MSA сохраняет точность 94.84% на 1 млн токенов в бенчмарке RULER NIAH, тогда как немодифицированная базовая модель проваливается до 24.69% после 128K, и деградация у нее менее крутая, чем у гибридных linear-attention-моделей или агентских бейзлайнов с внешней памятью.Для кого это создано?Оно нацелено на исследователей ML/NLP, работающих над языковыми моделями с длинным контекстом и архитектурами с внешней памятью — это исследовательская кодовая база, сопровождающая статью на arXiv/Zenodo, а не продукт для конечного пользователя.
Оно нацелено на исследователей ML/NLP, работающих над языковыми моделями с длинным контекстом и архитектурами с внешней памятью — это исследовательская кодовая база, сопровождающая статью на arXiv/Zenodo, а не продукт для конечного пользователя.Как MSA соотносится со стандартными RAG-пайплайнами?На 9 QA-бенчмарках MSA в среднем набирает 3.760 против 3.372 у лучшей конфигурации RAG с переранжированием и 3.275 у HippoRAG2 на той же базовой модели — улучшение примерно на 11-16%; кроме того, на 4 из 9 датасетов он обходит и лучшие RAG-стеки, построенные на куда более крупных генераторных моделях 70B-235B.
На 9 QA-бенчмарках MSA в среднем набирает 3.760 против 3.372 у лучшей конфигурации RAG с переранжированием и 3.275 у HippoRAG2 на той же базовой модели — улучшение примерно на 11-16%; кроме того, на 4 из 9 датасетов он обходит и лучшие RAG-стеки, построенные на куда более крупных генераторных моделях 70B-235B.Что такое Memory Interleave?Это механизм, позволяющий MSA вести рассуждения в несколько раундов и переходов (multi-hop), перепрыгивая между разрозненными сегментами памяти вместо линейного чтения контекста; абляции показывают, что его удаление вызывает резкое падение точности на multi-hop QA-датасетах.
Это механизм, позволяющий MSA вести рассуждения в несколько раундов и переходов (multi-hop), перепрыгивая между разрозненными сегментами памяти вместо линейного чтения контекста; абляции показывают, что его удаление вызывает резкое падение точности на multi-hop QA-датасетах.Как обучалась модель?MSA продолженно предобучалась на 158.95 млрд токенов со вспомогательной routing-функцией потерь, затем прошла двухэтапный curriculum супервизируемого дообучения, масштабирующий контекст с 8K до 64K токенов.
MSA продолженно предобучалась на 158.95 млрд токенов со вспомогательной routing-функцией потерь, затем прошла двухэтапный curriculum супервизируемого дообучения, масштабирующий контекст с 8K до 64K токенов.What are similar projects?Attention-Residuals, context-language-models, gpt-3, bdh, jeeves, LLMSearchRecommender, Hy4-preview, train-llm-from-scratch
Attention-Residuals, context-language-models, gpt-3, bdh, jeeves, LLMSearchRecommender, Hy4-preview, train-llm-from-scratchWhich topics is it in?context-window, kv-cache, pretraining, long-context, question-answering, attention, arxiv, long-term-memory, reasoning, attention-mechanism, retrieval-augmented-generation, paper
context-window, kv-cache, pretraining, long-context, question-answering, attention, arxiv, long-term-memory, reasoning, attention-mechanism, retrieval-augmented-generation, paper