ncm README

README проекта с github.com/HazyResearch/ncm. Одним файлом markdown: README.md.

NCM logo Next-Concept Modeling

Fast, Parallel Coarse-to-Fine Text Generation

Paper Hugging Face collection Blog post Scaling Intelligence blog post X thread MIT license

Next-Concept Modeling (NCM) is a two-stage framework for parallel text generation. A multiscale residual VQ tokenizer represents a sequence as a hierarchy of discrete codes, and a transformer predicts that hierarchy from coarse to fine. Positions within a level are generated in parallel, so generation requires one forward evaluation per level.

Comparison of autoregressive, diffusion, and next-concept generation

Highlights

Coarse-to-fine generation

NCM generates coarse to fine: each level predicts a longer sequence in parallel, and decoding every level shows a sample being refined from a rough sketch to the full output in a few steps.

TinyStories, XSum and WMT14 samples refined level by level

Quality at a fraction of the cost

NCM beats or matches strong diffusion baselines on different tasks & datasets while generating 9-31× faster.

Generation quality against wall-clock time on LM1B and XSum, and hard Sudoku accuracy by method

Released models

Weights and tokenized datasets are hosted in the NCM Hugging Face collection. Each released model consists of a frozen tokenizer and a next-concept generator.

TaskModelTokenizerGeneratorConfigData
XSum–tokenizer.ptgenerator.ptconfig.yamltest set
WMT14 De–En–tokenizer.ptgenerator.ptconfig.yamltest set
Sudokueasytokenizer.ptgenerator.ptconfig.yamltest boards
mediumtokenizer.ptgenerator.ptconfig.yaml
hardtokenizer.ptgenerator.ptconfig.yaml
LM1Bsmalltokenizer.ptgenerator.ptconfig.yamltokenized text
mediumgenerator.ptconfig.yaml
largegenerator.ptconfig.yaml
TinyStories–tokenizer.ptgenerator.ptconfig.yamltokenized text
OpenWebText–tokenizer.ptgenerator.ptconfig.yamltokenized text

Installation

git clone https://github.com/HazyResearch/ncm.git
cd ncm
pip install -r requirements.txt

Python 3.10 or newer and a CUDA-capable PyTorch installation are recommended.

Evaluation

Download the checkpoints and evaluation inputs:

hf download hazyresearch/ncm-checkpoints --local-dir artifacts
hf download hazyresearch/ncm-datasets --repo-type dataset --local-dir data

Then run:

python evaluate.py --config config/eval/<task>.yaml --checkpoint-dir artifacts/<task> --data-dir data/<task>
# <task> is one of xsum, wmt14, sudoku-easy, sudoku-medium or sudoku-hard

python evaluate.py --config config/eval/<dataset>.yaml --checkpoint-dir artifacts/<dataset>
# <dataset> is tinystories, owt or lm1b-<size> with <size> one of small, medium or large

This runs one generation shard per visible GPU, merges them, and prints ROUGE-1/2/L and generative perplexity for XSum; cased and lowercased sacreBLEU, chrF and length ratio for WMT14; solved, cell and valid-grid rates for Sudoku; and generative perplexity under GPT-2 large with unigram entropy, over 5 seeds of 256 unconditional samples, for TinyStories, OpenWebText and LM1B, the latter under the FLM scoring protocol. Add --cfg <scale> for classifier-free guidance on XSum and WMT14; the guided WMT14 row uses --cfg 1.0.

Repository layout

Citation

@misc{kumbong2026nextconcept,
      title={Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation},
      author={Hermann Kumbong and Ishan S. Khare and Iddah Mlauzi and Andrew Woen and Charles Ding and E. Kelly Buchanan and Simran Arora and Azalia Mirhoseini and Christopher Ré},
      year={2026},
      eprint={2610.14162},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2610.14162},
}

Released under the MIT license.

ncm (HazyResearch/ncm)

Ищем в базе…

1.9K ·GitHub
Что это такое?NCM (Next-Concept Modeling) — это двухэтапная система для быстрой параллельной генерации текста: остаточный VQ-токенизатор превращает последовательность в иерархию дискретных кодов, а трансформер предсказывает эту иерархию от грубого к детальному, а не генерирует текст токен за токеном.
Это готовое приложение или исследовательский код с опубликованными весами модели?Это исследовательский код: код моделей-токенизатора и генератора плюс набор для оценки. Предобученные чекпойнты и токенизированные датасеты размещены отдельно на Hugging Face.
Как мне запустить оценку опубликованной модели?Скачайте чекпойнт и входные данные для оценки под нужную задачу, затем запустите evaluate.py с подходящим конфигурационным файлом из config/eval/.
Что нужно установить перед запуском NCM?Python 3.10 или новее и сборку PyTorch с поддержкой CUDA. Нужны GPU, так как задачи оценки распределяются между всеми видимыми GPU.
Идёт ли в комплекте собственная обученная модель или мне нужно обучать её с нуля?Репозиторий содержит только код. Чтобы что-то сгенерировать, нужно скачать один из опубликованных чекпойнтов с замороженным токенизатором и генератором с Hugging Face для конкретной задачи, например XSum, WMT14 или судоку.
Какие задачи и датасеты поддерживает NCM из коробки?Опубликованные модели охватывают суммаризацию на XSum, перевод с немецкого на английский (WMT14), решение головоломок судоку и языковое моделирование на LM1B, TinyStories и OpenWebText.
Насколько NCM быстрее диффузионной генерации текста?NCM не уступает или превосходит сильные диффузионные базовые модели и при этом генерирует в 9–31 раз быстрее, так как каждому уровню от грубого к детальному достаточно одного параллельного прохода вперёд.
Как на самом деле выглядит генерация от грубого к детальному?Каждый уровень иерархии параллельно предсказывает последовательность длиннее предыдущей. Поэтому декодирование за несколько шагов постепенно превращает грубый набросок в итоговый результат полного разрешения.
Для чего нужен флаг --cfg?Он включает classifier-free guidance при оценке на XSum и WMT14. В README результат с guidance приведён для --cfg 1.0.
Какие есть похожие проекты?jeeves, pointdit, Chinese-BERT-wwm, PrismQuant, EasyWAM, Model-Optimizer, SparkDiffusion, marigold-v2
Автор
HazyResearch
Размер
0.7 MB
Звёзды
1.9K
Обновлён
КоммитOct 14
Возраст
1 мес
Коммиты · 90 дней