SolarRenderer README

README проекта с github.com/Enderfga/SolarRenderer. Одним файлом markdown: README.md.

SolarRenderer: Few-Step Generative Reference Rendering

🌐 Project Page • 🎮 Online Demo • 📄 Paper • 🤗 Weights • 🤗 Data • 💻 Data code

SolarRenderer turns a structure video from a game engine or an agent (grey box, semantic map, skeletons, depth, body mesh, or a sketch it never saw in training) into a finished video, with an optional first frame and a prompt deciding the look. It runs on MiniMax-H3 with two LoRAs and renders a clip in four steps. A block-causal pair of the same LoRAs streams the clip block by block.

News

Highlights

Structure video (left) and SolarRenderer (right).

Scene grey box Semantic segmentation
Object masks + skeletons SMPL body mesh
Near-field shaded geometry Pencil storyboard (unseen)
Point cloud (unseen) Child's crayon drawing (unseen)
Voxels (unseen) Wireframe (unseen)

More structure types, styles and comparisons are on the project page.

Quick Start

git clone https://github.com/Enderfga/SolarRenderer && cd SolarRenderer
pip install -e . && pip install flash-attn==2.7.4.post1 --no-build-isolation
python scripts/prepare_h3.py --dir ./MiniMax-H3
hf download Enderfga/SolarRenderer config.json solarrenderer_control_lora.safetensors solarrenderer_4step_lora.safetensors \
    --local-dir ./weights
python scripts/render.py --h3 ./MiniMax-H3 \
    --control weights/solarrenderer_control_lora.safetensors \
    --fewstep weights/solarrenderer_4step_lora.safetensors \
    --structure examples/sem-highway_synthwave/structure.mp4 \
    --first examples/sem-highway_synthwave/first.png \
    --prompt examples/sem-highway_synthwave/prompt.txt --out render.mp4

The example is a synthwave highway run (semantic map in, neon render out). Add --causal with the two causal LoRAs to stream the clip block by block (details).

Ways to run

For Start here
Online demo No install: upload a structure video, add or generate a first frame, render in the browser Hugging Face Space
Reference script The reference implementation: one GPU, a clip at a time scripts/render.py above
ComfyUI A browser page and node workflows with no code; the low-memory workflow fits a 16 GB GPU (e.g. RTX 4090) comfyui/
Streaming on Reactor The fastest path: a four-GPU streaming service with a browser demo, validated by the Reactor team on four B200 GPUs reactor/

The Reactor integration is a community contribution; thanks to Rising0321 and the Reactor team.

Citation

If you use SolarRenderer in your research, please cite our paper.

@misc{fang2026solarrenderer,
  title  = {SolarRenderer: Few-Step Generative Reference Rendering},
  author = {Fang, Guian and Qian, Shengju and Lu, Dongyue and
            Huang, Junchao and Jiang, Lutao and Wang, Xin and
            Song, Yiren and Jiang, Li and Shou, Mike Zheng},
  year   = {2026},
  eprint = {2610.28630},
  archivePrefix = {arXiv},
  url    = {https://arxiv.org/abs/2610.28630}
}
SolarWM citation

If you also use the SolarWM framework, data, or models, please cite SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models:

@misc{huang2026solarwmopendatascalable,
      title={SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models},
      author={Junchao Huang and Guian Fang and Shengju Qian and Xianghao Kong and Zhuoran Zhao and Wei Huang and Yihua Du and Zixin Zhang and Justin Cui and Yuchao Gu and Yukang Chen and Xinting Hu and Tianyu He and Shaoshuai Shi and Zhuotao Tian and Xin Wang and Mike Zheng Shou and Li Jiang},
      year={2026},
      eprint={2609.02886},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2609.02886},
}

Acknowledgement

SolarRenderer builds on MiniMax-H3, starts its four-step LoRA from DMAD, and shares its training framework with SolarWM.

License

Code: Apache 2.0. Weights: MiniMax H3 Community License, including its territorial restrictions (EU, UK, Republic of Korea and US excluded) and Acceptable Use Policy; the four-step LoRA is fine-tuned from DMAD under the same license.

SolarRenderer (Enderfga/SolarRenderer)

Ищем в базе…

Что это такое?SolarRenderer принимает видео со структурой из игрового движка или от агента (грейбокс, семантическую карту, скелеты, карту глубины, сетку тела или эскиз) и превращает его в готовое отрисованное видео. На итоговый вид можно повлиять необязательным первым кадром и текстовым запросом.
Это полноценный движок рендеринга или модель, которую я запускаю поверх существующих видео?Это генеративная модель, а не игровой движок: два LoRA, дообученные поверх видеомодели MiniMax-H3, которые за четыре шага семплирования перерисовывают существующее структурное видео в стилизованный результат.
Как попробовать отрендерить клип?Можно попробовать без установки через онлайн-демо на Hugging Face Spaces, запустить эталонную реализацию локально командой scripts/render.py или использовать готовые воркфлоу для узлов ComfyUI.
Какое железо мне нужно для запуска?Эталонному скрипту нужен один GPU на клип, экономному по памяти воркфлоу ComfyUI нужен GPU не меньше 16 ГБ, например RTX 4090, для обучения нужен узел с 8 GPU, а самый быстрый потоковый режим работает на четырёх B200.
Есть ли ограничения на использование выложенных весов?Веса модели выпущены по лицензии MiniMax H3 Community License, которая содержит территориальные исключения и Acceptable Use Policy, в отличие от кода под Apache 2.0.
С какими видами входных структур он может работать?Он принимает грейбоксы, семантическую сегментацию, маски объектов со скелетами, сетки тела SMPL, облака точек, воксели, каркасные сетки и даже нарисованные от руки эскизы, которых он не видел во время обучения.
Что делает потоковый режим?Блочно-каузальная пара тех же LoRA отрисовывает видео по блокам, так что каждый сегмент появляется сразу после готовности. Именно это лежит в основе сервиса потоковой передачи Reactor с низкой задержкой.
Почему нужно всего четыре шага семплирования?Дополнительное обучение с учётом структуры позволяет SolarRenderer семплировать за четыре шага вместо обычных пятидесяти, что примерно в 12,3 раза быстрее при сохранении той же верности структуре.
Есть ли бенчмарк для оценки рендеров?Да, открытый бенчмарк из 208 сложных случаев и 53 контрольных клипов опубликован вместе с кодом подсчёта оценок, собственными рендерами авторов и каждым вердиктом судьи.
Какие есть похожие проекты?EasyWAM, LTX-Video, EdenLive, SMD, pointdit, H3-World, code-world-model, SolarWM
Автор
Enderfga
Размер
52.2 MB
Звёзды
396
Обновлён
КоммитOct 30
Возраст
1 мес
Коммиты · 90 дней