ComfyUI-H3VAE_TRT README

The project's README from github.com/lihaoyun6/ComfyUI-H3VAE_TRT. As one markdown file: README.md.

ComfyUI-H3VAE_TRT

Running TensorRT version of the MiniMax-H3 VAE in ComfyUI, which can increase speed by up to 1.7x

Preview

Installation

Install the node:

cd ComfyUI/custom_nodes
git clone https://github.com/lihaoyun6/ComfyUI-H3VAE_TRT.git
python -m pip install -r ComfyUI-H3VAE_TRT/requirements.txt

Usage

Download Models

  1. Download encoder & decoder .onnx files (and .data files, if present) -> here

    You can use the w4a16_awq decoder if you don't have 12GB+ of VRAM.

  2. Put models into ComfyUI/models/vae

Nodes

Credits

ComfyUI-H3VAE_TRT (lihaoyun6/ComfyUI-H3VAE_TRT)

Searching Database…

Что это такое?Кастомный нод для ComfyUI, который запускает VAE модели MiniMax-H3 как скомпилированный движок TensorRT вместо обычного, за счёт чего работает до 1,7 раза быстрее.
То есть это не отдельное приложение — оно живёт внутри ComfyUI?Верно — это кастомный нод для ComfyUI, а не отдельная программа. После установки в вашем рабочем процессе ComfyUI появятся новые VAE-ноды.
Как его запустить?Установите нод как любое расширение ComfyUI, скачайте .onnx-файлы энкодера и декодера (а также .data-файлы, если они есть) и положите их в ComfyUI/models/vae.
После установки им сразу можно пользоваться?Не совсем — сначала нужно скомпилировать движок TensorRT из ONNX с помощью нода MiniMax-H3 TRT VAE Compiler (или скрипта compile.py вне ComfyUI). После этого нод Loader просто загружает готовые движки.
А на Mac получится запустить, или это только для NVIDIA?TensorRT работает только на видеокартах NVIDIA, так что это для машин с Windows или Linux и картой NVIDIA; macOS не поддерживается.
Пойдёт ли это на моей видеокарте?Декодеру по умолчанию нужно 12 ГБ и больше видеопамяти. Если у вашей карты меньше, используйте вместо него квантованный декодер w4a16awq.
А что такое MiniMax-H3?Это ИИ-модель от MiniMax-AI, чей VAE ускоряет этот нод. Сам проект модель не трогает — он лишь перепаковывает VAE в ONNX и прогоняет его через TensorRT внутри ComfyUI.
Можно ли использовать его с VAE от других моделей?Нет — он сделан специально для VAE модели MiniMax-H3. Вы скачиваете .onnx-файлы энкодера и декодера именно этой модели и компилируете из них движки TensorRT.
Это официальный инструмент MiniMax?Нет — это проект сообщества от разработчика lihaoyun6. В README в качестве исходных проектов упоминаются лишь ComfyUI и MiniMax-H3 от MiniMax-AI.
Creator
lihaoyun6
Size
0.2 MB
Stars
254
Updated
CommitSep 06
Age
1mo
Commits · 90 Days