ComfyUI-H3VAE_TRT README

The project's README from github.com/lihaoyun6/ComfyUI-H3VAE_TRT. As one markdown file: README.md.

ComfyUI-H3VAE_TRT

Running TensorRT version of the MiniMax-H3 VAE in ComfyUI, which can increase speed by up to 1.7x

Preview

Installation

Install the node:

cd ComfyUI/custom_nodes
git clone https://github.com/lihaoyun6/ComfyUI-H3VAE_TRT.git
python -m pip install -r ComfyUI-H3VAE_TRT/requirements.txt

Usage

Download Models

  1. Download encoder & decoder .onnx files (and .data files, if present) -> here

    You can use the w4a16_awq decoder if you don't have 12GB+ of VRAM.

  2. Put models into ComfyUI/models/vae

Nodes

Credits

ComfyUI-H3VAE_TRT (lihaoyun6/ComfyUI-H3VAE_TRT)

Searching Database…

这是什么东西?一个 ComfyUI 自定义节点,它用编译好的 TensorRT 引擎来运行 MiniMax-H3 VAE,替代普通的 VAE,速度最高可提升 1.7 倍。
所以它不是一个独立的软件,而是装在 ComfyUI 里面的?没错——它是一个 ComfyUI 自定义节点,不是独立程序。安装之后,你的 ComfyUI 工作流里会多出新的 VAE 节点。
怎么让它跑起来?像安装其他 ComfyUI 扩展一样安装这个节点,下载编码器和解码器的 .onnx 文件(如果还有 .data 文件也要一起下载),然后放进 ComfyUI/models/vae。
装好之后就能直接用吗?还不行——你得先用 MiniMax-H3 TRT VAE Compiler 节点(或在 ComfyUI 外面用 compile.py 脚本)把 ONNX 编译成 TensorRT 引擎。之后 Loader 节点直接加载编译好的引擎就行。
能在 Mac 上用吗,还是只支持 NVIDIA 显卡?TensorRT 只能在 NVIDIA 显卡上运行,所以它只适用于带 NVIDIA 显卡的 Windows 或 Linux 电脑,不支持 macOS。
我的显卡能跑吗?默认的解码器需要 12GB 以上的显存。如果你的显卡显存不够,可以改用量化的 w4a16awq 解码器。
MiniMax-H3 到底是什么?它是 MiniMax-AI 的一个 AI 模型,这个节点加速的就是它的 VAE。本项目并不改动模型本身——只是把 VAE 打包成 ONNX,再在 ComfyUI 里通过 TensorRT 运行。
能配合其他模型的 VAE 使用吗?不能——它专门为 MiniMax-H3 的 VAE 打造。你需要下载这个模型的编码器和解码器 ONNX 文件,再用它们编译 TensorRT 引擎。
这是 MiniMax 的官方工具吗?不是——这是开发者 lihaoyun6 做的社区项目。README 里只是注明了 ComfyUI 和 MiniMax-AI 的 MiniMax-H3 是底层项目。
Creator
lihaoyun6
Size
0.2 MB
Stars
254
Updated
CommitSep 06
Age
1mo
Commits · 90 Days