Что это?
Пользовательский узел ComfyUI, который загружает чекпоинт MiniMax H3 (аудио+видео DiT), сливая выбранные группы тензоров из второго «оверлейного» чекпоинта с «базовым» чекпоинтом, и создаёт гибрид, который ComfyUI обрабатывает точно как обычную загруженную модель.
Пользовательский узел ComfyUI, который загружает чекпоинт MiniMax H3 (аудио+видео DiT), сливая выбранные группы тензоров из второго «оверлейного» чекпоинта с «базовым» чекпоинтом, и создаёт гибрид, который ComfyUI обрабатывает точно как обычную загруженную модель.Это отдельное приложение или оно подключается к чему-то ещё?Это пользовательский узел (плагин) для ComfyUI, а не отдельная программа — он добавляет новый узел загрузки в категорию model/loaders ComfyUI.
Это пользовательский узел (плагин) для ComfyUI, а не отдельная программа — он добавляет новый узел загрузки в категорию model/loaders ComfyUI.Нужны ли определённые чекпоинты, чтобы это использовать?Да — нужны оба чекпоинта safetensors MiniMax H3, fl2va и ref2va, поскольку узел сливает группы тензоров именно между этими двумя моделями.
Да — нужны оба чекпоинта safetensors MiniMax H3, fl2va и ref2va, поскольку узел сливает группы тензоров именно между этими двумя моделями.Удваивает ли загрузка двух чекпоинтов потребление памяти?Нет — оба файла safetensors работают через mmap и читаются потоково тензор за тензором, поэтому пиковая память держится на уровне примерно одной модели (~19.5 ГБ для чекпоинтов int8), как и у штатного загрузчика.
Нет — оба файла safetensors работают через mmap и читаются потоково тензор за тензором, поэтому пиковая память держится на уровне примерно одной модели (~19.5 ГБ для чекпоинтов int8), как и у штатного загрузчика.Какая гибридная настройка рекомендуется?Используйте fl2va как базу и накладывайте только послойные веса модуляции AdaLN из ref2va для блоков с 25 по 49 — автор установил, что это уравновешивает качество вывода с сохранённой способностью conditioning на референсы.
Используйте fl2va как базу и накладывайте только послойные веса модуляции AdaLN из ref2va для блоков с 25 по 49 — автор установил, что это уравновешивает качество вывода с сохранённой способностью conditioning на референсы.Что делает пресет 'none'?Он выполняет чистую загрузку базового чекпоинта, эквивалентную штатному UNETLoader ComfyUI, не беря ничего из оверлейного чекпоинта.
Он выполняет чистую загрузку базового чекпоинта, эквивалентную штатному UNETLoader ComfyUI, не беря ничего из оверлейного чекпоинта.Изменяет ли использование этого мои исходные файлы чекпоинтов?Нет, оба файла safetensors открываются только для чтения и никогда не записываются и не изменяются на диске.
Нет, оба файла safetensors открываются только для чтения и никогда не записываются и не изменяются на диске.Зачем вообще гибридизировать два чекпоинта MiniMax?fl2va и ref2va разделяют более 97% одинаковых весов, но у fl2va выше качество вывода, тогда как у ref2va одного есть известная проблема качества обучения, несмотря на добавление мультимодального conditioning на референсы — смешивание позволяет сохранить качество fl2va, вернув способность ref2va работать с референсами.
fl2va и ref2va разделяют более 97% одинаковых весов, но у fl2va выше качество вывода, тогда как у ref2va одного есть известная проблема качества обучения, несмотря на добавление мультимодального conditioning на референсы — смешивание позволяет сохранить качество fl2va, вернув способность ref2va работать с референсами.What are similar projects?LTX-Video, LTX-2, ComfyUI-Ref2VA-VSA, ComfyUI-YCNodes-MiniMax-H3, CogVideo, SolarWM, LLaDA-Image, FreeVideo
LTX-Video, LTX-2, ComfyUI-Ref2VA-VSA, ComfyUI-YCNodes-MiniMax-H3, CogVideo, SolarWM, LLaDA-Image, FreeVideoWhich topics is it in?model, comfyui, diffusion-models, plugin-system, quantization, multimodal, video-generation, transformer, audio, generative-ai, pytorch, plugin
model, comfyui, diffusion-models, plugin-system, quantization, multimodal, video-generation, transformer, audio, generative-ai, pytorch, plugin