211 ·GitHub
Что это?
Mira-Scene — это пайплайн, восстанавливающий редактируемую 3D-сцену из одного изображения: он объединяет интерактивную сегментацию объектов, оценку глубины, предсказание канонических координат и вокселей, генерацию мешей объектов, сборку сцены и генерацию карты окружения.
Mira-Scene — это пайплайн, восстанавливающий редактируемую 3D-сцену из одного изображения: он объединяет интерактивную сегментацию объектов, оценку глубины, предсказание канонических координат и вокселей, генерацию мешей объектов, сборку сцены и генерацию карты окружения.Это готовое приложение или исследовательский пайплайн, который я запускаю сам?Это открытый исследовательский пайплайн, а не упакованное приложение: вы получаете код инференса плюс предобученный чекпоинт Mira-CCM Stage 1 и финальный чекпоинт Stage 2, которые запускаете поэтапно самостоятельно.
Это открытый исследовательский пайплайн, а не упакованное приложение: вы получаете код инференса плюс предобученный чекпоинт Mira-CCM Stage 1 и финальный чекпоинт Stage 2, которые запускаете поэтапно самостоятельно.Как запустить пайплайн инференса?Следуйте руководству по инференсу и запустите поэтапный пайплайн — он поддерживает возобновляемое выполнение, несколько бэкендов для глубины и мешей и мульти-GPU шардирование на уровне отдельных кейсов.
Следуйте руководству по инференсу и запустите поэтапный пайплайн — он поддерживает возобновляемое выполнение, несколько бэкендов для глубины и мешей и мульти-GPU шардирование на уровне отдельных кейсов.Нужны ли предобученные чекпоинты и GPU для запуска?Да — нужны предобученный чекпоинт Stage 1 и финальный чекпоинт Stage 2, скачиваемые с Hugging Face, а также GPU-ресурсы, потому что пайплайн шардируется по GPU для каждого кейса.
Да — нужны предобученный чекпоинт Stage 1 и финальный чекпоинт Stage 2, скачиваемые с Hugging Face, а также GPU-ресурсы, потому что пайплайн шардируется по GPU для каждого кейса.Все ли обучающие данные включены в релиз?Опубликованные данные Scene и дорисованные (outpainted) данные Objaverse предоставляются для файнтюнинга, но большой массив рендеров Objaverse, использованный для предобучения, не включён — его придётся заново сгенерировать из исходных ассетов.
Опубликованные данные Scene и дорисованные (outpainted) данные Objaverse предоставляются для файнтюнинга, но большой массив рендеров Objaverse, использованный для предобучения, не включён — его придётся заново сгенерировать из исходных ассетов.Это скорее для исследователей, чем для обычных пользователей?Да, он ориентирован на исследователей компьютерного зрения и генеративного 3D, которым нужно сравнивать методы реконструкции сцен на бенчмарках или строить решения поверх них, — для этого в комплекте статья, таблицы бенчмарков и конфиги обучения.
Да, он ориентирован на исследователей компьютерного зрения и генеративного 3D, которым нужно сравнивать методы реконструкции сцен на бенчмарках или строить решения поверх них, — для этого в комплекте статья, таблицы бенчмарков и конфиги обучения.Лицензия MIT покрывает всё содержимое репозитория?Под лицензией MIT распространяется только сам код Mira-Scene; сторонние компоненты, предобученные модели и датасеты сохраняют свои отдельные лицензии и условия.
Под лицензией MIT распространяется только сам код Mira-Scene; сторонние компоненты, предобученные модели и датасеты сохраняют свои отдельные лицензии и условия.Что такое Mira-CCM?Mira-CCM — это чекпоинт модели канонических координат, предобученный на этапе Stage 1 пайплайна; он опубликован на Hugging Face и может напрямую использоваться для запуска файнтюнинга Stage 2.
Mira-CCM — это чекпоинт модели канонических координат, предобученный на этапе Stage 1 пайплайна; он опубликован на Hugging Face и может напрямую использоваться для запуска файнтюнинга Stage 2.Как Mira-Scene сравнивается с SAM3D?На бенчмарке Mira-Scene набирает больше по 3D-IoU (0.727 против 0.520), 2D-IoU и ADD-S, используя лишь 80 тыс. открытых 3D-примеров с полностью автоматическим пайплайном данных, тогда как SAM3D опирается на закрытый миллион с лишним примеров, требующих масштабной ручной разметки раскладок.
На бенчмарке Mira-Scene набирает больше по 3D-IoU (0.727 против 0.520), 2D-IoU и ADD-S, используя лишь 80 тыс. открытых 3D-примеров с полностью автоматическим пайплайном данных, тогда как SAM3D опирается на закрытый миллион с лишним примеров, требующих масштабной ручной разметки раскладок.Как организовано обучение?Обучение идёт в два этапа: предобучение с exampletrain/configs/pretrainl1.yaml и файнтюнинг с exampletrain/configs/finetune.yaml; предобученный чекпоинт Mira-CCM с Hugging Face позволяет сразу перейти к этапу файнтюнинга.
Обучение идёт в два этапа: предобучение с exampletrain/configs/pretrainl1.yaml и файнтюнинг с exampletrain/configs/finetune.yaml; предобученный чекпоинт Mira-CCM с Hugging Face позволяет сразу перейти к этапу файнтюнинга.Откуда берутся датасеты?Данные Scene и дорисованные данные Objaverse публикуются отдельно в репозитории Mira-Scene Dataset; масштабные сырые рендеры Objaverse, использованные для предобучения, не распространяются и должны быть заново сгенерированы из исходных ассетов.
Данные Scene и дорисованные данные Objaverse публикуются отдельно в репозитории Mira-Scene Dataset; масштабные сырые рендеры Objaverse, использованные для предобучения, не распространяются и должны быть заново сгенерированы из исходных ассетов.What are similar projects?WorldSculpt, pointdit, tapnet, CodeVideoModel, InsertAny3D, UniMate, vggt, sam-3d-objects
WorldSculpt, pointdit, tapnet, CodeVideoModel, InsertAny3D, UniMate, vggt, sam-3d-objectsWhich topics is it in?3d-generation, 3d-reconstruction, segmentation, paper, training, dataset, evaluation, 3d, academic-research, artificial-intelligence, inference, generative-ai
3d-generation, 3d-reconstruction, segmentation, paper, training, dataset, evaluation, 3d, academic-research, artificial-intelligence, inference, generative-ai