343 ·GitHub
Что это такое?
WorldSculpt — официальная реализация исследовательского метода, который превращает видео с привязкой к пространству в 3D-сцены: из RGB-изображений с масками объектов и 3D-боксами он строит составную (compositional) сетку очень сложных сцен с сотнями отдельных объектов.
WorldSculpt — официальная реализация исследовательского метода, который превращает видео с привязкой к пространству в 3D-сцены: из RGB-изображений с масками объектов и 3D-боксами он строит составную (compositional) сетку очень сложных сцен с сотнями отдельных объектов.Это готовое приложение или исследовательский код?Исследовательский код, а не приложение: официальная реализация научной статьи. Релиз сентября 2026 года включает Python-скрипты для инференса, предобученный чекпойнт на HuggingFace, статью на arXiv и страницу проекта — всё запускается из командной строки.
Исследовательский код, а не приложение: официальная реализация научной статьи. Релиз сентября 2026 года включает Python-скрипты для инференса, предобученный чекпойнт на HuggingFace, статью на arXiv и страницу проекта — всё запускается из командной строки.Как это запустить и настроить?Пять шагов: установите базовое окружение TRELLIS.2, добавьте дополнительные зависимости, указав в NATTENCUDAARCH compute capability вашей видеокарты, скачайте предобученные чекпойнты и данные, затем запустите скрипт инференса.
Пять шагов: установите базовое окружение TRELLIS.2, добавьте дополнительные зависимости, указав в NATTENCUDAARCH compute capability вашей видеокарты, скачайте предобученные чекпойнты и данные, затем запустите скрипт инференса.Что нужно установить заранее?Видеокарта NVIDIA с CUDA — в NATTENCUDAARCH вы указываете compute capability своей карты — плюс сначала установленное окружение TRELLIS.2 в качестве базы и дополнительные зависимости вроде NATTEN.
Видеокарта NVIDIA с CUDA — в NATTENCUDAARCH вы указываете compute capability своей карты — плюс сначала установленное окружение TRELLIS.2 в качестве базы и дополнительные зависимости вроде NATTEN.Есть ли сложности с запуском инференса?У скрипта инференса нет значений по умолчанию: все опции нужно передавать явно в командной строке. Кроме того, INPUTROOT должен указывать на подпапку распакованного датасета, где лежит transforms.json, а не на ./input.
У скрипта инференса нет значений по умолчанию: все опции нужно передавать явно в командной строке. Кроме того, INPUTROOT должен указывать на подпапку распакованного датасета, где лежит transforms.json, а не на ./input.Как он справляется со сценами из сотен объектов?Ключевая идея — переиспользовать на целых сценах генеративную модель (prior), обученную на отдельных объектах: авторы дообучили Pixal3D принимать частично перекрытый многоракурсный вход, а затем применяют её для составной мешификации очень сложных сцен.
Ключевая идея — переиспользовать на целых сценах генеративную модель (prior), обученную на отдельных объектах: авторы дообучили Pixal3D принимать частично перекрытый многоракурсный вход, а затем применяют её для составной мешификации очень сложных сцен.Можно ли скормить ему мир из Marble?Да — один из показанных примеров запускает тот же пайплайн на 3DGS-мире Marble и превращает его в составные меши на уровне объектов.
Да — один из показанных примеров запускает тот же пайплайн на 3DGS-мире Marble и превращает его в составные меши на уровне объектов.Что такое бенчмарк UE-MeshyScene?Датасет, выпущенный вместе со статьёй: в нём есть покадровые аннотации для каждого объекта, чтобы оценивать составную реконструкцию мешей на сложных сценах.
Датасет, выпущенный вместе со статьёй: в нём есть покадровые аннотации для каждого объекта, чтобы оценивать составную реконструкцию мешей на сложных сценах.Можно ли обучать или дообучать модель самому?README описывает только инференс: в релизе сентября 2026 года — код инференса и предобученный чекпойнт, пайплайн обучения не описан.
README описывает только инференс: в релизе сентября 2026 года — код инференса и предобученный чекпойнт, пайплайн обучения не описан.What are similar projects?pointdit, Mira-Scene, TRELLIS, ml-sharp, InsertAny3D, wuji-ego-mint, vggt, video-prediction-policy-2
pointdit, Mira-Scene, TRELLIS, ml-sharp, InsertAny3D, wuji-ego-mint, vggt, video-prediction-policy-2Which topics is it in?3d-gaussian-splatting, instance-segmentation, image-to-3d, 3d-generation, 3d-reconstruction, arxiv, pretrained-models, paper, dataset, 3d, video, inference
3d-gaussian-splatting, instance-segmentation, image-to-3d, 3d-generation, 3d-reconstruction, arxiv, pretrained-models, paper, dataset, 3d, video, inference