UniForge3D README

README проекта с github.com/xibushu/UniForge3D. Одним файлом markdown: README.md.

UniForge3D: Joint 3D Reconstruction and Generation in a Shared Anchor-Guided Space

Wenjue Chen1,*, Wenyue Chen1,2,*, Heliang Zheng2, Rongfei Jia2, Yuan Liu3,†, Meng Li1,†

1 Peking University   2 Math Magic   3 The Hong Kong University of Science and Technology

* Equal contribution. † Corresponding authors.

Project Page Hugging Face Paper

UniForge3D teaser

UniForge3D generates complete 3D assets from sparse, unposed multi-view images. It jointly models reconstruction and generation in a shared anchor-guided space, then uses structure-guided view selection to preserve observed details.

Installation

git clone https://github.com/xibushu/UniForge3D.git
cd UniForge3D
bash setup.sh
conda activate uniforge3d

Inference

Place the views of each object directly in a separate folder under assets/:

assets/
├── case01/
│   ├── 001.png
│   ├── 002.png
│   ├── 003.png
│   └── 004.png
└── case02/
    └── ...

Run all cases using the pretrained model:

python infer.py

Acknowledgements

Our code is based on these wonderful works:

License

Original UniForge3D source code is released under the MIT License. Third-party code, dependencies, and model weights retain their respective licenses and are not relicensed under this project's MIT License. Please refer to their original license files and notices for applicable terms.

The MIT License for our source code does not apply to the released model weights. In particular, our VGGT-derived checkpoints were initialized from facebook/VGGT-1B and remain subject to CC BY-NC 4.0. The default background remover, BRIA RMBG-2.0, requires separate authorization for commercial use.

Citation

If you find UniForge3D useful in your research, please cite our paper:

@article{chen2026uniforge3d,
  title   = {UniForge3D: Joint 3D Reconstruction and Generation in a Shared Anchor-Guided Space},
  author  = {Chen, Wenjue and Chen, Wenyue and Zheng, Heliang and Jia, Rongfei and Liu, Yuan and Li, Meng},
  journal = {arXiv preprint arXiv:2610.15357},
  year    = {2026}
}

UniForge3D (xibushu/UniForge3D)

Ищем в базе…

Что это такое?UniForge3D — официальный код к научной статье, в которой создаются полноценные 3D-ассеты по нескольким разреженным изображениям объекта без известных позиций камеры. Модель совместно учитывает реконструкцию и генерацию в общем пространстве, управляемом опорными точками (anchor).
Это готовое приложение или исследовательский код?Это исследовательский код к академической статье: вы запускаете скрипты инференса с предобученной моделью, а не готовое приложение или графический интерфейс.
Как запустить инференс на моих изображениях?Поместите мультиракурсные изображения каждого объекта в отдельную папку внутри директории assets/, затем запустите все кейсы с помощью предоставленной предобученной модели.
Нужны ли для работы другие модели?Да, реализация построена на основе TRELLIS.2 и VGGT, поэтому эти компоненты входят в базовый конвейер, хотя точный список зависимостей не приведён.
Нужно ли мне несколько фотографий объекта или достаточно одного изображения?Нужны несколько разреженных ракурсов объекта, а не одна фотография, однако ракурсы не обязательно должны быть заранее выровнены по позиции камеры: модель рассчитана на работу с мультиракурсными данными без известных поз.
Что на самом деле делает «выбор видов с учётом структуры»?Это механизм, который определяет, каким сгенерированным видам можно доверять, чтобы итоговый 3D-ассет сохранял мелкие детали, действительно видимые на входных изображениях, а не домысливал их только по опорному пространству.
Кто работал над этим исследованием?В статье указаны авторы из Пекинского университета, Math Magic и Гонконгского университета науки и технологий.
Чем это отличается от обычных инструментов мультиракурсной 3D-реконструкции?Вместо того чтобы разделять реконструкцию и генерацию на отдельные этапы, UniForge3D объединяет их в одном общем представлении, управляемом опорными точками. Благодаря этому модель может как реконструировать видимую геометрию, так и генерировать недостающие части 3D-ассета в том же пространстве.
Какие есть похожие проекты?Mira-Scene, WorldSculpt, idol-sdk, TRELLIS.2, ml-sharp, sam-3d-objects, vggt, motionbricks
Автор
xibushu
Размер
71.6 MB
Звёзды
481
Обновлён
КоммитOct 17
Возраст
1 мес
Коммиты · 90 дней