Meshroom README

The project's README from github.com/alicevision/Meshroom. As one markdown file: README.md.

Meshroom - 3D Reconstruction Software

Meshroom is an open-source, node-based visual programming framework—a flexible toolbox for creating, managing, and executing complex data processing pipelines.

Meshroom uses a nodal system where each node represents a specific operation, and output attributes can seamlessly feed into subsequent steps. When a node’s attribute is modified, only the affected downstream nodes are invalidated, while cached intermediate results are reused to minimize unnecessary computation.

Meshroom supports both local and distributed execution, enabling efficient parallel processing on render farms. It also includes interactive widgets for visualizing images and 3D data. Official releases come with built-in plugins for computer vision and machine learning tasks.

Ask DeepWiki CII Best Practices Build status

Get the project

You can download pre-compiled binaries for the latest release.

If you want to build it yourself, see INSTALL.md to setup the project and pre-requisites.

To use Meshroom with custom plugins, see INSTALL_PLUGINS.md.

Concepts

User Interface

The Meshroom UI is divided into several key areas:

Manual and Tutorials

Plugins bundled by default

AliceVision Plugin

AliceVision Website

AliceVision Repository

AliceVision provides state-of-the-art 3D Computer Vision and Machine Learning algorithms that analyze and understand image content to transform collections of regular 2D photographs into detailed 3D models, camera positions, and scene geometry. Born from collaboration between academia and industry, it delivers research-grade algorithms with production-level robustness and quality. The AliceVision plugin offers comprehensive pipelines for:

Segmentation Plugin

MrSegmentation: A set of nodes for AI-powered image segmentation from natural language prompts. The plugin leverages foundation models to automatically identify and isolate specific objects or regions in images based on textual descriptions, enabling intuitive content-aware processing workflows.

Other plugins

See MeshroomHub for more plugins.

DepthEstimation Plugin

MrDepthEstimation: A set of nodes for AI-based monocular depth estimation from image sequences. The plugin leverages deep learning models to predict depth information from single images, enabling depth estimation in new scenarios.

RoMa Plugin

MrRoma: A set of nodes for RoMa (robust dense feature matching). The plugin leverages foundation models to provide pixel-dense correspondence estimation with reliable certainty maps, enabling robust matching even under extreme variations in scale, illumination, viewpoint, and texture.

GSplat Plugin

MrGSplat: A set of nodes for 3D Gaussian Splatting reconstruction. The plugin integrates seamlessly with AliceVision's photogrammetry pipeline, allowing users to create Gaussian splat representations from multi-view images and to render new viewpoints.

Research Plugin

Meshroom Research A research-oriented plugin for evaluating and benchmarking cutting-edge Machine Learning algorithms in 3D Computer Vision. The plugin provides experimental nodes and evaluation frameworks to test new methodologies, compare algorithm performance, and validate research innovations before integration into production pipelines.

MicMac Plugin

MeshroomMicMac An exploratory plugin integrating MicMac's photogrammetric algorithms into Meshroom workflows. MicMac is a mature open-source photogrammetric software developed by the National Institute of Geographic and Forestry Information (French Mapping Agency, IGN) and the National School of Geographic Sciences (ENSG) within the LASTIG lab, offering specialized tools for surveying and mapping applications. While the plugin does not yet support Meshroom's full invalidation system, it provides fully functional pipelines for users seeking MicMac's specific photogrammetric capabilities.

Geolocation Plugin

MrGeolocation A plugin for geospatial integration that extracts GPS data from photographs and downloads contextual geographic information. The plugin automatically places 3D reconstructions within their real-world geographical environment by retrieving worldwide 2D maps (OpenStreetMap), global elevation models (NASA datasets), and high-resolution 3D Lidar models where available (France via IGN open data). This enables accurate georeferencing and contextual visualization of photogrammetric reconstructions.

License

The project is released under MPLv2, see COPYING.md.

Citation

@inproceedings{alicevision2021,
  title={{A}liceVision {M}eshroom: An open-source {3D} reconstruction pipeline},
  author={Carsten Griwodz and Simone Gasparini and Lilian Calvet and Pierre Gurdjos and Fabien Castan and Benoit Maujean and Gregoire De Lillo and Yann Lanthony},
  booktitle={Proceedings of the 12th ACM Multimedia Systems Conference - {MMSys '21}},
  doi = {10.1145/3458305.3478443},
  publisher = {ACM Press},
  year = {2021}
}

Contributing

We welcome contributions! Check out our Contribution Guidelines to get started. Whether you are a developer, designer, or documentation enthusiast, there is a place for you in the Meshroom community.

Contact

Use the public mailing-list to ask questions or request features. It is also a good place for informal discussions like sharing results, interesting related technologies or publications: [email protected]

You can also contact the core team privately on: [email protected].

Meshroom (alicevision/Meshroom)

Searching Database…

Что это такое?Meshroom — это открытый фреймворк визуального программирования на основе узлов для создания и запуска конвейеров фотограмметрии и 3D-компьютерного зрения. Он превращает наборы 2D-фотографий в 3D-модели, треки камеры, HDR-панорамы и многое другое.
Это одно приложение или расширяемый фреймворк с плагинами?Это расширяемый фреймворк на основе узлов: в основном приложении есть Graph Editor, Node Editor и просмотрщик 2D/3D, а вся вычислительная мощность (3D-реконструкция, сегментация, оценка глубины, Gaussian splatting) приходит из отдельных плагинов, которые можно добавлять или писать самостоятельно.
Как его запустить?Скачайте готовые бинарные файлы последней версии или следуйте инструкции INSTALL.md, чтобы собрать программу из исходного кода и установить её зависимости. INSTALLPLUGINS.md описывает, как добавлять собственные плагины.
Нужно ли мне отдельно настраивать AliceVision, чтобы заработала 3D-реконструкция?Нет, в официальных релизах уже встроен плагин AliceVision, поэтому конвейеры 3D-реконструкции, отслеживания камеры, слияния HDR и сшивки панорам работают сразу.
Все ли плагины одинаково поддерживают умное кеширование Meshroom?Не совсем: плагин MicMac предоставляет полностью работающие конвейеры, но пока не поддерживает полную систему инвалидации и кеширования Meshroom, в отличие от основного плагина AliceVision.
Какой основной плагин отвечает за 3D-реконструкцию?Плагин AliceVision, включённый по умолчанию, предоставляет конвейеры для многовидовой 3D-реконструкции, отслеживания камеры, слияния HDR, сшивки панорам и фотометрического стерео.
Могу ли я запускать тяжёлые задачи на нескольких машинах?Да, Meshroom поддерживает как локальное, так и распределённое выполнение: вычисления узлов можно передать на render farm, а блокировка узлов при этом управляется автоматически.
Какие плагины существуют помимо основного AliceVision?Официальные дополнения включают MrSegmentation для сегментации объектов с помощью ИИ, MrDepthEstimation для предсказания глубины по одному изображению, MrRoma для плотного сопоставления признаков, MrGSplat для 3D Gaussian Splatting и MrGeolocation для размещения реконструкций на реальных картах.
Могу ли я писать собственные узлы?Да, собственные плагины можно создавать на Python или оборачивая внешние инструменты командной строки. Больше плагины сообщества перечислены на MeshroomHub.
Size
13.3 MB
Stars
13K
Age
11y
Commits · 90 Days