3d-model-anything README

README проекта с github.com/wesbos/3d-model-anything. Одним файлом markdown: README.md.

3D Model Anything

Watch the video: 3D Model Anything

Capture a room on an iPhone, then use its geometry and photographs to build an editable Three.js scene with an AI coding agent.

Open the office viewer · App support

This repository includes the 3D Model Anything iPhone app, a Three.js viewer, the scan-to-threejs agent skill, and Wes’s detailed office demo.

The app records the evidence. The skill guides an agent through measurement, modeling and matched-camera visual comparisons. This is an iterative reconstruction workflow, not a one-click scan-to-perfect-model converter. The current workflow focuses on rooms and interiors.

Run the viewer

Use Node.js 22.12+ (or a newer supported release).

npm ci
npm run dev

Open http://localhost:5188. Explore the office in dollhouse, walking, overhead, wireframe and knolling views. The playground is at /play.html?room=office-v4&mode=fpv.

npm run build
npm run preview

The demo includes the reconstructed office and selected textures. Original scans and photo collections are not distributed; Scan and Overlay are disabled for this example. Those modes remain available for your own rooms with reference assets.

Capture your own space

See the iPhone app for building with Xcode, device requirements, scanning and sharing. Scanning needs a LiDAR-equipped iPhone or iPad. Non-LiDAR devices can import and review scans.

The app is source-available here; an App Store release is a separate distribution step. Do not assume an App Store download is available yet.

Export a room or session through the system share sheet and extract it into an ignored data/captures-in/<room>/ directory. Exports keep the existing house-capture/5 contract; changing the app name does not change the files.

Use the skill

The skill lives at .agents/skills/scan-to-threejs/SKILL.md. Open this repository in an agent that supports local skills and ask it to use scan-to-threejs with your extracted export. You can also copy that skill directory into your agent's skill directory; the companion viewer/runtime in this repo is still needed for its capture workflow.

Example request:

Use scan-to-threejs to rebuild the room in data/captures-in/my-room. Inspect the measurements and photos, create an editable scene, and compare rendered views with the original photographs.

Start with the format guide and project layout. Helpers need Python 3; photo comparisons need Pillow, and optional depth reconstruction needs NumPy, Open3D and Pillow. Capture scripts use the agent-browser CLI.

A new room goes in demos/<id>/ and is registered in demos/index.ts. The office example retains its earlier reconstruction layers (office-v2, office-latest, office-v4) to preserve the final geometry.

Privacy and licensing

Only the office example is distributed. No other rooms, connected-house layout, original scan bundles, or development Git history are included. Keep your captures private; inspect assets before publishing your own demo.

Reusable source code and the skill are MIT licensed. The supplied office images/textures have separate asset terms. Third-party marks, artwork and depicted products are not licensed by the code license.

See release status for validation and iPhone distribution steps.

3d-model-anything (wesbos/3d-model-anything)

Ищем в базе…

Что это такое?Это набор инструментов для съёмки комнаты с помощью LiDAR и камеры iPhone, а затем превращения результата сканирования в редактируемую 3D-сцену Three.js с помощью ИИ-агента для программирования.
Это одно приложение или несколько частей, которые работают вместе?Набор включает четыре части: приложение 3D Model Anything для iPhone, которое записывает сканирования, браузерный просмотрщик Three.js, навык агента scan-to-threejs, который направляет реконструкцию, и пример демонстрации офиса.
Как попробовать включённую демонстрацию?Установите Node.js 22.12 или новее и откройте просмотрщик локально, чтобы осмотреть реконструированный офис в режимах «кукольный домик», «прогулка», «вид сверху», «каркас» и «knolling», например по адресу /play.html?room=office-v4&mode=fpv.
Что нужно, чтобы снять и обработать свою комнату?Для сканирования нужны iPhone или iPad с LiDAR и Xcode для сборки приложения; вспомогательным инструментам реконструкции нужен Python 3, а для сравнения фотографий — Pillow, и по желанию NumPy и Open3D для реконструкции по глубине.
Даёт ли сканирование готовую 3D-модель автоматически?Нет, это итеративный процесс реконструкции под руководством агента, а не конвертер «скан в идеальную модель в один клик», и пока поддерживаются только комнаты и интерьеры.
Уже есть приложение для iPhone в App Store?Нет, сейчас приложение доступно с открытым исходным кодом только в этом репозитории; выпуск в App Store — отдельный шаг распространения, который пока не подтверждён.
Есть ли в репозитории чьи-то отсканированные комнаты?Нет, распространяется только пример демонстрации офиса; исходные сканы, схема связанного дома и история разработки исключены, а пользователям рекомендуется держать свои снимки в закрытом доступе.
Какие условия лицензирования?Код и навык агента распространяются по лицензии MIT, но изображения и текстуры демонстрации офиса имеют отдельные условия использования, а товарные знаки третьих лиц и изображённые продукты лицензией на код не покрываются.
Что на самом деле делает навык scan-to-threejs?Он направляет ИИ-агента по измерению экспортированного снимка, моделированию комнаты в Three.js и сравнению отрендеренных видов с исходными фотографиями для повышения точности.
Как передать свой скан агенту?Экспортируйте комнату через меню «Поделиться» в приложении iPhone в локальную папку data/captures-in/, а затем попросите агента, который поддерживает локальные навыки, запустить scan-to-threejs для этого экспорта.
Можно ли использовать это, если в моём телефоне нет LiDAR?iPhone и iPad без LiDAR всё равно могут импортировать и просматривать готовые сканирования, но сами съёмку с LiDAR выполнить не могут.
Куда добавляются новые комнаты для просмотрщика?Каждая новая комната помещается в папку demos/ и регистрируется в demos/index.ts, чтобы просмотрщик Three.js мог её загрузить.
Автор
wesbos
Размер
35.2 MB
Звёзды
3.1K
Обновлён
КоммитOct 22
Возраст
28 д
Коммиты · 90 дней