camera-to-blender README

The project's README from github.com/ahujasid/camera-to-blender. As one markdown file: README.md.

Camera to 3D

Point your phone at an object, take a photo, and watch a 3D model appear in Blender in under a minute.

Take photo → background removed → 3D model generated → auto-imported into Blender.

The camera UI is built for phone. You run the server on the computer where Blender is open, then open the web app on your phone. A laptop webcam works too.

You'll need

Setup

1. Install

pip install -r requirements.txt
cp .env.example .env

Put your API keys in .env:

TRIPO_API_KEY=your_tripo_api_key_here
GEMINI_API_KEY=your_gemini_api_key_here

2. Start the server

uvicorn relay_server:app --host 0.0.0.0 --port 8000

In a second terminal:

ngrok http 8000

ngrok gives you a URL like https://abc123.ngrok-free.app. You'll use it for both the phone and Blender.

3. Connect Blender

  1. Edit → Preferences → Add-ons → Install, pick ws_import_addon.zip, enable it

  2. Press N in the 3D viewport → WS Import tab

  3. Paste your ngrok URL, but swap https for wss and add /ws?client=blender:

    wss://abc123.ngrok-free.app/ws?client=blender

  4. Click Connect. It should say Status: Connected

4. Use it

Open the ngrok URL on your phone, allow camera access, and point at an object. Tap the shutter, confirm the photo, then wait ~30–60 seconds. When the model is ready, tap Send to Blender.

Settings

All optional except the Tripo key. Set these in .env:

Variable Description
TRIPO_API_KEY Required. Generates the 3D models
GEMINI_API_KEY Removes the photo background. Leave empty to skip it and use the photo as-is
PORT Server port, defaults to 8000

Running without a phone

To test from your laptop webcam, skip ngrok. Open http://localhost:8000 and point Blender at ws://localhost:8000/ws?client=blender.

If something breaks

Camera won't open on phone — you need the https:// ngrok URL, not a local IP.

"Failed to send to Blender" — the add-on isn't connected. Check the WS Import panel says Connected, and that your URL starts with wss:// and ends with ?client=blender.

ngrok URL stopped working — free ngrok URLs change every restart. Reconnect Blender with the new one.

Background removal fails — usually a Gemini quota or key problem. You can leave GEMINI_API_KEY empty to skip it.

What's in here

relay_server.py          The server: talks to the APIs, relays models to Blender
webapp/                  The phone camera app
blender_addon/           Add-on source
ws_import_addon.zip      The add-on to install in Blender

If you edit the add-on source, repackage it before installing:

zip -r ws_import_addon.zip blender_addon -x "*/__pycache__/*" "*.pyc"

License

MIT — see LICENSE.

camera-to-blender (ahujasid/camera-to-blender)

Searching Database…

849 ·GitHub
Camera-to-blender
Что это?Инструмент, превращающий фото реального объекта в 3D-модель и автоматически импортирующий её в Blender — наведите телефон на что-нибудь, сделайте снимок, и модель появится в Blender примерно за минуту.
Это аддон для Blender, веб-приложение или что-то ещё?Это три части, работающие вместе: локальный Python-сервер, веб-приложение с камерой, которое вы открываете на телефоне, и аддон для Blender, подключающийся к серверу по WebSocket, чтобы получить готовую модель.
Как это запустить?Положите API-ключи в файл .env, запустите сервер, поднимите ngrok, чтобы получить HTTPS-URL, затем установите аддон wsimportaddon.zip для Blender и вставьте ngrok-URL (заменив на wss://...) в его панель WS Import для подключения.
Что нужно перед началом?Нужны Python 3.10+, Blender 3.0+, обязательный API-ключ Tripo3D (генерирует 3D-модели), опциональный API-ключ Gemini (удаляет фон с фото) и ngrok (обязателен для использования с телефона, поскольку телефонам нужен HTTPS).
Есть ли подводные камни, о которых стоит знать?Бесплатные URL ngrok меняются при каждом перезапуске, поэтому каждый раз придётся переподключать аддон Blender с новым URL; кроме того, если удаление фона не срабатывает, обычно это проблема квоты или ключа Gemini, которую можно просто пропустить, оставив ключ Gemini пустым.
Можно попробовать без телефона?Да, можно полностью обойтись без ngrok и протестировать через веб-камеру ноутбука, указав Blender адрес ws://localhost:8000/ws?client=blender.
Почему именно ngrok нужен?Камере телефона нужно HTTPS-соединение, чтобы работать в браузере, поэтому ngrok используется, чтобы открыть локальный сервер через безопасный HTTPS-туннель, доступный с телефона.
Что на самом деле делает ключ Tripo3D?Это обязательный API-ключ, который обеспечивает само создание 3D-модели по вашему фото — без него конвейер не сможет создать модель.
Что происходит, если Blender сообщает, что не удалось отправить модель?Это значит, что аддон WS Import не подключён; проверьте, что в панели отображается «Status: Connected», а вставленный URL начинается с wss:// и заканчивается на /ws?client=blender.
What are similar projects?Hunyuan3D-2, Procedura, image-to-3dlab, image-to-3d-pipeline, genex-desktop, opensmash, dioramas, TRELLIS
Which topics is it in?photogrammetry, background-removal, image-to-3d, webcam, blender, camera, 3d-generation, websocket, 3d, gemini, generative-ai, api
Creator
ahujasid
Size
<0.1 MB
Stars
849
Updated
CommitSep 05
Age
1mo
Commits · 90 Days