Что это такое?
Shap-E — официальный код и модель от OpenAI для создания 3D-объектов по текстовому описанию или изображению. На выходе получаются 3D-неявные функции, которые зависят от заданного описания или изображения.
Shap-E — официальный код и модель от OpenAI для создания 3D-объектов по текстовому описанию или изображению. На выходе получаются 3D-неявные функции, которые зависят от заданного описания или изображения.Это библиотека или готовое приложение?Это Python-библиотека и исследовательский код, которым пользуются через примеры в Jupyter-блокнотах. Это не готовое приложение с графическим интерфейсом.
Это Python-библиотека и исследовательский код, которым пользуются через примеры в Jupyter-блокнотах. Это не готовое приложение с графическим интерфейсом.Как это запустить?Установите командой pip install -e . из папки с репозиторием, затем запустите один из готовых блокнотов, например sampletextto3d.ipynb, чтобы создать модель по текстовому описанию.
Установите командой pip install -e . из папки с репозиторием, затем запустите один из готовых блокнотов, например sampletextto3d.ipynb, чтобы создать модель по текстовому описанию.Нужно ли что-то кроме Python для блокнота кодирования изображений?Для блокнота encodemodel.ipynb (кодирование 3D-моделей и облаков точек в латентные представления) нужно установить Blender версии 3.3.1 или выше и задать переменную окружения BLENDER_PATH с путём к его исполняемому файлу.
Для блокнота encodemodel.ipynb (кодирование 3D-моделей и облаков точек в латентные представления) нужно установить Blender версии 3.3.1 или выше и задать переменную окружения BLENDER_PATH с путём к его исполняемому файлу.Работает ли превращение изображения в 3D с любой моей фотографией?Сразу из коробки работает не очень хорошо — для лучшего результата сначала уберите фон с входного изображения.
Сразу из коробки работает не очень хорошо — для лучшего результата сначала уберите фон с входного изображения.Какие объекты может создавать модель по тексту?В примерах есть, например, кресло в форме авокадо, самолёт в форме банана, космический корабль, праздничный капкейк и пингвин. Видно, что модель умеет сочетать категории объектов с творческими описаниями.
В примерах есть, например, кресло в форме авокадо, самолёт в форме банана, космический корабль, праздничный капкейк и пингвин. Видно, что модель умеет сочетать категории объектов с творческими описаниями.Можно ли загрузить свою 3D-модель вместо генерации?Да, блокнот encodemodel.ipynb позволяет загрузить готовую 3D-модель или trimesh, отрисовать из неё многоракурсные изображения и облако точек, закодировать всё в латентное представление и затем отрисовать обратно.
Да, блокнот encodemodel.ipynb позволяет загрузить готовую 3D-модель или trimesh, отрисовать из неё многоракурсные изображения и облако точек, закодировать всё в латентное представление и затем отрисовать обратно.Можно ли посмотреть больше примеров до того, как пробовать самому?Да, в репозитории есть файл samples.md со случайными примерами, сгенерированными по набору отобранных описаний.
Да, в репозитории есть файл samples.md со случайными примерами, сгенерированными по набору отобранных описаний.What are similar projects?CodeVideoModel, latent-diffusion, DALL-E, generative-models, DALLE2-pytorch, vggt, WorldSculpt, TRELLIS
CodeVideoModel, latent-diffusion, DALL-E, generative-models, DALLE2-pytorch, vggt, WorldSculpt, TRELLISWhich topics is it in?generative, 3d-generation, 3d-reconstruction, computer-graphics, jupyter-notebook, text-to-image, neural-network, 3d, image-generation, generative-ai, computer-vision, pytorch
generative, 3d-generation, 3d-reconstruction, computer-graphics, jupyter-notebook, text-to-image, neural-network, 3d, image-generation, generative-ai, computer-vision, pytorch