这是什么?
Shap-E 是 OpenAI 官方发布的代码和模型,可以根据文本提示或图片生成 3D 物体,输出的是条件式 3D 隐式函数。
这是函数库还是现成的应用?
它是一个 Python 函数库和研究代码库,需要通过示例 Jupyter 笔记本来使用,不是带图形界面的打包应用。
怎么让它跑起来?
在仓库目录中运行 pip install -e . 完成安装,然后打开其中一个笔记本,比如 sampletextto3d.ipynb,就能根据文本提示生成模型。
使用图片编码笔记本,除了 Python 还需要别的东西吗?
encodemodel.ipynb 笔记本用于将 3D 模型或点云编码为潜变量,需要先安装 Blender 3.3.1 或更高版本,并把环境变量 BLENDER_PATH 设置为 Blender 可执行文件的路径。
随便给一张照片,图片转 3D 都能用吗?
开箱即用的效果并不理想。要想让基于图片的生成效果最好,应该先去掉输入图片的背景。
文本生成模型能输出哪些类型的结果?
示例作品包括:形状像牛油果的椅子、形状像香蕉的飞机、一艘飞船、一个生日杯子蛋糕和一只企鹅等,说明它能把物体类别与富有创意的描述结合起来。
能不能用自己的 3D 模型,而不是让它生成?
可以。encodemodel.ipynb 笔记本允许你加载现有的 3D 模型或 trimesh 对象,从中渲染多视角图片和点云,将其编码为潜变量,再渲染回来。
动手试之前,能先看看更多生成示例吗?
可以。仓库中包含一个 samples.md 文件,里面是针对一组精选提示词随机生成的样例。
What are similar projects?
CodeVideoModel, latent-diffusion, DALL-E, generative-models, DALLE2-pytorch, vggt, WorldSculpt, TRELLIS
Which topics is it in?
generative, 3d-generation, 3d-reconstruction, computer-graphics, jupyter-notebook, text-to-image, neural-network, 3d, image-generation, generative-ai, computer-vision, pytorch