nerf README

The project's README from github.com/bmild/nerf. As one markdown file: README.md.

NeRF: Neural Radiance Fields

Project Page | Video | Paper | Data

Open Tiny-NeRF in Colab
Tensorflow implementation of optimizing a neural representation for a single scene and rendering new views.

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Ben Mildenhall*1, Pratul P. Srinivasan*1, Matthew Tancik*1, Jonathan T. Barron2, Ravi Ramamoorthi3, Ren Ng1
1UC Berkeley, 2Google Research, 3UC San Diego
*denotes equal contribution
in ECCV 2020 (Oral Presentation, Best Paper Honorable Mention)

TL;DR quickstart

To setup a conda environment, download example training data, begin the training process, and launch Tensorboard:

conda env create -f environment.yml
conda activate nerf
bash download_example_data.sh
python run_nerf.py --config config_fern.txt
tensorboard --logdir=logs/summaries --port=6006

If everything works without errors, you can now go to localhost:6006 in your browser and watch the "Fern" scene train.

Setup

Python 3 dependencies:

The LLFF data loader requires ImageMagick.

We provide a conda environment setup file including all of the above dependencies. Create the conda environment nerf by running:

conda env create -f environment.yml

You will also need the LLFF code (and COLMAP) set up to compute poses if you want to run on your own real data.

What is a NeRF?

A neural radiance field is a simple fully connected network (weights are ~5MB) trained to reproduce input views of a single scene using a rendering loss. The network directly maps from spatial location and viewing direction (5D input) to color and opacity (4D output), acting as the "volume" so we can use volume rendering to differentiably render new views.

Optimizing a NeRF takes between a few hours and a day or two (depending on resolution) and only requires a single GPU. Rendering an image from an optimized NeRF takes somewhere between less than a second and ~30 seconds, again depending on resolution.

Running code

Here we show how to run our code on two example scenes. You can download the rest of the synthetic and real data used in the paper here.

Optimizing a NeRF

Run

bash download_example_data.sh

to get the our synthetic Lego dataset and the LLFF Fern dataset.

To optimize a low-res Fern NeRF:

python run_nerf.py --config config_fern.txt

After 200k iterations (about 15 hours), you should get a video like this at logs/fern_test/fern_test_spiral_200000_rgb.mp4:

ferngif

To optimize a low-res Lego NeRF:

python run_nerf.py --config config_lego.txt

After 200k iterations, you should get a video like this:

legogif

Rendering a NeRF

Run

bash download_example_weights.sh

to get a pretrained high-res NeRF for the Fern dataset. Now you can use render_demo.ipynb to render new views.

Replicating the paper results

The example config files run at lower resolutions than the quantitative/qualitative results in the paper and video. To replicate the results from the paper, start with the config files in paper_configs/. Our synthetic Blender data and LLFF scenes are hosted here and the DeepVoxels data is hosted by Vincent Sitzmann here.

Extracting geometry from a NeRF

Check out extract_mesh.ipynb for an example of running marching cubes to extract a triangle mesh from a trained NeRF network. You'll need the install the PyMCubes package for marching cubes plus the trimesh and pyrender packages if you want to render the mesh inside the notebook:

pip install trimesh pyrender PyMCubes

Generating poses for your own scenes

Don't have poses?

We recommend using the imgs2poses.py script from the LLFF code. Then you can pass the base scene directory into our code using --datadir <myscene> along with -dataset_type llff. You can take a look at the config_fern.txt config file for example settings to use for a forward facing scene. For a spherically captured 360 scene, we recomment adding the --no_ndc --spherify --lindisp flags.

Already have poses!

In run_nerf.py and all other code, we use the same pose coordinate system as in OpenGL: the local camera coordinate system of an image is defined in a way that the X axis points to the right, the Y axis upwards, and the Z axis backwards as seen from the image.

Poses are stored as 3x4 numpy arrays that represent camera-to-world transformation matrices. The other data you will need is simple pinhole camera intrinsics (hwf = [height, width, focal length]) and near/far scene bounds. Take a look at our data loading code to see more.

Citation

@inproceedings{mildenhall2020nerf,
  title={NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis},
  author={Ben Mildenhall and Pratul P. Srinivasan and Matthew Tancik and Jonathan T. Barron and Ravi Ramamoorthi and Ren Ng},
  year={2020},
  booktitle={ECCV},
}

nerf (bmild/nerf)

Searching Database…

11K ·GitHub
Nerf
Что это такое?Официальная реализация NeRF на TensorFlow — система с конференции ECCV 2020 (получила почётное упоминание в номинации «лучшая статья»), которая учит нейросетевое представление одной сцены и рендерит её с новых ракурсов.
Это библиотека, которую я импортирую, или исследовательский код, который я запускаю сам?Исследовательский код: Python-скрипты (run_nerf.py) плюс Jupyter-ноутбуки с демонстрациями и извлечением мешей. Вы клонируете репозиторий, создаёте его conda-окружение и запускаете обучение из командной строки — pip-пакета нет.
Как мне всё запустить?Создайте conda-окружение nerf из приложенного файла настройки, запустите прилагаемый скрипт, чтобы скачать примеры данных для обучения, стартуйте обучение и наблюдайте, как тренируется сцена Fern, в Tensorboard на localhost:6006.
Что должно быть установлено до начала работы?Python 3 с TensorFlow 1.15, matplotlib, numpy, imageio и configargparse — conda-файл всё это охватывает. Загрузчику данных LLFF дополнительно нужен ImageMagick, а для обучения на своих реальных сценах потребуется код LLFF плюс COLMAP для поз камер.
Сколько ждать, пока я увижу обученную сцену?Закладывайте серьёзное время: примеры из репозитория обучаются 200 тысяч итераций, это около 15 часов при низком разрешении. К тому же NeRF привязан к одной сцене, так что каждая новая сцена — это ещё один полный прогон обучения.
Мне нужна мощная видеокарта для этого?Всего одна — в README сказано, что для оптимизации NeRF достаточно одной GPU. Рендеринг кадров уже обученной модели по сравнению с этим быстрый: от менее чем секунды до примерно 30 секунд на изображение.
Что такое нейронное поле излучения (neural radiance field)?Небольшая полносвязная сеть (около 5 МБ весов), которая отображает 5-мерный вход — координату в пространстве плюс направление взгляда — в цвет и прозрачность. Если рассматривать её как объём, её можно дифференцируемо отрендерить, чтобы воспроизвести и синтезировать новые ракурсы одной сцены.
Можно ли обучить её на своих фотографиях?Да. Вычислите позы камер скриптом imgs2poses.py из кода LLFF (он использует COLMAP), затем укажите обучающему скрипту на вашу папку через --datadir и --datasettype llff; для съёмки с охватом 360 градусов добавьте флаги --nondc --spherify --lindisp.
Можно ли получить из обученного NeRF настоящий 3D-меш?Да — extractmesh.ipynb запускает marching cubes и извлекает треугольный меш из обученной сети. Для этого нужен пакет PyMCubes, а также trimesh и pyrender, если хотите отрендерить меш прямо в ноутбуке.
Обязательно ли обучать с нуля, чтобы увидеть результаты?Нет — в репозитории есть ссылка на предобученный NeRF высокого разрешения для сцены Fern, а renderdemo.ipynb рендерит с него новые ракурсы. Для результатов уровня статьи берите за основу конфигурации из paperconfigs/.
What are similar projects?instant-ngp, nerfstudio, Open3D, TRELLIS.2, gaussian-splatting, DeepLearningExamples, Virgilio, vggt
Which topics is it in?3d-graphics, computer-graphics, numpy, tensorflow, rendering, jupyter notebook, 3d, computer-vision, deep-learning, research, gpu, machine-learning
Creator
bmild
Size
2.9 MB
Stars
11K
Updated
CommitApr 12
Age
6y
Commits · 90 Days