Depth-Anything-3 README

The project's README from github.com/ByteDance-Seed/Depth-Anything-3. As one markdown file: README.md.

Depth Anything 3: Recovering the Visual Space from Any Views

Haotong Lin* · Sili Chen* · Jun Hao Liew* · Donny Y. Chen* · Zhenyu Li · Guang Shi · Jiashi Feng
Bingyi Kang*†

†project lead *Equal Contribution

Paper PDF Project Page

This work presents Depth Anything 3 (DA3), a model that predicts spatially consistent geometry from arbitrary visual inputs, with or without known camera poses. In pursuit of minimal modeling, DA3 yields two key insights:

🏆 DA3 significantly outperforms DA2 for monocular depth estimation, and VGGT for multi-view depth estimation and pose estimation. All models are trained exclusively on public academic datasets.

Depth Anything 3 - Left

Depth Anything 3

📰 News

✨ Highlights

🏆 Model Zoo

We release three series of models, each tailored for specific use cases in visual geometry.

🔗 Leveraging these available models, we developed a nested series (DA3Nested-Giant-Large). This series combines a any-view giant model with a metric model to reconstruct visual geometry at a real-world metric scale.

🛠️ Codebase Features

Our repository is designed to be a powerful and user-friendly toolkit for both practical application and future research.

🚀 Quick Start

📦 Installation

pip install xformers torch\>=2 torchvision
pip install -e . # Basic
pip install --no-build-isolation git+https://github.com/nerfstudio-project/gsplat.git@0b4dddf04cb687367602c01196913cde6a743d70 # for gaussian head
pip install -e ".[app]" # Gradio, python>=3.10
pip install -e ".[all]" # ALL

For detailed model information, please refer to the Model Cards section below.

💻 Basic Usage

import glob, os, torch
from depth_anything_3.api import DepthAnything3
device = torch.device("cuda")
model = DepthAnything3.from_pretrained("depth-anything/DA3NESTED-GIANT-LARGE")
model = model.to(device=device)
example_path = "assets/examples/SOH"
images = sorted(glob.glob(os.path.join(example_path, "*.png")))
prediction = model.inference(
    images,
)
# prediction.processed_images : [N, H, W, 3] uint8   array
print(prediction.processed_images.shape)
# prediction.depth            : [N, H, W]    float32 array
print(prediction.depth.shape)  
# prediction.conf             : [N, H, W]    float32 array
print(prediction.conf.shape)  
# prediction.extrinsics       : [N, 3, 4]    float32 array # opencv w2c or colmap format
print(prediction.extrinsics.shape)
# prediction.intrinsics       : [N, 3, 3]    float32 array
print(prediction.intrinsics.shape)


export MODEL_DIR=depth-anything/DA3NESTED-GIANT-LARGE
# This can be a Hugging Face repository or a local directory
# If you encounter network issues, consider using the following mirror: export HF_ENDPOINT=https://hf-mirror.com
# Alternatively, you can download the model directly from Hugging Face
export GALLERY_DIR=workspace/gallery
mkdir -p $GALLERY_DIR

# CLI auto mode with backend reuse
da3 backend --model-dir ${MODEL_DIR} --gallery-dir ${GALLERY_DIR} # Cache model to gpu
da3 auto assets/examples/SOH \
    --export-format glb \
    --export-dir ${GALLERY_DIR}/TEST_BACKEND/SOH \
    --use-backend

# CLI video processing with feature visualization
da3 video assets/examples/robot_unitree.mp4 \
    --fps 15 \
    --use-backend \
    --export-dir ${GALLERY_DIR}/TEST_BACKEND/robo \
    --export-format glb-feat_vis \
    --feat-vis-fps 15 \
    --process-res-method lower_bound_resize \
    --export-feat "11,21,31"

# CLI auto mode without backend reuse
da3 auto assets/examples/SOH \
    --export-format glb \
    --export-dir ${GALLERY_DIR}/TEST_CLI/SOH \
    --model-dir ${MODEL_DIR}

The model architecture is defined in DepthAnything3Net, and specified with a Yaml config file located at src/depth_anything_3/configs. The input and output processing are handled by DepthAnything3. To customize the model architecture, simply create a new config file (e.g., path/to/new/config) as:

__object__:
  path: depth_anything_3.model.da3
  name: DepthAnything3Net
  args: as_params

net:
  __object__:
    path: depth_anything_3.model.dinov2.dinov2
    name: DinoV2
    args: as_params

  name: vitb
  out_layers: [5, 7, 9, 11]
  alt_start: 4
  qknorm_start: 4
  rope_start: 4
  cat_token: True

head:
  __object__:
    path: depth_anything_3.model.dualdpt
    name: DualDPT
    args: as_params

  dim_in: &head_dim_in 1536
  output_dim: 2
  features: &head_features 128
  out_channels: &head_out_channels [96, 192, 384, 768]

Then, the model can be created with the following code snippet.

from depth_anything_3.cfg import create_object, load_config

Model = create_object(load_config("path/to/new/config"))

📚 Useful Documentation

🗂️ Model Cards

Generally, you should observe that DA3-LARGE achieves comparable results to VGGT.

The Nested series uses an Any-view model to estimate pose and depth, and a monocular metric depth estimator for scaling.

⚠️ Models with the -1.1 suffix are retrained after fixing a training bug; prefer these refreshed checkpoints. The original DA3NESTED-GIANT-LARGE, DA3-GIANT, and DA3-LARGE remain available but are deprecated. You could expect much better performance for street scenes with the -1.1 models.

🗃️ Model Name 📏 Params 📊 Rel. Depth 📷 Pose Est. 🧭 Pose Cond. 🎨 GS 📐 Met. Depth ☁️ Sky Seg 📄 License
Nested
DA3NESTED-GIANT-LARGE-1.1 1.40B ✅ ✅ ✅ ✅ ✅ ✅ CC BY-NC 4.0
DA3NESTED-GIANT-LARGE 1.40B ✅ ✅ ✅ ✅ ✅ ✅ CC BY-NC 4.0
Any-view Model
DA3-GIANT-1.1 1.15B ✅ ✅ ✅ ✅ CC BY-NC 4.0
DA3-GIANT 1.15B ✅ ✅ ✅ ✅ CC BY-NC 4.0
DA3-LARGE-1.1 0.35B ✅ ✅ ✅ CC BY-NC 4.0
DA3-LARGE 0.35B ✅ ✅ ✅ CC BY-NC 4.0
DA3-BASE 0.12B ✅ ✅ ✅ Apache 2.0
DA3-SMALL 0.08B ✅ ✅ ✅ Apache 2.0
Monocular Metric Depth
DA3METRIC-LARGE 0.35B ✅ ✅ ✅ Apache 2.0
Monocular Depth
DA3MONO-LARGE 0.35B ✅ ✅ Apache 2.0

❓ FAQ

🏢 Awesome DA3 Projects

A community-curated list of Depth Anything 3 integrations across 3D tools, creative pipelines, robotics, and web/VR viewers, including but not limited to these. You are welcome to submit your DA3-based project via PR, and we will review and feature it if applicable.

🧑‍💻 Official Codebase Core Contributors and Maintainers


Bingyi Kang
Haotong Lin
Sili Chen
Jun Hao Liew
Donny Y. Chen
Kai Deng

📝 Citations

If you find Depth Anything 3 useful in your research or projects, please cite our work:

@article{depthanything3,
  title={Depth Anything 3: Recovering the visual space from any views},
  author={Haotong Lin and Sili Chen and Jun Hao Liew and Donny Y. Chen and Zhenyu Li and Guang Shi and Jiashi Feng and Bingyi Kang},
  journal={arXiv preprint arXiv:2511.10647},
  year={2025}
}

Depth-Anything-3 (ByteDance-Seed/Depth-Anything-3)

Searching Database…

6.5K ·GitHub
Depth-Anything-3
Что это такое?Depth Anything 3 (DA3) — это фундаментальная модель от ByteDance Seed, которая предсказывает пространственно согласованную геометрию — глубину, положения камер, даже 3D-гауссианы — по произвольным визуальным входным данным, с известными положениями камер или без них.
Это модель, которую я скачиваю, Python-библиотека или готовое приложение?И то и другое, в одном репозитории: предобученные чекпоинты плюс Python-инструментарий, который оборачивает их в веб-интерфейс на Gradio, CLI со скриптами и Python API. Архитектура задана в DepthAnything3Net и настраивается через Yaml-файлы.
Как это запустить?Это Python-проект: установите зависимости, скачайте чекпоинт из Model Zoo, а затем запускайте через веб-интерфейс Gradio для интерактивной работы, через CLI для пакетной обработки или через Python API.
Есть ли подводные камни при скачивании весов модели?Да: модели с суффиксом -1.1 были переобучены после исправления бага в обучении и работают лучше, особенно на уличных сценах — лучше брать их; оригинальные чекпоинты Giant, Large и Nested устарели.
Можно ли бесплатно использовать это в коммерческих проектах?Код распространяется под Apache-2.0, как и небольшие чекпоинты (DA3-BASE, DA3-SMALL, DA3METRIC-LARGE, DA3MONO-LARGE), но флагманские веса GIANT, LARGE и NESTED — под CC BY-NC 4.0, то есть только для некоммерческого использования.
Мне нужна мощная видеокарта для этого?GPU нужен, а размер модели — ваш рычаг: от DA3-Small (0.08B) до Giant (1.15B). DA3-Streaming обрабатывает сверхдлинные видеопоследовательности менее чем на 12 ГБ видеопамяти за счёт инференса скользящим окном.
Как получить глубину в реальных метрах?Используйте DA3METRIC-LARGE и вычислите metricdepth = focal * netoutput / 300, где focal — фокусное расстояние в пикселях (среднее fx и fy из матрицы внутренних параметров камеры K). Серия Nested и так выдаёт глубину в метрах.
Что меняет флаг useraypose?Он заставляет модель вычислять положение камеры через ray head — в целом чуть медленнее, но точнее. По умолчанию стоит False для более быстрого инференса.
На каких данных обучали модели?Все модели обучены исключительно на публичных академических датасетах, как сказано в README.
Он подключается к таким инструментам, как Blender или ComfyUI?Да — в составляемом сообществом списке Awesome DA3 есть аддон для Blender для реконструкции по наборам изображений, ноды ComfyUI для глубины по одному/нескольким видам и согласованной по видео глубины, обёртки ROS2 для робототехники и просмотрщик видео на Three.js/WebXR.
What are similar projects?nerfstudio, vggt, lingbot-map, ml-sharp, vggt-omega, InsertAny3D, pointdit, ABot-Recon
Which topics is it in?point-cloud, gaussian-splatting, vision-transformer, neural-rendering, pose-estimation, 3d-reconstruction, gradio, webui, transformer, inference, computer-vision, pytorch
Creator
ByteDance-Seed
Size
22.7 MB
Stars
6.5K
Updated
CommitJul 27
Age
11mo
Commits · 90 Days