Что это такое?
3FS (Fire-Flyer File System) — высокопроизводительная распределённая файловая система, созданная DeepSeek для хранения данных при обучении и инференсе ИИ-моделей в большом масштабе. Она объединяет тысячи SSD и сотни узлов хранения за RDMA-сетью в один общий слой хранения.
3FS (Fire-Flyer File System) — высокопроизводительная распределённая файловая система, созданная DeepSeek для хранения данных при обучении и инференсе ИИ-моделей в большом масштабе. Она объединяет тысячи SSD и сотни узлов хранения за RDMA-сетью в один общий слой хранения.Монтировать её как обычную файловую систему или использовать специальный API?Она предоставляет стандартный, хорошо известный файловый интерфейс, который опирается на сервисы метаданных без состояния и транзакционное хранилище ключ-значение вроде FoundationDB, поэтому большинство приложений работает с обычными файловыми вызовами. Отдельный API USRBIO доступен для максимальной пропускной способности.
Она предоставляет стандартный, хорошо известный файловый интерфейс, который опирается на сервисы метаданных без состояния и транзакционное хранилище ключ-значение вроде FoundationDB, поэтому большинство приложений работает с обычными файловыми вызовами. Отдельный API USRBIO доступен для максимальной пропускной способности.Как запустить тестовый кластер?Клонируйте репозиторий вместе с подмодулями, установите необходимые зависимости для сборки, соберите 3FS (при желании можно использовать готовые Docker-образы для сборки TencentOS-4 или OpenCloudOS-9), затем следуйте руководству Setup Guide проекта, чтобы поднять тестовый кластер.
Клонируйте репозиторий вместе с подмодулями, установите необходимые зависимости для сборки, соберите 3FS (при желании можно использовать готовые Docker-образы для сборки TencentOS-4 или OpenCloudOS-9), затем следуйте руководству Setup Guide проекта, чтобы поднять тестовый кластер.Что нужно установить перед сборкой?Нужны libfuse 3.16.1+, FoundationDB 7.1+ и Rust-тулчейн (минимум 1.75.0, рекомендуется 1.85.0+), а также рабочее окружение для сборки на C++/CMake.
Нужны libfuse 3.16.1+, FoundationDB 7.1+ и Rust-тулчейн (минимум 1.75.0, рекомендуется 1.85.0+), а также рабочее окружение для сборки на C++/CMake.Есть ли подводные камни при сборке?Бинарники, собранные разными версиями GCC (g++10 и g++11+), могут быть несовместимы из-за особенностей поведения std::shuffle, поэтому нужно явно задать -DSHUFFLEMETHOD и использовать одно и то же значение на протяжении всего срока работы развёрнутого кластера.
Бинарники, собранные разными версиями GCC (g++10 и g++11+), могут быть несовместимы из-за особенностей поведения std::shuffle, поэтому нужно явно задать -DSHUFFLEMETHOD и использовать одно и то же значение на протяжении всего срока работы развёрнутого кластера.Это для одной машины или нужен целый кластер?Система создана для развёртываний на множестве узлов масштаба дата-центра по InfiniBand/RDMA. В собственном бенчмарке DeepSeek использовались 180 узлов хранения с двумя сетевыми картами по 200 Гбит/с и NVMe SSD, а также более 500 клиентских узлов, поэтому запустить её на одном ноутбуке не получится.
Система создана для развёртываний на множестве узлов масштаба дата-центра по InfiniBand/RDMA. В собственном бенчмарке DeepSeek использовались 180 узлов хранения с двумя сетевыми картами по 200 Гбит/с и NVMe SSD, а также более 500 клиентских узлов, поэтому запустить её на одном ноутбуке не получится.Насколько 3FS быстра на практике?На тестовом кластере из 180 узлов совокупная скорость чтения достигала около 6,6 TiB/s, а бенчмарк GraySort отсортировал 110,5 TiB данных по 8 192 партициям за 30 минут 14 секунд.
На тестовом кластере из 180 узлов совокупная скорость чтения достигала около 6,6 TiB/s, а бенчмарк GraySort отсортировал 110,5 TiB данных по 8 192 партициям за 30 минут 14 секунд.Для чего здесь используется KVCache?3FS выступает как более дешёвая альтернатива DRAM с большей ёмкостью для кэширования векторов ключ/значение при инференсе LLM; в тестах DeepSeek пиковая скорость чтения клиентов достигала около 40 GiB/s.
3FS выступает как более дешёвая альтернатива DRAM с большей ёмкостью для кэширования векторов ключ/значение при инференсе LLM; в тестах DeepSeek пиковая скорость чтения клиентов достигала около 40 GiB/s.Зачем сочетать RDMA с NVMe SSD?Сочетание RDMA и NVMe позволяет 3FS разделить вычислительные узлы и узлы хранения (CRAQ обеспечивает строгую согласованность), при этом по всему кластеру сохраняется скорость, близкая к локальному диску, а именно это нужно крупным конвейерам обучения и инференса.
Сочетание RDMA и NVMe позволяет 3FS разделить вычислительные узлы и узлы хранения (CRAQ обеспечивает строгую согласованность), при этом по всему кластеру сохраняется скорость, близкая к локальному диску, а именно это нужно крупным конвейерам обучения и инференса.Which topics is it in?kv-cache, big-data, storage, infrastructure, high-performance, distributed-systems, cpp, c++, networking, rust, machine-learning, server
kv-cache, big-data, storage, infrastructure, high-performance, distributed-systems, cpp, c++, networking, rust, machine-learning, server