Что это такое?
dbt позволяет аналитикам данных и инженерам преобразовывать данные в хранилище, написав SQL-запросы SELECT («модели»). При этом используются те же практики, что и у разработчиков программ: контроль версий, тестирование, модульность.
dbt позволяет аналитикам данных и инженерам преобразовывать данные в хранилище, написав SQL-запросы SELECT («модели»). При этом используются те же практики, что и у разработчиков программ: контроль версий, тестирование, модульность.Это инструмент на Python или что-то другое теперь?dbt v2.0 — это полностью переписанная на Rust версия dbt, которая распространяется как один самодостаточный исполняемый файл командной строки, а не как пакет Python. Старая реализация v1 на Python по-прежнему существует в отдельной ветке.
dbt v2.0 — это полностью переписанная на Rust версия dbt, которая распространяется как один самодостаточный исполняемый файл командной строки, а не как пакет Python. Старая реализация v1 на Python по-прежнему существует в отдельной ветке.Как начать работу с dbt?Установите исполняемый файл dbt v2.0 для вашей ОС и архитектуры, затем напишите SQL-запросы SELECT в виде «моделей» внутри проекта dbt. dbt превращает их в таблицы и представления в вашем хранилище.
Установите исполняемый файл dbt v2.0 для вашей ОС и архитектуры, затем напишите SQL-запросы SELECT в виде «моделей» внутри проекта dbt. dbt превращает их в таблицы и представления в вашем хранилище.Нужен ли Python для запуска dbt v2.0?Нет. В отличие от v1, v2.0 поставляется как один самодостаточный исполняемый файл и не требует ни среды выполнения Python, ни управления зависимостями.
Нет. В отличие от v1, v2.0 поставляется как один самодостаточный исполняемый файл и не требует ни среды выполнения Python, ни управления зависимостями.Готов ли dbt v2.0 к использованию в продакшене?Пока нет: версия находится в бета-тестировании, поэтому поведение, API и форматы файлов на диске могут измениться до стабильного релиза. Поддержка Windows также ограничена архитектурой x86-64 (ARM пока не поддерживается).
Пока нет: версия находится в бета-тестировании, поэтому поведение, API и форматы файлов на диске могут измениться до стабильного релиза. Поддержка Windows также ограничена архитектурой x86-64 (ARM пока не поддерживается).Какие операционные системы и процессоры поддерживаются?macOS и Linux поддерживаются на архитектурах x86-64 и ARM. Windows поддерживается только на x86-64, поддержка ARM пока недоступна.
macOS и Linux поддерживаются на архитектурах x86-64 и ARM. Windows поддерживается только на x86-64, поддержка ARM пока недоступна.Что случилось со старой версией dbt на Python?Разработка dbt v1 перенесена в ветку 1.latest, а в основной ветке теперь находится новая версия v2.0 на Rust.
Разработка dbt v1 перенесена в ветку 1.latest, а в основной ветке теперь находится новая версия v2.0 на Rust.Что именно такое «модель» в dbt?Модель — это просто SQL-запрос SELECT, который dbt компилирует и сохраняет как таблицу или представление в вашем хранилище данных. dbt сам управляет зависимостями между моделями.
Модель — это просто SQL-запрос SELECT, который dbt компилирует и сохраняет как таблицу или представление в вашем хранилище данных. dbt сам управляет зависимостями между моделями.Зачем команда dbt переписала его на Rust?Ради производительности при больших объемах данных: v2.0 разбирает, компилирует и запускает проекты за долю времени по сравнению с реализацией v1 на Python, особенно на больших проектах.
Ради производительности при больших объемах данных: v2.0 разбирает, компилирует и запускает проекты за долю времени по сравнению с реализацией v1 на Python, особенно на больших проектах.Что нового в артефактах, которые создает dbt?v2.0 формирует артефакты в формате Parquet, которые легко запрашивать и объединять для анализа проекта, при этом по-прежнему создает исходные артефакты в формате JSON, например manifest.json, для обратной совместимости.
v2.0 формирует артефакты в формате Parquet, которые легко запрашивать и объединять для анализа проекта, при этом по-прежнему создает исходные артефакты в формате JSON, например manifest.json, для обратной совместимости.What are similar projects?walshadow, airbyte, hotdata-cli, cube, ClickHouse, pgterm, superset, trino
walshadow, airbyte, hotdata-cli, cube, ClickHouse, pgterm, superset, trinoWhich topics is it in?business-intelligence, data-pipeline, data-engineering, slack, analytics, sql, database, rust, command-line-tool, terminal, apache-2.0, cli
business-intelligence, data-pipeline, data-engineering, slack, analytics, sql, database, rust, command-line-tool, terminal, apache-2.0, cli