14.5K ·GitHub
Что это такое?
Apache DolphinScheduler — современная платформа оркестрации данных для создания и запуска сложных конвейеров обработки данных с помощью низкокодовых инструментов и перетаскивания блоков мышью.
Apache DolphinScheduler — современная платформа оркестрации данных для создания и запуска сложных конвейеров обработки данных с помощью низкокодовых инструментов и перетаскивания блоков мышью.Это библиотека, которую я встраиваю в код, или отдельный сервис, который я запускаю?Это самостоятельная платформа/сервер оркестрации со своим веб-интерфейсом, процессами master и worker и базой данных, а не библиотека, которую импортируют в код.
Это самостоятельная платформа/сервер оркестрации со своим веб-интерфейсом, процессами master и worker и базой данных, а не библиотека, которую импортируют в код.Как его запустить?Для быстрой проверки можно запустить его в Standalone-режиме, а для кластерных установок развернуть через Docker Compose, Kubernetes или Terraform.
Для быстрой проверки можно запустить его в Standalone-режиме, а для кластерных установок развернуть через Docker Compose, Kubernetes или Terraform.Нужна ли отдельная база данных и настройка кластера или можно просто попробовать Standalone-режим?Для быстрой пробной работы достаточно Standalone-режима; для промышленной эксплуатации нужна база данных (MySQL/PostgreSQL и др.) и инфраструктура кластера/Kubernetes для архитектуры master-worker.
Для быстрой пробной работы достаточно Standalone-режима; для промышленной эксплуатации нужна база данных (MySQL/PostgreSQL и др.) и инфраструктура кластера/Kubernetes для архитектуры master-worker.Это только для простых рабочих процессов или он справляется с реальными промышленными нагрузками?Он создан для промышленных масштабов: заявленная производительность в несколько раз выше, чем у других платформ оркестрации, а количество обрабатываемых задач может достигать десятков миллионов в день. Однако для правильной настройки полного кластера требуется больше усилий, чем для запуска одного скрипта.
Он создан для промышленных масштабов: заявленная производительность в несколько раз выше, чем у других платформ оркестрации, а количество обрабатываемых задач может достигать десятков миллионов в день. Однако для правильной настройки полного кластера требуется больше усилий, чем для запуска одного скрипта.Как создавать рабочие процессы без написания большого количества кода?Рабочие процессы можно создавать и управлять ими визуально через веб-интерфейс перетаскиванием блоков или программно через Python SDK или Open API.
Рабочие процессы можно создавать и управлять ими визуально через веб-интерфейс перетаскиванием блоков или программно через Python SDK или Open API.Можно ли приостановить или восстановить запущенный рабочий процесс?Да, DolphinScheduler предлагает гибкое управление состояниями: рабочие процессы и отдельные задачи можно в любой момент приостановить, остановить и восстановить.
Да, DolphinScheduler предлагает гибкое управление состояниями: рабочие процессы и отдельные задачи можно в любой момент приостановить, остановить и восстановить.Поддерживает ли он работу нескольких команд в одной установке?Да, есть поддержка мультиарендности и управление правами на уровне проектов и источников данных.
Да, есть поддержка мультиарендности и управление правами на уровне проектов и источников данных.Чем он отличается от Airflow или Azkaban?DolphinScheduler делает акцент на децентрализованной высокодоступной архитектуре с несколькими master- и worker-узлами, встроенном версионировании рабочих процессов и заявленной пропускной способности, в несколько раз превышающей у сопоставимых платформ оркестрации.
DolphinScheduler делает акцент на децентрализованной высокодоступной архитектуре с несколькими master- и worker-узлами, встроенном версионировании рабочих процессов и заявленной пропускной способности, в несколько раз превышающей у сопоставимых платформ оркестрации.What are similar projects?airflow, kestra, argo-workflows, dagster, astron-agent, JeecgBoot, airbyte, taipy
airflow, kestra, argo-workflows, dagster, astron-agent, JeecgBoot, airbyte, taipyWhich topics is it in?workflow-orchestration, job-scheduler, data-pipelines, data-engineering, low-code, cloud-native, enterprise, workflow, orchestration, kubernetes, dashboard, monitoring
workflow-orchestration, job-scheduler, data-pipelines, data-engineering, low-code, cloud-native, enterprise, workflow, orchestration, kubernetes, dashboard, monitoring