dolphinscheduler README

The project's README from github.com/apache/dolphinscheduler. As one markdown file: README.md.

Apache Dolphinscheduler

License codecov Quality Gate Status Twitter Follow CN doc

About

Apache DolphinScheduler is a modern data orchestration platform that empowers agile, low-code development of high-performance workflows. It is dedicated to handling complex task dependencies in data pipelines and provides a wide range of built-in job types out of the box.

Key features for DolphinScheduler are as follows:

QuickStart

User Interface Screenshots

Suggestions & Bug Reports

Follow this guide to report your suggestions or bugs.

Contributing

The community welcomes contributions from everyone. Please refer to this page to find out more details: How to contribute. Check out good first issues here if you are new to DolphinScheduler.

Community

Welcome to join the Apache DolphinScheduler community by:

Landscapes



cncf-landscape  cncf-logo

DolphinScheduler enriches the CNCF CLOUD NATIVE Landscape.

dolphinscheduler (apache/dolphinscheduler)

Searching Database…

这是什么?Apache DolphinScheduler 是一个现代化的数据编排平台,可以通过低代码、拖拽式工具来构建和运行复杂的数据管道工作流。
这是我要嵌入的库,还是需要单独运行的独立服务?它是一个独立的编排平台/服务器,自带 Web UI、master/worker 进程和数据库后端,不是可以导入到代码中的库。
怎么把它跑起来?可以用 Standalone 模式快速试用,也可以通过 Docker Compose、Kubernetes 或 Terraform 部署集群。
是需要单独的数据库和集群环境,还是直接用 Standalone 模式试一下就行?快速试用只需要 Standalone 模式;生产环境则需要数据库(如 MySQL/PostgreSQL 等),以及支撑 master-worker 架构的集群/Kubernetes 基础设施。
它只适合简单的工作流,还是能满足真正的生产规模需求?它是为生产规模设计的,官方宣称性能是其他编排平台的数倍,每天可以处理数千万个任务;不过要把完整集群环境配置好,需要的投入比运行单个脚本要多得多。
不写太多代码,怎么搭建工作流?可以通过 Web UI 以拖拽的方式可视化地创建和管理工作流,也可以通过 Python SDK 或 Open API 以编程方式完成。
能暂停或恢复正在运行的工作流吗?可以。DolphinScheduler 提供灵活的状态控制,支持随时暂停、停止和恢复工作流以及单个任务。
多个团队能共用一套部署吗?可以,它支持多租户,并且可以在项目和数据源层面进行权限控制。
它和 Airflow、Azkaban 有什么区别?DolphinScheduler 强调去中心化的多 master/多 worker 高可用架构、原生的工作流版本管理,并宣称吞吐量是同类编排平台的数倍。
Creator
apache
Size
220.1 MB
Stars
14.5K
Age
7y
Commits · 90 Days