airbyte README

The project's README from github.com/airbytehq/airbyte. As one markdown file: README.md.

Airbyte

Open-source data movement for ELT pipelines and AI agents — from APIs, databases & files to warehouses, lakes, and AI applications

Test Release Slack YouTube Channel Views Build License License

We believe that only an open-source solution to data movement can cover the long tail of data sources while empowering data engineers to customize existing connectors. Our ultimate vision is to help you move data from any source to any destination — whether that destination is a data warehouse, a data lake, or an AI agent. Airbyte provides a catalog of 600+ connectors for APIs, databases, data warehouses, data lakes, and AI applications.

Airbyte Connections UI Screenshot taken from Airbyte Cloud.

Pick the right Airbyte Platform for the job

Getting Started — Data Movement (ELT)

For moving data into warehouses, lakes, and databases:

Try it out yourself with our demo app, visit our full documentation, and learn more about recent announcements. See our registry for a full list of connectors already available in Airbyte or Airbyte Cloud.

Getting Started — AI Agents

For building AI agents that need real-time business data:

Join the Airbyte Community

The Airbyte community can be found in the Airbyte Community Slack, where you can ask questions and voice ideas. You can also ask for help in our Airbyte Forum. Airbyte's roadmap is publicly viewable on GitHub.

For videos and blogs on data engineering and building your data stack, check out Airbyte's Content Hub, YouTube, and sign up for our newsletter.

Contributing

If you've found a problem with Airbyte, please open a GitHub issue. To contribute to Airbyte and see our Code of Conduct, please see the contributing guide. We have a list of good first issues that contain bugs that have a relatively limited scope. This is a great place to get started, gain experience, and get familiar with our contribution process.

PR Permission Requirements

When submitting a pull request, please ensure that Airbyte maintainers have write access to your branch. This allows us to apply formatting fixes and dependency updates directly, significantly speeding up the review and approval process.

To enable write access on your PR from Airbyte maintainers, please check the "Allow edits from maintainers" box when submitting from your PR. You must also create your PR from a fork in your personal GitHub account rather than an organization account, or else you will not see this option. The requirement to create from your personal fork is based on GitHub's additional security restrictions for PRs created from organization forks. For more information about the GitHub security model, please see the GitHub documentation page regarding PRs from forks.

For more details on contribution requirements, please see our contribution workflow documentation.

Security

Airbyte takes security issues very seriously. Please do not file GitHub issues or post on our public forum for security vulnerabilities. Email [email protected] if you believe you have uncovered a vulnerability. In the message, try to provide a description of the issue and ideally a way of reproducing it. The security team will get back to you as soon as possible.

Airbyte Enterprise also offers additional security features (among others) on top of Airbyte open-source.

License

See the LICENSE file for licensing information, and our FAQ for any questions you may have on that topic.

Thank You

Airbyte would not be possible without the support and assistance of other open-source tools and companies! Visit our thank you page to learn more about how we build Airbyte.

airbyte (airbytehq/airbyte)

Searching Database…

22.2K ·GitHub
Что это такое?Airbyte — это open-source платформа для перемещения данных, созданная для ELT-пайплайнов и AI-агентов: она переносит данные из API, баз данных и файлов в хранилища (data warehouse), озёра данных и AI-приложения. В её основе — каталог из более чем 600 коннекторов. Её можно развернуть у себя или использовать в виде Airbyte Cloud.
Это то, что я разворачиваю сам, или облачный сервис?И то и другое. Этот репозиторий — Airbyte Open Source, который вы разворачиваете и запускаете самостоятельно; Airbyte Cloud — это хостинг-версия. Кроме того, есть управляемый продукт Airbyte Agents и open-source Agent SDK.
С чего начать перенос данных?Разверните Airbyte Open Source или настройте Airbyte Cloud, а затем соберите свои данные в одном месте с помощью коннекторов из каталога. Есть демо-приложение, на котором можно всё попробовать, а синхронизации можно запускать через Airflow, Dagster, Kestra или Airbyte API.
Нужно ли писать код, чтобы добавить источник, которого нет в каталоге?Обычно нет: no-code Connector Builder и low-code CDK позволяют создать свой коннектор за считанные минуты. А чтобы использовать коннекторы внутри кода агента, устанавливается отдельный Agent SDK командой uv pip install airbyte-agent-sdk.
В open-source версии есть всё, что предлагает компания?Нет: Airbyte Enterprise добавляет поверх open-source платформы дополнительные возможности, например функции усиленной безопасности. Куда движется проект, видно по публичному роадмапу на GitHub.
Сколько коннекторов доступно из коробки?Более 600 коннекторов для API, баз данных, хранилищ данных, озёр данных и AI-приложений; в реестре проекта перечислено всё, что доступно в Airbyte и Airbyte Cloud.
Что Airbyte предлагает специально для AI-агентов?Airbyte Agents — это управляемый слой данных и контекста, который даёт агентам, LLM и MCP-клиентам доступ к бизнес-данным в реальном времени. Как альтернатива, open-source Agent SDK превращает коннекторы в типизированные LLM-инструменты, которые работают с pydantic-ai, LangChain, OpenAI Agents и FastMCP, со встроенными повторами при сбоях, преобразованием исключений и ограничением размера ответа.
Почему это open source?По словам команды, только open-source подход к перемещению данных способен покрыть длинный хвост источников данных и при этом дать инженерам данных дорабатывать существующие коннекторы под себя.
What are similar projects?kestra, redash, walshadow, debezium, airflow, WrenAI, doris, anythingmcp
Creator
airbytehq
Size
922.9 MB
Stars
22.2K
Age
6y
Commits · 90 Days