Что это такое?
Canal — это компонент от Alibaba для подписки на инкрементальные изменения binlog MySQL и их обработки. Он выдаёт себя за slave-сервер MySQL, получает события binlog с мастер-сервера MySQL и позволяет использовать разобранные изменения для обновления кеша, построения индексов или синхронизации баз данных.
Canal — это компонент от Alibaba для подписки на инкрементальные изменения binlog MySQL и их обработки. Он выдаёт себя за slave-сервер MySQL, получает события binlog с мастер-сервера MySQL и позволяет использовать разобранные изменения для обновления кеша, построения индексов или синхронизации баз данных.Это библиотека, которую я встраиваю, или отдельный сервер?Это самостоятельная система клиент-сервер: процесс canal server общается с MySQL как с поддельным slave-сервером, а отдельные клиентские приложения (на Java, C#, Go, PHP, Python, Rust или Node.js) подключаются к нему по протоколу protobuf 3.0, чтобы получать изменения.
Это самостоятельная система клиент-сервер: процесс canal server общается с MySQL как с поддельным slave-сервером, а отдельные клиентские приложения (на Java, C#, Go, PHP, Python, Rust или Node.js) подключаются к нему по протоколу protobuf 3.0, чтобы получать изменения.Как это запустить?Следуйте руководству QuickStart (или Docker QuickStart), чтобы настроить сервер canal, укажите ему мастер-сервер MySQL для начала выгрузки binlog, а затем напишите клиент на нужном языке для обработки разобранных событий или направьте их напрямую в Kafka или RocketMQ.
Следуйте руководству QuickStart (или Docker QuickStart), чтобы настроить сервер canal, укажите ему мастер-сервер MySQL для начала выгрузки binlog, а затем напишите клиент на нужном языке для обработки разобранных событий или направьте их напрямую в Kafka или RocketMQ.Нужно ли сначала настраивать репликацию MySQL?Да. Canal имитирует протокол репликации MySQL, поэтому на мастер-сервере MySQL должен быть включён binlog и настроено подключение так, как будто к нему подключён slave, ведь canal отправляет запрос dump точно так же, как настоящий slave.
Да. Canal имитирует протокол репликации MySQL, поэтому на мастер-сервере MySQL должен быть включён binlog и настроено подключение так, как будто к нему подключён slave, ведь canal отправляет запрос dump точно так же, как настоящий slave.Какие версии MySQL поддерживаются на самом деле?Сейчас поддерживаются версии MySQL на стороне источника: 5.1.x, 5.5.x, 5.6.x, 5.7.x и 8.0.x. Другие версии или сильно изменённые форки MySQL работать не гарантированно.
Сейчас поддерживаются версии MySQL на стороне источника: 5.1.x, 5.5.x, 5.6.x, 5.7.x и 8.0.x. Другие версии или сильно изменённые форки MySQL работать не гарантированно.Кто обычно это использует и зачем это создали?Изначально это создали внутри Alibaba, чтобы синхронизировать данные между дата-центрами в Ханчжоу и США. Инструмент подходит командам, которым нужно зеркалирование баз данных, резервное копирование в реальном времени, поддержка поисковых индексов или сброс кеша при изменениях в БД.
Изначально это создали внутри Alibaba, чтобы синхронизировать данные между дата-центрами в Ханчжоу и США. Инструмент подходит командам, которым нужно зеркалирование баз данных, резервное копирование в реальном времени, поддержка поисковых индексов или сброс кеша при изменениях в БД.Работает ли это на Linux-серверах в продакшене?Да. Canal — это серверный процесс на Java, который обычно разворачивают на Linux. Также есть официальный Docker-образ, который упрощает развёртывание.
Да. Canal — это серверный процесс на Java, который обычно разворачивают на Linux. Также есть официальный Docker-образ, который упрощает развёртывание.Есть ли у canal веб-интерфейс для управления?Да, начиная с версии 1.1.4 в canal входит проект canal-admin, который предоставляет WebUI для динамического управления конфигурацией, задачами и логами без ручной правки файлов.
Да, начиная с версии 1.1.4 в canal входит проект canal-admin, который предоставляет WebUI для динамического управления конфигурацией, задачами и логами без ручной правки файлов.Может ли canal отправлять изменения напрямую в Kafka или RocketMQ?Да. Canal умеет отправлять разобранные события binlog прямо в Kafka или RocketMQ как цели доставки сообщений, поэтому не нужен отдельный самописный клиент-ретранслятор.
Да. Canal умеет отправлять разобранные события binlog прямо в Kafka или RocketMQ как цели доставки сообщений, поэтому не нужен отдельный самописный клиент-ретранслятор.Поддерживает ли canal экземпляры Alibaba Cloud RDS?Да, есть встроенная поддержка подписки на binlog из Aliyun RDS for MySQL. Она также решает такие задачи, как автоматическое переключение master/slave при сбое и офлайн-разбор binlog из OSS.
Да, есть встроенная поддержка подписки на binlog из Aliyun RDS for MySQL. Она также решает такие задачи, как автоматическое переключение master/slave при сбое и офлайн-разбор binlog из OSS.Есть ли встроенный мониторинг для canal?Да, canal из коробки поддерживает метрики Prometheus, поэтому можно отслеживать его производительность и состояние без дополнительной настройки.
Да, canal из коробки поддерживает метрики Prometheus, поэтому можно отслеживать его производительность и состояние без дополнительной настройки.What are similar projects?debezium, emqx, airbyte, automq, walshadow, flink-learning, SpringBoot-Labs, electric
debezium, emqx, airbyte, automq, walshadow, flink-learning, SpringBoot-Labs, electricWhich topics is it in?change-data-capture, rocketmq, replication, etl, kafka, sync, prometheus, backup, mysql, distributed-systems, monitoring, china
change-data-capture, rocketmq, replication, etl, kafka, sync, prometheus, backup, mysql, distributed-systems, monitoring, china