-yellow){kind=icon}
-orange){kind=icon}
Что это такое?
AutoMQ — это форк Apache Kafka без локальных дисков и без состояния, который хранит все данные журналов в S3 или в совместимом с S3 объектном хранилище вместо локальных дисков. Это снижает расходы на облако до 10 раз и убирает плату за трафик между зонами доступности.
AutoMQ — это форк Apache Kafka без локальных дисков и без состояния, который хранит все данные журналов в S3 или в совместимом с S3 объектном хранилище вместо локальных дисков. Это снижает расходы на облако до 10 раз и убирает плату за трафик между зонами доступности.Это совершенно новая система очередей сообщений или просто изменённый Kafka?Это форк открытого Apache Kafka, в котором уровень хранения заменён движком на основе S3. Поэтому он на 100% совместим по протоколу с существующими клиентами и инструментами Kafka.
Это форк открытого Apache Kafka, в котором уровень хранения заменён движком на основе S3. Поэтому он на 100% совместим по протоколу с существующими клиентами и инструментами Kafka.Как попробовать AutoMQ локально?Запустите входящий в состав docker/docker-compose.yaml для одноузлового кластера с MinIO в качестве S3-хранилища или docker-compose-cluster.yaml для настройки из 3 узлов. Оба варианта запускаются обычными командами docker compose up и docker compose down.
Запустите входящий в состав docker/docker-compose.yaml для одноузлового кластера с MinIO в качестве S3-хранилища или docker-compose-cluster.yaml для настройки из 3 узлов. Оба варианта запускаются обычными командами docker compose up и docker compose down.Что нужно установить перед запуском?Docker 20.x или новее, Docker Compose v2, не менее 4 ГБ оперативной памяти, выделенной для Docker, и свободные порты 9092 и 9000.
Docker 20.x или новее, Docker Compose v2, не менее 4 ГБ оперативной памяти, выделенной для Docker, и свободные порты 9092 и 9000.Готов ли быстрый старт через Docker Compose к продакшену?Нет. Разработчики прямо заявляют, что этот быстрый старт предназначен только для оценки возможностей, а не для продакшена. Для реального развёртывания нужны их руководства по лучшим практикам для продакшена или поддержка сообщества либо корпоративная поддержка.
Нет. Разработчики прямо заявляют, что этот быстрый старт предназначен только для оценки возможностей, а не для продакшена. Для реального развёртывания нужны их руководства по лучшим практикам для продакшена или поддержка сообщества либо корпоративная поддержка.Что такое Table Topic?Table Topic позволяет темам AutoMQ работать также как таблицы Apache Iceberg, объединяя потоковую обработку и аналитику. Поддерживаются каталоги AWS Glue, HMS и REST, а также нативные таблицы S3.
Table Topic позволяет темам AutoMQ работать также как таблицы Apache Iceberg, объединяя потоковую обработку и аналитику. Поддерживаются каталоги AWS Glue, HMS и REST, а также нативные таблицы S3.Как он обходит плату за трафик между зонами доступности AWS?Маршрутизатор с учётом стоек (rack-aware) передаёт клиентам в каждой зоне доступности метаданные конкретных партиций. Благодаря этому они обмениваются данными через объектное хранилище, а не реплицируют их между зонами, а именно на такой трафик обычно приходится большая часть облачных расходов на Kafka.
Маршрутизатор с учётом стоек (rack-aware) передаёт клиентам в каждой зоне доступности метаданные конкретных партиций. Благодаря этому они обмениваются данными через объектное хранилище, а не реплицируют их между зонами, а именно на такой трафик обычно приходится большая часть облачных расходов на Kafka.Что именно изменено по сравнению с обычным Apache Kafka?AutoMQ заменяет хранение журналов на локальных дисках движком на основе S3 (S3Stream, WAL, LogCache/BlockCache) и добавляет встроенный Auto Balancer. Благодаря этому брокеры Kafka с состоянием и архитектурой shared-nothing превращаются в брокеры без состояния с общим хранилищем на S3.
AutoMQ заменяет хранение журналов на локальных дисках движком на основе S3 (S3Stream, WAL, LogCache/BlockCache) и добавляет встроенный Auto Balancer. Благодаря этому брокеры Kafka с состоянием и архитектурой shared-nothing превращаются в брокеры без состояния с общим хранилищем на S3.Можно ли развернуть его в Kubernetes, а не только в Docker?Помимо быстрого старта через Docker Compose, в README есть ссылки на руководства по развёртыванию многоузлового кластера на обычном Linux, в Kubernetes или через пробные версии из AWS и Alibaba Cloud Marketplace.
Помимо быстрого старта через Docker Compose, в README есть ссылки на руководства по развёртыванию многоузлового кластера на обычном Linux, в Kubernetes или через пробные версии из AWS и Alibaba Cloud Marketplace.What are similar projects?emqx, kestra, thanos, full-stack-data-engineering, doris, picomq, VictoriaMetrics, centrifugo
emqx, kestra, thanos, full-stack-data-engineering, doris, picomq, VictoriaMetrics, centrifugoWhich topics is it in?cost-optimization, object-storage, high-availability, kafka, scalability, prometheus, s3, serverless, aws, enterprise, distributed-systems, streaming
cost-optimization, object-storage, high-availability, kafka, scalability, prometheus, s3, serverless, aws, enterprise, distributed-systems, streaming