Что это такое?
walshadow реплицирует строки из PostgreSQL в ClickHouse, читая физический WAL — в процесс входят первичная загрузка, непрерывная передача изменений, эволюция схемы, перезапуски и плановое переключение на новый источник.
walshadow реплицирует строки из PostgreSQL в ClickHouse, читая физический WAL — в процесс входят первичная загрузка, непрерывная передача изменений, эволюция схемы, перезапуски и плановое переключение на новый источник.Что именно я устанавливаю — сервис, утилиту командной строки или библиотеку?В основном это демон репликации walshadow-stream, а также вспомогательные инструменты для фильтрации и классификации WAL. На стороне Postgres он устанавливает модуль, который загружается через shared_preload_libraries — это не обычное SQL-расширение.
В основном это демон репликации walshadow-stream, а также вспомогательные инструменты для фильтрации и классификации WAL. На стороне Postgres он устанавливает модуль, который загружается через shared_preload_libraries — это не обычное SQL-расширение.Как запустить первую рабочую конфигурацию?Следуйте Quickstart, чтобы поднять PostgreSQL, ClickHouse и walshadow вместе через Docker Compose; если нужно подключиться к базам данных, которые у вас уже работают, воспользуйтесь вместо этого руководством Getting started.
Следуйте Quickstart, чтобы поднять PostgreSQL, ClickHouse и walshadow вместе через Docker Compose; если нужно подключиться к базам данных, которые у вас уже работают, воспользуйтесь вместо этого руководством Getting started.Нужна ли определённая версия PostgreSQL, чтобы всё работало?Да — PostgreSQL 16 или новее, причём walshadow должен работать с той же мажорной версией PostgreSQL, что и база-источник.
Да — PostgreSQL 16 или новее, причём walshadow должен работать с той же мажорной версией PostgreSQL, что и база-источник.Можно ли использовать это в продакшене?Пока нет — это экспериментальный Development Preview, который активно разрабатывается и укрепляется; интерфейсы и поведение могут меняться, поэтому тщательно проверяйте его на своих рабочих нагрузках.
Пока нет — это экспериментальный Development Preview, который активно разрабатывается и укрепляется; интерфейсы и поведение могут меняться, поэтому тщательно проверяйте его на своих рабочих нагрузках.Для чего нужны вспомогательные утилиты walshadow-filter и walshadow-classify?walshadow-filter фильтрует офлайн-файлы WAL на уровне сегментов, а walshadow-classify классифицирует отдельные записи — это диагностические помощники, которые поставляются вместе с основным демоном walshadow-stream.
walshadow-filter фильтрует офлайн-файлы WAL на уровне сегментов, а walshadow-classify классифицирует отдельные записи — это диагностические помощники, которые поставляются вместе с основным демоном walshadow-stream.Сжимает ли он реплицируемые данные?Да — сборки по умолчанию используют сжатие LZ4, можно включить zstd (Zstandard) или собрать с --no-default-features для работы без сжатия.
Да — сборки по умолчанию используют сжатие LZ4, можно включить zstd (Zstandard) или собрать с --no-default-features для работы без сжатия.Как он справляется с изменениями схемы и перезапусками?Эволюция схемы, перезапуски и плановое переключение на новый источник — явные части процесса репликации, и для каждой из них есть отдельная страница документации, а не надежда на смекалку пользователя.
Эволюция схемы, перезапуски и плановое переключение на новый источник — явные части процесса репликации, и для каждой из них есть отдельная страница документации, а не надежда на смекалку пользователя.Можно ли реплицировать только некоторые таблицы или несколько баз данных?Да — документация описывает выбор таблиц, несколько баз-источников и настройку таблиц на принимающей стороне, так что выборочная репликация и репликация нескольких баз — поддерживаемые сценарии.
Да — документация описывает выбор таблиц, несколько баз-источников и настройку таблиц на принимающей стороне, так что выборочная репликация и репликация нескольких баз — поддерживаемые сценарии.What are similar projects?airbyte, kafgres, ClickHouse, debezium, electric, pgrust, druid, rankme.fast
airbyte, kafgres, ClickHouse, debezium, electric, pgrust, druid, rankme.fastWhich topics is it in?data-integration, change-data-capture, olap, replication, data-pipeline, etl, clickhouse, postgres, data-engineering, infrastructure, analytics, sql
data-integration, change-data-capture, olap, replication, data-pipeline, etl, clickhouse, postgres, data-engineering, infrastructure, analytics, sql