Что это?
effect-mq — библиотека фоновых задач и очередей сообщений в духе Effect: определения задач через схемы, независимое от хранилища ядро очередей, среда выполнения воркеров и хранилища для Postgres (через Drizzle) и Redis.
effect-mq — библиотека фоновых задач и очередей сообщений в духе Effect: определения задач через схемы, независимое от хранилища ядро очередей, среда выполнения воркеров и хранилища для Postgres (через Drizzle) и Redis.Это библиотека для импорта или отдельный сервис для запуска?Это TypeScript-библиотека, разделённая на tree-shakeable-модули (ядро, хранилище drizzle-postgres, хранилище redis, набор для тестирования), которые вы встраиваете в своё Effect-приложение; отдельного серверного бинарника нет.
Это TypeScript-библиотека, разделённая на tree-shakeable-модули (ядро, хранилище drizzle-postgres, хранилище redis, набор для тестирования), которые вы встраиваете в своё Effect-приложение; отдельного серверного бинарника нет.Как встроить его в проект?Установите effect-mq и нужный модуль хранилища, реэкспортируйте прилагаемые фабрики drizzle-схем, чтобы drizzle-kit управлял миграциями таблиц задач, затем определите задачи и запустите среду воркеров на этом хранилище.
Установите effect-mq и нужный модуль хранилища, реэкспортируйте прилагаемые фабрики drizzle-схем, чтобы drizzle-kit управлял миграциями таблиц задач, затем определите задачи и запустите среду воркеров на этом хранилище.Нужны ли Effect и экземпляр Postgres или Redis?Да, библиотека построена на Effect v4 и требует хотя бы одно хранилище — Postgres (захват задач через FOR UPDATE SKIP LOCKED и LISTEN/NOTIFY) или Redis (атомарные Lua-скрипты с pub/sub) — плюс in-memory-драйвер для тестов или одноразовых задач.
Да, библиотека построена на Effect v4 и требует хотя бы одно хранилище — Postgres (захват задач через FOR UPDATE SKIP LOCKED и LISTEN/NOTIFY) или Redis (атомарные Lua-скрипты с pub/sub) — плюс in-memory-драйвер для тестов или одноразовых задач.Что происходит, если воркер падает или задача зависает на середине?Доставка гарантируется хотя бы один раз (at-least-once) — с блокировками под токеном, обновлением heartbeat и восстановлением зависших задач, — а каждая попытка сохраняется в журнал запусков в хранилище, а не в памяти воркера, поэтому повторы переживают сбои.
Доставка гарантируется хотя бы один раз (at-least-once) — с блокировками под токеном, обновлением heartbeat и восстановлением зависших задач, — а каждая попытка сохраняется в журнал запусков в хранилище, а не в памяти воркера, поэтому повторы переживают сбои.Как повторяющиеся cron-задачи избегают двойного срабатывания на нескольких воркерах?Каждое срабатывание захватывается и ставится в очередь одной атомарной операцией хранилища, что гарантирует ровно одну задачу на срабатывание при любом числе запущенных воркеров и любых настройках хранения.
Каждое срабатывание захватывается и ставится в очередь одной атомарной операцией хранилища, что гарантирует ровно одну задачу на срабатывание при любом числе запущенных воркеров и любых настройках хранения.Какие варианты дедупликации он предлагает?Поддерживаются pending-dedup, throttle, debounce и replace-while-delayed — все используют отдельный ключ дедупликации, так что реальный id задачи никогда не перезаписывается.
Поддерживаются pending-dedup, throttle, debounce и replace-while-delayed — все используют отдельный ключ дедупликации, так что реальный id задачи никогда не перезаписывается.Можно ли отправлять разные задачи в разные хранилища?Да, задачи можно привязывать к именованным хранилищам — например, Postgres для критичных для бизнеса запусков и память или Redis для одноразовых — и такая маршрутизация соблюдается на этапе компиляции.
Да, задачи можно привязывать к именованным хранилищам — например, Postgres для критичных для бизнеса запусков и память или Redis для одноразовых — и такая маршрутизация соблюдается на этапе компиляции.Есть ли встроенный дашборд?Готового интерфейса в комплекте нет, но effect-mq открывает слой данных для дашборда: список с фильтрами по метаданным, keyset-пагинацию, поллинг, повтор и удержание по отдельной задаче и по хранилищу — поверх этого можно построить дашборд.
Готового интерфейса в комплекте нет, но effect-mq открывает слой данных для дашборда: список с фильтрами по метаданным, keyset-пагинацию, поллинг, повтор и удержание по отдельной задаче и по хранилищу — поверх этого можно построить дашборд.What are similar projects?bull, rq, tork, carno.js, react-starter-kit, rankme.fast, dockhand, asynq
bull, rq, tork, carno.js, react-starter-kit, rankme.fast, dockhand, asynqWhich topics is it in?job-queue, task-queue, background-jobs, drizzle-orm, message-queue, cron, scheduler, bun, redis, sql, ci, observability
job-queue, task-queue, background-jobs, drizzle-orm, message-queue, cron, scheduler, bun, redis, sql, ci, observability