Что это такое?
Опенсорсный высокопроизводительный пайплайн данных для наблюдаемости (observability): он собирает, преобразует и направляет ваши логи и метрики в любые выбранные вами сервисы, так что контроль над данными наблюдаемости остаётся у вас. Проект поддерживает команда Community Open Source Engineering в Datadog.
Опенсорсный высокопроизводительный пайплайн данных для наблюдаемости (observability): он собирает, преобразует и направляет ваши логи и метрики в любые выбранные вами сервисы, так что контроль над данными наблюдаемости остаётся у вас. Проект поддерживает команда Community Open Source Engineering в Datadog.Это облачный сервис, на который нужно регистрироваться, или программа, которую я запускаю сам?Ни SaaS, ни библиотека — вы разворачиваете его сами в одной из двух ролей: как агент на каждом хосте или как центральный агрегатор. Вместе они образуют полный сквозной пайплайн между вашими источниками данных и приёмниками.
Ни SaaS, ни библиотека — вы разворачиваете его сами в одной из двух ролей: как агент на каждом хосте или как центральный агрегатор. Вместе они образуют полный сквозной пайплайн между вашими источниками данных и приёмниками.Как его установить и запустить?Установите его для своей платформы — в документации есть ручная установка, пакеты для ОС, пакетные менеджеры и инструкции по платформам (включая Kubernetes) — а затем пройдите quickstart. Всё описано на vector.dev/docs.
Установите его для своей платформы — в документации есть ручная установка, пакеты для ОС, пакетные менеджеры и инструкции по платформам (включая Kubernetes) — а затем пройдите quickstart. Всё описано на vector.dev/docs.Нужно ли писать код, чтобы строить пайплайны?Программировать не нужно: пайплайны задаются настройкой sources, transforms и sinks. Для преобразования данных есть remap-трансформ на языке VRL (Vector Remap Language), а когда нужна скриптовая логика — Lua-трансформ.
Программировать не нужно: пайплайны задаются настройкой sources, transforms и sinks. Для преобразования данных есть remap-трансформ на языке VRL (Vector Remap Language), а когда нужна скриптовая логика — Lua-трансформ.Он работает только с логами или ещё с метриками и трейсами?Он объединяет все три типа сигналов, но с оговорками: сейчас поддерживаются логи и метрики — метрики пока в бете, — а трейсы значатся как «coming soon».
Он объединяет все три типа сигналов, но с оговорками: сейчас поддерживаются логи и метрики — метрики пока в бете, — а трейсы значатся как «coming soon».Он проверен в бою или пока нишевый?Проверен в бою: его используют в продакшене стартапы и крупные компании — Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, Visa и Instacart, — а скачивают его более 100 000 раз в день.
Проверен в бою: его используют в продакшене стартапы и крупные компании — Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, Visa и Instacart, — а скачивают его более 100 000 раз в день.Куда попадают мои данные наблюдаемости — придётся гонять их через облако вендора?Решаете вы: Vector сделан так, чтобы контроль над данными оставался у вас, и умеет направлять их в любой сервис или в ваше собственное хранилище — среди sinks есть AWS S3, CloudWatch Logs, GCP Cloud Storage, ClickHouse и Elasticsearch.
Решаете вы: Vector сделан так, чтобы контроль над данными оставался у вас, и умеет направлять их в любой сервис или в ваше собственное хранилище — среди sinks есть AWS S3, CloudWatch Logs, GCP Cloud Storage, ClickHouse и Elasticsearch.Чем он лучше FluentBit, Logstash или Filebeat?В README приведены бенчмарки: он до 10 раз быстрее всех альтернатив в этой нише — TCP-to-blackhole на 86 МиБ/с против 64,4 у FluentBit, 40,6 у Logstash и 27,7 МиБ/с у FluentD. Он написан на Rust, и надёжность — главная цель его разработки.
В README приведены бенчмарки: он до 10 раз быстрее всех альтернатив в этой нише — TCP-to-blackhole на 86 МиБ/с против 64,4 у FluentBit, 40,6 у Logstash и 27,7 МиБ/с у FluentD. Он написан на Rust, и надёжность — главная цель его разработки.С какими источниками и приёмниками данных он умеет работать?Среди документированных sources — файлы, логи Docker, journald, HTTP, Kafka и сокеты. Sinks включают AWS S3, AWS CloudWatch Logs, GCP Cloud Storage, ClickHouse и Elasticsearch — при этом он задуман так, чтобы направлять данные «в любой сервис, который вам нужен сегодня, и в любой другой, который понадобится завтра».
Среди документированных sources — файлы, логи Docker, journald, HTTP, Kafka и сокеты. Sinks включают AWS S3, AWS CloudWatch Logs, GCP Cloud Storage, ClickHouse и Elasticsearch — при этом он задуман так, чтобы направлять данные «в любой сервис, который вам нужен сегодня, и в любой другой, который понадобится завтра».Выдержит ли он серьёзный продакшн-объём?Да — его крупнейший пользователь обрабатывает более 500 ТБ данных в день, а в проекте больше 500 контрибьюторов, так что тяжёлое продакшн-использование здесь не редкость.
Да — его крупнейший пользователь обрабатывает более 500 ТБ данных в день, а в проекте больше 500 контрибьюторов, так что тяжёлое продакшн-использование здесь не редкость.What are similar projects?openobserve, telegraf, signoz, fluentd, quickwit, kafka, nightingale, questdb
openobserve, telegraf, signoz, fluentd, quickwit, kafka, nightingale, questdbWhich topics is it in?pipelines, logs, stream-processing, events, etl, rust-lang, telemetry, clickhouse, kafka, metrics, elasticsearch, lua
pipelines, logs, stream-processing, events, etl, rust-lang, telemetry, clickhouse, kafka, metrics, elasticsearch, lua