quickwit README

The project's README from github.com/quickwit-oss/quickwit. As one markdown file: README.md.

CI codecov OpenSSF Scorecard Contributor Covenant License: Apache 2.0 Twitter Follow Discord



Quickwit Cloud-Native Search Engine Quickwit Cloud-Native Search Engine

Open-source search engine for observability (logs, traces, and soon metrics!).

Quickstart | Docs | Tutorials | Chat | Download


We just released Quickwit 0.8! Read the blog post to learn about the latest powerful features!

Quickwit is the fastest search engine on cloud storage. It's the perfect fit for observability use cases

🚀 Quickstart



💡 Features

Enterprise ready

📑 Architecture overview

Quickwit Distributed TracingQuickwit Distributed Tracing

📕 Documentation

📚 Resources

🙋 FAQ

How can I switch from Elasticsearch or OpenSearch to Quickwit?

Quickwit supports a large subset of Elasticsearch/OpenSearch API.

For instance, it has an ES-compatible ingest API to make it easier to migrate your log shippers (Vector, Fluent Bit, Syslog, ...) to Quickwit.

On the search side, the most popular Elasticsearch endpoints, query DSL, and even aggregations are supported.

The list of available endpoints and queries is available here, while the list of supported aggregations is available here.

Let us know if part of the API you are using is missing!

If the client you are using is refusing to connect to Quickwit due to missing headers, you can use the extra_headers option in the node configuration to impersonate any compatible version of Elasticsearch or OpenSearch.

How is Quickwit different from traditional search engines like Elasticsearch or Solr?

The core difference and advantage of Quickwit is its architecture built from the ground to search on cloud storage. We optimized IO paths, revamped the index data structures and made search stateless and sub-second on cloud storage.

How does Quickwit compare to Elastic in terms of cost?

We estimate that Quickwit can be up to 10x cheaper on average than Elastic. To understand how, check out our blog post about searching the web on AWS S3.

What license does Quickwit use?

Quickwit is open-source under the Apache License, Version 2.0 - Apache-2.0.

Is it possible to set up Quickwit for a High Availability (HA)?

HA is available for search, for indexing it's available only with a Kafka source.

🤝 Contribute and spread the word

We are always thrilled to receive contributions: code, documentation, issues, or feedback. Here's how you can help us build the future of log management:

✨ After your contributions are accepted, don't forget to claim your swag by emailing us at [email protected]. Thank you for contributing!

💬 Join Our Community

We welcome everyone to our community! Whether you're contributing code or just saying hello, we'd love to hear from you. Here's how you can connect with us:

quickwit (quickwit-oss/quickwit)

Searching Database…

11.7K ·GitHub
Что это такое?Quickwit — это поисковый движок с открытым исходным кодом, созданный для облачных сред и задач наблюдаемости: управления логами и распределённой трассировки. Он выполняет поиск за доли секунды прямо в облачном хранилище, например S3.
Это база данных, поисковый движок или что-то другое?Это самостоятельный сервер поисковой системы, в котором вычисления и хранение разделены. Индексаторы и поисковые узлы работают без сохранения состояния, а доступ к системе открыт через RESTful API и API, совместимый с Elasticsearch.
Как его запустить?Следуйте руководству Quickstart, чтобы выполнить поиск и анализ набора данных Stack Overflow, или попробуйте анализ трассировок с Grafana или Jaeger; также предоставляются образ Docker и настройка docker-compose.
Нужны ли мне Kafka или аккаунт в облачном хранилище, чтобы им пользоваться?Не обязательно: для поиска он работает с любым объектным хранилищем (S3, Azure Blob, GCS), но для индексации с высокой доступностью требуется источник данных Kafka.
Полностью ли поддерживается высокая доступность и для индексации?Нет: высокая доступность есть для поиска, но индексация с высокой доступностью пока работает только при использовании источника Kafka.
Могу ли я просто направить на него свои текущие инструменты Elasticsearch/OpenSearch?Да, Quickwit поддерживает большую часть API Elasticsearch/OpenSearch, включая совместимый с ES API для приёма данных, поэтому сборщики логов, такие как Vector, Fluent Bit и Syslog, можно перенаправить на него с минимальными изменениями.
Чем архитектура Quickwit отличается от Elasticsearch и Solr?Quickwit изначально создавался для поиска прямо в облачном хранилище: оптимизированные пути ввода-вывода и переработанные структуры индексов делают поиск работающим без сохранения состояния и выполняющимся за доли секунды, в отличие от традиционных движков, рассчитанных на локальные диски.
Насколько Quickwit дешевле Elastic?Quickwit оценивает, что в среднем он может быть до 10 раз дешевле Elastic, главным образом благодаря архитектуре, рассчитанной на облачное хранилище, которая отделяет вычисления от хранения.
Какие источники данных можно подключить к Quickwit?Он изначально поддерживает несколько источников данных для приёма: Kafka, Kinesis и Pulsar, а также нативный приём OTEL для логов и трассировок и нативную поддержку Jaeger.
Поддерживает ли Quickwit мультиарендность и политики хранения данных?Да, он поддерживает мультиарендность через индексацию со множеством индексов и партиционирование, настраиваемые политики хранения данных и задачи на удаление для сценариев соответствия GDPR.
Size
88.5 MB
Stars
11.7K
Age
5y
Commits · 90 Days