tantivy README

The project's README from github.com/quickwit-oss/tantivy. As one markdown file: README.md.

Docs Build Status codecov OpenSSF Scorecard Join the chat at https://discord.gg/MT27AG5EVE License: MIT Crates.io

Tantivy, the fastest full-text search engine library written in Rust

Fast full-text search engine library written in Rust

If you are looking for an alternative to Elasticsearch or Apache Solr, check out Quickwit, our distributed search engine built on top of Tantivy.

Tantivy is closer to Apache Lucene than to Elasticsearch or Apache Solr in the sense it is not an off-the-shelf search engine server, but rather a crate that can be used to build such a search engine.

Tantivy is, in fact, strongly inspired by Lucene's design.

Benchmark

The following benchmark breaks down the performance for different types of queries/collections.

Your mileage WILL vary depending on the nature of queries and their load.

Details about the benchmark can be found at this repository.

Features

Non-features

Distributed search is out of the scope of Tantivy, but if you are looking for this feature, check out Quickwit.

Getting started

Tantivy works on stable Rust and supports Linux, macOS, and Windows.

How can I support this project?

There are many ways to support this project.

Contributing code

We use the GitHub Pull Request workflow: reference a GitHub ticket and/or include a comprehensive commit message when opening a PR. Feel free to update CHANGELOG.md with your contribution.

Tokenizer

When implementing a tokenizer for tantivy depend on the tantivy-tokenizer-api crate.

Clone and build locally

Tantivy compiles on stable Rust. To check out and run tests, you can simply run:

git clone https://github.com/quickwit-oss/tantivy.git
cd tantivy
cargo test

Companies Using Tantivy

Etsy   ParadeDB   Nuclia   Humanfirst.ai Element.io Nuclia   Humanfirst.ai    Element.io

FAQ

Can I use Tantivy in other languages?

You can also find other bindings on GitHub but they may be less maintained.

What are some examples of Tantivy use?

On average, how much faster is Tantivy compared to Lucene?

Does tantivy support incremental indexing?

How can I edit documents?

When will my documents be searchable during indexing?

tantivy (quickwit-oss/tantivy)

Searching Database…

16.2K ·GitHub
Что это такое?Tantivy — это библиотека полнотекстового поискового движка на Rust, вдохновлённая Apache Lucene. Её используют, чтобы встроить поиск прямо в приложения.
Это отдельный поисковый сервер вроде Elasticsearch или что-то другое?Это библиотека (крейт), а не готовый сервер. Если нужен готовый распределённый поисковый сервер, в README указан Quickwit, который построен на основе Tantivy.
Как добавить её в Rust-проект?Добавьте tantivy как зависимость через Cargo — стандартный менеджер крейтов Rust, а затем используйте её API IndexWriter и IndexReader, чтобы создать индекс и выполнять по нему запросы.
Нужны ли мне Rust и Cargo, чтобы использовать её?Да, поскольку она распространяется как крейт Rust, для сборки и подключения нужны Rust и Cargo.
Можно ли редактировать документы после индексации?Нет, данные в Tantivy неизменяемы. Чтобы изменить документ, его нужно удалить и проиндексировать заново, а изменения становятся видны только после commit и перезагрузки считывателей (readers).
Можно ли использовать Tantivy из Python или Ruby вместо Rust?Да, есть биндинги: tantivy-py для Python и tantiny для Ruby, а также другие биндинги от сообщества на GitHub.
Поддерживает ли Tantivy токенизацию языков, не использующих латиницу?Да. Помимо встроенного стемминга для 17 языков на основе латиницы, есть поддержка сторонних токенизаторов: для китайского (tantivy-jieba, cang-jie), японского (lindera, Vaporetto, tantivy-tokenizer-tiny-segmenter) и корейского (lindera + lindera-ko-dic-builder).
Как производительность Tantivy сравнивается с Lucene?Согласно бенчмарку задержки поиска из репозитория проекта, Tantivy примерно в 2 раза быстрее Lucene.
Поддерживает ли Tantivy обновление индекса после его создания?Да, она поддерживает инкрементальную индексацию: новые документы можно добавлять в существующий индекс со временем.
Какие проекты были созданы на основе Tantivy?Примеры: seshat (база данных и индексатор сообщений Matrix), tantiny (поиск для Ruby), lnx (поисковый движок с устойчивостью к опечаткам и REST API) и Bichon (архиватор почты на Rust с веб-интерфейсом).
What are similar projects?bleve, php-fts, fsearch, sonic, xerj, flexsearch, meilisearch, hotdata-cli
Size
67.5 MB
Stars
16.2K
Age
10y
Commits · 90 Days