Что это такое?
Annoy (Approximate Nearest Neighbors Oh Yeah) — это библиотека на C++ с привязками для Python, которая находит точки в пространстве, ближайшие к заданной точке-запросу. Она оптимизирована по расходу памяти и по сохранению и загрузке индексов с диска.
Annoy (Approximate Nearest Neighbors Oh Yeah) — это библиотека на C++ с привязками для Python, которая находит точки в пространстве, ближайшие к заданной точке-запросу. Она оптимизирована по расходу памяти и по сохранению и загрузке индексов с диска.Это приложение, которое я запускаю, или код, который я подключаю в свой проект?Это библиотека, а не приложение: из Python импортируется пакет annoy; в C++ нужно клонировать репозиторий и сделать #include annoylib.h. Существуют также привязки от сообщества для R, Java, Scala, Ruby, Go, Lua, Node, Rust, dotnet и dart.
Это библиотека, а не приложение: из Python импортируется пакет annoy; в C++ нужно клонировать репозиторий и сделать #include annoylib.h. Существуют также привязки от сообщества для R, Java, Scala, Ruby, Go, Lua, Node, Rust, dotnet и dart.Как добавить её в свой проект?Выполните pip install --user annoy, чтобы получить последнюю версию с PyPI, или возьмите пакет из conda (он доступен на Linux, OS X и Windows). Для C++ ничего устанавливать не нужно — просто клонируйте репозиторий и подключите заголовочный файл.
Выполните pip install --user annoy, чтобы получить последнюю версию с PyPI, или возьмите пакет из conda (он доступен на Linux, OS X и Windows). Для C++ ничего устанавливать не нужно — просто клонируйте репозиторий и подключите заголовочный файл.Нужно ли мне что-то ещё установить, чтобы начать пользоваться?Никаких серверов, баз данных или GPU — всё работает внутри процесса. Благодаря пакетам на PyPI и в conda компилятор при работе из Python не нужен; в README указана проверенная поддержка Python 2.7, 3.6 и 3.7.
Никаких серверов, баз данных или GPU — всё работает внутри процесса. Благодаря пакетам на PyPI и в conda компилятор при работе из Python не нужен; в README указана проверенная поддержка Python 2.7, 3.6 и 3.7.В чём подвох, когда я уже построил индекс?Индексы после построения доступны только для чтения — после построения или сохранения добавить элементы нельзя, а создание индекса полностью отделено от поиска. Id должны быть неотрицательными целыми числами, причём память выделяется под max(id)+1, так что для разреженных или нецелых id ведите свою таблицу соответствия.
Индексы после построения доступны только для чтения — после построения или сохранения добавить элементы нельзя, а создание индекса полностью отделено от поиска. Id должны быть неотрицательными целыми числами, причём память выделяется под max(id)+1, так что для разреженных или нецелых id ведите свою таблицу соответствия.Кто использует её в продакшене?Spotify использует её для музыкальных рекомендаций: после матричной факторизации пользователи и треки превращаются в векторы, и Annoy находит похожие среди миллионов треков в пространстве высокой размерности, где расход памяти — ключевой фактор.
Spotify использует её для музыкальных рекомендаций: после матричной факторизации пользователи и треки превращаются в векторы, и Annoy находит похожие среди миллионов треков в пространстве высокой размерности, где расход памяти — ключевой фактор.Могут ли несколько процессов использовать один и тот же индекс?Да — это главная особенность. Индексы — это статические файлы, которые отображаются в память через mmap, так что вы строите индекс один раз, а много процессов пользуются одними и теми же данными. Есть ещё и построение индекса прямо на диске — для наборов данных, которые не помещаются в оперативную память.
Да — это главная особенность. Индексы — это статические файлы, которые отображаются в память через mmap, так что вы строите индекс один раз, а много процессов пользуются одними и теми же данными. Есть ещё и построение индекса прямо на диске — для наборов данных, которые не помещаются в оперативную память.Как выглядит типичный рабочий процесс в Python?Создайте AnnoyIndex(f, 'angular') для векторов размерности f, добавьте каждый вектор через additem, вызовите build(10) для 10 деревьев, затем сохраните индекс в файл вроде test.ann. В другом месте загрузите этот файл — он просто отображается через mmap — и вызовите get_nns_by_item или get_nns_by_vector.
Создайте AnnoyIndex(f, 'angular') для векторов размерности f, добавьте каждый вектор через additem, вызовите build(10) для 10 деревьев, затем сохраните индекс в файл вроде test.ann. В другом месте загрузите этот файл — он просто отображается через mmap — и вызовите get_nns_by_item или get_nns_by_vector.Как мне найти баланс между точностью и скоростью?Всего две настройки: n_trees на этапе построения (больше деревьев — выше точность, но больше индексы) и search_k на этапе запроса (просматривается больше узлов — точнее, но медленнее). По умолчанию search_k равен n_trees, умноженному на n — количество запрошенных соседей.
Всего две настройки: n_trees на этапе построения (больше деревьев — выше точность, но больше индексы) и search_k на этапе запроса (просматривается больше узлов — точнее, но медленнее). По умолчанию search_k равен n_trees, умноженному на n — количество запрошенных соседей.Какие метрики расстояния я могу выбрать?'angular' (косинусное расстояние), 'euclidean', 'manhattan', 'hamming' и 'dot' (скалярное произведение). Angular — это евклидово расстояние между нормализованными векторами. Лучше всего работает при меньше чем 100 измерениях, но неожиданно хорошо показывает себя и до 1 000.
'angular' (косинусное расстояние), 'euclidean', 'manhattan', 'hamming' и 'dot' (скалярное произведение). Angular — это евклидово расстояние между нормализованными векторами. Лучше всего работает при меньше чем 100 измерениях, но неожиданно хорошо показывает себя и до 1 000.Which topics is it in?nearest-neighbor-search, similarity-search, c-plus-plus, vector-search, lua, embeddings, algorithms, search, data-science, golang, cpp, c++
nearest-neighbor-search, similarity-search, c-plus-plus, vector-search, lua, embeddings, algorithms, search, data-science, golang, cpp, c++