11.2K ·GitHub
Что это такое?
Tokenizers — это библиотека, которая реализует самые популярные сегодня токенизаторы (BPE, WordPiece, Unigram) для NLP. Она написана на Rust для высокой скорости и доступна для других языков через привязки. Разработана компанией Hugging Face и обеспечивает токенизацию для трансформерных моделей.
Tokenizers — это библиотека, которая реализует самые популярные сегодня токенизаторы (BPE, WordPiece, Unigram) для NLP. Она написана на Rust для высокой скорости и доступна для других языков через привязки. Разработана компанией Hugging Face и обеспечивает токенизацию для трансформерных моделей.Это отдельное приложение или библиотека, которую я подключаю к своему коду?Это библиотека: ядро написано на Rust, а привязки есть для Python, Node.js и неофициальной привязки для Ruby от сообщества. Её подключают в ваш собственный код для обучения или инференса.
Это библиотека: ядро написано на Rust, а привязки есть для Python, Node.js и неофициальной привязки для Ruby от сообщества. Её подключают в ваш собственный код для обучения или инференса.Как её установить и использовать?Установите её из исходного кода или через готовый пакет для вашего языка (например, pip для Python). Затем выберите тип модели — BPE, WordPiece или Unigram, создайте токенизатор и обучите его на своих файлах всего в несколько строк кода.
Установите её из исходного кода или через готовый пакет для вашего языка (например, pip для Python). Затем выберите тип модели — BPE, WordPiece или Unigram, создайте токенизатор и обучите его на своих файлах всего в несколько строк кода.Нужно ли устанавливать Rust, чтобы использовать привязки для Python?Нет, конечным пользователям отдельный набор инструментов Rust не нужен: готовые пакеты Python и Node поставляются уже скомпилированными, а инструменты для сборки из исходного кода нужны, только если вы собираете библиотеку сами.
Нет, конечным пользователям отдельный набор инструментов Rust не нужен: готовые пакеты Python и Node поставляются уже скомпилированными, а инструменты для сборки из исходного кода нужны, только если вы собираете библиотеку сами.Зависит ли производительность от моего железа?Да, измеренная скорость может различаться в зависимости от оборудования. В README приведены цифры для конкретного экземпляра AWS g6 как ориентир, а не как гарантия для любых условий.
Да, измеренная скорость может различаться в зависимости от оборудования. В README приведены цифры для конкретного экземпляра AWS g6 как ориентир, а не как гарантия для любых условий.Для кого создана эта библиотека?Она рассчитана как на исследователей, которые экспериментируют с токенизацией, так и на продуктовые команды, которым нужна быстрая и надёжная предобработка текста для языковых моделей.
Она рассчитана как на исследователей, которые экспериментируют с токенизацией, так и на продуктовые команды, которым нужна быстрая и надёжная предобработка текста для языковых моделей.Насколько быстро на самом деле работает токенизация?В README сказано, что токенизация одного гигабайта текста на CPU сервера занимает менее 20 секунд — благодаря реализации на Rust.
В README сказано, что токенизация одного гигабайта текста на CPU сервера занимает менее 20 секунд — благодаря реализации на Rust.Могу ли я сопоставить токены с исходным текстом?Да, нормализация сохраняет выравнивание, поэтому всегда можно получить именно тот фрагмент исходного предложения, которому соответствует конкретный токен.
Да, нормализация сохраняет выравнивание, поэтому всегда можно получить именно тот фрагмент исходного предложения, которому соответствует конкретный токен.Берёт ли библиотека на себя паддинг и обрезку?Да, она выполняет всю необходимую предобработку: обрезку, паддинг и добавление специальных токенов, которые требуются вашей модели.
Да, она выполняет всю необходимую предобработку: обрезку, паддинг и добавление специальных токенов, которые требуются вашей модели.Какие алгоритмы токенизации поддерживаются?При создании токенизатора можно выбрать модель Byte-Pair Encoding (BPE), WordPiece или Unigram.
При создании токенизатора можно выбрать модель Byte-Pair Encoding (BPE), WordPiece или Unigram.What are similar projects?Chinese-BERT-wwm, LLMs-from-scratch, how-to-train-your-gpt, bert, RWKV-LM, LoRA, Transformers-Tutorials, StableLM
Chinese-BERT-wwm, LLMs-from-scratch, how-to-train-your-gpt, bert, RWKV-LM, LoRA, Transformers-Tutorials, StableLMWhich topics is it in?tokenizer, bert, language-model, natural-language-processing, transformers, gpt, nlp, huggingface, performance, rust, deep-learning, research
tokenizer, bert, language-model, natural-language-processing, transformers, gpt, nlp, huggingface, performance, rust, deep-learning, research