12.1K ·GitHub
Что это такое?
SentencePiece — это быстрый и лёгкий токенизатор и детокенизатор текста, который обучается без учителя. Он создан для систем генерации текста на основе нейросетей, например LLM, где размер словаря задаётся до обучения. Он реализует BPE и униграммную языковую модель в виде субслов и обучается напрямую на исходных предложениях.
SentencePiece — это быстрый и лёгкий токенизатор и детокенизатор текста, который обучается без учителя. Он создан для систем генерации текста на основе нейросетей, например LLM, где размер словаря задаётся до обучения. Он реализует BPE и униграммную языковую модель в виде субслов и обучается напрямую на исходных предложениях.Это библиотека для Python или самостоятельный инструмент командной строки?И то, и другое: это ядро на C++, доступное через удобный модуль Python, а также интерфейс командной строки для обучения и запуска токенизаторов. Один и тот же файл .model можно использовать из C++, Python или Go.
И то, и другое: это ядро на C++, доступное через удобный модуль Python, а также интерфейс командной строки для обучения и запуска токенизаторов. Один и тот же файл .model можно использовать из C++, Python или Go.Как мне это запустить?Установите модуль Python через pip, затем обучите модель на исходных предложениях и используйте её, чтобы кодировать текст в токены/ID и декодировать обратно в исходную строку.
Установите модуль Python через pip, затем обучите модель на исходных предложениях и используйте её, чтобы кодировать текст в токены/ID и декодировать обратно в исходную строку.Нужно ли мне что-то, кроме Python, чтобы этим пользоваться?Для работы через Python достаточно просто pip install. Для сборки библиотеки C++ или инструмента командной строки из исходников потребуется CMake или Bazel.
Для работы через Python достаточно просто pip install. Для сборки библиотеки C++ или инструмента командной строки из исходников потребуется CMake или Bazel.Это официальный продукт Google?Нет, в README прямо указано, что это не официальный продукт Google, поэтому поддержка и планы развития следуют обычным нормам открытого ПО, а не официальной поддержке.
Нет, в README прямо указано, что это не официальный продукт Google, поэтому поддержка и планы развития следуют обычным нормам открытого ПО, а не официальной поддержке.Как обрабатываются пробелы при токенизации?Пробелы заменяются метасимволом ▁ (U+2581) и сохраняются в потоке токенов, поэтому детокенизация превращается в простое склеивание строки без потерь, а не в эвристику, зависящую от языка.
Пробелы заменяются метасимволом ▁ (U+2581) и сохраняются в потоке токенов, поэтому детокенизация превращается в простое склеивание строки без потерь, а не в эвристику, зависящую от языка.Могу ли я использовать одну и ту же модель токенизатора в C++, Python и Go?Да, каждый созданный файл .model самодостаточен: в нём есть все правила нормализации, сопоставление словаря и логика сегментации, что гарантирует одинаковые результаты токенизации в любой привязке к языку.
Да, каждый созданный файл .model самодостаточен: в нём есть все правила нормализации, сопоставление словаря и логика сегментации, что гарантирует одинаковые результаты токенизации в любой привязке к языку.Что такое субсловная регуляризация?Это выборка разных сегментаций на субслова для одного и того же входа прямо во время обучения (Subword Regularization для униграммной модели, BPE-Dropout для BPE). Это расширяет обучающие данные и делает модели устойчивее к ошибкам в написании слов.
Это выборка разных сегментаций на субслова для одного и того же входа прямо во время обучения (Subword Regularization для униграммной модели, BPE-Dropout для BPE). Это расширяет обучающие данные и делает модели устойчивее к ошибкам в написании слов.Для каких языков SentencePiece особенно полезен?Для языков без явных границ между словами, таких как китайский, японский и тайский: SentencePiece обучается только на сыром тексте и не требует языковых предобработчиков вроде Moses, MeCab или KyTea.
Для языков без явных границ между словами, таких как китайский, японский и тайский: SentencePiece обучается только на сыром тексте и не требует языковых предобработчиков вроде Moses, MeCab или KyTea.What are similar projects?Chinese-Word-Vectors, spaCy, jeeves, minGPT, Hy-MT2, llama3-from-scratch, DMI, tokenizers
Chinese-Word-Vectors, spaCy, jeeves, minGPT, Hy-MT2, llama3-from-scratch, DMI, tokenizersWhich topics is it in?tokenization, natural-language-processing, neural-network, nlp, artificial-intelligence, huggingface, c++, benchmark, performance, deep-learning, research, machine-learning
tokenization, natural-language-processing, neural-network, nlp, artificial-intelligence, huggingface, c++, benchmark, performance, deep-learning, research, machine-learning