Что это такое?
spaCy — это библиотека для продвинутой обработки естественного языка (NLP) на Python и Cython, с самого начала созданная для реальных продуктов. Она поставляется с готовыми предобученными пайплайнами и поддерживает токенизацию и обучение более чем для 70 языков.
spaCy — это библиотека для продвинутой обработки естественного языка (NLP) на Python и Cython, с самого начала созданная для реальных продуктов. Она поставляется с готовыми предобученными пайплайнами и поддерживает токенизацию и обучение более чем для 70 языков.Это библиотека, которую я подключаю к своему коду на Python, или сервис, который нужно запускать?Это Python-библиотека: вы импортируете её в свой код и строите с её помощью пайплайны обработки текста. Ни сервера, ни интерфейса здесь нет — всё работает внутри вашего Python-процесса.
Это Python-библиотека: вы импортируете её в свой код и строите с её помощью пайплайны обработки текста. Ни сервера, ни интерфейса здесь нет — всё работает внутри вашего Python-процесса.Как установить её и запустить первую модель?Установите через pip или из conda-forge, затем скачайте предобученный пайплайн командой download из spaCy — модели устанавливаются как Python-пакеты, как и любой другой модуль в вашем приложении.
Установите через pip или из conda-forge, затем скачайте предобученный пайплайн командой download из spaCy — модели устанавливаются как Python-пакеты, как и любой другой модуль в вашем приложении.Заработает ли она на моей версии Python?Нужен 64-битный Python от 3.7 до 3.12, на macOS, Linux или Windows (Cygwin, MinGW или Visual Studio).
Нужен 64-битный Python от 3.7 до 3.12, на macOS, Linux или Windows (Cygwin, MinGW или Visual Studio).Могут ли обновления spaCy сломать мои обученные модели?Да, могут: некоторые обновления требуют новых статистических моделей, а входные данные для обучения и работы должны совпадать. После обновления запустите команду validate, чтобы проверить установленные модели, и переобучите свои модели под новую версию.
Да, могут: некоторые обновления требуют новых статистических моделей, а входные данные для обучения и работы должны совпадать. После обновления запустите команду validate, чтобы проверить установленные модели, и переобучите свои модели под новую версию.Можно ли бесплатно использовать её в коммерческих проектах?Да. spaCy — коммерческое open-source ПО под лицензией MIT, а её разработчик Explosion дополнительно продаёт платный консалтинг по NLP.
Да. spaCy — коммерческое open-source ПО под лицензией MIT, а её разработчик Explosion дополнительно продаёт платный консалтинг по NLP.Что она реально умеет делать с текстом сразу после установки?Компоненты покрывают распознавание именованных сущностей, разметку частей речи, синтаксический разбор зависимостей, разбиение на предложения, классификацию текста, лемматизацию, морфологический анализ и связывание сущностей, а также встроенные средства визуализации синтаксиса и NER.
Компоненты покрывают распознавание именованных сущностей, разметку частей речи, синтаксический разбор зависимостей, разбиение на предложения, классификацию текста, лемматизацию, морфологический анализ и связывание сущностей, а также встроенные средства визуализации синтаксиса и NER.Мне придётся обучать свои модели, или есть готовые?Не придётся: spaCy поставляется с предобученными пайплайнами для разных языков и задач. Для нестандартных задач есть система обучения, готовая к продакшену, с мультитаскингом на предобученных трансформерах вроде BERT.
Не придётся: spaCy поставляется с предобученными пайплайнами для разных языков и задач. Для нестандартных задач есть система обучения, готовая к продакшену, с мультитаскингом на предобученных трансформерах вроде BERT.С какими языками она работает?Поддерживается более 70 языков для токенизации и обучения, у каждого — токенизация, основанная на лингвистических принципах.
Поддерживается более 70 языков для токенизации и обучения, у каждого — токенизация, основанная на лингвистических принципах.Могу ли я подключить свои модели на PyTorch или TensorFlow?Да — spaCy поддерживает собственные модели на PyTorch, TensorFlow и других фреймворках, а пайплайны легко расширяются своими компонентами и атрибутами.
Да — spaCy поддерживает собственные модели на PyTorch, TensorFlow и других фреймворках, а пайплайны легко расширяются своими компонентами и атрибутами.What are similar projects?HanLP, bert, flair, DeepLearning, presidio, keras, jeeves, Chinese-Word-Vectors
HanLP, bert, flair, DeepLearning, presidio, keras, jeeves, Chinese-Word-VectorsWhich topics is it in?cython, nlp-library, production, named-entity-recognition, text-classification, tokenization, text-processing, neural-networks, tensorflow, training, natural-language-processing, embeddings
cython, nlp-library, production, named-entity-recognition, text-classification, tokenization, text-processing, neural-networks, tensorflow, training, natural-language-processing, embeddings