Что это такое?
Огромная подборка ресурсов по китайскому NLP: корпусы, словари, инструменты, датасеты и курсы. Автор называет README «The Most Powerful NLP-Weapon Arsenal» — это почти самая полная библиотека ресурсов по китайскому NLP.
Огромная подборка ресурсов по китайскому NLP: корпусы, словари, инструменты, датасеты и курсы. Автор называет README «The Most Powerful NLP-Weapon Arsenal» — это почти самая полная библиотека ресурсов по китайскому NLP.Это библиотека, которую можно установить через pip, или что-то другое?Это каталог, а не пакет: README состоит из таблиц с ресурсами, где для каждой записи указаны название, описание и ссылка на репозиторий самого ресурса — вы переходите по ссылкам, а ничего здесь не устанавливаете.
Это каталог, а не пакет: README состоит из таблиц с ресурсами, где для каждой записи указаны название, описание и ссылка на репозиторий самого ресурса — вы переходите по ссылкам, а ничего здесь не устанавливаете.Как мне сориентироваться в чём-то таком огромном?Материал идёт от тем про ChatGPT и LLM (оценка качества, фреймворки, промпт-инжиниринг, безопасность, мультимодальность) к классическим разделам NLP: корпусы, словари, извлечение информации, графы знаний, суммаризация, вопросно-ответные системы, анализ тональности и другое.
Материал идёт от тем про ChatGPT и LLM (оценка качества, фреймворки, промпт-инжиниринг, безопасность, мультимодальность) к классическим разделам NLP: корпусы, словари, извлечение информации, графы знаний, суммаризация, вопросно-ответные системы, анализ тональности и другое.Всё ли в списке до сих пор актуально?Автор обновляет его нерегулярно, но в долгую, и приглашает ставить звёзды и делать форки; поскольку каждая запись — это ссылка на сторонний репозиторий, свежесть меняется от ресурса к ресурсу.
Автор обновляет его нерегулярно, но в долгую, и приглашает ставить звёзды и делать форки; поскольку каждая запись — это ссылка на сторонний репозиторий, свежесть меняется от ресурса к ресурсу.Это для новичков в NLP или для опытных специалистов?Автор собирал эти пакеты, пока сам путь от новичка в NLP до практика, и поделился ими с теми, кто на том же пути, так что целевая аудитория — и учащиеся, и практикующие NLP-инженеры.
Автор собирал эти пакеты, пока сам путь от новичка в NLP до практика, и поделился ими с теми, кто на том же пути, так что целевая аудитория — и учащиеся, и практикующие NLP-инженеры.Какие бенчмарки для LLM там собраны?В разделе про оценку качества есть C-Eval — китайский набор из 13 948 вопросов с вариантами ответов по 52 предметам на четырёх уровнях сложности, а также OpenCompass от Shanghai AI Laboratory и лидерборд Chatbot Arena с рейтингами Эло.
В разделе про оценку качества есть C-Eval — китайский набор из 13 948 вопросов с вариантами ответов по 52 предметам на четырёх уровнях сложности, а также OpenCompass от Shanghai AI Laboratory и лидерборд Chatbot Arena с рейтингами Эло.Есть ли там работающие фреймворки в стиле ChatGPT?Да: LLM-As-Chatbot запускает разные LLM как чат-ботов прямо на Google Colab без настройки, OpenBuddy — открытая многоязычная чат-бот модель в размерах 7B и 13B, а LaMini-LM предлагает небольшие модели, дистиллированные из ChatGPT на датасете из 2,58 млн инструкций.
Да: LLM-As-Chatbot запускает разные LLM как чат-ботов прямо на Google Colab без настройки, OpenBuddy — открытая многоязычная чат-бот модель в размерах 7B и 13B, а LaMini-LM предлагает небольшие модели, дистиллированные из ChatGPT на датасете из 2,58 млн инструкций.Какие классические китайские ресурсы там есть?В описании репозитория перечислены списки стоп-слов и запрещённых слов, словари синонимов, антонимов и тональности, векторные представления китайских слов, корпус древней поэзии, база данных словаря Синьхуа с API, а также инструменты, которые извлекают номера телефонов, номера удостоверений и адреса электронной почты.
В описании репозитория перечислены списки стоп-слов и запрещённых слов, словари синонимов, антонимов и тональности, векторные представления китайских слов, корпус древней поэзии, база данных словаря Синьхуа с API, а также инструменты, которые извлекают номера телефонов, номера удостоверений и адреса электронной почты.Пригодится ли это, если мой проект на английском, а не на китайском?Фокус на китайском, но английский материал тоже встречается: китайско-английские списки запрещённых слов, словари имён на китайском, японском и английском, курс по глубокому обучению в NLP cs224n и пары word2word по 62 языкам.
Фокус на китайском, но английский материал тоже встречается: китайско-английские списки запрещённых слов, словари имён на китайском, японском и английском, курс по глубокому обучению в NLP cs224n и пары word2word по 62 языкам.What are similar projects?NLP-progress, awesome-nlp, Chinese-Word-Vectors, HanLP, lectures, PaddleNLP, flair, bert
NLP-progress, awesome-nlp, Chinese-Word-Vectors, HanLP, lectures, PaddleNLP, flair, bert