14.9K ·GitHub
Что это такое?
Набор коротких реализаций на PyTorch, охватывающих базовые модели NLP и глубокого обучения: от эмбеддингов слов до Transformer и BERT. Задуман как учебный материал.
Набор коротких реализаций на PyTorch, охватывающих базовые модели NLP и глубокого обучения: от эмбеддингов слов до Transformer и BERT. Задуман как учебный материал.Это библиотека, которую я импортирую, или набор отдельных примеров?Это учебная программа из самостоятельных блокнотов Jupyter и/или скриптов, каждый из которых реализует одну модель. Это не переиспользуемая библиотека, которую нужно установить и импортировать.
Это учебная программа из самостоятельных блокнотов Jupyter и/или скриптов, каждый из которых реализует одну модель. Это не переиспользуемая библиотека, которую нужно установить и импортировать.Как запустить эти примеры?Откройте любой блокнот локально в Jupyter или запустите его прямо в Google Colab, используя ссылки на Colab для каждой модели.
Откройте любой блокнот локально в Jupyter или запустите его прямо в Google Colab, используя ссылки на Colab для каждой модели.Что нужно установить, чтобы запустить код?Python 3.5+ и PyTorch 1.0.0 или выше.
Python 3.5+ и PyTorch 1.0.0 или выше.Есть ли всё ещё поддержка TensorFlow?Нет, старые реализации на TensorFlow v1 перенесены в папку архива; в актуальном состоянии поддерживаются только версии на PyTorch, для удобства чтения.
Нет, старые реализации на TensorFlow v1 перенесены в папку архива; в актуальном состоянии поддерживаются только версии на PyTorch, для удобства чтения.Для кого предназначена эта учебная программа?Для исследователей глубокого обучения и студентов, изучающих NLP, которые хотят видеть минимальные и понятные эталонные реализации классических и современных моделей.
Для исследователей глубокого обучения и студентов, изучающих NLP, которые хотят видеть минимальные и понятные эталонные реализации классических и современных моделей.Как устроена учебная программа?Она состоит из пяти последовательных разделов: базовые модели эмбеддингов (NNLM, Word2Vec, FastText), свёрточные сети (CNN), рекуррентные сети (RNN), модели Seq2Seq с механизмом внимания и модели на основе Transformer (Transformer, BERT).
Она состоит из пяти последовательных разделов: базовые модели эмбеддингов (NNLM, Word2Vec, FastText), свёрточные сети (CNN), рекуррентные сети (RNN), модели Seq2Seq с механизмом внимания и модели на основе Transformer (Transformer, BERT).С какого раздела новичку стоит начать?Начните с раздела 1, «Базовые модели эмбеддингов» (NNLM), и далее проходите разделы по порядку, пока не дойдёте до реализаций Transformer и BERT в конце.
Начните с раздела 1, «Базовые модели эмбеддингов» (NNLM), и далее проходите разделы по порядку, пока не дойдёте до реализаций Transformer и BERT в конце.Содержит ли каждая модель оригинальную научную статью?Да, для каждой реализованной модели есть ссылка на её исходную статью, например «Attention Is All You Need» для Transformer и оригинальная статья о BERT.
Да, для каждой реализованной модели есть ссылка на её исходную статью, например «Attention Is All You Need» для Transformer и оригинальная статья о BERT.Что на самом деле делает пример с BERT?Он реализует задачи предобучения BERT: классификацию предсказания следующего предложения (Next Sentence Prediction) и предсказание замаскированных токенов (Masked Token prediction).
Он реализует задачи предобучения BERT: классификацию предсказания следующего предложения (Next Sentence Prediction) и предсказание замаскированных токенов (Masked Token prediction).What are similar projects?DeepLearning, lectures, Chinese-BERT-wwm, llama3-from-scratch, deeplearning-models, spaCy, deep-learning-with-python-notebooks, bert
DeepLearning, lectures, Chinese-BERT-wwm, llama3-from-scratch, deeplearning-models, spaCy, deep-learning-with-python-notebooks, bertWhich topics is it in?word2vec, bert, attention, colab, neural-networks, tensorflow, paper, natural-language-processing, neural-network, jupyter notebook, transformer, nlp
word2vec, bert, attention, colab, neural-networks, tensorflow, paper, natural-language-processing, neural-network, jupyter notebook, transformer, nlp