10.7K ·GitHub
Что это?
Это курс по обработке естественного языка Школы анализа данных Яндекса (YSDA): полный набор слайдов лекций, ноутбуков семинаров и домашних заданий, разложенный по неделям и покрывающий NLP от эмбеддингов слов до современных тем о LLM.
Это курс по обработке естественного языка Школы анализа данных Яндекса (YSDA): полный набор слайдов лекций, ноутбуков семинаров и домашних заданий, разложенный по неделям и покрывающий NLP от эмбеддингов слов до современных тем о LLM.Это библиотека кода или набор материалов курса?Это материалы курса, а не библиотека: лекционные и семинарские материалы каждой темы лежат в собственной папке 'week', где README указывает на слайды, ноутбуки и домашнее задание этой недели.
Это материалы курса, а не библиотека: лекционные и семинарские материалы каждой темы лежат в собственной папке 'week', где README указывает на слайды, ноутбуки и домашнее задание этой недели.Как начать проходить курс?Зайдите в нужную папку недели и следуйте её собственному README.md, где собраны ссылки на лекцию, ноутбук семинара и домашнее задание по этой теме; есть и общий материал про установку библиотек, которые нужны ноутбукам.
Зайдите в нужную папку недели и следуйте её собственному README.md, где собраны ссылки на лекцию, ноутбук семинара и домашнее задание по этой теме; есть и общий материал про установку библиотек, которые нужны ноутбукам.Какая подготовка нужна перед началом?Явно не указано, но программа быстро переходит от базовых эмбеддингов слов к Transformers, PEFT, RLHF и RAG, так что уверенное владение Python и основами глубокого обучения предполагается, а не преподаётся с нуля.
Явно не указано, но программа быстро переходит от базовых эмбеддингов слов к Transformers, PEFT, RLHF и RAG, так что уверенное владение Python и основами глубокого обучения предполагается, а не преподаётся с нуля.Курс полностью готов и актуален?Нет — это живая редакция 2025 года, и поздние недели всё ещё дополняются по мере подготовки, а не готовы все сразу.
Нет — это живая редакция 2025 года, и поздние недели всё ещё дополняются по мере подготовки, а не готовы все сразу.Для кого этот курс?Курс создан для очных студентов YSDA по NLP (домашние задания проверяют ассистенты), но ноутбуки и слайды публичны, так что любой, кто изучает NLP самостоятельно, может идти по нему вместе со всеми.
Курс создан для очных студентов YSDA по NLP (домашние задания проверяют ассистенты), но ноутбуки и слайды публичны, так что любой, кто изучает NLP самостоятельно, может идти по нему вместе со всеми.Какие темы охватывает 14-недельная программа?Она начинается с эмбеддингов слов, языкового моделирования, seq2seq/внимания и Transformers, затем идёт переносимое обучение, масштабирование LLM, промптинг/in-context learning, дообучение через PEFT и RLHF, эффективность (квантизация, дистилляция, спекулятивное декодирование), RAG, ИИ-агенты, интерпретируемость, мультимодальные LLM и построение LLM-систем в продакшене.
Она начинается с эмбеддингов слов, языкового моделирования, seq2seq/внимания и Transformers, затем идёт переносимое обучение, масштабирование LLM, промптинг/in-context learning, дообучение через PEFT и RLHF, эффективность (квантизация, дистилляция, спекулятивное декодирование), RAG, ИИ-агенты, интерпретируемость, мультимодальные LLM и построение LLM-систем в продакшене.К каждой неделе идёт домашнее задание?На большинстве недель лекция и семинар дополняются домашним заданием — например, построить языковую модель n-грамм с нуля, дообучить предобученную модель BERT или заняться ручным промпт-инжинирингом с рассуждениями chain-of-thought.
На большинстве недель лекция и семинар дополняются домашним заданием — например, построить языковую модель n-грамм с нуля, дообучить предобученную модель BERT или заняться ручным промпт-инжинирингом с рассуждениями chain-of-thought.What are similar projects?llm_interview_note, autumn-recruitment, LLM101n, dive-into-llms, llm-course, ai-engineering-hub, jeeves, train-llm-from-scratch
llm_interview_note, autumn-recruitment, LLM101n, dive-into-llms, llm-course, ai-engineering-hub, jeeves, train-llm-from-scratchWhich topics is it in?interpretability, university, rlhf, attention-mechanism, retrieval-augmented-generation, llms, lora, natural-language-processing, transformers, curriculum, course, reinforcement-learning
interpretability, university, rlhf, attention-mechanism, retrieval-augmented-generation, llms, lora, natural-language-processing, transformers, curriculum, course, reinforcement-learning