Что это такое?
LLM101n — запланированный курс Андрея Карпати, который шаг за шагом проводит через создание языковой ИИ-модели «Storyteller»: от основ до веб-приложения в стиле ChatGPT, реализованного с нуля на Python, C и CUDA.
LLM101n — запланированный курс Андрея Карпати, который шаг за шагом проводит через создание языковой ИИ-модели «Storyteller»: от основ до веб-приложения в стиле ChatGPT, реализованного с нуля на Python, C и CUDA.Это уже работающий курс, на который можно записаться прямо сейчас?Нет, пока это только план курса. Репозиторий заархивирован, потому что сам учебный контент ещё создаётся.
Нет, пока это только план курса. Репозиторий заархивирован, потому что сам учебный контент ещё создаётся.Как устроена программа курса?Она состоит из 17 последовательных глав: от биграммной языковой модели и micrograd через внимание, трансформеры, токенизацию, оптимизацию, ускорение и распределённое обучение, приёмы для инференса вроде KV-cache и квантизации, дообучение (SFT, RLHF), развёртывание и, наконец, мультимодальную генерацию.
Она состоит из 17 последовательных глав: от биграммной языковой модели и micrograd через внимание, трансформеры, токенизацию, оптимизацию, ускорение и распределённое обучение, приёмы для инференса вроде KV-cache и квантизации, дообучение (SFT, RLHF), развёртывание и, наконец, мультимодальную генерацию.На каких языках и инструментах будет построен курс?Курс планируется создавать с нуля на Python, C и CUDA; в приложении также упоминаются PyTorch и JAX как фреймворки, с которыми предстоит работать.
Курс планируется создавать с нуля на Python, C и CUDA; в приложении также упоминаются PyTorch и JAX как фреймворки, с которыми предстоит работать.Курс уже готов или всё ещё создаётся?Он всё ещё создаётся командой Eureka Labs, а репозиторий тем временем заархивирован, поэтому запускаемого контента здесь пока нет, только план курса.
Он всё ещё создаётся командой Eureka Labs, а репозиторий тем временем заархивирован, поэтому запускаемого контента здесь пока нет, только план курса.Нужна ли сильная подготовка по математике или информатике, чтобы пройти курс?Нет, курс рассчитан на минимальные предварительные знания по информатике и последовательно ведёт от основ к концепциям глубокого обучения.
Нет, курс рассчитан на минимальные предварительные знания по информатике и последовательно ведёт от основ к концепциям глубокого обучения.Каким должен быть итоговый проект?Работающее веб-приложение, похожее на ChatGPT, которое может генерировать, дорабатывать и иллюстрировать небольшие истории. Создаётся полностью с нуля на протяжении 17 глав.
Работающее веб-приложение, похожее на ChatGPT, которое может генерировать, дорабатывать и иллюстрировать небольшие истории. Создаётся полностью с нуля на протяжении 17 глав.Кто разрабатывает этот курс?Eureka Labs, компания, стоящая за учебными проектами Андрея Карпати, создаёт полную программу LLM101n.
Eureka Labs, компания, стоящая за учебными проектами Андрея Карпати, создаёт полную программу LLM101n.Какие продвинутые темы рассматриваются в последней части программы?В поздних главах рассматриваются смешанная точность и распределённое обучение, KV-cache и квантизация для инференса, дообучение с LoRA/PEFT, обучение с подкреплением в стиле RLHF, развёртывание в виде веб-приложения и мультимодальная генерация с VQVAE и диффузионными трансформерами.
В поздних главах рассматриваются смешанная точность и распределённое обучение, KV-cache и квантизация для инференса, дообучение с LoRA/PEFT, обучение с подкреплением в стиле RLHF, развёртывание в виде веб-приложения и мультимодальная генерация с VQVAE и диффузионными трансформерами.What are similar projects?nlp_course, train-llm-from-scratch, halo, llm_interview_note, ms-swift, jeeves, llama3-from-scratch, open-r1
nlp_course, train-llm-from-scratch, halo, llm_interview_note, ms-swift, jeeves, llama3-from-scratch, open-r1Which topics is it in?attention, tokenization, rlhf, jax, distributed-training, neural-networks, lora, curriculum, gpt, course, reinforcement-learning, quantization
attention, tokenization, rlhf, jax, distributed-training, neural-networks, lora, curriculum, gpt, course, reinforcement-learning, quantization