Что это такое?
Сборник из более чем 60 реализаций статей по глубокому обучению на PyTorch. Каждая снабжена пояснениями, выведенными рядом с кодом, чтобы можно было читать код и математику с объяснением вместе.
Сборник из более чем 60 реализаций статей по глубокому обучению на PyTorch. Каждая снабжена пояснениями, выведенными рядом с кодом, чтобы можно было читать код и математику с объяснением вместе.Это библиотека, которую можно импортировать, или скорее материал для чтения?В первую очередь это материал для чтения в стиле литературного программирования: аннотированный исходный код, который предназначен для изучения, а не готовая библиотека для промышленного использования. При этом реализации можно запускать или копировать.
В первую очередь это материал для чтения в стиле литературного программирования: аннотированный исходный код, который предназначен для изучения, а не готовая библиотека для промышленного использования. При этом реализации можно запускать или копировать.Как мне на самом деле читать или запускать эти реализации?Откройте аннотированные заметки на сайте labml.ai, где код и объяснения идут рядом, или клонируйте репозиторий и запускайте отдельные скрипты Python/PyTorch напрямую.
Откройте аннотированные заметки на сайте labml.ai, где код и объяснения идут рядом, или клонируйте репозиторий и запускайте отдельные скрипты Python/PyTorch напрямую.Что нужно, чтобы запустить код?Python и PyTorch, так как каждая реализация написана в виде простого скрипта на PyTorch.
Python и PyTorch, так как каждая реализация написана в виде простого скрипта на PyTorch.Эти реализации готовы для продакшена?Нет. Они намеренно сделаны простыми и поясняющими («simple PyTorch implementations»), чтобы помочь понять материал, а не оптимизированы и не доведены до уровня продакшена.
Нет. Они намеренно сделаны простыми и поясняющими («simple PyTorch implementations»), чтобы помочь понять материал, а не оптимизированы и не доведены до уровня продакшена.Какие темы, помимо трансформеров, здесь рассматриваются?GAN-модели (CycleGAN, StyleGAN2, Wasserstein GAN), диффузионные модели (DDPM, DDIM, Stable Diffusion), обучение с подкреплением (PPO, DQN), графовые нейронные сети, капсульные сети, оптимизаторы (Adam, AdaBelief, Sophia), слои нормализации и многое другое.
GAN-модели (CycleGAN, StyleGAN2, Wasserstein GAN), диффузионные модели (DDPM, DDIM, Stable Diffusion), обучение с подкреплением (PPO, DQN), графовые нейронные сети, капсульные сети, оптимизаторы (Adam, AdaBelief, Sophia), слои нормализации и многое другое.Проект активно поддерживается?Да, сопровождающие проект говорят, что добавляют новые реализации почти каждую неделю.
Да, сопровождающие проект говорят, что добавляют новые реализации почти каждую неделю.Есть ли здесь LoRA или методы работы с большими языковыми моделями?Да, есть реализация низкоранговой адаптации (LoRA) и примеры GPT-NeoX, которые охватывают генерацию, дообучение и квантование LLM.int8().
Да, есть реализация низкоранговой адаптации (LoRA) и примеры GPT-NeoX, которые охватывают генерацию, дообучение и квантование LLM.int8().Чем необычен способ подачи кода?Каждая реализация написана в стиле литературного программирования: код идёт построчно вместе с пояснениями, которые выводятся рядом в виде документа на сайте labml.ai.
Каждая реализация написана в стиле литературного программирования: код идёт построчно вместе с пояснениями, которые выводятся рядом в виде документа на сайте labml.ai.What are similar projects?DeepLearning, pytorch-tutorial, ganhacks, LLM101n, numpy-ml, pytorch-book, nlp-tutorial, train-llm-from-scratch
DeepLearning, pytorch-tutorial, ganhacks, LLM101n, numpy-ml, pytorch-book, nlp-tutorial, train-llm-from-scratchWhich topics is it in?graph-neural-networks, deep-learning-tutorial, attention, generative-adversarial-network, gan, diffusion, neural-networks, optimization, lora, transformers, reinforcement-learning, transformer
graph-neural-networks, deep-learning-tutorial, attention, generative-adversarial-network, gan, diffusion, neural-networks, optimization, lora, transformers, reinforcement-learning, transformer