annotated_deep_learning_paper_implementations README

The project's README from github.com/labmlai/annotated_deep_learning_paper_implementations. As one markdown file: README.md.

Twitter

labml.ai Deep Learning Paper Implementations

This is a collection of simple PyTorch implementations of neural networks and related algorithms. These implementations are documented with explanations,

The website renders these as side-by-side formatted notes. We believe these would help you understand these algorithms better.

Screenshot

We are actively maintaining this repo and adding new implementations almost weekly. Twitter for updates.

Paper Implementations

✨ Transformers

✨ Low-Rank Adaptation (LoRA)

✨ Eleuther GPT-NeoX

✨ Diffusion models

✨ Generative Adversarial Networks

✨ Recurrent Highway Networks

✨ LSTM

✨ HyperNetworks - HyperLSTM

✨ ResNet

✨ ConvMixer

✨ Capsule Networks

✨ U-Net

✨ Sketch RNN

✨ Graph Neural Networks

✨ Counterfactual Regret Minimization (CFR)

Solving games with incomplete information such as poker with CFR.

✨ Reinforcement Learning

✨ Optimizers

✨ Normalization Layers

✨ Distillation

✨ Adaptive Computation

✨ Uncertainty

✨ Activations

✨ Langauge Model Sampling Techniques

✨ Scalable Training/Inference

Installation

pip install labml-nn

annotated_deep_learning_paper_implementations (labmlai/annotated_deep_learning_paper_implementations)

Searching Database…

这是什么?这是一个包含 60 多个深度学习论文 PyTorch 实现的合集,每个实现都配有并排的解释性注释,方便你把代码与数学推导和说明结合起来阅读。
这是我可以导入的库,还是更像一份阅读资料?它主要是一份文学编程式的阅读资料:带注释的源代码供阅读和学习之用,而不是用于生产环境的打包库,不过你仍然可以运行或复制这些实现。
我到底该怎么阅读或运行这些实现?可以在 labml.ai 网站上浏览带注释的内容,查看并排的代码和解释;也可以克隆仓库后直接运行各个 Python/PyTorch 脚本。
运行这些代码需要什么?需要 Python 和 PyTorch,因为每个实现都写成了一个简单的 PyTorch 脚本。
这些实现可以直接用于生产环境吗?不可以。它们刻意保持简单、以解释为主(“simple PyTorch implementations”),目的是帮助理解,并未针对生产环境做优化或加固。
除了 Transformer,还涵盖哪些主题?包括 GAN(CycleGAN、StyleGAN2、Wasserstein GAN)、扩散模型(DDPM、DDIM、Stable Diffusion)、强化学习(PPO、DQN)、图神经网络、胶囊网络、优化器(Adam、AdaBelief、Sophia)、归一化层等。
这个项目还在积极维护吗?在维护。维护者表示他们几乎每周都会添加新的实现。
它是否涵盖 LoRA 或大语言模型技术?涵盖。它包含低秩适配(LoRA)的实现,以及 GPT-NeoX 示例,涉及文本生成、微调和 LLM.int8() 量化。
这些代码的呈现方式有什么独特之处?每个实现都采用文学编程风格,将代码逐行与解释性注释配对,并以并排文档的形式呈现在 labml.ai 网站上。
Creator
labmlai
Size
152.7 MB
Stars
67.6K
Updated
CommitJan 22
Age
6y
Commits · 90 Days