annotated_deep_learning_paper_implementations (labmlai/annotated_deep_learning_paper_implementations)
Searching Database…
这是什么?
这是一个包含 60 多个深度学习论文 PyTorch 实现的合集,每个实现都配有并排的解释性注释,方便你把代码与数学推导和说明结合起来阅读。
这是我可以导入的库,还是更像一份阅读资料?
它主要是一份文学编程式的阅读资料:带注释的源代码供阅读和学习之用,而不是用于生产环境的打包库,不过你仍然可以运行或复制这些实现。
我到底该怎么阅读或运行这些实现?
可以在 labml.ai 网站上浏览带注释的内容,查看并排的代码和解释;也可以克隆仓库后直接运行各个 Python/PyTorch 脚本。
运行这些代码需要什么?
需要 Python 和 PyTorch,因为每个实现都写成了一个简单的 PyTorch 脚本。
这些实现可以直接用于生产环境吗?
不可以。它们刻意保持简单、以解释为主(“simple PyTorch implementations”),目的是帮助理解,并未针对生产环境做优化或加固。
除了 Transformer,还涵盖哪些主题?
包括 GAN(CycleGAN、StyleGAN2、Wasserstein GAN)、扩散模型(DDPM、DDIM、Stable Diffusion)、强化学习(PPO、DQN)、图神经网络、胶囊网络、优化器(Adam、AdaBelief、Sophia)、归一化层等。
这个项目还在积极维护吗?
在维护。维护者表示他们几乎每周都会添加新的实现。
它是否涵盖 LoRA 或大语言模型技术?
涵盖。它包含低秩适配(LoRA)的实现,以及 GPT-NeoX 示例,涉及文本生成、微调和 LLM.int8() 量化。
这些代码的呈现方式有什么独特之处?
每个实现都采用文学编程风格,将代码逐行与解释性注释配对,并以并排文档的形式呈现在 labml.ai 网站上。
What are similar projects?
DeepLearning, pytorch-tutorial, ganhacks, LLM101n, numpy-ml, pytorch-book, nlp-tutorial, train-llm-from-scratch
Which topics is it in?
graph-neural-networks, deep-learning-tutorial, attention, generative-adversarial-network, gan, diffusion, neural-networks, optimization, lora, transformers, reinforcement-learning, transformer
