LLM101n README

The project's README from github.com/karpathy/LLM101n. As one markdown file: README.md.

LLM101n: Let's build a Storyteller


!!! NOTE: this course does not yet exist. It is current being developed by Eureka Labs. Until it is ready I am archiving this repo !!!


LLM101n header image

What I cannot create, I do not understand. -Richard Feynman

In this course we will build a Storyteller AI Large Language Model (LLM). Hand in hand, you'll be able to create, refine and illustrate little stories with the AI. We are going to build everything end-to-end from basics to a functioning web app similar to ChatGPT, from scratch in Python, C and CUDA, and with minimal computer science prerequisites. By the end you should have a relatively deep understanding of AI, LLMs, and deep learning more generally.

Syllabus

Appendix

Further topics to work into the progression above:

LLM101n (karpathy/LLM101n)

Searching Database…

37.5K ·GitHub
archived
这是什么?LLM101n 是 Andrej Karpathy 计划推出的一门课程,将带你从零开始、端到端地构建一个名为“Storyteller”的 AI 语言模型,最终做出一个类似 ChatGPT 的网页应用,全部使用 Python、C 和 CUDA 从头实现。
我现在就能报名学习这门可以正常上课的课程吗?不能。目前它只是一份教学大纲。由于实际课程内容仍在制作中,该仓库已被归档。
课程内容是怎么安排的?课程按顺序分为 17 章,从二元语言模型(bigram)和 micrograd 开始,依次讲解注意力机制、Transformer、分词(tokenization)、优化、速度与分布式训练,推理技巧(如 KV 缓存和量化),微调(SFT、RLHF),部署,最后是多模态生成。
课程会用到哪些编程语言和工具?课程计划使用 Python、C 和 CUDA 从头构建,附录中还会提到 PyTorch 和 JAX 两个框架供学习者使用。
这门课程是已经完成了,还是仍在开发中?课程仍由 Eureka Labs 开发中,该仓库目前已被归档,因此这里暂时没有可运行的内容,只有教学大纲。
我需要有很强的数学或计算机基础才能跟上吗?不需要。课程设计只要求极少的计算机科学先修知识,从基础讲起,逐步建立对深度学习概念的理解。
最终项目应该是什么样子?一个类似 ChatGPT、可以正常运行的网页应用,能够生成、润色并配图小故事,贯穿全部 17 章,完全从零开始构建。
这门课程是谁在开发?Eureka Labs 正在开发完整的 LLM101n 课程。该公司是 Andrej Karpathy 教学项目的幕后团队。
大纲后半部分会讲哪些进阶主题?后面的章节会涉及混合精度与分布式训练、推理中的 KV 缓存与量化、LoRA/PEFT 微调、类 RLHF 的强化学习、作为网页应用的部署,以及使用 VQVAE 和扩散 Transformer 的多模态生成。
Creator
karpathy
Size
0.3 MB
Stars
37.5K
Updated
CommitAug 01
Age
2y
Commits · 90 Days