lectures README

The project's README from github.com/gpu-mode/lectures. As one markdown file: README.md.

Supplementary Material for Lectures

YouTube Channel

The PMPP Book: Programming Massively Parallel Processors: A Hands-on Approach (Amazon link)

Lecture 1: Profiling and Integrating CUDA kernels in PyTorch

Lecture 2: Recap Ch. 1-3 from the PMPP book

Lecture 3: Getting Started With CUDA

Lecture 4: Intro to Compute and Memory Architecture

Lecture 5: Going Further with CUDA for Python Programmers

Lecture 6: Optimizing PyTorch Optimizers

Lecture 7: Advanced Quantization

Lecture 8: CUDA Performance Checklist

Lecture 9: Reductions

Lecture 10: Build a Prod Ready CUDA Library

Lecture 11: Sparsity

Lecture 12: Flash Attention

Lecture 13: Ring Attention

Lecture 14: Practitioner's Guide to Triton

Lecture 15: CUTLASS

Lecture 16: On Hands profiling

Bonus Lecture: CUDA C++ llm.cpp

Lecture 17: GPU Collective Communication (NCCL)

Lecture 18: Fused Kernels

Lecture 19: Data Processing on GPUs

Lecture 20: Scan Algorithm

Lecture 21: Scan Algorithm Part 2

Lecture 22: Hacker's Guide to Speculative Decoding in VLLM

Lecture 23: Tensor Cores

Lecture 24: Scan at the Speed of Light

Lecture 25: Speaking Composable Kernel

Lecture 26: SYCL MODE (Intel GPU)

Lecture 27: gpu.cpp

Lecture 28: Liger Kernel

Lecture 29: Triton Internals

Lecture 30: Quantized training

Lecture 31: Beginners Guide to Metal Kernels

Lecture 32: Unsloth - LLM Systems Engineering

Lecture 33: BitBLAS

Lecture 34: Low Bit Triton Kernels

Lecture 35: SGLang Performance Optimization

Lecture 36: CUTLASS and Flash ATtention 3

Lecture 37: Introduction to SASS & GPU Microarchitecture

Lecture 38: Lowbit kernels for ARM CPU

Lecture 39: TorchTitan

Lecture 40: Flash Infer

Lecture 41: CUDA Docs for Humans

Lecture 42: Mosaic GPU

Lecture 43:

Lecture 57: CuTE

Lecture 67: NCCL & NVSHMEM

Lecture 69: Quartet 4 bit training

Lecture 70: Fault tolerant communication collectives

Lecture 71: [ScaleML Series] FlexOlmo: Open Language Models for Flexible Data Use

Lecture 72: [ScaleML Series] Efficient & Effective Long-Context Modeling for Large Language Models

Lecture 74: [ScaleML Series] Positional Encodings and PaTH Attention

Lecture 75: [ScaleML Series] GPU Programming Fundamentals + ThunderKittens

Lecture 78: Iris: Multi-GPU Programming in Triton

Speakers: Muhammad Awad, Muhammad Osama & Brandon Potter

Lecture 79: Mirage (MPK): Compiling LLMs into Mega Kernels

Speakers: Mengdi Wu, Xinhao Cheng

Lecture 84: Numerics and AI

Speaker: Paulius Micikevicius

Lecture 86: Introduction to CuTeDSL (for NVIDIA competition)

Speaker: Vicki Wang

Lecture 103: Fundamentals of CuTe Layout Algebra and Category-theoretic Interpretation

Speaker: Jack Carlisle and Jay Shah

Lecture 104: Gluon: Tile-Based GPU Programming with Low-Level Control

Speakers: Peter Bell, Mario Lezcano, Keren Zhou

Lecture 106: HF kernels

Lecture 114: PyCuTe

Speaker: Cris Cecka

lectures (gpu-mode/lectures)

Searching Database…

这是什么?这是 GPU MODE lectures YouTube 频道的配套资料仓库——其中收录了各编号讲座关于 GPU 和 CUDA 编程的笔记本、幻灯片和代码,且内容持续增长。
这是一门结构化的课程,还是各自独立的演讲合集?它按编号讲座组织,每讲都对应一个 YouTube 录像和一位讲者,并有自己的资料文件夹;前几讲回顾 PMPP 教材的章节,后面的讲座则逐渐成为独立的专业专题演讲。
资料是如何组织的?新手应该从哪里开始?每场讲座都位于 README 中链接的独立 lectureNNN 文件夹里,你只需打开想要主题对应的文件夹;新学习者应该从第 1-5 讲开始,它们涵盖 CUDA 性能分析、PyTorch 内核集成以及 CUDA 入门。
跟着学习需要 NVIDIA GPU 和 CUDA 工具包吗?需要——几乎所有讲座讲的都是用 PyTorch 和 Triton 编写及分析 CUDA 内核,因此动手练习需要一块支持 CUDA 的 NVIDIA GPU;后面有几讲则转而介绍 Apple Metal 和 ARM CPU 内核。
所有讲座都配有完整的笔记本和幻灯片吗?覆盖情况参差不齐——README 里完全跳过了几个讲座编号,有些条目只列出标题、讲者和幻灯片链接,没有更多描述或代码。
它面向谁——完全是新手还是有经验的 GPU 工程师?两端都有覆盖:早期演讲面向刚接触 CUDA 的 Python 程序员,而后面的讲座则涵盖 CUTLASS、NCCL 集合通信、Triton 内部机制和 LLM 服务等高级系统主题,适合有经验的工程师。
这些讲座总体涵盖哪些主题?内容从 CUDA 基础和 PyTorch 内核集成,一直延伸到 Flash Attention、量化训练、Triton/Gluon 内部机制、CUTLASS、NCCL 集合通信,以及 VLLM 和 SGLang 等 LLM 服务系统等高级主题。
每场讲座都与 PMPP 这本书挂钩吗?只有早期讲座回顾了《Programming Massively Parallel Processors: A Hands-on Approach》的章节;后面的讲座则远远超出这本书的范围,进入由讲者贡献的专业主题。
这些讲座由谁主讲?讲者是来自 PyTorch、Unsloth、SGLang、Hugging Face 和 NVIDIA 等项目的从业者和研究人员,包括 Jeremy Howard、Thomas Viehmann、Mark Saroufim 和 Daniel Han。
这个讲座系列还在更新吗?是的,README 中的讲座编号已远超 100(例如第 103 讲是关于 CuTe 布局代数的演讲,第 114 讲是关于 PyCuTe 的演讲),说明这个系列仍在持续增加。
Creator
gpu-mode
Size
189.2 MB
Stars
6.9K
Updated
CommitSep 09
Age
2y
Commits · 90 Days