这是做什么的？
一套用 PyTorch 从零实现现代大语言模型架构（GPT-2、Llama 3/3.2、Llama 4、OLMo 2、Phi-4、DeepSeek v3、Gemma 3、xLSTM、Mistral 3.1）的代码合集，目的是搞懂这些模型内部到底是怎么运作的。
一套用 PyTorch 从零实现现代大语言模型架构（GPT-2、Llama 3/3.2、Llama 4、OLMo 2、Phi-4、DeepSeek v3、Gemma 3、xLSTM、Mistral 3.1）的代码合集，目的是搞懂这些模型内部到底是怎么运作的。这是一个能直接用的库，还是更偏学习用的仓库？这是一个学习/参考性质的代码库，不是打包好的库，也没有 API：每个模型都用 PyTorch 重新实现了一遍，纯粹是为了学习它的内部结构，不是为了在生产环境里跑推理。
这是一个学习/参考性质的代码库，不是打包好的库，也没有 API：每个模型都用 PyTorch 重新实现了一遍，纯粹是为了学习它的内部结构，不是为了在生产环境里跑推理。我该怎么用它？克隆这个仓库，然后阅读并运行你想研究的那个架构对应的 PyTorch 实现代码，表格里的每一项都是一个独立的重新实现。
克隆这个仓库，然后阅读并运行你想研究的那个架构对应的 PyTorch 实现代码，表格里的每一项都是一个独立的重新实现。跑这些代码需要装 PyTorch 吗？需要，所有架构都是用 PyTorch 实现的，所以你得有一个能正常运行的 PyTorch 环境。
需要，所有架构都是用 PyTorch 实现的，所以你得有一个能正常运行的 PyTorch 环境。我真的能在本地跑 DeepSeek v3 或 Llama 4 Maverick 这种大模型吗？这些只是架构的重新实现，并不附带预训练权重可以下载，而且像 DeepSeek v3（671B）和 Llama 4 Maverick（400B）这样的模型体积太大，普通硬件根本没法训练或运行；这些代码是用来理解架构的，不是用来实际部署的。
这些只是架构的重新实现，并不附带预训练权重可以下载，而且像 DeepSeek v3（671B）和 Llama 4 Maverick（400B）这样的模型体积太大，普通硬件根本没法训练或运行；这些代码是用来理解架构的，不是用来实际部署的。这个仓库是给谁看的？适合那些想通过阅读和运行从零实现的代码，来弄懂现代大语言模型内部机制（各种注意力变体、MoE、归一化、位置编码）实际是怎么工作的开发者和研究人员。
适合那些想通过阅读和运行从零实现的代码，来弄懂现代大语言模型内部机制（各种注意力变体、MoE、归一化、位置编码）实际是怎么工作的开发者和研究人员。已经实现了哪些模型架构？GPT-2 XL、Llama3-8B、Llama 3.2-3B、OLMo 2 7B、Phi-4、DeepSeek v3、Gemma 3、xLSTM、Mistral 3.1 Small 以及 Llama 4 Maverick；另外 Qwen3（32B 和 235B-A22B）标注为还在进行中。
GPT-2 XL、Llama3-8B、Llama 3.2-3B、OLMo 2 7B、Phi-4、DeepSeek v3、Gemma 3、xLSTM、Mistral 3.1 Small 以及 Llama 4 Maverick；另外 Qwen3（32B 和 235B-A22B）标注为还在进行中。这个仓库覆盖专家混合（MoE）模型吗？覆盖，DeepSeek v3 和 Llama 4 Maverick 是在开启专家混合（Mixture of Experts）的情况下实现的，表格里其余的模型都是稠密（dense）模型。
覆盖，DeepSeek v3 和 Llama 4 Maverick 是在开启专家混合（Mixture of Experts）的情况下实现的，表格里其余的模型都是稠密（dense）模型。已实现的模型里有支持多模态的吗？Gemma 3 和 Mistral 3.1 Small 是按文本 + 图像模型实现的，其他架构都只支持文本。
Gemma 3 和 Mistral 3.1 Small 是按文本 + 图像模型实现的，其他架构都只支持文本。涵盖了哪些注意力和位置编码技术？表格里包含因果多头自注意力、分组查询注意力（GQA），以及滑动窗口 + GQA 注意力，并根据不同模型分别搭配可学习的绝对位置编码或 RoPE。
表格里包含因果多头自注意力、分组查询注意力（GQA），以及滑动窗口 + GQA 注意力，并根据不同模型分别搭配可学习的绝对位置编码或 RoPE。What are similar projects?OpenArch, llama3-from-scratch, train-llm-from-scratch, LLMs-from-scratch, vllm, minGPT, Engram, DMI
OpenArch, llama3-from-scratch, train-llm-from-scratch, LLMs-from-scratch, vllm, minGPT, Engram, DMIWhich topics is it in?from-scratch, qwen3, mixture-of-experts, attention-mechanism, moe, transformers, neural-network, multimodal, large-language-models, transformer, deepseek, learning-resources
from-scratch, qwen3, mixture-of-experts, attention-mechanism, moe, transformers, neural-network, multimodal, large-language-models, transformer, deepseek, learning-resources