这是什么？
InfraTech 是一套分享 AI Infra 知识的 Jupyter 笔记本和文章合集，涵盖训练/推理框架（PyTorch、vLLM/SGLang、slime/vime）、性能加速、深度学习基础以及 AI 软硬件基础。
InfraTech 是一套分享 AI Infra 知识的 Jupyter 笔记本和文章合集，涵盖训练/推理框架（PyTorch、vLLM/SGLang、slime/vime）、性能加速、深度学习基础以及 AI 软硬件基础。这是教程系列，还是开箱即用的框架？它是一个学习型仓库，由按主题（推理、PyTorch、vLLM、SGLang、强化学习）分类的独立 Jupyter 笔记本和文章组成，不是可以安装并导入你自己项目的框架或库。
它是一个学习型仓库，由按主题（推理、PyTorch、vLLM、SGLang、强化学习）分类的独立 Jupyter 笔记本和文章组成，不是可以安装并导入你自己项目的框架或库。如何开始学习这些内容？克隆仓库，在 Jupyter 中打开 ./llminfer（推理练习）、./models（模型介绍）或 ./docs（AI Infra 共享资料）等文件夹下的笔记本，然后运行代码单元格。
克隆仓库，在 Jupyter 中打开 ./llminfer（推理练习）、./models（模型介绍）或 ./docs（AI Infra 共享资料）等文件夹下的笔记本，然后运行代码单元格。运行这些笔记本需要安装 PyTorch 和 vLLM/SGLang 吗？需要，练习以 Python 笔记本的形式编写，部分笔记本还会根据主题额外要求 PyTorch、vLLM 或 SGLang（例如 vLLM 内存管理或 SGLang RadixAttention 相关的笔记本）。
需要，练习以 Python 笔记本的形式编写，部分笔记本还会根据主题额外要求 PyTorch、vLLM 或 SGLang（例如 vLLM 内存管理或 SGLang RadixAttention 相关的笔记本）。内容是循序渐进的课程，还是松散的主题合集？它是按主题组织的松散合集，而不是严格的循序渐进课程；每个笔记本都有自己的难度评级，用闪电图标表示（1 到 3 道闪电）。
它是按主题组织的松散合集，而不是严格的循序渐进课程；每个笔记本都有自己的难度评级，用闪电图标表示（1 到 3 道闪电）。它面向哪些人？面向已经掌握一定深度学习知识、想深入了解 LLM 推理内部机制、并行策略以及 vLLM/SGLang 等框架的工程师和研究人员，而不是完全的初学者。
面向已经掌握一定深度学习知识、想深入了解 LLM 推理内部机制、并行策略以及 vLLM/SGLang 等框架的工程师和研究人员，而不是完全的初学者。强化学习部分提到的 vime 是什么？vime 是一个结合 slime 与 vLLM 的强化学习框架，本仓库提供了相关笔记本，涵盖昇腾（Ascend）共置部署、MoE-RL 训练一致性（R3），以及用强化学习训练会调用工具的 Agent（tau-bench）。
vime 是一个结合 slime 与 vLLM 的强化学习框架，本仓库提供了相关笔记本，涵盖昇腾（Ascend）共置部署、MoE-RL 训练一致性（R3），以及用强化学习训练会调用工具的 Agent（tau-bench）。Nano-vLLM 在这个仓库中用来做什么？Nano-vLLM 作为一个极简的推理框架，用来讲解从零构建 LLM 推理引擎的核心概念，之后再深入完整的 vLLM/SGLang 代码库。
Nano-vLLM 作为一个极简的推理框架，用来讲解从零构建 LLM 推理引擎的核心概念，之后再深入完整的 vLLM/SGLang 代码库。除基础的模型服务（serving）外，它还涵盖哪些推理主题？它涵盖分块预填充（chunked prefill）、闪存解码（flash decoding）、投机解码（speculative decoding）、KV 缓存策略（包括前缀缓存和线性注意力）、量化、PD 反亲和/分离式部署（disaggregation），以及 MoE 专家并行负载均衡（EPLB）。
它涵盖分块预填充（chunked prefill）、闪存解码（flash decoding）、投机解码（speculative decoding）、KV 缓存策略（包括前缀缓存和线性注意力）、量化、PD 反亲和/分离式部署（disaggregation），以及 MoE 专家并行负载均衡（EPLB）。没有 GPU 能运行这些笔记本吗？文中没有明确说明，但许多笔记本涉及 CUDA 相关主题，例如 CUDA 图、GPU/NPU 性能分析和 vLLM 内存快照，因此要复现实操示例实际上需要 GPU。
文中没有明确说明，但许多笔记本涉及 CUDA 相关主题，例如 CUDA 图、GPU/NPU 性能分析和 vLLM 内存快照，因此要复现实操示例实际上需要 GPU。What are similar projects?halo, ms-swift, verl, lectures, autumn-recruitment, ktransformers, DMI, self-llm
halo, ms-swift, verl, lectures, autumn-recruitment, ktransformers, DMI, self-llmWhich topics is it in?ai-infrastructure, performance-optimization, sglang, distributed-training, attention-mechanism, moe, lora, llm-inference, vllm, reinforcement-learning, jupyter notebook, quantization
ai-infrastructure, performance-optimization, sglang, distributed-training, attention-mechanism, moe, lora, llm-inference, vllm, reinforcement-learning, jupyter notebook, quantization