Что это?
InfraTech — коллекция Jupyter-ноутбуков и статей со знаниями об AI Infra: фреймворки обучения/инференса (PyTorch, vLLM/SGLang, slime/vime), ускорение производительности, основы глубокого обучения и базовые сведения об ИИ-железе и софте.
InfraTech — коллекция Jupyter-ноутбуков и статей со знаниями об AI Infra: фреймворки обучения/инференса (PyTorch, vLLM/SGLang, slime/vime), ускорение производительности, основы глубокого обучения и базовые сведения об ИИ-железе и софте.Это серия туториалов или готовый фреймворк?Это обучающий репозиторий из самостоятельных Jupyter-ноутбуков и материалов, сгруппированных по темам (инференс, PyTorch, vLLM, SGLang, RL), а не устанавливаемый фреймворк или библиотека для импорта в свой проект.
Это обучающий репозиторий из самостоятельных Jupyter-ноутбуков и материалов, сгруппированных по темам (инференс, PyTorch, vLLM, SGLang, RL), а не устанавливаемый фреймворк или библиотека для импорта в свой проект.С чего начать изучение материалов?Склонируйте репозиторий и откройте в Jupyter ноутбуки из папок вроде ./llminfer (упражнения по инференсу), ./models (обзоры моделей) или ./docs (материалы по AI Infra), затем запускайте ячейки с кодом.
Склонируйте репозиторий и откройте в Jupyter ноутбуки из папок вроде ./llminfer (упражнения по инференсу), ./models (обзоры моделей) или ./docs (материалы по AI Infra), затем запускайте ячейки с кодом.Нужны ли установленные PyTorch и vLLM/SGLang для запуска ноутбуков?Да, упражнения написаны на Python в виде ноутбуков, а отдельные ноутбуки дополнительно требуют PyTorch, vLLM или SGLang в зависимости от темы (например, ноутбуки по управлению памятью vLLM или RadixAttention в SGLang).
Да, упражнения написаны на Python в виде ноутбуков, а отдельные ноутбуки дополнительно требуют PyTorch, vLLM или SGLang в зависимости от темы (например, ноутбуки по управлению памятью vLLM или RadixAttention в SGLang).Это последовательный курс или свободный набор тем?Это свободная коллекция, сгруппированная по темам, а не строгая пошаговая программа; у каждого ноутбука своя оценка сложности, показанная значками молний (от 1 до 3).
Это свободная коллекция, сгруппированная по темам, а не строгая пошаговая программа; у каждого ноутбука своя оценка сложности, показанная значками молний (от 1 до 3).Для кого это?Для инженеров и исследователей, которые уже знакомы с глубоким обучением и хотят углубиться во внутренности инференса LLM, стратегии параллелизма и фреймворки вроде vLLM/SGLang, а не для полных новичков.
Для инженеров и исследователей, которые уже знакомы с глубоким обучением и хотят углубиться во внутренности инференса LLM, стратегии параллелизма и фреймворки вроде vLLM/SGLang, а не для полных новичков.Что такое vime из раздела про RL?vime — RL-фреймворк, объединяющий slime и vLLM; здесь он раскрыт в ноутбуках про co-location на Ascend, согласованность обучения MoE-RL (R3) и обучение агента, вызывающего инструменты, через RL (tau-bench).
vime — RL-фреймворк, объединяющий slime и vLLM; здесь он раскрыт в ноутбуках про co-location на Ascend, согласованность обучения MoE-RL (R3) и обучение агента, вызывающего инструменты, через RL (tau-bench).Для чего в этом репозитории используется Nano-vLLM?Nano-vLLM используется как минимальный фреймворк инференса, чтобы объяснить ключевые концепции построения движка инференса LLM с нуля, прежде чем погружаться в полные кодовые базы vLLM/SGLang.
Nano-vLLM используется как минимальный фреймворк инференса, чтобы объяснить ключевые концепции построения движка инференса LLM с нуля, прежде чем погружаться в полные кодовые базы vLLM/SGLang.Какие темы инференса он раскрывает помимо базового обслуживания?Он охватывает chunked prefill, flash decoding, спекулятивное декодирование, стратегии KV-кэша (включая prefix cache и линейное внимание), квантизацию, PD disaffinity/disaggregation и балансировку нагрузки MoE по экспертам (EPLB).
Он охватывает chunked prefill, flash decoding, спекулятивное декодирование, стратегии KV-кэша (включая prefix cache и линейное внимание), квантизацию, PD disaffinity/disaggregation и балансировку нагрузки MoE по экспертам (EPLB).Можно ли запускать эти ноутбуки без GPU?Прямо не сказано, но многие ноутбуки затрагивают CUDA-специфичные темы вроде CUDA graphs, профилирования GPU/NPU и memory snapshot в vLLM, так что для воспроизведения практических примеров фактически нужен GPU.
Прямо не сказано, но многие ноутбуки затрагивают CUDA-специфичные темы вроде CUDA graphs, профилирования GPU/NPU и memory snapshot в vLLM, так что для воспроизведения практических примеров фактически нужен GPU.What are similar projects?halo, ms-swift, verl, lectures, autumn-recruitment, ktransformers, DMI, self-llm
halo, ms-swift, verl, lectures, autumn-recruitment, ktransformers, DMI, self-llmWhich topics is it in?ai-infrastructure, performance-optimization, sglang, distributed-training, attention-mechanism, moe, lora, llm-inference, vllm, reinforcement-learning, jupyter notebook, quantization
ai-infrastructure, performance-optimization, sglang, distributed-training, attention-mechanism, moe, lora, llm-inference, vllm, reinforcement-learning, jupyter notebook, quantization