15.3K ·GitHub
Что это?
Это подобранная база знаний на китайском языке о концепциях больших языковых моделей (LLM) и вопросах с собеседований. Она рассчитана на инженеров по алгоритмам и прикладных инженеров, которые готовятся к собеседованиям на позиции, связанные с LLM.
Это подобранная база знаний на китайском языке о концепциях больших языковых моделей (LLM) и вопросах с собеседований. Она рассчитана на инженеров по алгоритмам и прикладных инженеров, которые готовятся к собеседованиям на позиции, связанные с LLM.Это одна книга или набор отдельных тематических заметок?Материал организован как нумерованный каталог markdown-заметок (с 01 по 10, а также курсы и справочники), который охватывает всё от основ NLP до RLHF. Он опубликован как онлайн-сайт для чтения, а не как единая линейная книга.
Материал организован как нумерованный каталог markdown-заметок (с 01 по 10, а также курсы и справочники), который охватывает всё от основ NLP до RLHF. Он опубликован как онлайн-сайт для чтения, а не как единая линейная книга.С чего лучше начать чтение?Начните с оглавления, которое открывается реальными вопросами с собеседований и главой 01 об основах LLM. Далее идут архитектура, обучение, дообучение, инференс, RLHF, RAG и LangChain.
Начните с оглавления, которое открывается реальными вопросами с собеседований и главой 01 об основах LLM. Далее идут архитектура, обучение, дообучение, инференс, RLHF, RAG и LangChain.Ответы проверяют эксперты?Нет, ответы написаны единственным автором на основе онлайн-исследований. В репозитории прямо предлагают читателям указывать на неточности и исправлять их.
Нет, ответы написаны единственным автором на основе онлайн-исследований. В репозитории прямо предлагают читателям указывать на неточности и исправлять их.Для кого это руководство?Оно адресовано инженерам и соискателям, которые готовятся к собеседованиям на позиции инженера по алгоритмам LLM или прикладного инженера. Оно охватывает темы от базового NLP до распределённого обучения и RLHF.
Оно адресовано инженерам и соискателям, которые готовятся к собеседованиям на позиции инженера по алгоритмам LLM или прикладного инженера. Оно охватывает темы от базового NLP до распределённого обучения и RLHF.Есть ли сопутствующие проекты для практики?Да, автор ссылается на несколько репозиториев для практики: tiny-llm-zh (создание небольшой китайской LLM с нуля, включая предобучение, дообучение и обучение с подкреплением), tiny-rag (простая RAG-система с многоканальным поиском и переранжированием), tiny-mcp (сервер и клиент MCP, построенные на промптах и вызове функций) и llama3-from-scratch-zh (реализация Llama 3 с нуля, которая загружает официальные веса Meta и работает на ноутбуке с 16 ГБ памяти).
Да, автор ссылается на несколько репозиториев для практики: tiny-llm-zh (создание небольшой китайской LLM с нуля, включая предобучение, дообучение и обучение с подкреплением), tiny-rag (простая RAG-система с многоканальным поиском и переранжированием), tiny-mcp (сервер и клиент MCP, построенные на промптах и вызове функций) и llama3-from-scratch-zh (реализация Llama 3 с нуля, которая загружает официальные веса Meta и работает на ноутбуке с 16 ГБ памяти).Весь контент на китайском языке?Да, заметки, вопросы с собеседований и связанный аккаунт в WeChat написаны на китайском языке. Английская версия не упоминается.
Да, заметки, вопросы с собеседований и связанный аккаунт в WeChat написаны на китайском языке. Английская версия не упоминается.Какие темы охватывает руководство?Оно охватывает основы LLM, токенизацию и эмбеддинги, архитектуру Transformer, механизм внимания (attention) и MoE, распределённое обучение (параллелизм данных, конвейерный и тензорный параллелизм, DeepSpeed, Megatron), дообучение с учителем (LoRA), инференс и квантизацию, RLHF (PPO/DPO), RAG, агентов, оценку моделей и галлюцинации, а также LangChain.
Оно охватывает основы LLM, токенизацию и эмбеддинги, архитектуру Transformer, механизм внимания (attention) и MoE, распределённое обучение (параллелизм данных, конвейерный и тензорный параллелизм, DeepSpeed, Megatron), дообучение с учителем (LoRA), инференс и квантизацию, RLHF (PPO/DPO), RAG, агентов, оценку моделей и галлюцинации, а также LangChain.What are similar projects?ai-system-design, nlp_course, ai-engineering-interview-questions-company-wise, autumn-recruitment, AgentGuide, LLM101n, llm-course, DeepLearning
ai-system-design, nlp_course, ai-engineering-interview-questions-company-wise, autumn-recruitment, AgentGuide, LLM101n, llm-course, DeepLearningWhich topics is it in?interview-prep, rlhf, function-calling, coding-interview, distributed-training, mixture-of-experts, llama, llms, study-guide, interview-questions, natural-language-processing, langchain
interview-prep, rlhf, function-calling, coding-interview, distributed-training, mixture-of-experts, llama, llms, study-guide, interview-questions, natural-language-processing, langchain