Что это такое?
Self-llm — это коллекция учебных материалов на китайском языке, которая учит новичков настраивать окружение, разворачивать и дообучать (полная настройка параметров или LoRA) более 50 открытых больших языковых моделей и мультимодальных моделей на Linux.
Self-llm — это коллекция учебных материалов на китайском языке, которая учит новичков настраивать окружение, разворачивать и дообучать (полная настройка параметров или LoRA) более 50 открытых больших языковых моделей и мультимодальных моделей на Linux.Это библиотека, которую нужно установить, или набор руководств?Это набор руководств в формате Jupyter Notebook, по одному комплекту на каждую поддерживаемую модель. Это не библиотека, не приложение и не фреймворк, который нужно импортировать.
Это набор руководств в формате Jupyter Notebook, по одному комплекту на каждую поддерживаемую модель. Это не библиотека, не приложение и не фреймворк, который нужно импортировать.С чего новичку начать?Начните с настройки окружения, затем переходите к развертыванию модели и в конце занимайтесь дообучением. Новичкам рекомендуется начинать с более простых моделей, таких как Qwen1.5, InternLM2 или MiniCPM, и только потом смотреть полную таблицу из более чем 50 поддерживаемых моделей.
Начните с настройки окружения, затем переходите к развертыванию модели и в конце занимайтесь дообучением. Новичкам рекомендуется начинать с более простых моделей, таких как Qwen1.5, InternLM2 или MiniCPM, и только потом смотреть полную таблицу из более чем 50 поддерживаемых моделей.Все ли аппаратные платформы и модели уже полностью готовы?Не все. Раздел для платформы Muxi прямо помечен как пока недоступный, а поддержка Apple Silicon всё ещё тестируется и расширяется.
Не все. Раздел для платформы Muxi прямо помечен как пока недоступный, а поддержка Apple Silicon всё ещё тестируется и расширяется.Для кого это предназначено?Это для китайских студентов и тех, кто учится самостоятельно и хочет запускать и дообучать открытые LLM локально, без доступа к API. Это ступенька перед более глубокими курсами по теории LLM или по разработке приложений на их основе.
Это для китайских студентов и тех, кто учится самостоятельно и хочет запускать и дообучать открытые LLM локально, без доступа к API. Это ступенька перед более глубокими курсами по теории LLM или по разработке приложений на их основе.Что такое Tianji (天机), который упоминается как пример проекта?Tianji — один из примеров мини-проектов, созданных с помощью self-llm: полноценное приложение на основе LLM для сценариев соблюдения социального этикета. Оно охватывает инжиниринг промптов, создание агентов, сбор данных и дообучение, а также очистку данных для RAG.
Tianji — один из примеров мини-проектов, созданных с помощью self-llm: полноценное приложение на основе LLM для сценариев соблюдения социального этикета. Оно охватывает инжиниринг промптов, создание агентов, сбор данных и дообучение, а также очистку данных для RAG.Какие инструменты развертывания описаны в учебных материалах?В зависимости от модели и оборудования руководства показывают развертывание через вызовы из командной строки, онлайн-демо, интеграцию с LangChain, а также такие инструменты, как vLLM, Ollama, LM Studio, llama.cpp и sglang.
В зависимости от модели и оборудования руководства показывают развертывание через вызовы из командной строки, онлайн-демо, интеграцию с LangChain, а также такие инструменты, как vLLM, Ollama, LM Studio, llama.cpp и sglang.Поддерживается ли оборудование не от Nvidia?Да. Помимо основного трека для Linux и GPU, есть отдельные разделы для видеокарт AMD (ROCm) и нейропроцессоров Huawei Ascend NPU, а поддержка Apple Silicon также находится в разработке.
Да. Помимо основного трека для Linux и GPU, есть отдельные разделы для видеокарт AMD (ROCm) и нейропроцессоров Huawei Ascend NPU, а поддержка Apple Silicon также находится в разработке.Могу ли я сам добавить руководство для новой модели?Да, в проекте прямо приглашают участников открывать issues или отправлять pull request'ы с руководствами для новых моделей и аппаратных платформ.
Да, в проекте прямо приглашают участников открывать issues или отправлять pull request'ы с руководствами для новых моделей и аппаратных платформ.What are similar projects?verl, ms-swift, unsloth, vllm, ktransformers, halo, ollama, autumn-recruitment
verl, ms-swift, unsloth, vllm, ktransformers, halo, ollama, autumn-recruitment