75.6K ·GitHub
Что это такое?
LlamaFactory объединяет эффективное дообучение более 100 больших языковых и визуально-языковых моделей в одном Python-инструменте; проект опубликован в виде статьи на конференции ACL 2024.
LlamaFactory объединяет эффективное дообучение более 100 больших языковых и визуально-языковых моделей в одном Python-инструменте; проект опубликован в виде статьи на конференции ACL 2024.Это консольная утилита или у неё есть интерфейс?Встроено и то, и другое: запуски делаются через командную строку, либо можно открыть в браузере веб-интерфейс LLaMA Board и дообучить модель, не написав ни строчки кода.
Встроено и то, и другое: запуски делаются через командную строку, либо можно открыть в браузере веб-интерфейс LLaMA Board и дообучить модель, не написав ни строчки кода.Как запустить своё первое дообучение?Установите пакет, подготовьте датасет, затем запустите обучение из командной строки или из веб-интерфейса; если локальной GPU нет, можно воспользоваться бесплатными ноутбуками Colab или PAI-DSW.
Установите пакет, подготовьте датасет, затем запустите обучение из командной строки или из веб-интерфейса; если локальной GPU нет, можно воспользоваться бесплатными ноутбуками Colab или PAI-DSW.Откуда берутся модели и датасеты?Они скачиваются с Hugging Face, а в README также описано, как подтягивать предобученные модели и датасеты из ModelScope Hub и Modelers Hub.
Они скачиваются с Hugging Face, а в README также описано, как подтягивать предобученные модели и датасеты из ModelScope Hub и Modelers Hub.А если у меня не оборудование NVIDIA?Поддерживаются GPU от AMD и NPU Ascend, но для каждого из них своя документация по настройке, причём основные документы помечены как WIP (работа в процессе).
Поддерживаются GPU от AMD и NPU Ascend, но для каждого из них своя документация по настройке, причём основные документы помечены как WIP (работа в процессе).Это для любительских проектов или для корпоративных команд?Для тех и других: в README среди пользователей перечислены Amazon, NVIDIA и Aliyun, а в блогах разбираются и небольшие задачи вроде дообучения Llama3 для ролевых игр.
Для тех и других: в README среди пользователей перечислены Amazon, NVIDIA и Aliyun, а в блогах разбираются и небольшие задачи вроде дообучения Llama3 для ролевых игр.Это работает только на Linux-серверах?В README нет требований к операционной системе: это Python-пакет для ваших собственных машин, а как вариант описана сборка через Docker.
В README нет требований к операционной системе: это Python-пакет для ваших собственных машин, а как вариант описана сборка через Docker.Какая видеокарта мне понадобится?Зависит от метода, но в README приводится пример дообучения модели 70B на двух GPU по 24 ГБ с FSDP+QLoRA, а меньшие квантованные конфигурации помещаются и на обычные потребительские карты.
Зависит от метода, но в README приводится пример дообучения модели 70B на двух GPU по 24 ГБ с FSDP+QLoRA, а меньшие квантованные конфигурации помещаются и на обычные потребительские карты.Какие модели она умеет дообучать?Перечислены LLaMA, LLaVA, Mistral, Mixtral-MoE, Qwen3, Qwen3-VL, DeepSeek, Gemma, GLM и Phi, а новые релизы поддерживаются быстро: Qwen3 и Gemma 3 — в день выхода, Llama 4 — на следующий день.
Перечислены LLaMA, LLaVA, Mistral, Mixtral-MoE, Qwen3, Qwen3-VL, DeepSeek, Gemma, GLM и Phi, а новые релизы поддерживаются быстро: Qwen3 и Gemma 3 — в день выхода, Llama 4 — на следующий день.Какие методы обучения она охватывает?Продолженное предобучение, контролируемое дообучение (supervised fine-tuning), обучение модели награды и методы на основе предпочтений, такие как PPO, DPO, KTO и ORPO, плюс LoRA и алгоритмы вроде GaLore, DoRA, LongLoRA и LLaMA Pro.
Продолженное предобучение, контролируемое дообучение (supervised fine-tuning), обучение модели награды и методы на основе предпочтений, такие как PPO, DPO, KTO и ORPO, плюс LoRA и алгоритмы вроде GaLore, DoRA, LongLoRA и LLaMA Pro.Можно ли после обучения запустить модель в работу?Да: чекпоинты можно экспортировать в API в стиле OpenAI, интерфейс Gradio или командную строку, ускорить с помощью воркеров vLLM или SGLang и даже сохранить как modelfile для Ollama.
Да: чекпоинты можно экспортировать в API в стиле OpenAI, интерфейс Gradio или командную строку, ускорить с помощью воркеров vLLM или SGLang и даже сохранить как modelfile для Ollama.