13K ·GitHub
Что это такое?
PaddleFormers — библиотека в стиле Transformers, построенная на фреймворке глубокого обучения PaddlePaddle от Baidu. Она даёт экосистеме PaddlePaddle тот же тип интерфейса моделей и рабочего процесса обучения, что и Hugging Face Transformers, с полной поддержкой обучения для более чем 100 LLM и моделей «зрение-язык».
PaddleFormers — библиотека в стиле Transformers, построенная на фреймворке глубокого обучения PaddlePaddle от Baidu. Она даёт экосистеме PaddlePaddle тот же тип интерфейса моделей и рабочего процесса обучения, что и Hugging Face Transformers, с полной поддержкой обучения для более чем 100 LLM и моделей «зрение-язык».Это фреймворк или библиотека, которую импортируют в свой код?Это Python-библиотека, API которой намеренно повторяет Hugging Face Transformers. Если вы знаете 'transformers', пользоваться ею можно так же, только работать она будет на PaddlePaddle вместо PyTorch.
Это Python-библиотека, API которой намеренно повторяет Hugging Face Transformers. Если вы знаете 'transformers', пользоваться ею можно так же, только работать она будет на PaddlePaddle вместо PyTorch.Что нужно перед установкой?Нужны Python 3.12 или новее и CUDA 13.0 или новее, а также PaddleFleet 0.3+. Последний требуется только если вы хотите использовать функции обучения на GPU.
Нужны Python 3.12 или новее и CUDA 13.0 или новее, а также PaddleFleet 0.3+. Последний требуется только если вы хотите использовать функции обучения на GPU.Можно ли установить облегчённую версию, если мне нужна только токенизация?Да, есть минимальная установка без всех зависимостей для обучения. Она подходит, если нужны только токенизатор или процессор. Ставится она быстрее, но для реального обучения моделей не годится.
Да, есть минимальная установка без всех зависимостей для обучения. Она подходит, если нужны только токенизатор или процессор. Ставится она быстрее, но для реального обучения моделей не годится.Какое оборудование, помимо GPU NVIDIA, поддерживается?PaddleFormers имеет специальную адаптацию для нескольких китайских отечественных ускорителей ИИ, включая Kunlunxin P800, Iluvatar Tiangai 150, Moxin C550 и чипы Moore Threads.
PaddleFormers имеет специальную адаптацию для нескольких китайских отечественных ускорителей ИИ, включая Kunlunxin P800, Iluvatar Tiangai 150, Moxin C550 и чипы Moore Threads.Поддерживает ли она методы дообучения вроде LoRA и DPO?Да, она покрывает весь цикл постобучения, включая CPT, SFT, SFT-LoRA, DPO и DPO-LoRA. Это позволяет пройти путь от предобученной контрольной точки до выровненной модели.
Да, она покрывает весь цикл постобучения, включая CPT, SFT, SFT-LoRA, DPO и DPO-LoRA. Это позволяет пройти путь от предобученной контрольной точки до выровненной модели.Можно ли развернуть обученные здесь модели с помощью vLLM или SGLang?Да, обученные модели сохраняются в стандартном формате Safetensors, совместимом с весами Hugging Face. Поэтому их можно сразу запускать через FastDeploy, vLLM или SGLang без конвертации.
Да, обученные модели сохраняются в стандартном формате Safetensors, совместимом с весами Hugging Face. Поэтому их можно сразу запускать через FastDeploy, vLLM или SGLang без конвертации.Что нового в последнем релизе v1.2?v1.2 добавляет полную поддержку обучения DeepSeek-V4 с контекстом 128K+, включая гибридное внимание CSA+HCA, остаточные связи mHC и оптимизатор Muon. Также появились новые ядра FP8 MoE и библиотеки коммуникации для экспертного параллелизма.
v1.2 добавляет полную поддержку обучения DeepSeek-V4 с контекстом 128K+, включая гибридное внимание CSA+HCA, остаточные связи mHC и оптимизатор Muon. Также появились новые ядра FP8 MoE и библиотеки коммуникации для экспертного параллелизма.Как производительность обучения сравнивается с Megatron-LM?На флагманских моделях вроде DeepSeek-V3 и GLM-4.5-Air PaddleFormers, по его данным, заметно опережает Megatron-LM. Это достигается за счёт объединённых операторов и оптимизации перекрытия коммуникаций и вычислений.
На флагманских моделях вроде DeepSeek-V3 и GLM-4.5-Air PaddleFormers, по его данным, заметно опережает Megatron-LM. Это достигается за счёт объединённых операторов и оптимизации перекрытия коммуникаций и вычислений.What are similar projects?Qwen3.8-Flash-Next, Hy4-preview, Hy-MT2, open-r1, nanochat, verl, jeeves, Meshy
Qwen3.8-Flash-Next, Hy4-preview, Hy-MT2, open-r1, nanochat, verl, jeeves, MeshyWhich topics is it in?baidu, pretraining, llm-training, model, distributed-training, mixture-of-experts, vllm, gpu-acceleration, fine-tuning, transformer, large-language-models, nlp
baidu, pretraining, llm-training, model, distributed-training, mixture-of-experts, vllm, gpu-acceleration, fine-tuning, transformer, large-language-models, nlp