Что это такое?
PaddleNLP — это инструментарий для разработки больших языковых моделей (LLM) и малых языковых моделей (SLM), построенный на фреймворке глубокого обучения PaddlePaddle. Он обеспечивает эффективное обучение, сжатие без потери качества и высокопроизводительный инференс больших моделей.
PaddleNLP — это инструментарий для разработки больших языковых моделей (LLM) и малых языковых моделей (SLM), построенный на фреймворке глубокого обучения PaddlePaddle. Он обеспечивает эффективное обучение, сжатие без потери качества и высокопроизводительный инференс больших моделей.Это самостоятельное приложение или библиотека, которую я импортирую в свой код для обучения?Это набор инструментов и фреймворк на Python, который вы устанавливаете и импортируете в свои скрипты, чтобы обучать, дообучать, сжимать и развертывать модели LLM. Это не самостоятельное приложение.
Это набор инструментов и фреймворк на Python, который вы устанавливаете и импортируете в свои скрипты, чтобы обучать, дообучать, сжимать и развертывать модели LLM. Это не самостоятельное приложение.Как начать обучение или дообучение модели с его помощью?В README есть отдельные разделы Installation и Quick Start с настройкой окружения для вашего целевого оборудования. После этого вы настраиваете Trainer с выбранной стратегией распределенных вычислений (параллелизм данных, тензоров или конвейера: data/tensor/pipeline parallel) и запускаете предобучение или дообучение.
В README есть отдельные разделы Installation и Quick Start с настройкой окружения для вашего целевого оборудования. После этого вы настраиваете Trainer с выбранной стратегией распределенных вычислений (параллелизм данных, тензоров или конвейера: data/tensor/pipeline parallel) и запускаете предобучение или дообучение.Какое оборудование поддерживается, помимо GPU NVIDIA?Помимо GPU NVIDIA, PaddleNLP поддерживает ускорители Kunlun XPU, Ascend NPU, Enflame GCU и Hygon DCU. Вы можете переключать аппаратные бэкенды через один и тот же интерфейс.
Помимо GPU NVIDIA, PaddleNLP поддерживает ускорители Kunlun XPU, Ascend NPU, Enflame GCU и Hygon DCU. Вы можете переключать аппаратные бэкенды через один и тот же интерфейс.Это привязано к фреймворку PaddlePaddle, а не к PyTorch?Да, он построен именно на фреймворке глубокого обучения PaddlePaddle, а не на PyTorch, поэтому вы работаете в экосистеме Paddle. При этом поддерживается перенос популярных семейств моделей, таких как LLaMA, Qwen и DeepSeek.
Да, он построен именно на фреймворке глубокого обучения PaddlePaddle, а не на PyTorch, поэтому вы работаете в экосистеме Paddle. При этом поддерживается перенос популярных семейств моделей, таких как LLaMA, Qwen и DeepSeek.Это для любительских экспериментов или для промышленного внедрения в масштабе?Он ориентирован на промышленные приложения на основе LLM и сочетает простоту использования с сильно оптимизированной производительностью для реальных сценариев развертывания.
Он ориентирован на промышленные приложения на основе LLM и сочетает простоту использования с сильно оптимизированной производительностью для реальных сценариев развертывания.Какие семейства моделей поддерживаются из коробки?PaddleNLP уже включает поддержку LLaMA 1/2/3, Baichuan, Bloom, ChatGLM, DeepSeek V2/V3/R1, Gemma, Mistral/Mixtral, OPT, Qwen (1.5/2/2.5/3) и собственных моделей PP-UIE, а также других.
PaddleNLP уже включает поддержку LLaMA 1/2/3, Baichuan, Bloom, ChatGLM, DeepSeek V2/V3/R1, Gemma, Mistral/Mixtral, OPT, Qwen (1.5/2/2.5/3) и собственных моделей PP-UIE, а также других.Что такое PP-UIE?PP-UIE — это собственная универсальная модель извлечения информации от PaddleNLP. Она работает с документами длиной до 8K токенов, хорошо справляется с извлечением в режимах zero/few-shot. По заявленным данным, её обучение эффективнее, чем у LLaMA-Factory, в 1,8 раза.
PP-UIE — это собственная универсальная модель извлечения информации от PaddleNLP. Она работает с документами длиной до 8K токенов, хорошо справляется с извлечением в режимах zero/few-shot. По заявленным данным, её обучение эффективнее, чем у LLaMA-Factory, в 1,8 раза.Какие оптимизации инференса здесь есть?Есть квантование FP8, INT8 и 4-битное, спекулятивное декодирование MTP и объединенные (fused) операторы. По заявленным данным, инференс DeepSeek V3/R1 в FP8 превышает 1000 токенов в секунду, а в 4-битном режиме — 2100 токенов в секунду на одной машине.
Есть квантование FP8, INT8 и 4-битное, спекулятивное декодирование MTP и объединенные (fused) операторы. По заявленным данным, инференс DeepSeek V3/R1 в FP8 превышает 1000 токенов в секунду, а в 4-битном режиме — 2100 токенов в секунду на одной машине.Что такое Unified Checkpoint?Unified Checkpoint — это система хранения контрольных точек в PaddleNLP, которая позволяет эластично возобновлять работу при меняющихся ресурсах машин. Асинхронное сохранение сокращает время и место, которые занимают контрольные точки, — до 95% и 78,5% соответственно.
Unified Checkpoint — это система хранения контрольных точек в PaddleNLP, которая позволяет эластично возобновлять работу при меняющихся ресурсах машин. Асинхронное сохранение сокращает время и место, которые занимают контрольные точки, — до 95% и 78,5% соответственно.What are similar projects?airllm, ms-swift, jeeves, DMI, Hy-MT2, TensorRT-LLM, ktransformers, halo
airllm, ms-swift, jeeves, DMI, Hy-MT2, TensorRT-LLM, ktransformers, haloWhich topics is it in?document-intelligence, neural-search, embedding, bert, question-answering, sentiment-analysis, distributed-training, speculative-decoding, compression, search-engine, moe, llama
document-intelligence, neural-search, embedding, bert, question-answering, sentiment-analysis, distributed-training, speculative-decoding, compression, search-engine, moe, llama