Что это такое?
Fairseq — это инструментарий от Facebook AI Research для моделирования последовательностей, который позволяет обучать собственные модели для перевода, суммаризации, языкового моделирования и других задач генерации текста. Построен на PyTorch.
Fairseq — это инструментарий от Facebook AI Research для моделирования последовательностей, который позволяет обучать собственные модели для перевода, суммаризации, языкового моделирования и других задач генерации текста. Построен на PyTorch.Это готовое приложение или набор инструментов, на основе которого я что-то строю?Это исследовательский инструментарий/библиотека на Python поверх PyTorch. Им пользуются через инструменты командной строки для обучения и генерации или регистрируя собственные модели, критерии, задачи и оптимизаторы.
Это исследовательский инструментарий/библиотека на Python поверх PyTorch. Им пользуются через инструменты командной строки для обучения и генерации или регистрируя собственные модели, критерии, задачи и оптимизаторы.Как установить это и запустить модель?Клонируйте репозиторий и установите его локально через pip (режим editable), затем используйте предоставляемый интерфейс torch.hub или готовые предобученные модели, перечисленные для перевода и языкового моделирования.
Клонируйте репозиторий и установите его локально через pip (режим editable), затем используйте предоставляемый интерфейс torch.hub или готовые предобученные модели, перечисленные для перевода и языкового моделирования.Что нужно before обучением модели?Нужны PyTorch 1.10.0+ и Python 3.8+; для обучения новых моделей также понадобится GPU NVIDIA с NCCL, а опционально — библиотека NVIDIA apex или PyArrow для больших датасетов.
Нужны PyTorch 1.10.0+ и Python 3.8+; для обучения новых моделей также понадобится GPU NVIDIA с NCCL, а опционально — библиотека NVIDIA apex или PyArrow для больших датасетов.Проект всё ещё активно поддерживается?Нет, репозиторий заархивирован: он доступен только для чтения и больше не получает обновлений, хотя код, статьи и предобученные модели по-прежнему доступны для использования.
Нет, репозиторий заархивирован: он доступен только для чтения и больше не получает обновлений, хотя код, статьи и предобученные модели по-прежнему доступны для использования.Нужен ли мне GPU NVIDIA, чтобы это использовать?Да, для обучения новых моделей нужен GPU NVIDIA + NCCL. Генерация же может работать и на CPU, а смешанная точность обучения на тензорных ядрах NVIDIA ускоряет процесс ещё сильнее.
Да, для обучения новых моделей нужен GPU NVIDIA + NCCL. Генерация же может работать и на CPU, а смешанная точность обучения на тензорных ядрах NVIDIA ускоряет процесс ещё сильнее.Какие задачи могут решать модели fairseq?Перевод, языковое моделирование, суммаризацию, распознавание речи (через wav2vec) и другие задачи генерации текста и речи, для каждой из которых есть эталонные реализации.
Перевод, языковое моделирование, суммаризацию, распознавание речи (через wav2vec) и другие задачи генерации текста и речи, для каждой из которых есть эталонные реализации.Какие известные модели впервые вышли через fairseq?RoBERTa, BART, mBART, wav2vec/wav2vec 2.0, XLM-R и модели перевода на основе Transformer для WMT были выпущены как эталонные реализации в составе fairseq.
RoBERTa, BART, mBART, wav2vec/wav2vec 2.0, XLM-R и модели перевода на основе Transformer для WMT были выпущены как эталонные реализации в составе fairseq.Можно ли использовать предобученные модели, не обучая свои?Да, fairseq предоставляет предобученные контрольные точки для перевода и языкового моделирования, доступные через удобный интерфейс torch.hub.
Да, fairseq предоставляет предобученные контрольные точки для перевода и языкового моделирования, доступные через удобный интерфейс torch.hub.Какие стратегии поиска и декодирования поддерживает генерация?Лучевой поиск (beam search), Diverse Beam Search, сэмплирование без ограничений, top-k и top-p, а также декодирование с лексическими ограничениями встроены для быстрой генерации на CPU или GPU.
Лучевой поиск (beam search), Diverse Beam Search, сэмплирование без ограничений, top-k и top-p, а также декодирование с лексическими ограничениями встроены для быстрой генерации на CPU или GPU.What are similar projects?char-rnn, gpt-2, llama, nanoGPT, minGPT, train-llm-from-scratch, DeepLearningExamples, FireRedAudio
char-rnn, gpt-2, llama, nanoGPT, minGPT, train-llm-from-scratch, DeepLearningExamples, FireRedAudioWhich topics is it in?self-supervised-learning, machine-translation, text-generation, language-model, speech-recognition, transformer, large-language-models, nlp, artificial-intelligence, nvidia, deprecated, cuda
self-supervised-learning, machine-translation, text-generation, language-model, speech-recognition, transformer, large-language-models, nlp, artificial-intelligence, nvidia, deprecated, cuda