11.8K ·GitHub
Что это такое?
Коллекция демонстрационных ноутбуков Jupyter, которые показывают, как пользоваться библиотекой Transformers от HuggingFace в PyTorch. Есть примеры для BERT, GPT-2, LayoutLM, DETR, Donut и многих других моделей.
Коллекция демонстрационных ноутбуков Jupyter, которые показывают, как пользоваться библиотекой Transformers от HuggingFace в PyTorch. Есть примеры для BERT, GPT-2, LayoutLM, DETR, Donut и многих других моделей.Это библиотека или набор уроков?Это коллекция уроков, а не библиотека, которую нужно устанавливать: для каждой модели есть один или несколько запускаемых ноутбуков Jupyter, которые демонстрируют инференс или дообучение.
Это коллекция уроков, а не библиотека, которую нужно устанавливать: для каждой модели есть один или несколько запускаемых ноутбуков Jupyter, которые демонстрируют инференс или дообучение.Как запустить один из этих ноутбуков?Откройте ноутбук интересующей вас модели (у большинства есть значок Open In Colab) и запустите его прямо в Google Colab или клонируйте репозиторий и запустите локально с Jupyter.
Откройте ноутбук интересующей вас модели (у большинства есть значок Open In Colab) и запустите его прямо в Google Colab или клонируйте репозиторий и запустите локально с Jupyter.Что нужно установить, чтобы всё это запустить?Python и PyTorch, а также библиотека HuggingFace Transformers (иногда дополнительные пакеты, например PyTorch Lightning или Gradio, для отдельных демонстраций).
Python и PyTorch, а также библиотека HuggingFace Transformers (иногда дополнительные пакеты, например PyTorch Lightning или Gradio, для отдельных демонстраций).Эти ноутбуки подходят новичкам сразу?Если вы новичок в HuggingFace/Transformers, автор рекомендует сначала пройти его бесплатный курс, который охватывает такие архитектуры, как BERT, GPT-2, T5 и BART, и только потом переходить к этим демонстрациям.
Если вы новичок в HuggingFace/Transformers, автор рекомендует сначала пройти его бесплатный курс, который охватывает такие архитектуры, как BERT, GPT-2, T5 и BART, и только потом переходить к этим демонстрациям.Для кого эта коллекция?Для разработчиков и исследователей, которые уже знают основы глубокого обучения и хотят попрактиковаться на примерах дообучения или инференса конкретных моделей-трансформеров.
Для разработчиков и исследователей, которые уже знают основы глубокого обучения и хотят попрактиковаться на примерах дообучения или инференса конкретных моделей-трансформеров.Сколько моделей охвачено?Несколько десятков: NLP (BERT, GPT-J, LUKE), компьютерное зрение (ViT, DETR, DINO, MaskFormer), работа с документами (LayoutLM, Donut, MarkupLM), аудио (Audio Spectrogram Transformer) и мультимодальные модели (GIT, Perceiver IO).
Несколько десятков: NLP (BERT, GPT-J, LUKE), компьютерное зрение (ViT, DETR, DINO, MaskFormer), работа с документами (LayoutLM, Donut, MarkupLM), аудио (Audio Spectrogram Transformer) и мультимодальные модели (GIT, Perceiver IO).Можно ли дообучить модель на своём наборе данных с помощью этих ноутбуков?Да, многие ноутбуки (например, LayoutLM на FUNSD, DETR на собственном наборе данных с воздушными шариками, Donut для разбора документов) построены как примеры дообучения, которые можно адаптировать под свои данные.
Да, многие ноутбуки (например, LayoutLM на FUNSD, DETR на собственном наборе данных с воздушными шариками, Donut для разбора документов) построены как примеры дообучения, которые можно адаптировать под свои данные.Есть ли демо, охватывающее модели для работы с документами?Да, есть обширное покрытие моделей для работы с документами, таких как LayoutLM, LayoutLMv2/v3, LayoutXLM, Donut и MarkupLM, для задач вроде разбора форм, классификации документов и ответов на вопросы по изображениям.
Да, есть обширное покрытие моделей для работы с документами, таких как LayoutLM, LayoutLMv2/v3, LayoutXLM, Donut и MarkupLM, для задач вроде разбора форм, классификации документов и ответов на вопросы по изображениям.С чего начать, если я новичок в Transformers?Начните с бесплатного курса HuggingFace, упомянутого в README, затем выберите ноутбук для известной модели, например BERT или ViT, и только после этого переходите к более специализированным архитектурам.
Начните с бесплатного курса HuggingFace, упомянутого в README, затем выберите ноутбук для известной модели, например BERT или ViT, и только после этого переходите к более специализированным архитектурам.What are similar projects?dinov3, InternVL, DeepLearning, DeepLearningExamples, unilm, deep-learning-for-image-processing, learnopencv, dinov2
dinov3, InternVL, DeepLearning, DeepLearningExamples, unilm, deep-learning-for-image-processing, learnopencv, dinov2Which topics is it in?gpt-2, bert, vision-transformer, image-classification, object-detection, transformers, ocr, embeddings, gpt, document-processing, jupyter notebook, fine-tuning
gpt-2, bert, vision-transformer, image-classification, object-detection, transformers, ocr, embeddings, gpt, document-processing, jupyter notebook, fine-tuning