23.7K ·GitHub
Что это?
AudioCraft — это библиотека на PyTorch для исследований в области глубокого обучения, связанных с генерацией звука. Она построена на генеративных моделях MusicGen (текст в музыку) и AudioGen (текст в звук), а также включает нейросетевой аудиокодек EnCodec.
AudioCraft — это библиотека на PyTorch для исследований в области глубокого обучения, связанных с генерацией звука. Она построена на генеративных моделях MusicGen (текст в музыку) и AudioGen (текст в звук), а также включает нейросетевой аудиокодек EnCodec.Это готовое приложение или исследовательский код?Это исследовательская библиотека с компонентами на PyTorch, скриптами для инференса и конвейерами обучения, которые запускаются как Python-код, а не как готовое упакованное приложение.
Это исследовательская библиотека с компонентами на PyTorch, скриптами для инференса и конвейерами обучения, которые запускаются как Python-код, а не как готовое упакованное приложение.Как установить и начать пользоваться?Установите Python 3.9 вместе с PyTorch 2.1.0, выполните команду pip install из раздела Installation в README и также установите ffmpeg (через систему или Anaconda) для работы со звуком.
Установите Python 3.9 вместе с PyTorch 2.1.0, выполните команду pip install из раздела Installation в README и также установите ffmpeg (через систему или Anaconda) для работы со звуком.Есть ли в комплекте готовые предобученные веса, которыми можно сразу пользоваться?Да: модели загружаются через Hugging Face, которая автоматически скачивает предобученные веса и сохраняет их в кэш при первом запуске модели.
Да: модели загружаются через Hugging Face, которая автоматически скачивает предобученные веса и сохраняет их в кэш при первом запуске модели.Есть ли код обучения для всех перечисленных моделей?Нет: полный код обучения предоставлен только для EnCodec, MusicGen, Multi Band Diffusion и JASCO, поэтому остальные перечисленные модели поставляются только с кодом инференса, а полного конвейера обучения здесь нет.
Нет: полный код обучения предоставлен только для EnCodec, MusicGen, Multi Band Diffusion и JASCO, поэтому остальные перечисленные модели поставляются только с кодом инференса, а полного конвейера обучения здесь нет.Что такое MusicGen?MusicGen — флагманская модель AudioCraft: управляемая языковая модель для генерации музыки по тексту, которую также можно обусловить мелодией.
MusicGen — флагманская модель AudioCraft: управляемая языковая модель для генерации музыки по тексту, которую также можно обусловить мелодией.Для чего используется EnCodec?EnCodec — нейросетевой аудиокодек и токенизатор AudioCraft, который сжимает исходный звук в токены, с которыми работают генеративные модели.
EnCodec — нейросетевой аудиокодек и токенизатор AudioCraft, который сжимает исходный звук в токены, с которыми работают генеративные модели.Что делает AudioSeal?AudioSeal — модель аудиоводяных знаков, входящая в AudioCraft; она помечает и распознаёт звук, созданный ИИ.
AudioSeal — модель аудиоводяных знаков, входящая в AudioCraft; она помечает и распознаёт звук, созданный ИИ.Что такое MAGNeT?MAGNeT — неавторегрессионная модель AudioCraft для генерации музыки и звука по тексту, которая работает быстрее стандартных моделей, построенных на языковых моделях.
MAGNeT — неавторегрессионная модель AudioCraft для генерации музыки и звука по тексту, которая работает быстрее стандартных моделей, построенных на языковых моделях.What are similar projects?MiniMax-Music3, YuE, AudioGPT, magenta, pyannote-audio, bark, demucs, latent-diffusion
MiniMax-Music3, YuE, AudioGPT, magenta, pyannote-audio, bark, demucs, latent-diffusionWhich topics is it in?text-to-audio, music-generation, audio-generation, audio-processing, diffusion-models, music, neural-network, jupyter notebook, audio, artificial-intelligence, generative-ai, huggingface
text-to-audio, music-generation, audio-generation, audio-processing, diffusion-models, music, neural-network, jupyter notebook, audio, artificial-intelligence, generative-ai, huggingface