Что это такое?
HeartMuLa — это семейство открытых музыкальных foundation-моделей для генерации музыки по тексту песни и тегам, вместе с которыми поставляются сопутствующие модели: кодек, модель транскрипции и модель аудио-текстового поиска.
HeartMuLa — это семейство открытых музыкальных foundation-моделей для генерации музыки по тексту песни и тегам, вместе с которыми поставляются сопутствующие модели: кодек, модель транскрипции и модель аудио-текстового поиска.Это одна модель или набор моделей?Семейство из четырёх: основная генератор музыки HeartMuLa плюс сопутствующие модели HeartCodec, HeartTranscriptor и HeartCLAP.
Семейство из четырёх: основная генератор музыки HeartMuLa плюс сопутствующие модели HeartCodec, HeartTranscriptor и HeartCLAP.Как её запустить?В README нет команд установки — там ссылка на отдельную страницу использования, где объясняется, как запускать модели.
В README нет команд установки — там ссылка на отдельную страницу использования, где объясняется, как запускать модели.Что должно быть установлено, чтобы я мог сгенерировать песню?Основа — окружение Python, так как репозиторий написан на Python; в README список требований внутри не приведён, вместо этого указана страница использования.
Основа — окружение Python, так как репозиторий написан на Python; в README список требований внутри не приведён, вместо этого указана страница использования.Она правда такая же хорошая, как Suno?В README утверждается, что последняя внутренняя версия HeartMuLa-7B сравнима с Suno по музыкальности, качеству звука и управляемости; опубликованные результаты бенчмарков относятся к открытой версии oss-3B.
В README утверждается, что последняя внутренняя версия HeartMuLa-7B сравнима с Suno по музыкальности, качеству звука и управляемости; опубликованные результаты бенчмарков относятся к открытой версии oss-3B.Тут есть приложение или API, или мне нужно встраивать это в свой пайплайн?Это репозиторий моделей для разработчиков и исследователей — вы запускаете модели в своём окружении; о приложении или хостинге ничего не упоминается.
Это репозиторий моделей для разработчиков и исследователей — вы запускаете модели в своём окружении; о приложении или хостинге ничего не упоминается.А может ли она генерировать песни на моём языке?Да — HeartMuLa работает по тексту песни и тегам с многоязычной поддержкой почти всех языков, так что тексты не на английском входят в её возможности.
Да — HeartMuLa работает по тексту песни и тегам с многоязычной поддержкой почти всех языков, так что тексты не на английском входят в её возможности.Чем на самом деле занимаются HeartCodec, HeartTranscriptor и HeartCLAP?HeartCodec — это кодек с частотой 12.5 Гц, восстанавливающий аудио с высокой точностью; HeartTranscriptor — модель на базе whisper, заточенная под распознавание текста песен; HeartCLAP объединяет музыку и текстовые описания в одном пространстве эмбеддингов для кросс-модального поиска.
HeartCodec — это кодек с частотой 12.5 Гц, восстанавливающий аудио с высокой точностью; HeartTranscriptor — модель на базе whisper, заточенная под распознавание текста песен; HeartCLAP объединяет музыку и текстовые описания в одном пространстве эмбеддингов для кросс-модального поиска.То есть я могу скачать 7B или только модель поменьше?Опубликованные результаты касаются открытой версии oss-3B, а сравнимая с Suno HeartMuLa-7B описана как их последняя внутренняя версия — то есть открыто в репозитории доступна именно модель уровня 3B.
Опубликованные результаты касаются открытой версии oss-3B, а сравнимая с Suno HeartMuLa-7B описана как их последняя внутренняя версия — то есть открыто в репозитории доступна именно модель уровня 3B.What are similar projects?MiniMax-Music3, speechbrain, WeMM-Embedding, faster-whisper, audiocraft, AudioGPT, magenta, SimpleMem
MiniMax-Music3, speechbrain, WeMM-Embedding, faster-whisper, audiocraft, AudioGPT, magenta, SimpleMemWhich topics is it in?lyrics, retrieval, codec, music-generation, open-weights, transcription, language-model, audio-processing, whisper, speech-recognition, music, semantic-search
lyrics, retrieval, codec, music-generation, open-weights, transcription, language-model, audio-processing, whisper, speech-recognition, music, semantic-search