Что это такое?
Это официальный код Meta для запуска Code Llama — семейства больших языковых моделей для кода, построенных на Llama 2. Сам репозиторий — это минимальный пример того, как загрузить модели и запустить генерацию.
Это официальный код Meta для запуска Code Llama — семейства больших языковых моделей для кода, построенных на Llama 2. Сам репозиторий — это минимальный пример того, как загрузить модели и запустить генерацию.Веса моделей лежат в этом репозитории или тут только код для их запуска?Только код — веса скачиваются отдельно. Вы принимаете лицензию на сайте Meta, получаете подписанную ссылку по электронной почте и скачиваете чекпоинты с помощью идущего в комплекте скрипта download.sh.
Только код — веса скачиваются отдельно. Вы принимаете лицензию на сайте Meta, получаете подписанную ссылку по электронной почте и скачиваете чекпоинты с помощью идущего в комплекте скрипта download.sh.Как это запустить?Запросите доступ на сайте Meta, выполните bash download.sh с подписанной ссылкой, которую вам пришлют на почту, настройте окружение conda с PyTorch и CUDA, затем запустите примеры вроде example_completion.py или example_infilling.py.
Запросите доступ на сайте Meta, выполните bash download.sh с подписанной ссылкой, которую вам пришлют на почту, настройте окружение conda с PyTorch и CUDA, затем запустите примеры вроде example_completion.py или example_infilling.py.Что нужно установить перед началом?Окружение conda с PyTorch, а также wget и md5sum для скрипта скачивания — других зависимостей в репозитории нет.
Окружение conda с PyTorch, а также wget и md5sum для скрипта скачивания — других зависимостей в репозитории нет.Есть ли что-то неудобное в получении весов?Да: ссылки на скачивание действуют 24 часа и ограниченное число загрузок, так что если ловите ошибки 403 — запросите ссылку заново. Чекпоинты к тому же огромные — от ~12,55 ГБ (7B) до 63 ГБ (34B) и 131 ГБ (70B).
Да: ссылки на скачивание действуют 24 часа и ограниченное число загрузок, так что если ловите ошибки 403 — запросите ссылку заново. Чекпоинты к тому же огромные — от ~12,55 ГБ (7B) до 63 ГБ (34B) и 131 ГБ (70B).Для кого Meta это делает доступным?Для частных лиц, создателей контента, исследователей и компаний любого размера — Meta позиционирует Code Llama для всех, кто хочет экспериментировать с LLM для кода: от хобби-проектов до коммерческого использования.
Для частных лиц, создателей контента, исследователей и компаний любого размера — Meta позиционирует Code Llama для всех, кто хочет экспериментировать с LLM для кода: от хобби-проектов до коммерческого использования.Могу ли я использовать Code Llama в коммерческих проектах?Да — модель и веса лицензированы и исследователям, и коммерческим компаниям. Это специальная лицензия Meta (на GitHub она значится как нестандартная) с положением о допустимом использовании, а не классическая open-source лицензия.
Да — модель и веса лицензированы и исследователям, и коммерческим компаниям. Это специальная лицензия Meta (на GitHub она значится как нестандартная) с положением о допустимом использовании, а не классическая open-source лицензия.На каком железе это вообще работает?Нужна видеокарта NVIDIA: для инференса требуется PyTorch с CUDA. Более крупным моделям нужно несколько GPU — код использует параллелизм моделей: MP 1 для 7B, 2 для 13B, 4 для 34B и 8 для 70B.
Нужна видеокарта NVIDIA: для инференса требуется PyTorch с CUDA. Более крупным моделям нужно несколько GPU — код использует параллелизм моделей: MP 1 для 7B, 2 для 13B, 4 для 34B и 8 для 70B.Какие варианты моделей можно выбрать?Три варианта: базовая Code Llama, заточенная под Python Code Llama - Python и следующая инструкциям Code Llama - Instruct, каждый в размерах 7B, 13B, 34B и 70B. Базовые и Instruct версии 7B и 13B дополнительно умеют достраивать код в середине файла.
Три варианта: базовая Code Llama, заточенная под Python Code Llama - Python и следующая инструкциям Code Llama - Instruct, каждый в размерах 7B, 13B, 34B и 70B. Базовые и Instruct версии 7B и 13B дополнительно умеют достраивать код в середине файла.Она умеет дополнять код в середине файла, а не только продолжать с конца?Да — infilling поддерживают варианты 7B и 13B у Code Llama и Code Llama - Instruct: они достраивают код с учётом окружающего контекста, примеры есть в example_infilling.py.
Да — infilling поддерживают варианты 7B и 13B у Code Llama и Code Llama - Instruct: они достраивают код с учётом окружающего контекста, примеры есть в example_infilling.py.Какой длины может быть входной контекст?Модели обучены на последовательностях в 16k токенов и работают лучше с входами до 100k токенов, кроме версий 70B Python и Instruct. KV-кэш выделяется заранее, поэтому подберите max_seq_len и max_batch_size под ваше железо.
Модели обучены на последовательностях в 16k токенов и работают лучше с входами до 100k токенов, кроме версий 70B Python и Instruct. KV-кэш выделяется заранее, поэтому подберите max_seq_len и max_batch_size под ваше железо.Как составлять запросы к обычным предобученным моделям?Они не обучены следовать инструкциям — формулируйте запрос так, чтобы ожидаемый ответ был естественным продолжением вашего текста, как в примере example_completion.py. Для следования инструкциям используйте варианты Instruct через chat_completion(), где нужное форматирование делается автоматически.
Они не обучены следовать инструкциям — формулируйте запрос так, чтобы ожидаемый ответ был естественным продолжением вашего текста, как в примере example_completion.py. Для следования инструкциям используйте варианты Instruct через chat_completion(), где нужное форматирование делается автоматически.Репозиторий ещё поддерживается?Нет — meta-llama/codellama заархивирован на GitHub и заморожен в текущем виде. Код по-прежнему служит ориентиром для скачивания и запуска оригинальных весов Code Llama, но обновлений здесь ждать не стоит.
Нет — meta-llama/codellama заархивирован на GitHub и заморожен в текущем виде. Код по-прежнему служит ориентиром для скачивания и запуска оригинальных весов Code Llama, но обновлений здесь ждать не стоит.What are similar projects?llama3, petals, airllm, ai-torture-chamber, StartLux-Decision, Qwen, Model-Optimizer, EvoVLM
llama3, petals, airllm, ai-torture-chamber, StartLux-Decision, Qwen, Model-Optimizer, EvoVLMWhich topics is it in?meta, open-weights, llama, code-generation, llm-inference, large-language-models, inference, cuda, pytorch, deep-learning, gpu, machine-learning
meta, open-weights, llama, code-generation, llm-inference, large-language-models, inference, cuda, pytorch, deep-learning, gpu, machine-learning