Что это такое?
LlamaGPT — это чат-бот, похожий на ChatGPT, который работает офлайн и который можно развернуть у себя на сервере. Он построен на базе Llama 2 (а теперь и Code Llama). Вы получаете привычный интерфейс чата, не отправляя никаких данных в сторонние облачные сервисы.
LlamaGPT — это чат-бот, похожий на ChatGPT, который работает офлайн и который можно развернуть у себя на сервере. Он построен на базе Llama 2 (а теперь и Code Llama). Вы получаете привычный интерфейс чата, не отправляя никаких данных в сторонние облачные сервисы.Это готовое приложение или просто модель, которую нужно подключить к другой программе?Это готовое приложение: сервис на основе Docker, который запускает модель Llama 2/Code Llama через llama.cpp, предоставляет её через веб-интерфейс в стиле ChatGPT (Chatbot UI) и также работает как API, совместимый с OpenAI.
Это готовое приложение: сервис на основе Docker, который запускает модель Llama 2/Code Llama через llama.cpp, предоставляет её через веб-интерфейс в стиле ChatGPT (Chatbot UI) и также работает как API, совместимый с OpenAI.Как запустить LlamaGPT?На домашнем сервере с umbrelOS его можно установить в один клик из Umbrel App Store. На остальных системах (Mac, Linux, x86/arm64) нужно клонировать репозиторий и запустить его через Docker или применить прилагаемые манифесты к кластеру Kubernetes.
На домашнем сервере с umbrelOS его можно установить в один клик из Umbrel App Store. На остальных системах (Mac, Linux, x86/arm64) нужно клонировать репозиторий и запустить его через Docker или применить прилагаемые манифесты к кластеру Kubernetes.Что нужно установить перед запуском?Docker нужен на всех платформах. На Mac с M1/M2 также нужен Xcode. Видеокарта Nvidia необязательна, но для более быстрой генерации ответов её можно включить флагом --with-cuda.
Docker нужен на всех платформах. На Mac с M1/M2 также нужен Xcode. Видеокарта Nvidia необязательна, но для более быстрой генерации ответов её можно включить флагом --with-cuda.Можно ли загрузить свою модель вместо готовых?Пока нет: LlamaGPT поставляется только с фиксированным набором чекпоинтов Llama 2 и Code Llama. Загрузка произвольных пользовательских моделей пока находится в планах разработки.
Пока нет: LlamaGPT поставляется только с фиксированным набором чекпоинтов Llama 2 и Code Llama. Загрузка произвольных пользовательских моделей пока находится в планах разработки.Покидают ли мое устройство какие-либо данные чатов?Нет. Вся суть LlamaGPT в том, что модель и вся обработка работают локально, поэтому ничего не отправляется на внешний сервер.
Нет. Вся суть LlamaGPT в том, что модель и вся обработка работают локально, поэтому ничего не отправляется на внешний сервер.Нужна ли видеокарта Nvidia, чтобы этим можно было пользоваться?Нет, из коробки он работает на процессоре через llama.cpp. Даже Raspberry Pi 4 справляется, только медленно: около 0,9 токена в секунду для модели 7B. Если у вас есть видеокарта Nvidia, можно передать флаг --with-cuda, и генерация заметно ускорится.
Нет, из коробки он работает на процессоре через llama.cpp. Даже Raspberry Pi 4 справляется, только медленно: около 0,9 токена в секунду для модели 7B. Если у вас есть видеокарта Nvidia, можно передать флаг --with-cuda, и генерация заметно ускорится.Какие модели реально можно запустить в LlamaGPT?Сейчас поддерживаются Nous Hermes Llama 2 Chat в размерах 7B, 13B и 70B, Code Llama Chat в размерах 7B и 13B, а также модель Phind Code Llama 34B Chat. Все они доступны как заранее квантованные загрузки в форматах GGML/GGUF.
Сейчас поддерживаются Nous Hermes Llama 2 Chat в размерах 7B, 13B и 70B, Code Llama Chat в размерах 7B и 13B, а также модель Phind Code Llama 34B Chat. Все они доступны как заранее квантованные загрузки в форматах GGML/GGUF.Насколько быстро идет генерация на практике?Сильно зависит от железа. Модель 7B выдает около 54 токенов в секунду на MacBook Pro с M1 Max, но всего около 0,9 токена в секунду на Raspberry Pi 4. Модель 70B работает менее чем на 5 токенах в секунду даже на мощных машинах.
Сильно зависит от железа. Модель 7B выдает около 54 токенов в секунду на MacBook Pro с M1 Max, но всего около 0,9 токена в секунду на Raspberry Pi 4. Модель 70B работает менее чем на 5 токенах в секунду даже на мощных машинах.Можно ли подключить к LlamaGPT мое существующее приложение на базе OpenAI?Да, он предоставляет API, совместимый с OpenAI, через llama-cpp-python, поэтому его часто можно подключить вместо API OpenAI без переделок.
Да, он предоставляет API, совместимый с OpenAI, через llama-cpp-python, поэтому его часто можно подключить вместо API OpenAI без переделок.Какой самый простой способ попробовать, не трогая команды Docker?Если у вас уже есть домашний сервер Umbrel, установить LlamaGPT можно в один клик прямо из Umbrel App Store.
Если у вас уже есть домашний сервер Umbrel, установить LlamaGPT можно в один клик прямо из Umbrel App Store.Which topics is it in?localai, llama2, gpt-4, llamacpp, llama-cpp, llama, local-ai, llm-inference, gpt, gpu-acceleration, chatgpt, openai-compatible
localai, llama2, gpt-4, llamacpp, llama-cpp, llama, local-ai, llm-inference, gpt, gpu-acceleration, chatgpt, openai-compatible