petals README

The project's README from github.com/bigscience-workshop/petals. As one markdown file: README.md.


Run large language models at home, BitTorrent-style.
Fine-tuning and inference up to 10x faster than offloading


Generate text with distributed Llama 3.1 (up to 405B), Mixtral (8x22B), Falcon (40B+) or BLOOM (176B) and fine‑tune them for your own tasks — right from your desktop computer or Google Colab:

from transformers import AutoTokenizer
from petals import AutoDistributedModelForCausalLM

# Choose any model available at https://health.petals.dev
model_name = "meta-llama/Meta-Llama-3.1-405B-Instruct"

# Connect to a distributed network hosting model layers
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoDistributedModelForCausalLM.from_pretrained(model_name)

# Run the model as if it were on your computer
inputs = tokenizer("A cat sat", return_tensors="pt")["input_ids"]
outputs = model.generate(inputs, max_new_tokens=5)
print(tokenizer.decode(outputs[0]))  # A cat sat on a mat...

🚀  Try now in Colab

🦙 Want to run Llama? Request access to its weights, then run huggingface-cli login in the terminal before loading the model. Or just try it in our chatbot app.

🔏 Privacy. Your data will be processed with the help of other people in the public swarm. Learn more about privacy here. For sensitive data, you can set up a private swarm among people you trust.

💬 Any questions? Ping us in our Discord!

Connect your GPU and increase Petals capacity

Petals is a community-run system — we rely on people sharing their GPUs. You can help serving one of the available models or host a new model from 🤗 Model Hub!

As an example, here is how to host a part of Llama 3.1 (405B) Instruct on your GPU:

🦙 Want to host Llama? Request access to its weights, then run huggingface-cli login in the terminal before loading the model.

🐧 Linux + Anaconda. Run these commands for NVIDIA GPUs (or follow this for AMD):

conda install pytorch pytorch-cuda=11.7 -c pytorch -c nvidia
pip install git+https://github.com/bigscience-workshop/petals
python -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct

🪟 Windows + WSL. Follow this guide on our Wiki.

🐋 Docker. Run our Docker image for NVIDIA GPUs (or follow this for AMD):

sudo docker run -p 31330:31330 --ipc host --gpus all --volume petals-cache:/cache --rm \
    learningathome/petals:main \
    python -m petals.cli.run_server --port 31330 meta-llama/Meta-Llama-3.1-405B-Instruct

🍏 macOS + Apple M1/M2 GPU. Install Homebrew, then run these commands:

brew install python
python3 -m pip install git+https://github.com/bigscience-workshop/petals
python3 -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct

📚  Learn more (how to use multiple GPUs, start the server on boot, etc.)

🔒 Security. Hosting a server does not allow others to run custom code on your computer. Learn more here.

💬 Any questions? Ping us in our Discord!

🏆 Thank you! Once you load and host 10+ blocks, we can show your name or link on the swarm monitor as a way to say thanks. You can specify them with --public_name YOUR_NAME.

How does it work?

📜  Read paper            📚  See FAQ

📚 Tutorials, examples, and more

Basic tutorials:

Useful tools:

Advanced guides:

Benchmarks

Please see Section 3.3 of our paper.

🛠️ Contributing

Please see our FAQ on contributing.

📜 Citations

Alexander Borzunov, Dmitry Baranchuk, Tim Dettmers, Max Ryabinin, Younes Belkada, Artem Chumachenko, Pavel Samygin, and Colin Raffel. Petals: Collaborative Inference and Fine-tuning of Large Models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations). 2023.

@inproceedings{borzunov2023petals,
  title = {Petals: Collaborative Inference and Fine-tuning of Large Models},
  author = {Borzunov, Alexander and Baranchuk, Dmitry and Dettmers, Tim and Riabinin, Maksim and Belkada, Younes and Chumachenko, Artem and Samygin, Pavel and Raffel, Colin},
  booktitle = {Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)},
  pages = {558--568},
  year = {2023},
  url = {https://arxiv.org/abs/2209.01188}
}

Alexander Borzunov, Max Ryabinin, Artem Chumachenko, Dmitry Baranchuk, Tim Dettmers, Younes Belkada, Pavel Samygin, and Colin Raffel. Distributed inference and fine-tuning of large language models over the Internet. Advances in Neural Information Processing Systems 36 (2023).

@inproceedings{borzunov2023distributed,
  title = {Distributed inference and fine-tuning of large language models over the {I}nternet},
  author = {Borzunov, Alexander and Ryabinin, Max and Chumachenko, Artem and Baranchuk, Dmitry and Dettmers, Tim and Belkada, Younes and Samygin, Pavel and Raffel, Colin},
  booktitle = {Advances in Neural Information Processing Systems},
  volume = {36},
  pages = {12312--12331},
  year = {2023},
  url = {https://arxiv.org/abs/2312.08361}
}

This project is a part of the BigScience research workshop.

petals (bigscience-workshop/petals)

Searching Database…

10.6K ·GitHub
Petals
Что это такое?Petals позволяет запускать большие открытые LLM дома, в духе BitTorrent: вы подключаетесь к публичному swarm, где сообща обслуживаются модели вроде Llama 3.1 (405B), Mixtral (8x22B), Falcon (40B+) и BLOOM (176B) — для инференса и дообучения прямо с вашего компьютера или из Google Colab, до 10 раз быстрее, чем offloading.
Это просто API для генерации текста, или с моделью можно делать больше?Вы получаете удобство API вместе с гибкостью PyTorch и Transformers: можно использовать любые методы дообучения и сэмплирования, выполнять свои маршруты прохода по модели и даже заглядывать в её скрытые состояния.
Мой ПК с Windows или Mac подойдёт, или нужен Linux?Для хостинга подходят все варианты: Linux + Anaconda (видеокарты NVIDIA или AMD), Windows через WSL, Docker-образ для видеокарт NVIDIA или macOS с GPU Apple M1/M2 через Homebrew. Чтобы просто попробовать без каких-либо настроек, воспользуйтесь их веб-чат-ботом.
Можно просто загрузить Llama и работать, или есть какой-то барьер?Llama — gated-модель: сначала нужно запросить доступ к её весам, а затем выполнить huggingface-cli login в терминале, прежде чем загружать модель.
Генерация достаточно быстрая для интерактивной работы, или всё будет еле ползти?Работает, но не мгновенно: инференс с одним батчем идёт со скоростью до 6 токенов/сек для Llama 2 (70B) и до 4 токенов/сек для Falcon (180B) — этого хватает для чат-ботов и интерактивных приложений.
Если я введу промпт в публичный swarm, кто увидит мои данные?Другие люди: в публичном swarm ваши данные обрабатываются с участием других участников. Для чувствительных данных можно поднять приватный swarm из людей, которым вы доверяете.
Могу ли я отдать свою видеокарту сети?Да — Petals поддерживается сообществом и живёт за счёт людей, делящихся своими GPU. Можно хостить часть, скажем, Llama 3.1 (405B) Instruct на видеокарте NVIDIA или AMD (Linux), через Docker или на macOS с GPU Apple M1/M2.
Безопасно ли делиться своей видеокартой с незнакомцами?Да, согласно README: хостинг сервера не позволяет другим запускать произвольный код на вашем компьютере.
Может ли он обслуживать модели помимо перечисленных?Да — кроме доступных моделей, можно захостить новую модель из Hugging Face Model Hub, а для запуска своей модели есть отдельный гайд.
Это исследовательский проект или продакшен-софт?За ним стоит рецензированная работа: демо-доклад на ACL 2023 о совместном инференсе и дообучении, а также статья на NeurIPS 2023 о распределённом инференсе и дообучении LLM через Интернет.
What are similar projects?text-generation-inference, airllm, jeff, ColossalAI, jeeves, vllm, StableLM, litgpt
Which topics is it in?distributed-computing, colab, community-driven, open-weights, model-serving, amd, neural-networks, llama, decentralized, pretrained-models, p2p, python-library
Creator
bigscience-workshop
Size
4.2 MB
Stars
10.6K
Updated
CommitAug 25Releasev2.2.0Sep 06
Age
4y
Commits · 90 Days