beta9 README

The project's README from github.com/beam-cloud/beta9. As one markdown file: README.md.

Logo Logo

Run AI Workloads at Scale

Colab ⭐ Star the Repo Documentation Join Slack Twitter AGPL

Beam is a fast, open-source runtime for serverless AI workloads. It gives you a Pythonic interface to deploy and scale AI applications with zero infrastructure overhead.

Watch the demo

✨ Features

📦 Installation

pip install beam-client

⚡️ Quickstart

  1. Create an account here
  2. Follow our Getting Started Guide

Creating a sandbox

Spin up isolated containers to run LLM-generated code:

from beam import Image, Sandbox


sandbox = Sandbox(image=Image()).create()
response = sandbox.process.run_code("print('I am running remotely')")

print(response.result)

Deploy a serverless inference endpoint

Create an autoscaling endpoint for your custom model:

from beam import Image, endpoint
from beam import QueueDepthAutoscaler

@endpoint(
    image=Image(python_version="python3.11"),
    gpu="A10G",
    cpu=2,
    memory="16Gi",
    autoscaler=QueueDepthAutoscaler(max_containers=5, tasks_per_container=30)
)
def handler():
    return {"label": "cat", "confidence": 0.97}

Run background tasks

Schedule resilient background tasks (or replace your Celery queue) by adding a simple decorator:

from beam import Image, TaskPolicy, schema, task_queue


class Input(schema.Schema):
    image_url = schema.String()


@task_queue(
    name="image-processor",
    image=Image(python_version="python3.11"),
    cpu=1,
    memory=1024,
    inputs=Input,
    task_policy=TaskPolicy(max_retries=3),
)
def my_background_task(input: Input, *, context):
    image_url = input.image_url
    print(f"Processing image: {image_url}")
    return {"image_url": image_url}


if __name__ == "__main__":
    # Invoke a background task from your app (without deploying it)
    my_background_task.put(image_url="https://example.com/image.jpg")

    # You can also deploy this behind a versioned endpoint with:
    # beam deploy app.py:my_background_task --name image-processor

Self-Hosting vs Cloud

Beta9 is the open-source engine powering Beam, our fully-managed cloud platform. You can self-host Beta9 for free or choose managed cloud hosting through Beam.

👋 Contributing

We welcome contributions big or small. These are the most helpful things for us:

❤️ Thanks to Our Contributors

beta9 (beam-cloud/beta9)

Searching Database…

1.8K ·GitHub
Что это такое?Открытая среда выполнения (runtime) для serverless-задач ИИ — она запускает Python-код в GPU-контейнерах, которые автоматически масштабируются и при простое уходят в ноль. Это же движок, на котором работает Beam — полностью управляемый облачный сервис.
Это облачный сервис, или мне нужно запускать его самому?И то, и другое. Beta9 — открытый движок, который можно бесплатно развернуть у себя; Beam — это построенное поверх него полностью управляемое облако, если не хотите возиться с инфраструктурой.
Какой самый быстрый способ что-нибудь запустить?Быстрее всего — управляемое облако: создайте аккаунт и пройдите гайд Getting Started. Если хотите запустить движок у себя, разверните Beta9 самостоятельно по разделу Installation в репозитории.
Мне нужно писать на Python, или знать Go?Вы пишете на Python: функции с декораторами деплоятся и масштабируются как контейнеры. Go — это просто язык, на котором написан сам движок.
Самостоятельное размещение правда бесплатное — в чём подвох?Самостоятельное размещение бесплатное, но лицензия — AGPL-3.0: если изменить Beta9 и предложить её как сервис, нужно открыть исходный код. Managed-хостинг через Beam — вариант без лишних хлопот.
На каких GPU можно запускать мои задачи?В управляемом облаке Beam доступны 4090, H100 и другие GPU; можно также подключить свои собственные.
Что вообще на этом можно собрать?Три основных типа задач: автоматически масштабируемые эндпоинты инференса для своих моделей, изолированные песочницы для запуска кода, сгенерированного LLM, и фоновые задачи по расписанию — README позиционирует проект как замену очереди Celery.
Как быстро запускаются контейнеры и до каких масштабов растут задачи?Контейнеры стартуют меньше чем за секунду благодаря собственному container runtime, планировщику и встроенному кешированию. Задачи распределяются параллельно на сотни контейнеров, а при простое масштабируются до нуля.
Что уже встроено для повседневной разработки?Hot-reloading, вебхуки и задачи по расписанию — полноценные фичи «из коробки», а ещё можно монтировать распределённые тома хранения для постоянного или общего состояния между контейнерами.
Creator
beam-cloud
Size
34.7 MB
Stars
1.8K
Age
2y
Commits · 90 Days