codon README

The project's README from github.com/exaloop/codon. As one markdown file: README.md.

Codon banner

Docs  ·  FAQ  ·  Blog  ·  Discord  ·  Roadmap  ·  Benchmarks

Build Status

What is Codon?

Codon is a high-performance Python implementation that compiles to native machine code without any runtime overhead. Typical speedups over vanilla Python are on the order of 10-100x or more, on a single thread. Codon's performance is typically on par with (and sometimes better than) that of C/C++. Unlike Python, Codon supports native multithreading, which can lead to speedups many times higher still.

Think of Codon as Python reimagined for static, ahead-of-time compilation, built from the ground up with best possible performance in mind.

Goals

Non-goals

How it works

Codon figure

Quick start

Download and install Codon with this command:

/bin/bash -c "$(curl -fsSL https://exaloop.io/install.sh)"

After following the prompts, the codon command will be available to use. For example:

Many more options are available and described in the docs.

Alternatively, you can build from source.

Examples

Basics

Codon supports much of Python, and many Python programs will work with few if any modifications. Here's a simple script fib.py that computes the 40th Fibonacci number...

from time import time

def fib(n):
    return n if n < 2 else fib(n - 1) + fib(n - 2)

t0 = time()
ans = fib(40)
t1 = time()
print(f'Computed fib(40) = {ans} in {t1 - t0} seconds.')

... run through Python and Codon:

$ python3 fib.py
Computed fib(40) = 102334155 in 17.979357957839966 seconds.
$ codon run -release fib.py
Computed fib(40) = 102334155 in 0.275645 seconds.

Using Python libraries

You can import and use any Python package from Codon via from python import. For example:

from python import matplotlib.pyplot as plt
data = [x**2 for x in range(10)]
plt.plot(data)
plt.show()

(Just remember to set the CODON_PYTHON environment variable to the CPython shared library, as explained in the the Python interoperability docs.)

Parallelism

Codon supports native multithreading via OpenMP. The @par annotation in the code below tells the compiler to parallelize the following for-loop, in this case using a dynamic schedule, chunk size of 100, and 16 threads.

from sys import argv

def is_prime(n):
    factors = 0
    for i in range(2, n):
        if n % i == 0:
            factors += 1
    return factors == 0

limit = int(argv[1])
total = 0

@par(schedule='dynamic', chunk_size=100, num_threads=16)
for i in range(2, limit):
    if is_prime(i):
        total += 1

print(total)

Note that Codon automatically turns the total += 1 statement in the loop body into an atomic reduction to avoid race conditions. Learn more in the multithreading docs.

Codon also supports writing and executing GPU kernels. Here's an example that computes the Mandelbrot set:

import gpu

MAX    = 1000  # maximum Mandelbrot iterations
N      = 4096  # width and height of image
pixels = [0 for _ in range(N * N)]

def scale(x, a, b):
    return a + (x/N)*(b - a)

@gpu.kernel
def mandelbrot(pixels):
    idx = (gpu.block.x * gpu.block.dim.x) + gpu.thread.x
    i, j = divmod(idx, N)
    c = complex(scale(j, -2.00, 0.47), scale(i, -1.12, 1.12))
    z = 0j
    iteration = 0

    while abs(z) <= 2 and iteration < MAX:
        z = z**2 + c
        iteration += 1

    pixels[idx] = int(255 * iteration/MAX)

mandelbrot(pixels, grid=(N*N)//1024, block=1024)

GPU programming can also be done using the @par syntax with @par(gpu=True). See the GPU programming docs for more details.

NumPy support

Codon includes a feature-complete, fully-compiled native NumPy implementation. It uses the same API as NumPy, but re-implements everything in Codon itself, allowing for a range of optimizations and performance improvements.

Here's an example NumPy program that approximates $\pi$ using random numbers...

import time
import numpy as np

rng = np.random.default_rng(seed=0)
x = rng.random(500_000_000)
y = rng.random(500_000_000)

t0 = time.time()
# pi ~= 4 x (fraction of points in circle)
pi = ((x-1)**2 + (y-1)**2 < 1).sum() * (4 / len(x))
t1 = time.time()

print(f'Computed pi~={pi:.4f} in {t1 - t0:.2f} sec')

... run through Python and Codon:

$ python3 pi.py
Computed pi~=3.1417 in 2.25 sec
$ codon run -release pi.py
Computed pi~=3.1417 in 0.43 sec

Codon can speed up NumPy code through general-purpose and NumPy-specific compiler optimizations, including inlining, fusion, memory allocation elision and more. Furthermore, Codon's NumPy implementation works with its multithreading and GPU capabilities, and can even integrate with PyTorch. Learn more in the Codon-NumPy docs.

Documentation

Please see docs.exaloop.io for in-depth documentation.

Acknowledgements

This project would not be possible without:

codon (exaloop/codon)

Searching Database…

16.9K ·GitHub
Codon
Что это такое?Codon — это высокопроизводительная реализация Python, которая компилирует ваш код прямо в нативный машинный код: на одном потоке это обычно в 10–100 раз быстрее обычного Python и на уровне C/C++.
Так это отдельный язык, который придётся учить, или я пишу обычный Python?Вы пишете обычный Python: Codon компилирует его заранее (ahead-of-time), и многие программы на Python работают почти без изменений или вовсе без них. Новый синтаксис почти не вводится — за парой исключений, например для описания параллелизма.
Как его запустить?Установите одной командой из раздела Quick start — после этого у вас появится команда codon. Запускайте скрипты через codon run file.py (добавьте -release для оптимизаций) или соберите автономный исполняемый файл командой codon build -release file.py.
А мои уже установленные пакеты Python — будут работать?Да, через 'from python import'. Задайте переменную окружения CODON_PYTHON, указав на разделяемую библиотеку CPython, — и эти модули будут выполняться на настоящем CPython, а остальной код компилируется в нативный.
Подойдёт ли для любой программы на Python, или есть ограничения?Это не полная замена CPython: возможности Python, которые плохо подходят для статической компиляции, не поддерживаются (см. 'Differences with Python' в документации). Для крупных кодовых баз есть JIT-декоратор, бэкенд в виде расширения для Python и полная совместимость с Python.
А на GPU код запустить можно?Да — Codon позволяет писать и выполнять GPU-ядра (kernels), в том числе через ту же аннотацию @par с параметром @par(gpu=True). В README показан пример ядра для множества Мандельброта, а реализация NumPy тоже работает с GPU и многопоточностью.
Правда, что туда встроен свой NumPy?Да — это полнофункциональная полностью компилируемая нативная реализация NumPy с тем же API. Поскольку она живёт внутри компилятора, Codon может применять оптимизации вроде инлайнинга, слияния (fusion) и исключения операций выделения памяти, а ещё он интегрируется с PyTorch.
Как устроен параллелизм — потоками придётся управлять самому?Нет. В Codon есть нативная многопоточность на базе OpenMP и без GIL: пометьте цикл for аннотацией @par (можно задать расписание, размер чанка и число потоков), и компилятор распараллелит его, автоматически превращая накопления в теле цикла в атомарные редукции, чтобы избежать гонок данных.
Когда лучше взять Codon, а не просто запускать CPython?Для вычислительно тяжёлых задач: числодробилка, работа с большими массивами NumPy или циклы, которые иначе пришлось бы оптимизировать вручную. Там, где обычный Python слишком медленный, а переписывать на C/C++ или Rust слишком накладно, — Codon сохраняет синтаксис Python и даёт скорость низкоуровневых языков, а с потоками или GPU — ещё больше.
What are similar projects?numba, spinel, taskflow, cython, CalcKernel, cupy, wasmtime, TornadoVM
Which topics is it in?aot, parallel-programming, llvm, gpu-programming, scientific-computing, multithreading, runtime, numpy, optimization, high-performance, compiler, pytorch
Creator
exaloop
Size
13.1 MB
Stars
16.9K
Updated
CommitOct 17Releasev0.20.4Oct 17
Age
5y
Commits · 90 Days