qxotic README

The project's README from github.com/qxoticai/qxotic. As one markdown file: README.md.

Quixotic AI

AI sovereignty for the JVM

License GraalVM Native Image Qxotic AI on X Qxotic AI on Bluesky

Quixotic AI provides a complete, open stack, for local AI on the JVM. From tokenizers and model formats, to a full inference engine with multi-modal capabilities.

No Python. No ONNX. No external services. Just AI, in a jar.


Highlights


The Quixotic AI stack

Module What it is One-liner
jinfer AI inference engine Local AI inference for the JVM. Chat, vision, audio, embeddings, reranking, text-to-speech
toknroll LLM tokenization Token-perfect. Fast tokenizers for LLMs, pure Java, zero dependencies
jam Quantized matrix multiplication Just a matmul. Native implementations for several CPU ISAs
jota Tensor engine Write once, accelerate everywhere. Java, C, CUDA, HIP, Metal, OpenCL, Mojo
gguf GGUF reader/writer llama.cpp's model format, pure Java, zero dependencies
safetensors Safetensors reader/writer HuggingFace's model format, pure Java, zero dependencies

Build and test

Requires a JDK 25 and Maven 3.9; cmake and a C compiler to build the native jam kernels.

make test-fixtures   # once after cloning: the tokenizer vocabularies and the enwik8 corpus
make test            # the default suite: no models, no network
make ci              # what a pull request runs: formatting, the suite, the corpus tests, the release shape

make help lists the rest. The suites that need models or hardware are opt-in; each module's README describes how to run them.
See CONTRIBUTING.md before opening a pull request.

qxotic (qxoticai/qxotic)

Searching Database…

175 ·GitHub
这是什么?Qxotic 是一个专为 JVM 构建的开源 AI 技术栈,为 Java 应用提供本地 AI 推理——聊天、视觉、音频、嵌入向量、重排序和文本转语音——无需 Python 或 ONNX。
它是一个库,还是多个库的组合?它是一个由六个模块组成的技术栈——jinfer(推理引擎)、toknroll(分词器)、jam(量化矩阵乘法)、jota(张量引擎)以及 gguf/safetensors 读写器——共同覆盖从分词到模型加载和推理的全流程。
怎么构建和使用它?用 Maven 构建,它会拉取你需要的模块;原生 jam 内核还需要 cmake 和 C 编译器,`make help` 列出了可用的构建目标。
运行它需要 Python 或 ONNX 吗?不需要——一切都端到端运行在 JVM 上,零外部服务,Python 和 ONNX 永远不会出现在流水线中。
运行它需要 GPU 加速吗?不需要,原生 GPU 加速是可选的——张量引擎默认在 CPU 上运行,在具备 CUDA、HIP、Metal 或 OpenCL 硬件时也可以加速。
GraalVM Native Image 支持是做什么用的?它让 Qxotic 应用可以编译为自包含的原生二进制文件,占用小、毫秒级启动,而不必运行在预热好的完整 JVM 上。
它能读取哪些模型格式?它自带纯 Java、零依赖的 GGUF(llama.cpp 的格式)和 Safetensors(HuggingFace 的格式)读写器。
支持哪些 GPU 后端?jota 张量引擎面向 CUDA、HIP、Metal 和 OpenCL,jam 模块还提供针对多种 CPU 指令集的原生 C 内核。
为什么要构建它,而不是从 Java 调用 llama.cpp?Qxotic 从第一性原理出发为 JVM 设计,让 AI 端到端原生运行,无需伴随服务器、IPC 或 JNI 胶水代码——分词、模型加载和推理全部留在 Java/原生 JVM 代码中。
Creator
qxoticai
Size
16.3 MB
Stars
175
Updated
CommitOct 13
Age
7mo
Commits · 90 Days