qxotic (qxoticai/qxotic)
Searching Database…
这是什么?
Qxotic 是一个专为 JVM 构建的开源 AI 技术栈,为 Java 应用提供本地 AI 推理——聊天、视觉、音频、嵌入向量、重排序和文本转语音——无需 Python 或 ONNX。
它是一个库,还是多个库的组合?
它是一个由六个模块组成的技术栈——jinfer(推理引擎)、toknroll(分词器)、jam(量化矩阵乘法)、jota(张量引擎)以及 gguf/safetensors 读写器——共同覆盖从分词到模型加载和推理的全流程。
怎么构建和使用它?
用 Maven 构建,它会拉取你需要的模块;原生 jam 内核还需要 cmake 和 C 编译器,`make help` 列出了可用的构建目标。
运行它需要 Python 或 ONNX 吗?
不需要——一切都端到端运行在 JVM 上,零外部服务,Python 和 ONNX 永远不会出现在流水线中。
运行它需要 GPU 加速吗?
不需要,原生 GPU 加速是可选的——张量引擎默认在 CPU 上运行,在具备 CUDA、HIP、Metal 或 OpenCL 硬件时也可以加速。
GraalVM Native Image 支持是做什么用的?
它让 Qxotic 应用可以编译为自包含的原生二进制文件,占用小、毫秒级启动,而不必运行在预热好的完整 JVM 上。
它能读取哪些模型格式?
它自带纯 Java、零依赖的 GGUF(llama.cpp 的格式)和 Safetensors(HuggingFace 的格式)读写器。
支持哪些 GPU 后端?
jota 张量引擎面向 CUDA、HIP、Metal 和 OpenCL,jam 模块还提供针对多种 CPU 指令集的原生 C 内核。
为什么要构建它,而不是从 Java 调用 llama.cpp?
Qxotic 从第一性原理出发为 JVM 设计,让 AI 端到端原生运行,无需伴随服务器、IPC 或 JNI 胶水代码——分词、模型加载和推理全部留在 Java/原生 JVM 代码中。
What are similar projects?
unsloth, rizzo-flow, TornadoVM, Speech, FireRedAudio, airllm, faster-whisper, GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold
Which topics is it in?
rerank, hip, opencl, text-generation, tokenization, asr, llama, metal, speech-recognition, native, tts, llm-inference