Что это?
Qxotic — open-source ИИ-стек, созданный специально для JVM: он даёт Java-приложениям локальный ИИ-инференс — чат, зрение, аудио, эмбеддинги, переранжирование и синтез речи — без необходимости в Python или ONNX.
Qxotic — open-source ИИ-стек, созданный специально для JVM: он даёт Java-приложениям локальный ИИ-инференс — чат, зрение, аудио, эмбеддинги, переранжирование и синтез речи — без необходимости в Python или ONNX.Это одна библиотека или набор из нескольких?Это стек из шести модулей — jinfer (инференс-движок), toknroll (токенизаторы), jam (квантованный matmul), jota (тензорный движок), а также читатели/писатели gguf/safetensors — которые вместе покрывают всё от токенизации до загрузки модели и инференса.
Это стек из шести модулей — jinfer (инференс-движок), toknroll (токенизаторы), jam (квантованный matmul), jota (тензорный движок), а также читатели/писатели gguf/safetensors — которые вместе покрывают всё от токенизации до загрузки модели и инференса.Как собрать и использовать это?Он собирается с Maven, который подтягивает нужные вам модули; для нативных jam-ядер дополнительно требуются cmake и компилятор C, а `make help` перечисляет доступные цели сборки.
Он собирается с Maven, который подтягивает нужные вам модули; для нативных jam-ядер дополнительно требуются cmake и компилятор C, а `make help` перечисляет доступные цели сборки.Нужны ли Python или ONNX для запуска?Нет — всё работает от начала до конца на JVM без внешних сервисов, поэтому Python и ONNX никогда не участвуют в процессе.
Нет — всё работает от начала до конца на JVM без внешних сервисов, поэтому Python и ONNX никогда не участвуют в процессе.Требуется ли GPU-ускорение для работы?Нет, нативное GPU-ускорение опционально — тензорный движок по умолчанию работает на CPU и может ускоряться на оборудовании CUDA, HIP, Metal или OpenCL, когда оно доступно.
Нет, нативное GPU-ускорение опционально — тензорный движок по умолчанию работает на CPU и может ускоряться на оборудовании CUDA, HIP, Metal или OpenCL, когда оно доступно.Для чего нужна поддержка GraalVM Native Image?Она позволяет компилировать приложения Qxotic в самодостаточные нативные бинарники с небольшим потреблением ресурсов и запуском за миллисекунды, вместо работы на разогретой полноценной JVM.
Она позволяет компилировать приложения Qxotic в самодостаточные нативные бинарники с небольшим потреблением ресурсов и запуском за миллисекунды, вместо работы на разогретой полноценной JVM.Какие форматы моделей он может читать?Он поставляется с Java-читателями/писателями без внешних зависимостей для GGUF (формат llama.cpp) и Safetensors (формат HuggingFace).
Он поставляется с Java-читателями/писателями без внешних зависимостей для GGUF (формат llama.cpp) и Safetensors (формат HuggingFace).Какие GPU-бэкенды поддерживаются?Тензорный движок jota нацелен на CUDA, HIP, Metal и OpenCL, плюс нативные C-ядра для нескольких наборов инструкций CPU через модуль jam.
Тензорный движок jota нацелен на CUDA, HIP, Metal и OpenCL, плюс нативные C-ядра для нескольких наборов инструкций CPU через модуль jam.Зачем создавать это вместо вызова llama.cpp из Java?Qxotic спроектирован с нуля под JVM, чтобы ИИ работал нативно от начала до конца, без серверов-сайдкаров, IPC или JNI-клея — токенизация, загрузка модели и инференс остаются в Java/нативном коде JVM.
Qxotic спроектирован с нуля под JVM, чтобы ИИ работал нативно от начала до конца, без серверов-сайдкаров, IPC или JNI-клея — токенизация, загрузка модели и инференс остаются в Java/нативном коде JVM.What are similar projects?unsloth, rizzo-flow, TornadoVM, Speech, FireRedAudio, airllm, faster-whisper, GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold
unsloth, rizzo-flow, TornadoVM, Speech, FireRedAudio, airllm, faster-whisper, GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFoldWhich topics is it in?rerank, hip, opencl, text-generation, tokenization, asr, llama, metal, speech-recognition, native, llm-inference, tts
rerank, hip, opencl, text-generation, tokenization, asr, llama, metal, speech-recognition, native, llm-inference, tts