ggml README

The project's README from github.com/ggml-org/ggml. As one markdown file: README.md.

ggml

ggml logo

Tensor library for machine learning

License: MIT Release CI

Quick start

Build from source:

git clone https://github.com/ggml-org/ggml
cd ggml

mkdir build && cd build
cmake ..
cmake --build . --config Release -j 8

For a minimal, fully commented example (matrix multiplication), see examples/simple.

Description

The main goal of ggml is to be a simple, portable, and efficient tensor library for machine learning with minimal setup.

Documentation

Contributing

ggml (ggml-org/ggml)

Searching Database…

15.5K ·GitHub
这是什么?ggml 是一个纯 C/C++ 张量库,专为运行机器学习模型而设计,安装配置简单,没有外部依赖,支持 CPU、GPU、NPU 和浏览器后端。它是 llama.cpp 等项目背后的核心引擎。
这是独立应用,还是需要我在其基础上构建的库?它是一个底层的 C/C++ 张量库,不是应用程序。你可以把它链接到自己的项目中,也可以通过 llama.cpp 等内嵌它的工具间接使用。
我该怎么构建它?你需要从源码构建 ggml。仓库中包含 examples/simple 目录,里面有一个精简且注释完整的矩阵乘法示例,可以用来入门。
使用它需要安装任何外部库吗?不需要。ggml 使用纯 C/C++ 实现,没有任何外部依赖。
我能直接向这个仓库提交修改吗?可以,但对 ggml 核心库(包括 CMake 构建系统)的修改,需要改为提交到 llama.cpp 仓库。那里的曝光度更高,测试和审核也更完善。
它能在哪些硬件和平台上运行?ggml 可以在 x86、ARM、RISC-V、LoongArch、PowerPC 和 s390x 等 CPU 架构以及 WebAssembly 上运行,同时支持 CPU、GPU、NPU 后端,甚至可以在浏览器中运行。
ggml 支持哪些量化格式?支持 2 到 8 位整数量化,还支持较新的 MXFP4 和 NVFP4 微缩放格式,可以大幅降低模型的内存占用。
ggml 在运行时会分配内存吗?不会。它的设计目标是运行时零内存分配,这让推理过程更加可预测,也更快。
什么是 GGUF?去哪里了解其内部原理?GGUF 是 ggml 的模型文件格式。文档中还提供了名为“Introduction to ggml”的概览,以及名为“GGML tips & tricks”的使用技巧指南,供使用该库时参考。
为什么 ggml 经常和 llama.cpp 一起被提及?llama.cpp 基于 ggml 构建,并以其作为张量后端。ggml 的维护者也会把核心库相关的贡献转到 llama.cpp 仓库中进行审核。
Creator
ggml-org
Size
34.9 MB
Stars
15.5K
Age
4y
Commits · 90 Days