Что это такое?
bitnet.cpp — официальный фреймворк Microsoft для запуска больших языковых моделей с 1-битными (тернарными, 1.58-битными) весами, например BitNet b1.58, который позволяет им быстро работать на процессорах (CPU) и видеокартах (GPU).
bitnet.cpp — официальный фреймворк Microsoft для запуска больших языковых моделей с 1-битными (тернарными, 1.58-битными) весами, например BitNet b1.58, который позволяет им быстро работать на процессорах (CPU) и видеокартах (GPU).Это библиотека, которую я встраиваю в код, или отдельная программа, которую я запускаю?Это движок инференса на C++, построенный на llama.cpp. Его используют через Python-скрипты настройки и запуска и скомпилированные исполняемые файлы, а не подключают как библиотеку в другое приложение.
Это движок инференса на C++, построенный на llama.cpp. Его используют через Python-скрипты настройки и запуска и скомпилированные исполняемые файлы, а не подключают как библиотеку в другое приложение.Как запустить это с моделью?Склонируйте репозиторий, установите зависимости (рекомендуется conda), соберите проект, затем запустите setup_env.py, чтобы скачать и сконвертировать модель с Hugging Face, и run_inference.py, чтобы генерировать текст, при необходимости с флагом -cnv для режима чата.
Склонируйте репозиторий, установите зависимости (рекомендуется conda), соберите проект, затем запустите setup_env.py, чтобы скачать и сконвертировать модель с Hugging Face, и run_inference.py, чтобы генерировать текст, при необходимости с флагом -cnv для режима чата.Что нужно установить перед сборкой?Нужны Python >=3.10, CMake >=3.22 и clang >=18. В Windows также нужна Visual Studio 2022 с определёнными компонентами C++, Clang и CMake, а для сборки — Developer Command Prompt.
Нужны Python >=3.10, CMake >=3.22 и clang >=18. В Windows также нужна Visual Studio 2022 с определёнными компонентами C++, Clang и CMake, а для сборки — Developer Command Prompt.Работает ли каждая комбинация вычислительного ядра и модели на обоих типах CPU?Поддержка неравномерная: в таблице поддерживаемых моделей видно, что некоторые типы ядер (I2S, TL1, TL2) для конкретной модели доступны только на x86 или только на ARM, а поддержки NPU пока нет.
Поддержка неравномерная: в таблице поддерживаемых моделей видно, что некоторые типы ядер (I2S, TL1, TL2) для конкретной модели доступны только на x86 или только на ARM, а поддержки NPU пока нет.Для кого это — для исследователей или для тех, кто хочет локального чат-бота?Это для ML-исследователей, которые экспериментируют с 1-битными LLM, и для тех, кто хочет быстрый и энергоэффективный локальный инференс, в том числе запуск очень больших моделей на обычных CPU.
Это для ML-исследователей, которые экспериментируют с 1-битными LLM, и для тех, кто хочет быстрый и энергоэффективный локальный инференс, в том числе запуск очень больших моделей на обычных CPU.Какие модели выпущены официально?Microsoft выпустила BitNet-b1.58-2B-4T (2,4 млрд параметров, обучена на 4 трлн токенов), а также две модели эмбеддингов: BitNet-embedding-0.6B и меньшую BitNet-embedding-270M для периферийных устройств (edge).
Microsoft выпустила BitNet-b1.58-2B-4T (2,4 млрд параметров, обучена на 4 трлн токенов), а также две модели эмбеддингов: BitNet-embedding-0.6B и меньшую BitNet-embedding-270M для периферийных устройств (edge).Насколько это быстрее обычного инференса с полной точностью?На CPU x86 ускорение составляет 2.37x–6.17x при снижении энергопотребления на 71.9%–82.2%; на CPU ARM — 1.37x–5.07x и снижение энергопотребления на 55.4%–70.0%.
На CPU x86 ускорение составляет 2.37x–6.17x при снижении энергопотребления на 71.9%–82.2%; на CPU ARM — 1.37x–5.07x и снижение энергопотребления на 55.4%–70.0%.Можно ли использовать модели с 1-битными весами, обученные сообществом, а не только Microsoft?Да, скрипт настройки поддерживает несколько сторонних тернарных моделей с Hugging Face, включая варианты Falcon3 1B/3B/7B/10B Instruct 1.58-bit и Llama3-8B-1.58-100B-tokens.
Да, скрипт настройки поддерживает несколько сторонних тернарных моделей с Hugging Face, включая варианты Falcon3 1B/3B/7B/10B Instruct 1.58-bit и Llama3-8B-1.58-100B-tokens.Откуда взялись идеи ядер на основе таблиц поиска?Ядра TL1/TL2 на основе таблиц поиска опираются на методы проекта T-MAC, который указан и рекомендован в README для общих LLM с низкой разрядностью, а не только для тернарных моделей.
Ядра TL1/TL2 на основе таблиц поиска опираются на методы проекта T-MAC, который указан и рекомендован в README для общих LLM с низкой разрядностью, а не только для тернарных моделей.What are similar projects?ggml, MiniCPM, llama.cpp, ESP32s3-LLM-Cluster, Model-Optimizer, decider, cardputer-ai, openTPU
ggml, MiniCPM, llama.cpp, ESP32s3-LLM-Cluster, Model-Optimizer, decider, cardputer-ai, openTPUWhich topics is it in?cpu, x86, arm, on-device, edge-ai, npm-package, microsoft, llm-inference, quantization, large-language-models, local-llm, inference
cpu, x86, arm, on-device, edge-ai, npm-package, microsoft, llm-inference, quantization, large-language-models, local-llm, inference