Что это такое?
Этот проект — распределённый движок инференса, который запускает LLM на 0,5 млрд параметров, квантованную в 1,58-битные (BitNet) троичные веса, распределённую по кластеру из 7 микроконтроллеров ESP32-S3, соединённых через SPI.
Этот проект — распределённый движок инференса, который запускает LLM на 0,5 млрд параметров, квантованную в 1,58-битные (BitNet) троичные веса, распределённую по кластеру из 7 микроконтроллеров ESP32-S3, соединённых через SPI.Это одно устройство ESP32-S3 или кластер из нескольких плат?Это кластер из 7 плат, а не один чип: один ESP32-S3 выступает мастером, выполняя токенизатор и шаг эмбеддингов, а остальные шесть выполняют слои внимания и MLP модели.
Это кластер из 7 плат, а не один чип: один ESP32-S3 выступает мастером, выполняя токенизатор и шаг эмбеддингов, а остальные шесть выполняют слои внимания и MLP модели.Как это запустить?README лишь отсылает к отдельному гайду по рабочему процессу для настройки; пошаговых инструкций по сборке или прошивке в нём самом нет.
README лишь отсылает к отдельному гайду по рабочему процессу для настройки; пошаговых инструкций по сборке или прошивке в нём самом нет.Какое железо нужно, чтобы собрать это?Нужны 7 физических плат ESP32-S3, соединённых в цепочку (daisy-chain) по SPI, плюс заранее квантованная модель BitNet (1,58-битные троичные веса) для загрузки на мастер- и узловые платы.
Нужны 7 физических плат ESP32-S3, соединённых в цепочку (daisy-chain) по SPI, плюс заранее квантованная модель BitNet (1,58-битные троичные веса) для загрузки на мастер- и узловые платы.Насколько проект зрелый — есть ли проверенный гайд по сборке?Сам README скуден, с пустым разделом «Project Structure», а реальную настройку перекладывает на внешний гайд по рабочему процессу, так что ждите настоящей сборки и распайки, а не отполированного quick-start.
Сам README скуден, с пустым разделом «Project Structure», а реальную настройку перекладывает на внешний гайд по рабочему процессу, так что ждите настоящей сборки и распайки, а не отполированного quick-start.Зачем распределять модель по 7 платам, а не на один ESP32-S3?Разделение токенизатора/эмбеддингов (мастер) и слоёв внимания и MLP (узлы) позволяет кластеру запустить модель, чьи потребности в памяти и вычислениях превышают то, что один ESP32-S3 осилит сам.
Разделение токенизатора/эмбеддингов (мастер) и слоёв внимания и MLP (узлы) позволяет кластеру запустить модель, чьи потребности в памяти и вычислениях превышают то, что один ESP32-S3 осилит сам.Что такое квантизация BitNet 1.58-бит?BitNet ограничивает веса модели троичными значениями (-1, 0, 1), резко сокращая занимаемую память, чтобы LLM реально поместилась на железе класса микроконтроллеров вроде ESP32-S3.
BitNet ограничивает веса модели троичными значениями (-1, 0, 1), резко сокращая занимаемую память, чтобы LLM реально поместилась на железе класса микроконтроллеров вроде ESP32-S3.Что вдохновило этот проект?Автор благодарит «ESP-32-s3-Story-maker-LLM» за одноузловое развёртывание квантованной LLM на ESP32-S3 и «esp32s3-distributed-ai» за многоузловую распределённую ИИ-архитектуру, объединяя обе идеи с квантизацией BitNet.
Автор благодарит «ESP-32-s3-Story-maker-LLM» за одноузловое развёртывание квантованной LLM на ESP32-S3 и «esp32s3-distributed-ai» за многоузловую распределённую ИИ-архитектуру, объединяя обе идеи с квантизацией BitNet.What are similar projects?cardputer-ai, needle-2-esp32, esp32-ai, coyopedal, openTPU, BitNet, hermes-gadget-sdk, ESP32Marauder
cardputer-ai, needle-2-esp32, esp32-ai, coyopedal, openTPU, BitNet, hermes-gadget-sdk, ESP32MarauderWhich topics is it in?spi, esp32-s3, cluster, pipeline, microcontroller, on-device, esp32, edge-ai, attention-mechanism, embedded-systems, iot, llm-inference
spi, esp32-s3, cluster, pipeline, microcontroller, on-device, esp32, edge-ai, attention-mechanism, embedded-systems, iot, llm-inference