Что это такое?
Открытый кроссплатформенный набор инструментов от Google для машинного обучения прямо на устройстве при работе с потоковым видео и аудио в реальном времени: готовые библиотеки и предобученные модели, которые можно сразу подключить к своему приложению.
Открытый кроссплатформенный набор инструментов от Google для машинного обучения прямо на устройстве при работе с потоковым видео и аудио в реальном времени: готовые библиотеки и предобученные модели, которые можно сразу подключить к своему приложению.Это одна библиотека или целый набор инструментов?Набор инструментов. MediaPipe Solutions объединяет кроссплатформенные Task API и библиотеки с предобученными моделями, готовыми к запуску, а низкоуровневый MediaPipe Framework позволяет создавать собственные эффективные ML-конвейеры, работающие на устройстве.
Набор инструментов. MediaPipe Solutions объединяет кроссплатформенные Task API и библиотеки с предобученными моделями, готовыми к запуску, а низкоуровневый MediaPipe Framework позволяет создавать собственные эффективные ML-конвейеры, работающие на устройстве.С чего начать?Выберите руководство разработчика для нужной задачи — распознавание изображений, текста или звука, — затем следуйте инструкции по настройке для своей платформы: Android, веб-приложения или Python. Для низкоуровневого Framework нужно установить его и начать собирать примеры приложений на C++, Android и iOS.
Выберите руководство разработчика для нужной задачи — распознавание изображений, текста или звука, — затем следуйте инструкции по настройке для своей платформы: Android, веб-приложения или Python. Для низкоуровневого Framework нужно установить его и начать собирать примеры приложений на C++, Android и iOS.Мне нужно знать C++, чтобы этим пользоваться?Для готовых Solutions — нет: они используются через кроссплатформенные MediaPipe Tasks API, с руководствами для Android, веба и Python. C++ нужен только если вы строите собственные конвейеры на низкоуровневом Framework.
Для готовых Solutions — нет: они используются через кроссплатформенные MediaPipe Tasks API, с руководствами для Android, веба и Python. C++ нужен только если вы строите собственные конвейеры на низкоуровневом Framework.Всё ли в репозитории до сих пор поддерживается?Нет. Поддержка старых MediaPipe Legacy Solutions прекратилась 1 марта 2023 года — их код и собранные бинарники остаются доступны как есть, пока их заменяют новые MediaPipe Solutions.
Нет. Поддержка старых MediaPipe Legacy Solutions прекратилась 1 марта 2023 года — их код и собранные бинарники остаются доступны как есть, пока их заменяют новые MediaPipe Solutions.Где могут работать приложения, созданные с его помощью?На мобильных устройствах (Android и iOS), в вебе, на десктопе, на edge-устройствах и в IoT — одни и те же решения подключаются к приложениям на всех этих платформах разработки.
На мобильных устройствах (Android и iOS), в вебе, на десктопе, на edge-устройствах и в IoT — одни и те же решения подключаются к приложениям на всех этих платформах разработки.Данные моих пользователей уходят с устройства?Нет — входные данные вроде изображений, видео и текста обрабатываются на самом устройстве и никогда не отправляются на серверы Google. Один нюанс: Tasks API передаёт в Google метрики производительности и использования, поэтому для этого может потребоваться согласие пользователя.
Нет — входные данные вроде изображений, видео и текста обрабатываются на самом устройстве и никогда не отправляются на серверы Google. Один нюанс: Tasks API передаёт в Google метрики производительности и использования, поэтому для этого может потребоваться согласие пользователя.Что конкретно можно с ним сделать?В списке публикаций проекта упоминаются отслеживание рук в реальном времени, отслеживание позы всего тела с BlazePose, отслеживание лица и глаз с оценкой глубины, обнаружение 3D-объектов, мгновенное отслеживание движения и умное переформатирование видео с AutoFlip — это то же семейство технологий, что стоит за функциями размытия фона в Google Meet.
В списке публикаций проекта упоминаются отслеживание рук в реальном времени, отслеживание позы всего тела с BlazePose, отслеживание лица и глаз с оценкой глубины, обнаружение 3D-объектов, мгновенное отслеживание движения и умное переформатирование видео с AutoFlip — это то же семейство технологий, что стоит за функциями размытия фона в Google Meet.Можно ли адаптировать модели под свои данные?Да. MediaPipe Model Maker дообучает модели решений на ваших данных, MediaPipe Studio позволяет визуализировать, оценивать и тестировать их производительность прямо в браузере, а поскольку решения — часть открытого проекта, можно менять и сам их код.
Да. MediaPipe Model Maker дообучает модели решений на ваших данных, MediaPipe Studio позволяет визуализировать, оценивать и тестировать их производительность прямо в браузере, а поскольку решения — часть открытого проекта, можно менять и сам их код.Можно ли бесплатно использовать это в своём продукте?Да — проект открытый, под лицензией Apache-2.0, и он как раз задуман для встраивания этих решений в ваши приложения на мобильных устройствах, в вебе и на десктопе.
Да — проект открытый, под лицензией Apache-2.0, и он как раз задуман для встраивания этих решений в ваши приложения на мобильных устройствах, в вебе и на десктопе.What are similar projects?silero-vad, opencv, coyopedal, runanywhere-sdks, supertonic, ncnn, SmarterStreaming, MNN
silero-vad, opencv, coyopedal, runanywhere-sdks, supertonic, ncnn, SmarterStreaming, MNNWhich topics is it in?stream-processing, on-device-ai, edge-ai, c-plus-plus, audio-processing, iot, mobile-development, video-processing, google, real-time, artificial-intelligence, streaming
stream-processing, on-device-ai, edge-ai, c-plus-plus, audio-processing, iot, mobile-development, video-processing, google, real-time, artificial-intelligence, streaming