tfjs-models README

The project's README from github.com/tensorflow/tfjs-models. As one markdown file: README.md.

Pre-trained TensorFlow.js models

This repository hosts a set of pre-trained models that have been ported to TensorFlow.js.

The models are hosted on NPM and unpkg so they can be used in any project out of the box. They can be used directly or used in a transfer learning setting with TensorFlow.js.

To find out about APIs for models, look at the README in each of the respective directories. In general, we try to hide tensors so the API can be used by non-machine learning experts.

For those interested in contributing a model, please file a GitHub issue on tfjs to gauge interest. We are trying to add models that complement the existing set of models and can be used as building blocks in other apps.

Models

Type Model Demo Details Install
Images
MobileNet
live Classify images with labels from the ImageNet database. npm i @tensorflow-models/mobilenet
source
Hand
live Real-time hand pose detection in the browser using TensorFlow.js. npm i @tensorflow-models/hand-pose-detection
source
Pose
live An API for real-time human pose detection in the browser. npm i @tensorflow-models/pose-detection
source
Coco SSD
Object detection model that aims to localize and identify multiple objects in a single image. Based on the TensorFlow object detection API. npm i @tensorflow-models/coco-ssd
source
DeepLab v3
Semantic segmentation npm i @tensorflow-models/deeplab
source
Face Landmark Detection
live Real-time 3D facial landmarks detection to infer the approximate surface geometry of a human face npm i @tensorflow-models/face-landmarks-detection
source
Audio
Speech Commands
live Classify 1 second audio snippets from the speech commands dataset. npm i @tensorflow-models/speech-commands
source
Text
Universal Sentence Encoder
Encode text into a 512-dimensional embedding to be used as inputs to natural language processing tasks such as sentiment classification and textual similarity. npm i @tensorflow-models/universal-sentence-encoder
source
Text Toxicity
live Score the perceived impact a comment might have on a conversation, from "Very toxic" to "Very healthy". npm i @tensorflow-models/toxicity
source
Depth Estimation
Portrait Depth
live Estimate per-pixel depth (the distance to the camera center) for a single portrait image, which can be further used for creative applications such as 3D photo and relighting. npm i @tensorflow-models/depth-estimation
source
General Utilities
KNN Classifier
This package provides a utility for creating a classifier using the K-Nearest Neighbors algorithm. Can be used for transfer learning. npm i @tensorflow-models/knn-classifier
source

Development

You can run the unit tests for any of the models by running the following inside a directory:

yarn test

New models should have a test NPM script (see this package.json and run_tests.ts helper for reference).

To run all of the tests, you can run the following command from the root of this repo:

yarn presubmit

tfjs-models (tensorflow/tfjs-models)

Searching Database…

Что это такое?Набор предобученных моделей машинного обучения, перенесённых на TensorFlow.js. Они охватывают компьютерное зрение, аудио, текст и общие вспомогательные задачи и готовы к использованию прямо в браузере или в проектах на Node.js.
Это одна библиотека или набор отдельных пакетов?Это набор отдельных npm-пакетов, по одному на каждую модель (например, mobilenet, pose-detection, coco-ssd). Каждый пакет можно установить независимо от остальных.
Как добавить модель в свой проект?Установите нужный пакет модели из npm, например 'npm i @tensorflow-models/coco-ssd' или 'npm i @tensorflow-models/pose-detection', затем импортируйте его и вызывайте его API.
Нужно ли знать внутреннее устройство TensorFlow, чтобы пользоваться этими моделями?Нет, API устроены так, что скрывают тензоры, и ими могут пользоваться даже те, кто не специалист в машинном обучении.
Можно ли использовать эти модели не только для готовых предсказаний?Да, большинство моделей также поддерживают трансферное обучение, а для создания собственных классификаторов поверх результатов моделей есть служебный инструмент KNN Classifier.
Где запускаются эти модели?Они работают на стороне клиента, в браузере, через TensorFlow.js, так как распространяются через NPM и unpkg для прямого использования в вебе.
Какие модели здесь есть?Модели для компьютерного зрения (MobileNet, определение ключевых точек позы, руки и лица, Coco SSD, DeepLab v3, оценка глубины на портретных фото), классификатор речевых команд, текстовые модели (Universal Sentence Encoder, оценка токсичности) и универсальный вспомогательный классификатор KNN.
Могу ли я попробовать демо до установки?У каждой модели есть ссылка на живое демо и исходный код, так что можно посмотреть её работу до того, как добавлять npm-пакет в свой проект.
Как предложить новую модель для этого репозитория?Создайте issue в GitHub в основном репозитории tfjs, чтобы оценить интерес к идее. Сопровождающие отдают приоритет моделям, которые дополняют существующий набор и могут служить основой для других приложений.
Как запустить тесты для модели?Выполните 'yarn test' в директории конкретной модели или 'yarn presubmit' в корне репозитория, чтобы протестировать все модели.
Creator
tensorflow
Size
171.7 MB
Stars
14.8K
Age
8y
Commits · 90 Days