Что это такое?
Открытый фреймворк (SDK), который находит, удаляет, маскирует и анонимизирует чувствительные данные (PII) — имена, номера банковских карт, номера соцстрахования, телефоны — в тексте, изображениях и структурированных данных.
Открытый фреймворк (SDK), который находит, удаляет, маскирует и анонимизирует чувствительные данные (PII) — имена, номера банковских карт, номера соцстрахования, телефоны — в тексте, изображениях и структурированных данных.Presidio — это библиотека, которую я подключаю в свой код, или сервис, который я разворачиваю?И то и другое: это Python-пакеты, которые можно импортировать в свой код, а те же компоненты могут работать и как Docker-контейнеры, и в Kubernetes.
И то и другое: это Python-пакеты, которые можно импортировать в свой код, а те же компоненты могут работать и как Docker-контейнеры, и в Kubernetes.Как добавить его в свой проект?Установите Python-пакеты через pip, запустите готовые Docker-образы или соберите из исходников; в документации есть гайд по началу работы — и для обезличивания текста, и для изображений.
Установите Python-пакеты через pip, запустите готовые Docker-образы или соберите из исходников; в документации есть гайд по началу работы — и для обезличивания текста, и для изображений.Мне нужно приносить свои ML-модели, или распознавание работает сразу из коробки?Распознавание построено на предустановленных или собственных распознавателях: NER (spaCy, Transformers), регулярные выражения, правила на основе логики и контрольные суммы. Можно также подключать внешние модели для поиска PII.
Распознавание построено на предустановленных или собственных распознавателях: NER (spaCy, Transformers), регулярные выражения, правила на основе логики и контрольные суммы. Можно также подключать внешние модели для поиска PII.Можно ли рассчитывать, что она найдёт вообще все чувствительные данные?Нет — она полагается на автоматическое распознавание, поэтому гарантии, что будет найдена вся чувствительная информация, нет; авторы советуют использовать её вместе с дополнительными системами и средствами защиты.
Нет — она полагается на автоматическое распознавание, поэтому гарантии, что будет найдена вся чувствительная информация, нет; авторы советуют использовать её вместе с дополнительными системами и средствами защиты.Что она распознаёт из коробки?Предустановленные распознаватели охватывают имена, местоположения, номера банковских карт, номера соцстрахования, телефонные номера США, биткоин-кошельки, финансовые данные и многое другое; для специфичных для предметной области сущностей можно добавить свои распознаватели.
Предустановленные распознаватели охватывают имена, местоположения, номера банковских карт, номера соцстрахования, телефонные номера США, биткоин-кошельки, финансовые данные и многое другое; для специфичных для предметной области сущностей можно добавить свои распознаватели.Из каких компонентов состоит проект?Из четырёх модулей: Analyzer (находит PII), Anonymizer (удаляет или маскирует её в тексте), Image Redactor (для обычных изображений и медицинских DICOM-изображений) и Presidio Structured (для структурированных данных).
Из четырёх модулей: Analyzer (находит PII), Anonymizer (удаляет или маскирует её в тексте), Image Redactor (для обычных изображений и медицинских DICOM-изображений) и Presidio Structured (для структурированных данных).А с языками, кроме английского, он работает?Да — распознаватели используют NER, регулярные выражения и логику на правилах с учётом контекста на нескольких языках, так что распознавание не ограничено английским.
Да — распознаватели используют NER, регулярные выражения и логику на правилах с учётом контекста на нескольких языках, так что распознавание не ограничено английским.Что означает название Presidio?Оно происходит от латинского praesidium — «защита» или «гарнизон», что перекликается с его задачей оберегать чувствительные данные.
Оно происходит от латинского praesidium — «защита» или «гарнизон», что перекликается с его задачей оберегать чувствительные данные.What are similar projects?datamimic, spaCy, jevals, openmed, allennlp, privacy-preserving-control-plane, flair, CoreNLP
datamimic, spaCy, jevals, openmed, allennlp, privacy-preserving-control-plane, flair, CoreNLPWhich topics is it in?pii, nlp-library, medical-imaging, data-privacy, named-entity-recognition, healthcare, guardrails, spark, compliance, text-processing, privacy-tools, python-library
pii, nlp-library, medical-imaging, data-privacy, named-entity-recognition, healthcare, guardrails, spark, compliance, text-processing, privacy-tools, python-library