APSD README

The project's README from github.com/hcliucs/APSD. As one markdown file: README.md.

APSD

Stealthiness Assessment of Adversarial Perturbation: From a Visual Perspective

Paper Dataset License

IEEE Transactions on Information Forensics and Security (TIFS), 2024

Hangcheng Liu · Yuan Zhou · Ying Yang · Qingchuan Zhao · Tianwei Zhang · Tao Xiang

Paper · Dataset · Citation

🔍 Overview

How stealthy is an adversarial perturbation to the human eye?

Widely used metrics such as (L_p) norms, PSNR, and SSIM were not designed specifically for subtle adversarial perturbations and can disagree with human visual perception. This work provides a systematic study of pixel-level adversarial stealthiness assessment from both subjective and objective perspectives.

We introduce:

✨ Highlights
👁️ Human-centric assessment A two-step protocol provides fine-grained subjective scores across the full stealthiness spectrum.
🗂️ 10,586 adversarial examples APSD contains 10,586 clean–adversarial pairs generated from 400 reference images.
⚔️ 12 attacks / 5 attack families Gradient-, optimization-, generative model-, pixel-, and block-based attacks are covered.
👥 60 human observers Every adversarial example is evaluated by 15 observers; Mean Opinion Score (MOS) is used as the label.
🧠 Human-inspired objective model A2SM combines global/local features with self-, cross-, and spatial-attention mechanisms.
📈 High HVS consistency A2SM achieves 0.984 PLCC / 0.978 SROCC on APSD.

👁️ Subjective Stealthiness Assessment

We propose a two-step subjective assessment protocol.

Step 1 — Rough assessment

Observers first inspect a clean/adversarial image pair for a fixed period and classify the perturbation as:

Step 2 — Fine-grained assessment

For strong stealthiness, observers use progressively amplified Scaled Grayscale Difference Maps (SGDM) to distinguish subtle pixel-level differences.

For weak stealthiness, observers assess the degree of visible degradation / annoyance.

The resulting scores are aggregated into a Mean Opinion Score (MOS) in the range ([0,1]), where a larger value means better stealthiness.

Subjective adversarial stealthiness assessment interface

Rating software.

🗃️ APSD Dataset

We construct the Adversarial Perturbation Stealthiness Assessment Dataset (APSD), a dedicated benchmark for human-aligned adversarial stealthiness evaluation.

Dataset statistics

Property APSD
Reference images 400
Clean–adversarial pairs 10,586
Image categories 200+
Attack methods 12
Attack families 5
Human observers 60
Ratings per adversarial example 15
Label MOS ∈ [0, 1]
Image size used for subjective study 512 × 512

Covered attack families

APSD contains perturbations spanning a broad range of perceptual stealthiness, allowing models to learn both subtle and visually obvious adversarial distortions.

Representative APSD adversarial examples

Distribution of adversarial examples generated by different attacks in APSD. The suffix of each attack indicates the corresponding parameter.

📥 Dataset Download

The APSD dataset is publicly available through the project repository:

➡️ Download APSD

The released dataset should contain the clean images, adversarial images, and their corresponding human subjective scores.

A recommended local organization is:

APSD/
├── REF-299 (Reference)/
│   ├── xxx.png
│   └── ...
└── AE_targetmodel0 (Adversarial example)/
    ├── 0 FGSM/
    ├── 1 MIFGSM/
    ├── 2 PGD/
    ├── 3 NES/
    ├── 4 CW/
    ├── 5C DP/
    ├── 6 AdvGAN/
    ├── 7 GAP/
    ├── 8 GUAP/
    ├── 9 SimBA/
    ├── 10 Pixel/
    └── 11 Square/
    └── score.csv

Note: the exact released directory/file names should follow the actual dataset package. Update the tree above if your final release uses a different structure.

📝 Citation

If you find APSD or A2SM useful in your research, please cite:

@article{liu2024stealthiness,
  title   = {Stealthiness Assessment of Adversarial Perturbation: From a Visual Perspective},
  author  = {Liu, Hangcheng and Zhou, Yuan and Yang, Ying and Zhao, Qingchuan and Zhang, Tianwei and Xiang, Tao},
  journal = {IEEE Transactions on Information Forensics and Security},
  volume  = {20},
  pages   = {898--913},
  year    = {2024},
  doi     = {10.1109/TIFS.2024.3520016}
}

📬 Contact

For questions about the paper, dataset, or code, please open a GitHub issue or contact the authors.

License

Please add the license that applies to the released code and dataset before public release.
If the dataset contains images inherited from ImageNet, COCO, or VOC2012, their original licenses/terms should also be respected.

APSD (hcliucs/APSD)

Searching Database…

897 ·GitHub
APSD
Что это такое?APSD — это крупный датасет для изучения того, как визуально незаметные состязательные возмущения воспринимаются человеком. Он содержит 10 586 пар «чистое изображение — состязательное изображение» с субъективными оценками от людей.
Это только датасет или здесь есть и код модели A2SM?Здесь прежде всего сам датасет APSD (изображения и оценки MOS от людей). В статье также описана модель оценки A2SM, но этот репозиторий — именно релиз датасета, а не код для обучения.
Как мне скачать датасет?Скачайте APSD по ссылке на репозиторий проекта, которая указана в README. В релизе должны быть чистые изображения, соответствующие состязательные изображения и их субъективные оценки от людей.
Структура выложенного датасета окончательная?В самом README сказано, что показанная структура папок — лишь заглушка, и в реальном релизе файлы могут быть организованы иначе.
Какие атаки покрывает APSD?APSD охватывает 12 методов атак из 5 семейств: градиентные (FGSM, MIFGSM, PGD, NES), оптимизационные (CW), на основе генеративных моделей (CDP, AdvGAN, GAP, GUAP), попиксельные (SimBA, Pixel) и блочные (Square).
Как собирали оценки незаметности от людей?60 наблюдателей оценили каждый из 10 586 состязательных примеров по двухэтапной процедуре: сначала грубо отнесли изображение к «почти незаметным» или «хорошо заметным», затем поставили точную оценку по усиленным картам различий. Для каждого примера 15 оценок усредняются в Mean Opinion Score (MOS) от 0 до 1.
Насколько хорошо модель A2SM предсказывает человеческое восприятие?A2SM, сочетающая глобальные и локальные признаки с self-, cross- и spatial-attention, достигает 0.984 PLCC и 0.978 SROCC против оценок MOS людей на датасете APSD.
Где опубликовано это исследование?Это официальный датасет к статье «Stealthiness Assessment of Adversarial Perturbation: From a Visual Perspective», опубликованной в IEEE Transactions on Information Forensics and Security (TIFS) в 2024 году.
What are similar projects?reverse-SynthID, Engram, math, arc-task-gen, pointdit, transferlearning, Mira-Scene, High-Angle_Robust_Fast_FaceAlignment
Which topics is it in?adversarial-attacks, vision, security-research, ai-security, attention-mechanism, papers, paper, dataset, evaluation, neural-network, academic-research, image-processing
Creator
hcliucs
Size
1.3 MB
Stars
897
Updated
CommitSep 02
Age
3y
Commits · 90 Days