《論文筆記》DEEPSEC: A Uniform Platform for Security Analysis of Deep Learning Model

發表於 更新於 分類於

論文資訊

  • 標題：DEEPSEC: A Uniform Platform for Security Analysis of Deep Learning Model
  • 作者：Xiang Ling, Shouling Ji, Jiaxu Zou, Jiannan Wang, Chunming Wu, Bo Li, Ting Wang
  • 研究機構：Zhejiang University, Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies, UIUC, Lehigh University
  • 會議/期刊：IEEE S&P 2019
  • 連結：點我  

Introduction

對於人工智慧界的軟體工程現況，作者提出了幾個問題，第一、即目前對於評估深度學習模型品質的指標過於簡單。例如，誤判率（Misclassification Rate）並無法用來評估一個攻擊方法。
第二、之前的論文總是評估一小部分的攻擊或防禦方法。例如，許多防禦方法都只用一些強的攻擊，但其實很多時候能防禦強的攻擊不代表對於弱的攻擊免疫。
第三、攻防的快速競爭使得許多方法快速失效。例如，許多防禦方法所採用的 Gradient Obfuscation Strategy 已經沒什麼用了[1]。

這些因素都會讓研究的結論產生矛盾，像是 Defensive Distillation[2] 原來是用來抵擋 JSMA 攻擊，但現在我們發現其實只對新攻擊的 Marginal Robustness 有增強而已，而且後來的研究指出用上 DD 方法所訓練出的模型表現會比原來的模型還要差[3]。所以說作者認為我們必須要有一套可以泛用，並且提供許多資訊以供評估 Adversarial 攻擊與防禦。而這個平台必須有四個特點：

  • Uniform - 這平台可以在相同設定環境下比較不同攻擊與防禦方法
  • Comprehensive - 可以提供所有代表性的攻擊與防禦方法
  • Informative - 可以給出非常多的指標來評估攻擊與防禦方法
  • Extensible - 可以簡單地增加新的攻擊與防禦方法

而目前有的平台，如 Cleverhans（Github）都沒有達到以上的所有需求。而這篇論文所提出的 DEEPSEC 則包括了 16 種攻擊、10 種攻擊指標、13 種防禦以及 5 種防禦指標。  

Attacks & Defenses

關於這篇論文所提出的實驗，都是以白箱攻擊為前提，攻擊者知道所有關於目標模型的細節（深度、節點數、訓練集…之類的），但不知道所部屬的防禦方法。Table 1 給出了所有在這篇論文使用到的攻防方法、評估指標以及其縮寫。
 

A. 攻擊方法 這篇論文將攻擊方法分為UA（Un-targeted Attacks）跟TA（Targeted Attacks），還有 Non-iterative Attack 與 Iterative Attack。所以總共有四種攻擊。以上不做敘述。

B. 攻擊的評測指標

  1. Misclassification（誤判）
    1. Misclassification Raito（MR 誤判率）：即對抗樣本使分類器誤判的百分比值
    2. Average Confidence of Adversarial Class（ACAC 平均對抗樣本信心值）：即對抗樣本被成功誤判後的信心值（誤判的確信程度有多高）。
    3. Average Confidence of True Class（ACTC 平均正確分類信心值）：即對抗樣本的原正確分類之信心值（即離正確分類的距離）。
  2. Imperceptibility（人類無法感知）
    1. Average Lp Distortion（ALDp 平均 Lp 扭曲度）：即所有 Lp norm distance （p = 0, 1, infinity）的加總平均值。
    2. Average Structural Similarity（ASS 平均結構相似性）：即平均對抗樣本與原樣本的 SSIM index 值（SSIM 是一種用以衡量兩張數位影像相似程度的指標）。
    3. Perturbation Sensitivity Distance（PSD 擾動感知距離）：根據 Contrast Masking Theory [4] 提出的用來衡量人眼對於擾動感知程度的指標 [5]。
  3. Robustness（強健 / 魯棒性）
    1. Noise Tolerance Estimation（NTE 雜訊容忍預估）：在[5]這篇論文中，一個對抗樣本的強健性是由 Noise tolerance 預估的，反映了一個對抗樣本可以忍受多大的雜訊而不被破壞。
    2. Robustness to Gaussian Blur（RGB 高斯模糊耐性）：對抗性樣本可以容忍高斯模糊後處理的比值。
    3. Robustness to Image Compression（RIC 影像壓縮耐性）：對抗性樣本可以容忍影像壓縮處理的比值。
  4. Computation Cost（CC 計算成本）：即攻擊者產生對抗例樣本的平均時間。

C. 防禦方法

  1. Adversarial Training：即拿對抗例去訓練模型，藉此讓模型對對抗例免疫。
  2. Gradient Masking/Regularization：減少模型對對抗例的敏感度，並且隱藏梯度。
  3. Input Transformation：將 input 樣本做轉換，以破壞惡意擾動。
  4. Region-based Classification：[6]（看不太懂）
  5. Detection-only Defenses：把對抗例分類對實在太難了，我們只要可以「檢測」出對抗例，並且拒絕接收就好。

D. 防禦的評測指標：防禦可以從兩個角度來評估，「功能保留」以及「抵抗攻擊」。

  1. Classification Accuracy Variance（CAV 分類精準度變異量）：增強防禦後的模型分類一般測試集的精準度與原模型的差異值。
  2. Classification Rectify/Sacrifice Ratio（CRR/CSR 分類矯正比/分類犧牲比）：增強防禦後的模型分類一般測試集的時候，原來分錯變成分對的就是 CRR；分對變成分錯的就是 CSR。
  3. Classification Confidence Variance（CCV 分類信心值變異量）：增強防禦後的模型可能不會影響精準度，但信心值會有所波動，CCV 就是原來的信心值和增強防禦後的信心值之平均比值。
  4. Classification Output Stability（COS 分類輸出穩定值）：利用 JS divergence[7] 去計算輸出機率的相似度。

System Design And Implementation

A. System Design：分為五個部分

  1. Attack Module（AM）：製作對抗例去攻擊深度學習模型，共 16 種攻擊，一半是 UA，一半 TA。
  2. Defense Module（DM）：防禦深度學習模型，共 13 種防禦。
  3. Attack Utility Evaluation（AUE）：10 種評估攻擊的指標。
  4. Defense Utility Evaluation（DUE）：5 種評估防禦的指標
  5. Security Evaluation（SE）：平衡 AM 和 DM 的安全性指標，可以讓使用者知道這個模型抵抗對抗例的能力如何。

B. System Implementation

Evaluations

平台： Intel Xeon 2.2GHz CPU x 2 256GB RAM GTX 1080 x 1

A. Evaluation of Attacks

  1. Experimental Setup
    1. Datasets：MNIST / CIFAR-10
    2. Mode：7-layer CNN / ResNet-20
    3. Accuracy：99.27% / 85.95%
    4. 首先挑了 1000 個可以被正確分類的 sample，然後針對每一種攻擊都生成 1000 張對抗例，再用評估方法對所有攻擊做評估。TA 的 Class 則是隨機選擇但是統一的。
    5. 參數部分都統一。
  2. Experiemntal Results

  1. Misclassification：Iterative 強於 Non-iterative
    • Remark 1：大部分狀況下，目前的所有攻擊都有非常高的成功率（以 MR 來看的話，Iterative 的所有攻擊方式，在 CIFAR-10 上都有接近 100% 的 MR），都能很有效的誤導目標模型。有個有趣的現象是，如果對抗例的 ACTC 比較低，那對於攻擊不同模型時較具有泛用性。
    • 即存在一種狀況，若分類後 真正的 class 信心值很低，其他 class 的信心值無論高低，那這個泛用性就很高；若真正的 class 信心值很高，假 class 只是相對低一點，那泛用性就不高。直接比較 ACAC 不準，因為參數不同，例如 ILLC （L無限攻擊）跟 CW2（L2 攻擊）攻擊是不同的，要看 ACTC 的值。
    • 例子：FGSM 跟 OM 產生的對抗例在 CIFAR-10 都有 0.75 的 ACAC，但是 FGSM 的 ACTC 卻是 OM 的六倍低，這代表 FGSM 的泛用性會比 OM 更高。
  2. Imperceptibility：PSD 很敏感，但是量測 L2 攻擊產生的對抗例時，數值都比 L1 和 L無限 小很多。
    • Remark 2：在所有指標中，PSD 是對對抗例擾動的 Imperceptibility 最敏感的，ASS 則相反，是最不敏感的，所以不建議用來量化對伉例。在這一個測試裡面也發現誤判率和 Imperceptibility 是有確定的 trade-off 關係的。
  3. Robustness：利用了 Guetzli 去產生高品質的 jpg 壓縮檔，RGB 指標用的樣本，高斯模糊的 radius 是 0.5；RIC 指標用的則是設為 90% 的壓縮率。測試後發現， NTE 比 RGB 跟 RIC 更有意義。可能是因為越高的 NTE 表示了容忍的雜訊越多，根據 Imperceptibility 的結論，雜訊增加意味著誤判機率越高，所以比低 NTE 更能忍受影像轉換。另一方面， NTE、RGB、RIC 之間的關係是非線性的。
    1. ACAC 越高，RIC 跟 RGB 就越高。是因為 ACAC 可以影響 NTE，而間接影響了 RGB 跟 RIC。
    2. Remark 3：對抗例的強健性是由 ACAC 影響的。另外 UA 比 TA 強健性更高。
  4. Computation Cost：設定保持不變，計算了各種攻擊方法的平均對抗例產生時間，iterative 通常比 non-iterative 慢很多，多花了超過十倍以上的時間。

B. Evaluation of Defenses

  1. Experimental Setup
  2. Results

  • NAT、DD、TE、RC 在 MNIST 跟 CIFAR-10 上面的精準度並沒有受到什麼影響。
  • IGR-、RT-、和 PD 強化過的模型的精準度則在 CIFAR-10 上受到很大的影響。
  • 如果準確率下降，CSR 多數大於 CRR。
  • 部屬防禦後 CCV 都會受到影響，如 PAT 和 IGR 則特別嚴重。這是因為部屬後的模型變得不穩定。
  • COS 跟 CAV 的變化傾向是相同的。
  • Remark 4：大部分指標都還滿有效的。

C. Defenses vs. Attacks

  1. Complete Defenses：將對抗例正確辨識出來。
    • Results
      • 大部分防禦方法都有用，但有大有小。像是 NAT 對所有攻擊都有 80% 以上的抵擋能力，而所有方法平均是 58.4%。
      • 抵擋 TA 比 UA 還有用。作者猜測是因為 UA 只是讓模型誤判，泛用性比較強；而 TA 則通常是針對模型去做攻擊，所以用了防禦後模型不同，效果就會打折扣。
    • Remark 5：多數防禦方法都有比較適合的攻擊方法，而通常有 retrain 模型的比沒有的強。
  2. Detection：偵測出對抗例並拒絕輸出。
    • Experiemental Setup
      • 先找了 4-A 成功被辨識錯誤的對抗例
      • 再從測試集裡面隨機挑選可以被正確辨識的測試樣本
    • Results
      • AUC：當你隨機挑選一個正樣本以及一個負樣本，當前的分類算法根據計算得到的Score值將這個正樣本排在負樣本前面的概率就是AUC值。
      • 所有偵測方法的效果都不錯，平均 AUC 都有高於 70% 的表現。
      • LID 中的 AUC 平均表現最好，但再面對 DF 或 OM 都只有 65%，比 FS 和 MagNet 還低（平均高於 80%）。
      • LID 的 TPR 表現最好，但是 FS 和 MagNet 在 MNIST 表現比較好，只是在 CIFAR-10 比較差。可能是因為參數調整的問題。
      • 比較高的擾動不一定比較容易被偵測到。
    • Remark 6：所有的偵測方法對目前的攻擊方法都有一定效果。不同的偵測方法有適合他們的攻擊方法。而高的擾動不一定比較容易被偵測。

Case Studies

A. Case Study 1: Transferability of Adversarial Attacks

主要為了測試不同攻擊的遷移性。

  1. Experimental Setup：訓練了三個模型要來進行測試
    • Model 1：一樣的模型，但經歷了不同的隨機初始化。
    • Model 2：一樣的模型設定，但是神經網路結構有些微不同。
    • Model 3：完全不同的模型。
  2. Results
    • 個種攻擊方法或多或少都有一定的遷移性
    • 對抗例在其他模型的 ACAC 高於原模型，作者猜測原因是原來信心值很低的對抗例會遷移失敗，而遷移成功的通常是信心值很高的對抗例。
    • UA 的遷移性高於 TA，在 CIFAR-10 測試集，UA 平均有 74.6%，TA 僅僅 10%。
    • L無限 攻擊遷移性強過 L2 或 L0。
    • Remark 7：不同的攻擊有不同的遷移性
      • UA 遷移性強過 TA
      • L無限 遷移性強過其他攻擊
      • 對抗例在其他模型的 ACAC 高於原模型

B. Case Study 2: Is Ensemble of Defense More Robust

不同防禦手法組合後抵禦攻擊的能力是否會增強？

  1. Experiment Setup：和 4A 用的測試方法一樣。並有三種防禦組合：
    • Completely-random Ensemble：隨機從九種防禦中選擇三種組合
    • Interclass-random Ensemble：從三種不同類別的防禦方法中各隨機挑選一種進行組合
    • Best-defense Ensemble：從前面的 4-C1 測試中表現最好的前三名進行組合，對 MNIST 用 PAT、TE、NAT；對 CIFAR-10 則是 NAT、EIT、EAT。
  2. Results
    • Remark 8：把防禦方法都組合起來不會比較有效，但可以增加 lower bound。這部分跟之前看過的[8]一樣。

Reference

[1] A. Athalye, N. Carlini, and D. Wagner, “Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples,” in ICML, 2018.
[2] N. Papernot, P. McDaniel, X. Wu, S. Jha, and A. Swami, “Distillation as a defense to adversarial perturbations against deep neural networks,” in S&P, 2016.
[3] A. S. Ross and F. Doshi-Velez, “Improving the adversarial robustness and interpretability of deep neural networks by regularizing their input gradients,” in AAAI, 2018.
[4] A. Liu, W. Lin, M. Paul, C. Deng, and F. Zhang, “Just noticeable difference for images with decomposition model for separating edge and textured regions,” IEEE Transactions on Circuits and Systems for Video Technology, 2010.
[5] B. Luo, Y. Liu, L. Wei, and Q. Xu, “Towards imperceptible and robust adversarial example attacks against neural networks,” in AAAI, 2018.
[6] X. Cao and N. Z. Gong, “Mitigating evasion attacks to deep neural networks via region-based classification,” in ACSAC, 2017.
[7] Wikipedia, “Jensen–shannon divergence,” https://en.wikipedia.org/wiki/Jensen-Shannon divergence.
[8] W. He, J. Wei, X. Chen, N. Carlini, and D. Song, “Adversarial example defense: Ensembles of weak defenses are not strong,” in WOOT, 2017.