CVPR 2023 | 北航提出針對紅外行人檢測器的漏洞挖掘技術(shù)

機器之心專(zhuān)欄

機器之心編輯部

來(lái)自北航人工智能研究院的韋星星副教授團隊設計出一種隱蔽性更強、物理實(shí)施更簡(jiǎn)單、速度更快的 “對抗紅外補丁”，可用于針對紅外模態(tài)的物理魯棒性評估研究。

在計算機視覺(jué)領(lǐng)域，基于 DNN 的紅外與可見(jiàn)光目標檢測系統在諸多安全保障任務(wù)中得到廣泛應用，而 DNN 易受對抗樣本攻擊的特性，天然給這些檢測系統埋下了安全隱患，檢測器的對抗魯棒性也因此受到了學(xué)術(shù)界與工業(yè)界的共同關(guān)注，相關(guān)研究的發(fā)展勢頭強勁。

已有不少研究者針對可見(jiàn)光模態(tài)提出了物理魯棒性評估技術(shù)，它們被設計在常見(jiàn)的物品上，有著(zhù)精心設計的紋理圖案，比如對抗貼紙、眼鏡、襯衫和帽子等。但是，這些基于紋理的擾動(dòng)對于紅外模態(tài)是不起作用的。而對于同樣主流的紅外檢測器，其雖具有同等的評估必要性，有效的物理魯棒性評估技術(shù)卻屈指可數，并且現有方法在從數字世界向真實(shí)世界進(jìn)行轉換實(shí)現時(shí)，具有較高的實(shí)現難度。

在最近的一篇論文中，來(lái)自北航人工智能研究院的研究者們針對紅外模態(tài)展開(kāi)了物理魯棒性評估技術(shù)的研究，設計出了一種隱蔽性更強、物理實(shí)施更簡(jiǎn)單、速度更快的 “對抗紅外補丁”。他們提出了一種新穎的損失函數，使其能夠利用統一梯度，同時(shí)優(yōu)化對抗補丁的位置與形狀，并使補丁的熱幅射分布更加統一。在物理實(shí)施方面，其利用氣凝膠這種隔熱材料實(shí)現補丁相應的熱分布，只需通過(guò)剪裁粘貼便完成了對抗樣本的建構。研究論文已經(jīng)被 CVPR 2023 接收。

論文地址：

實(shí)驗證明，該方法在不同距離、角度、姿勢和場(chǎng)景下都具有很好的表現。值得注意的是，在與 SOTA 方法取得同等優(yōu)異表現時(shí)，該方法從數字優(yōu)化到物理實(shí)施整個(gè)過(guò)程不超過(guò)半小時(shí)，是 SOTA 方法花費時(shí)間的 5%。此外，該方法在小車(chē)上也能取得不錯的效果，具有良好的泛化性。

方法概覽

該研究主要基于行人檢測任務(wù)進(jìn)行方法建構，將最高得分檢測框作為檢測到的行人，當對抗樣本的檢測得分低于閾值時(shí)，代表其攻擊成功。區別于常見(jiàn)的擾動(dòng)攻擊，該研究基于一個(gè)區域性的補丁構建對抗樣本。其生成定義如下：

其中，

由補丁的物理材料在紅外模態(tài)下的像素值決定，在數字環(huán)境下很難對

進(jìn)行操作。于是該研究

將先驗性的定為 0（即黑色），轉而對 M 進(jìn)行優(yōu)化，通過(guò)學(xué)習補丁的形狀與位置改善攻擊性能與物理可實(shí)施性。

技術(shù)實(shí)現上，該研究采用白盒方法，設計損失函數，進(jìn)行基于動(dòng)量的梯度優(yōu)化。其中，為了提高對抗補丁的物理可實(shí)施性，求解的掩碼 M 應該具有以下性質(zhì)：

（1）M 中的像素點(diǎn)應該聚集在一起，在合理位置形成一個(gè)具有對抗攻擊性的形狀。

（2）M 中的像素值應盡可能趨于 1 或 0。

關(guān)于損失函數，攻擊 loss 是以最小化所有邊界框內的最大置信度得分為目標，使目標成功 “隱身”。這種隱身攻擊損失的定義如下：

但是，只基于攻擊 loss 優(yōu)化會(huì )導致 M 中的像素取到 [0,1] 中的連續值，且高值的像素點(diǎn)離散分布在不同的位置，無(wú)法滿(mǎn)足上述目標。因此，他們提出全新的聚集正則項和二值化正則項加入到損失函數中，在保證有效攻擊的基礎上保證形狀緊湊以及像素值非 0 及 1。

聚集正則項的提出主要針對下面兩個(gè)問(wèn)題：

（1）如何有效得到聚集的形狀；

（2）對于形狀和位置兩種完全不同的變量，如何通過(guò)統一的梯度完成二者的共同優(yōu)化。

想要獲得聚集的圖像塊，M 中取值為 1 的像素應該被聚類(lèi)。為了度量像素的這種聚集性，他們提出了局部聚集系數，能夠量化一個(gè)像素點(diǎn)的鄰居是多么接近一個(gè) “團”。其主要通過(guò)單個(gè)像素點(diǎn)的八個(gè)鄰居像素及聯(lián)通邊計算得出。

考慮到 M 實(shí)際取值為 [0,1] 區間，他們在原本的設計上增加衰減因子，形成了 soft 版本的計算公式。最終，聚集正則項結合該量化聚集度與掩碼 M 的值進(jìn)行設計，顯然其中的運算都是可微分的，使得其可以通過(guò)統一梯度同時(shí)完成形狀與位置的優(yōu)化：

二值化正則項的提出則是為了優(yōu)化 M 中的像素值，具體定義如下：

其中，L_MSE 部分起到二值正則化的主要作用，讓 M 的值具有非零即一的可操作性，而引入 M 的 L_1 范數是為了讓補丁面積在優(yōu)化過(guò)程中盡可能小。

結合上述三種具有不同優(yōu)化功能的 loss，最終的損失函數為：

在這種損失函數的指導下，其最終得到的對抗補丁是一個(gè)面積適中的補丁圖案，其聚集性，以及 Mask 非零即一的特性使得物理實(shí)施的難度大幅度下降。在最終物理實(shí)現時(shí)，只需要在材料上剪裁出一塊優(yōu)化得到的補丁，并貼在攻擊目標身體上的指定位置，即可進(jìn)行魯棒性評估。

實(shí)驗結果

在實(shí)驗部分，實(shí)驗一到三是數字世界下的實(shí)驗，實(shí)驗四到六是物理世界下的實(shí)驗。

實(shí)驗一：與兩種 SOTA 方法進(jìn)行了效果對比，結果顯示，該方法對應的 AP 值從 100 % 下降到 12.05 %，超過(guò)了 SOTA 方法。

實(shí)驗二：對 patch 的形狀位置進(jìn)行了消融實(shí)驗對比，證實(shí)了二者同時(shí)優(yōu)化的有效性。

實(shí)驗三：對損失函數的效果進(jìn)行了對比驗證，結果顯示，盡管完整 loss 與部分功能 loss 缺失條件下得到的 ASR 相比略低，但其顯著(zhù)的聚集性帶來(lái)的價(jià)值更有意義。

實(shí)驗四：對不同距離、角度、姿勢和場(chǎng)景進(jìn)行了方法驗證，總體取得了較好效果。

實(shí)驗五：在小車(chē)吉印通行了拓展實(shí)驗，并設定了不同距離和角度，攻擊成功率總體位于 90% 以上。

實(shí)驗六：采用三種典型的防御手段來(lái)評估該攻擊方法的魯棒性，結果顯示，在三種防御方法下，對抗攻擊性能下降幅度均在可接受范圍內，證明魯棒性較好。

結語(yǔ)

該研究提出了可學(xué)習形狀和位置的、物理操作性強的對抗紅外補丁，可以通過(guò)巧妙的 loss 設計，實(shí)現對多變量同時(shí)的梯度優(yōu)化。物理實(shí)現采用氣凝膠隔熱材料構建紅外貼片。該方法優(yōu)化速度快，貼片制作簡(jiǎn)單，從數字世界優(yōu)化到物理世界構建對抗樣本僅需 0.5 小時(shí)。實(shí)驗效果相當甚至優(yōu)于紅外模態(tài) SOTA 攻擊方法，行人和車(chē)輛檢測實(shí)驗體現了方法的有效性和泛化性。