Skoltech 研究人員能夠證明，可能導致神經(jīng)網(wǎng)絡(luò)在識別圖像時出錯的模式實際上類似于在自然界中發(fā)現(xiàn)的圖靈模式。將來，該結(jié)果可用于設(shè)計當前易受攻擊的模式識別系統(tǒng)的防御。該論文作為 arXiv預印本，在第 35屆AAAI 人工智能會議 (AAAI-21) 上發(fā)表。

深度神經(jīng)網(wǎng)絡(luò)在圖像識別和分類方面既聰明又擅長，但仍然容易受到所謂的對抗性擾動的影響：圖像中的小而奇特的細節(jié)會導致神經(jīng)網(wǎng)絡(luò)輸出錯誤。其中一些是通用的：也就是說，當放置在任何輸入上時，它們都會干擾神經(jīng)網(wǎng)絡(luò)。

這些擾動可能代表重大的安全風險：例如，在 2018 年，一個團隊發(fā)表了一篇預印本，描述了一種誘使自動駕駛汽車“看到”良性廣告和標志作為道路標志的方法。網(wǎng)絡(luò)針對此類攻擊的大多數(shù)已知防御都可以輕松繞過，這一事實加劇了這個問題。

計算和數(shù)據(jù)密集型科學與工程中心 (CDISE) Skoltech 計算智能實驗室的負責人 Ivan Oseledets 教授和他的同事們進一步探索了一種將這些通用對抗性擾動 (UAP) 和經(jīng)典圖靈模式聯(lián)系起來的理論，首先描述了由杰出的英國數(shù)學家艾倫圖靈作為自然界中許多圖案背后的驅(qū)動機制，例如動物身上的條紋和斑點

當 Oseledets 和 Valentin Khrulkov 在 2018 年的計算機視覺和模式識別會議上發(fā)表了一篇關(guān)于生成 UAP 的論文時，這項研究偶然開始。“一個陌生人走過來告訴我們，這種模式看起來像圖靈模式。這種相似性多年來一直是個謎，直到 Skoltech 碩士生 Nurislam Tursynbek、Maria Sindeeva 和博士生 Ilya Vilkoviskiy 組成了一個能夠解決這個難題的團隊。這也是 Skoltech 高級研究中心和數(shù)據(jù)密集型科學與工程中心之間內(nèi)部合作的完美例子，”Oseledets 說。

對抗性擾動的本質(zhì)和根源對研究人員來說仍然是個謎。“這個引人入勝的財產(chǎn)在攻防之間有著悠久的貓捉老鼠游戲歷史。對抗性攻擊難以防御的原因之一是缺乏理論。我們的工作朝著通過圖靈模式解釋 UAP 的迷人特性邁出了一步，圖靈模式背后有堅實的理論。這將有助于在未來構(gòu)建對抗樣本理論，”Oseledets 指出。

先前的研究表明，自然圖靈模式——比如魚身上的條紋——可以欺騙神經(jīng)網(wǎng)絡(luò)，該團隊能夠以一種直接的方式展示這種聯(lián)系，并提供產(chǎn)生新攻擊的方法。研究人員補充說：“使基于此類模式的模型具有魯棒性的最簡單設(shè)置就是將它們添加到圖像中并在擾動圖像上訓練網(wǎng)絡(luò)。”

標簽：