演算法界上演“貓鼠遊戲”連續劇，惡意欺騙與人工智慧的博弈已開始

面對惡意演算法欺騙，人工智慧如何反擊？電腦科學家正在多方尋找對策，以便讓人工智慧更安全。

科技日報 2019/07/03 10:15

文 | 科技日報 張夢然

醫療手術、無人駕駛、圍棋對弈、隨手可用的翻譯……近十年來，人工智慧（AI）取得了巨大進步。而這，要得益於人工神經網路的發展。

這一神經網路的模式，效仿的是我們人類的大腦，在大規模應用時，也被稱為深度學習，其能夠自己發現資料的模式，而無需明確指令。

深度學習雖然可以在大資料訓練中學到正確的工作方法，卻也很容易受到惡意干擾。攻擊者們通常會通過輸入惡意資料來欺騙深度學習模型，導致其出現嚴重故障。

面對惡意演算法欺騙，人工智慧如何反擊？英國《自然》網路版日前的報導稱，現在，電腦科學家正在多方尋找對策，以便讓人工智慧更安全。

AI：我因“學習”而受傷

“學習”，是人工智慧的核心，也是使計算機具有智慧的根本途徑。

深度學習的主旨，是讓電腦去類比或實現人類的學習行為，以獲取新的知識或技能，並重新組織已有的知識結構，使之不斷改善自身的性能。

但同時，深度學習演算法的不可預測性，使其需要不斷挖掘。

對於家庭和個人手機來說，虛擬智慧化助理的應用越普遍，惡意攻擊就越可能隨時發生。有些資訊眼看、耳聽都沒有問題，卻能“暗藏殺機”——隱藏著劫持設備的指令。

舉例來說，人工智慧“看”圖像的模式，和人類的肉眼大不一樣。通過微妙改變圖像的某些部分，再輸入後的圖片即使肉眼看來一模一樣，電腦看起來卻大不相同。這就叫對抗性示例。

除了圖像，聲音也會有同樣的問題，只要修改了一個語音片段，人工智慧就可能修改成完全不同的語音指令。

無需隱身，也能抓住攻擊者

不過，在不久前召開的國際學習表徵會議（ICLR）上，美國伊利諾大學香檳分校的電腦科學家拿出了一種對抗攻擊的方法。

他們編寫的演算法可以轉錄完整的音訊以及單個片段。如果單個片段轉錄出來和完整音訊中的對應部分不完全匹配，那麼演算法會立即用一面小紅旗做出標記，表明音訊樣本可能已遭攻擊。

在攻擊測試中，面對幾種不同類型的修改，該演算法幾乎都檢測到了異常情況。此外，即使攻擊者已經瞭解到有防禦系統的存在，大多數情況下還是會被抓住。

這套演算法擁有令人驚訝的穩定性。谷歌大腦團隊的科學家尼古拉斯•卡林尼評價稱，其最具吸引力之處在於它的“簡單”。另有與會專家認為，隨著對抗性攻擊越來越常見，谷歌助手、亞馬遜和蘋果等服務，都應當應用這種防禦系統。

然而，攻擊和防禦之間，註定是一場持久的“貓鼠遊戲”。卡林尼表示：“我毫不懷疑有人已經在研究如何攻擊這種防禦系統了。”

提前演練，對攻擊免疫

也有的研究團隊在另闢蹊徑。

就在本周，澳大利亞聯邦科學與工業研究組織下屬團隊公開了一套演算法，其通過效仿疫苗接種的思路，幫助人工智慧“修煉”出抗干擾能力。

所謂“疫苗演算法”，就是在識別圖片時，能夠對圖片集合進行微小的修改或使其失真，以激發學習模型“領會”到越來越強的抗干擾能力，並形成相關的自我抗干擾訓練模型。經過此類小規模的失真訓練後，最終的抗干擾訓練模型將更加強大，當真正的攻擊到來之時，機器學習模型將具備“免疫”功能。

這其實是針對深度學習模型專門打造的訓練。因為它會“學習”，所以也會學著糾錯。

郵件篩檢程式：效果不盡人意

郵件篩檢程式真的已經很努力了，但效果並不盡如人意。
這是因為防禦與攻擊總是相伴相生。隨著漏洞越來越多的被察覺，人工智慧擁有更多的防禦能力，惡意攻擊也在不斷進階。

在4月召開的美國系統和機器學習大會（SysML）上，德克薩斯大學奧斯丁分校的電腦科學家們揭示了機器學習演算法在文本理解方面的漏洞。

有些人認為文本不容易被攻擊，因為惡意欺騙可以對圖像或聲音波形進行微調，但改變任何文字都會被察覺。可科學家告訴我們不是這樣。

惡意攻擊會瞄準一些同義詞，文本含義不發生改變，但深度學習演算法卻可能因此而判斷錯誤——垃圾郵件成了安全的，假新聞被合法推送。

科學家們演示了一套惡意攻擊程式，它甚至會檢測文本分類器在判斷是否含有惡意時，最依賴的是哪些詞語。接著，它挑選出關鍵字的同義詞，替換，然後飛速開始測試下一個關鍵字。在這套演算法攻擊下，篩檢程式的準確率急劇下降。

不過，將這些手段公諸於眾，究竟可以提高防禦能力，還是會加劇攻擊手段，目前仍有爭議。此前，已經有AI實驗室拒絕公開一種攻擊演算法，因為擔心它被濫用。

資料來源：https://www.jiemian.com/article/3273741.html