演算法界上演“貓鼠遊戲”連續劇，惡意欺騙與人工智慧的博弈已開始

面對惡意演算法欺騙，人工智慧如何反擊？電腦科學家正在多方尋找對策，以便讓人工智慧更安全。

科技日報 2019/07/03 10:15

文 | 科技日報 張夢然

醫療手術、無人駕駛、圍棋對弈、隨手可用的翻譯……近十年來，人工智慧（AI）取得了巨大進步。而這，要得益於人工神經網路的發展。

這一神經網路的模式，效仿的是我們人類的大腦，在大規模應用時，也被稱為深度學習，其能夠自己發現資料的模式，而無需明確指令。

深度學習雖然可以在大資料訓練中學到正確的工作方法，卻也很容易受到惡意干擾。攻擊者們通常會通過輸入惡意資料來欺騙深度學習模型，導致其出現嚴重故障。

面對惡意演算法欺騙，人工智慧如何反擊？英國《自然》網路版日前的報導稱，現在，電腦科學家正在多方尋找對策，以便讓人工智慧更安全。

AI：我因“學習”而受傷

“學習”，是人工智慧的核心，也是使計算機具有智慧的根本途徑。

深度學習的主旨，是讓電腦去類比或實現人類的學習行為，以獲取新的知識或技能，並重新組織已有的知識結構，使之不斷改善自身的性能。

但同時，深度學習演算法的不可預測性，使其需要不斷挖掘。

對於家庭和個人手機來說，虛擬智慧化助理的應用越普遍，惡意攻擊就越可能隨時發生。有些資訊眼看、耳聽都沒有問題，卻能“暗藏殺機”——隱藏著劫持設備的指令。

舉例來說，人工智慧“看”圖像的模式，和人類的肉眼大不一樣。通過微妙改變圖像的某些部分，再輸入後的圖片即使肉眼看來一模一樣，電腦看起來卻大不相同。這就叫對抗性示例。

除了圖像，聲音也會有同樣的問題，只要修改了一個語音片段，人工智慧就可能修改成完全不同的語音指令。

無需隱身，也能抓住攻擊者

不過，在不久前召開的國際學習表徵會議（ICLR）上，美國伊利諾大學香檳分校的電腦科學家拿出了一種對抗攻擊的方法。

他們編寫的演算法可以轉錄完整的音訊以及單個片段。如果單個片段轉錄出來和完整音訊中的對應部分不完全匹配，那麼演算法會立即用一面小紅旗做出標記，表明音訊樣本可能已遭攻擊。

在攻擊測試中，面對幾種不同類型的修改，該演算法幾乎都檢測到了異常情況。此外，即使攻擊者已經瞭解到有防禦系統的存在，大多數情況下還是會被抓住。

這套演算法擁有令人驚訝的穩定性。谷歌大腦團隊的科學家尼古拉斯•卡林尼評價稱，其最具吸引力之處在於它的“簡單”。另有與會專家認為，隨著對抗性攻擊越來越常見，谷歌助手、亞馬遜和蘋果等服務，都應當應用這種防禦系統。

然而，攻擊和防禦之間，註定是一場持久的“貓鼠遊戲”。卡林尼表示：“我毫不懷疑有人已經在研究如何攻擊這種防禦系統了。”

提前演練，對攻擊免疫

也有的研究團隊在另闢蹊徑。

就在本周，澳大利亞聯邦科學與工業研究組織下屬團隊公開了一套演算法，其通過效仿疫苗接種的思路，幫助人工智慧“修煉”出抗干擾能力。

所謂“疫苗演算法”，就是在識別圖片時，能夠對圖片集合進行微小的修改或使其失真，以激發學習模型“領會”到越來越強的抗干擾能力，並形成相關的自我抗干擾訓練模型。經過此類小規模的失真訓練後，最終的抗干擾訓練模型將更加強大，當真正的攻擊到來之時，機器學習模型將具備“免疫”功能。

這其實是針對深度學習模型專門打造的訓練。因為它會“學習”，所以也會學著糾錯。

郵件篩檢程式：效果不盡人意

郵件篩檢程式真的已經很努力了，但效果並不盡如人意。
這是因為防禦與攻擊總是相伴相生。隨著漏洞越來越多的被察覺，人工智慧擁有更多的防禦能力，惡意攻擊也在不斷進階。

在4月召開的美國系統和機器學習大會（SysML）上，德克薩斯大學奧斯丁分校的電腦科學家們揭示了機器學習演算法在文本理解方面的漏洞。

有些人認為文本不容易被攻擊，因為惡意欺騙可以對圖像或聲音波形進行微調，但改變任何文字都會被察覺。可科學家告訴我們不是這樣。

惡意攻擊會瞄準一些同義詞，文本含義不發生改變，但深度學習演算法卻可能因此而判斷錯誤——垃圾郵件成了安全的，假新聞被合法推送。

科學家們演示了一套惡意攻擊程式，它甚至會檢測文本分類器在判斷是否含有惡意時，最依賴的是哪些詞語。接著，它挑選出關鍵字的同義詞，替換，然後飛速開始測試下一個關鍵字。在這套演算法攻擊下，篩檢程式的準確率急劇下降。

不過，將這些手段公諸於眾，究竟可以提高防禦能力，還是會加劇攻擊手段，目前仍有爭議。此前，已經有AI實驗室拒絕公開一種攻擊演算法，因為擔心它被濫用。

資料來源：https://www.jiemian.com/article/3273741.html

雜技藝術也要文化部正名成功：）

「終於正名成功，喚回真正屬於自己的名字！」拉阿魯哇族與卡那卡那富族的正名運動終獲官方認同，市府原民會副主委谷縱‧喀勒芳安表示，拉阿魯哇將成為第15族原住民，卡那卡那富成為第16族原住民。

拉阿魯哇與卡那卡那富族劃歸鄒族，總人數約1000人，不過兩族的語言、文化都跟鄒族不一樣。民國98年，桃源拉阿魯哇族發起正名連署，要求獨自成為原住民一族，數月後，那瑪夏區的卡那卡那富族也基於相同想法提出正名申請。

歷經4年多奮戰，行政院8日邀集學者專家與地方機關代表召開審查會，高雄市政府由原民會副主委谷縱代表參加，審查會針對法定程序、學理支撐與民意表現三層面展開討論。

谷縱指出，依據原住民基本法與政治大學的研究報告，兩地原住民也對正名有高度共識，最後正名申請獲得與會者一面倒支持，幾乎毫無異議，不過後續還要送交行政院院會核定，最後才公告，依據申請順序排定為第15族與第16族原住民。

http://www.ey.gov.tw/news_Content2.aspx…

http://e-info.org.tw/node/99257

臺灣依法治國，行政文件以法律名稱為主，故暫以文化部行法之「文化資產保存法」所載之傳統表演藝術『雜技』做主詞（雜技也是中文歷史、學術論文最廣泛的專業用詞，國際用語依聯合國教科文組織無形文化資產並列 Acrobatics / Circus ，兩字為國際專業同義詞。）並非不重視其他業界用詞，懇請諒察。正式名稱暫定日後業內「記名投票」決定。