矮化女性和少數種族，OpenAI GPT 模型為何變成 AI 歧視重災區？

作者 品玩 | 發布日期 2021 年 02 月 13 日 0:00 |

機器學習技術近幾年突飛猛進，許多強大 AI 因此誕生。以知名研究機構 OpenAI 開發的語言生成模型 GPT 為例，現在可寫文章、幫人做報表、自動查詢資訊，給用戶很大幫助和便利。

然而，多篇近期論文指出，包括 GPT 等 AI 模型，生成結果包含基於性別和種族的偏見。而這些 AI 模型應用在商業領域，勢必強化歧視偏見對象現象。

卡內基美隆大學 Ryan Steed 和喬治華盛頓大學 Aylin Caliskan 近日發表論文《無監督的方式訓練的影像表示法包含類似人類的偏見》（Image Represnetations Learned With Unsupervised Pre-Training Contain Human-like Biases）。

研究者對 OpenAI 在 GPT-2 基礎上開發的 iGPT 和 Google 的 SimCLR，兩個去年發表的影像生成模型進行系統性測試，發現種族、膚色和性別等指標幾乎原樣複製人類測試物件的偏見和刻板印象。

其中一項測試，研究者用機器生成男女頭像照片為底板，用 iGPT 補完（生成）上半身影像。誇張的事發生了：所有女性生成結果，超過一半影像穿著比基尼或低胸上衣。

男性結果影像，約 42.5% 影像穿和職業有關的上衣，如襯衫、西裝、和服、醫生大衣等；露手臂或穿背心的結果只有 7.5%。

這樣的結果，技術方面的直接原因可能是 iGPT 採用的自迴歸模型機制。研究者進一步發現，用 iGPT 和 SimCLR 對照片和職業相關名詞建立連結時，男人更多和「商務」、「辦公室」等名詞連結，女人更多和「孩子」、「家庭」等連結；白人更多和工具連結，而黑人更多和武器連結。

這篇論文還在 iGPT 和 SimCLR 比對不同種族膚色外觀的人像照片「親和度」（pleasantness），發現阿拉伯穆斯林人士的照片普遍缺乏親和力。

雖然 iGPT 和 SimCLR 模型的具體運作機制有差別，但透過這篇論文，研究者指出這些偏見現象背後的共同原因：無監督學習。

這兩個模型都採用無監督學習 (unsupervised learning)，這是機器學習的方法之一，沒有給事先標記好的訓練資料，自動分類或分群匯入的資料。

無監督學習的好處，在於資料標記是繁瑣費時的工作，受制於標記工的程度和條件限制，準確性很難保持一定，標記也會體現人工的偏見歧視，某些領域的資料更缺乏標記資料庫；而無監督學習在這種條件下仍有優秀表現，最近幾年很受歡迎。

然而這篇論文似乎證明，採用無監督學習無法避免人類常見的偏見和歧視。

研究者認為，採用無監督學習的機器學習演算法，出現的偏見歧視來源仍是訓練資料，如網路影像的男性照更多和職業相關，女性照片更多衣著甚少。

另一原因是這些模型採用自迴歸演算法。在機器學習領域，自迴歸演演算法的偏見問題人盡皆知，但嘗試解決這問題的努力並不多。

結果就是，機器學習演算法從初始資料庫學到所有東西，當然包括人類的各種偏見和歧視。

之前 OpenAI 號稱「1700 億參數量」的最新語言生成模型 GPT-3，發表論文也申明因訓練資料來自網路，偏見無法避免，但還是發表並商業化。

去年 12 月，史丹佛和麥克馬斯特大學的研究者另一篇論文《Persistent Anti-Muslim Bias in Large Language Models》，確認 GPT-3 等大規模語言生成模型對穆斯林等常見刻板印象的受害者，確實有嚴重的歧視問題。

具體來說，用相關詞語造句時，GPT-3 多半會將穆斯林和槍擊、炸彈、謀殺和暴力連結。

另一項測試，研究者上傳一張穆斯林女孩的照片，讓模型自動生成一段文字，卻包含明顯的暴力過度遐想和延申，其中有句話「不知為何原因，我渾身是血。」

而當這類演算法應用到現實生活，偏見和歧視將進一步強化。

iGPT 和背後的 OpenAI GPT 技術，現在開發到第三代。能力確實很強大，就像眾多媒體報導過那樣，因此許多商業機構青睞採用。最知名的用戶就是微軟。去年 9 月，微軟 CTO Kevin Scott 宣布和 OpenAI 合作，獨家獲得 GPT-3 授權，將技術應用到針對用戶的各項產品和 AI 解決方案。

微軟尚未透露具體會把 GPT-3 應用到哪些產品，但考慮到微軟產品的十億級用戶量，情況非常令人擔憂。如微軟近幾年 Word、PPT 等產品推廣的自動查詢資訊、文字補完和影像設計功能，當用戶匯入某特定詞或插入圖片時，如果正好落入 GPT-3 的偏見陷阱，結果將非常糟糕。

不僅 GPT，照前述論文說法，所有採用無監督學習的演算法都可能包含這些偏見。現在因無監督學習非常熱門，自然語言處理、電腦視覺等領域，都成為非常關鍵的底層技術。

如翻譯對人際溝通十分重要，但錯誤的翻譯結果，一次被演算法強化的偏見事件，少則切斷人與人的聯繫，更嚴重者將導致不可估量的人身和財產損失。

作者 Steed 和 Caliskan 呼籲，機器學習研究者應該更區別和記錄訓練資料庫的內容，以便未來找到降低模型偏見的更好方法，以及發表模型前應該做更多測試，盡量避免受演算法強化的偏見被帶入模型。

資料來源：https://technews.tw/2021/02/13/openai-gpt-discrimination/

來自 Tosiku Kusui 的英文圖文翻譯，歡迎轉貼給國際友人介紹加分政策的現況與原住民族人目前遭受到的歧視與偏見言論，希望我們一起 #反歧視 ，也期待 Dcard 能正視歧視與偏見言論的問題，不要讓這樣的事件一再發生。

#AntiDiscrimination

#歡迎轉貼

-----

The post is from @buanistalking
And it’s about a series of earlier incident about the discrimination and racism on the indigenous people in Taiwan.
Extra points is a policy that ROC government use on indigenous people to sort of make up the loss of our people.
And a glass heart is a way of saying someone has a fragile heart or sensitive.
Pasibutbut here references to the Bunun tribe’s traditional singing technique also know as Eight-part harmonies,and they mocking the culture.
And “Delah” is a stereotype here in Taiwan that everyone think indigenous always add “Delah” at the end of the sentence.
And the one that is saying he want to be in NTU is because they thought we all get high score because we have the “extra points” but it’s not true , we only compete with the ones that have the same identity as in indigenous compete with indigenous but they don’t know.
“The ancestor talk” is about when back in the days , the Japanese and the Hans killed a lot of our ancestors but were actually over it and they just think we’re ignorant.
For those who don’t know, Dcard is an app for usually college student to post things like reddit.
And the 4th picture I was saying : Y’all talk about* sorry for the mistake,was pretty pissed translating this.
An Van is a word to discriminate indigenous people,the source I have is it’s from Japanese and it means “uncivilized animal with human looks “ and it’s basically an word like the N word but not slave it’s animal,and they use it on us.
Please ask me if you have questions and if I translate it in the wrong way , do tell me because I’m not perfect at English and thank you sooo much for reading this ❤️

【Controlholic控制狂的異想世界:D】

最近在聽某個跟財經相關的Podcast，真是佩服這種有很多橫向知識的人，而且可用淺白的說明讓人一聽就懂。2021年100個可能不會達成但仍然要訂的目標之一，就來想出關於動作控制的100種說明方式吧（有些需要用點邏輯來理解，難怪Mark的頭頂沒有頭髮:D）

之一：動作控制其實是在練腦:D 跟力量大小沒有太大的關係，例如：你現在可以試試看，同時左手畫圈右手畫正方形，大約意會起來，就是這個意思。(周伯通、郭靖跟小龍女會的那一套）

之二：承上，又可以理解為神經肌肉「連結」的訓練。

之三：以「動作」作為治療主軸的祖師娘娘級大師Shirley Sahrmann, 同時也是「Movement system impairment syndromes」一書的作者，曾在一次的訪談中說：...wearing muscles, doesn’t mean you‘re using it with optimal muscle performance.

之四：承上，所謂optimal，中文或翻譯為理想，簡而言之就是較有效率、較不耗能的肌肉組合方式。

之五：技能在用掉之前是最強的狀態，有些CD時間久，有的短，技能要用對地方才不會浪費。技能用對地方，就像人體不同的動作任務，要用相對速配的肌肉組合。殺雞焉用牛刀的概念，低負荷活動，不需要高負荷活動的肌肉組合出來主導。

之六：承上，舉例來說，有些肌肉容易疲勞，例如那些fast twich muscle fiber佔比例較多的肌肉，它們最擅長的不是執行像姿勢維持等低負荷活動。

之七：承上：不擅長不代表不能做，只是會是一種mismatch的狀態，身體的使用相對耗能。

之八：動作控制訓練，像在幫電腦系統中的軟體升級。

之九：針對身體結構的訓練，包含心肺耐力、柔軟度、肌力肌耐力...像在幫硬體升級。

之十：Co-contraction共同收縮，是一種所有肌肉都在用力的狀態；discrimination區辨能力，是一種大腦可以根據要執行任務不同，徵召出不同比例的協同肌的能力。增加阻力，人體就會從discrimination進入co-contraction的收縮模式，因此無法藉由co-contraction來訓練調節肌肉組合的能力。

之十一：小朋友才做選擇，軟體硬體的升級都要:D

#先11個就好100個慢慢來
#歡迎創意留言接龍
#tinainmotion #KineticControl #movementhealth

(CC English/中文翻譯) "Fading Out" (Audio) by
lilKrake / 小章章 & Toxik From Banana Kingdom 香蕉王國

Alien Brain Chapter.6
-外星腦 第六章-

Follow @lilkrake & @toxicityishigh on EVERYTHING

Lyrics & Composed by lilKrake & Toxik
Beat produced by NextLane x JohnLuther
Recorded by lilKrake(小章章)
Mixed by lilKrake(小章章) @lilkrake
Cover designed by Ilya Galayda @the_magnetic_cat
Title designed by lilKrake(小章章)

【lilKrake】
Instagram: @lilkrake
(https://instagram.com/lilkrake)
Facebook: LilKrake小章章 @LILkrakeNW
(https://www.facebook.com/LILkrakeNW)
Youtube: lilKrake小章章
(https://www.youtube.com/channel/UCdQb0dUDEk9T3BlFAtNTQrA?view_as=subscriber)
Sound Cloud: lilKrake
(https://soundcloud.com/lilkrake)
Street Voice: lilKrake小章章
(https://streetvoice.com/Krake/)
Spotify: Lil Krake
(https://open.spotify.com/artist/6JTiYWG0gfKOqz0iLi3bNk)
iTunes: Lil Krake
(https://music.apple.com/us/artist/lilkrake/1472937866)
KKBox: Lil Krake
(https://www.kkbox.com/tw/tc/artist/T1lysjzriXuGd0F011-6Z08L-index-1.html)
E-mail:
lilkrake227@gmail.com

【Toxik】
Instagram: @toxicityishigh
(https://instagram.com/toxicityishigh)
Sound Cloud: Toxik
(https://m.soundcloud.com/user-419671241)
Facebook: Toxik
(https://www.facebook.com/toxicitytxt/)

【Banana Kingdom】
Instagram: @banana_kingdom105
(https://www.instagram.com/banana_kingdom105/)
Youtube: BANANA KINGDOM香蕉王國
(https://www.youtube.com/channel/UCyBtXxURzPTA6F-Esi8BUTA)
Facebook: Banana Kingdom 香蕉王國 @bananakingdom105
(https://www.facebook.com/bananakingdom105/)

回頭看，一路挺過了多少風雨！
表決就算輸了，也要好好的。
這條路，並肩走下去，直到看見，最大最美的彩虹🌈

當尖銳眼光 當刺耳聲響
你用彩虹的浪漫 溫柔包裝

這首翻譯，獻給溫柔勇敢的同志。

#婚姻平權 #釋憲748 #一起好好走下去 #itgetsbetter #同志 #彩虹 #阿密特 #張惠妹

伴奏來源：Nickufo Lin（https://youtu.be/0fXXI0ayzk4）

❤️💛💚💙💜

中英歌詞：

你整齊潔白的床　是我傾訴的地方
Your clean and all white bed / where we talk when I’m upset

抱你哭著到天亮　
Crying all the night away

你等待幸福的廚房 那次情人節晚餐　
Your kitchen of happiness/ The dinner on the Valentine’s

卻是我陪著你嘗
By your side was me instead

衣櫃不算太寬　藏著你的天堂　依然歡迎我分享
Not quite a large closet / Your heaven’s trapped in it / still I’m welcome to see it

我們的愛很像　都因男人而受傷　卻又繼續碰撞
Our love is the same / we’re all hurt by men / we don’t stop having faith   

當天空昏暗　當氣溫失常　
When the sky’s dark and grey / the temp is frigid

你用巨大的堅強　總能抵擋
Yet you’re able to withstand /  incredible strength

當尖銳眼光　當刺耳聲響　你用彩虹的浪漫　溫柔包裝
discrimination / insults n’ offenses  / You still choose to tolerate / rainbow after the rain

看我丟掉他的西裝　比我先紅了眼眶
Throwing my man’s suit away / for me your eyes going red

笑我傻　陪我慌
You say I’m insane / you’re alway there

當我找到幸福去向 幫我快樂的化妝
Applying makeup on my face / when I found my happiness

陪我傻　笑我慌
You say I’m insane / you’re alway there