#島讀回顧 #人工智慧

今年島讀網站被搜尋最多次的關鍵字是「人工智慧」（AI）。

人工智慧近年的發展迅速，許多領域都能看到其應用。

島讀今年一篇《機器學習 — 知識工作者的未來》，以「文字產生器」GPT-3 討論人工智慧，獲得不少會員迴響。

---

寫論文很痛苦。有些人痛苦到整份照抄別人的論文。現在出現一線曙光，美國 OpenAI 公布機器學習模型 GPT-3（Generative Pretrained Transformer），堪稱是「萬用」的文字產生器。最近 GPT-3 開始封測，推出 API，更在矽谷引發轟動。目前已知有人用 GPT-3 寫程式、請牛頓解釋地心引力、回答醫學問題、摘要文章，甚至寫詩。

先說 OpenAI。OpenAI 是一個非營利組織，贊助者包括 PayPal 創辦人 Peter Thiel、Elon Musk 與 Salesforce 創辦人 Marc Benioff 等。其使命是確保通用人工智慧（Artificial General Intelligence）將用於服務人類，而非迫害人類。

GPT-3 則是其開發的語言生成模型，第三代的「文字產生器」（島讀去年討論過第二代）。使用者輸入一段文字，它就會生出下一個字，再繼續生出下一個字，不斷重複下去，直到人類喊停或是達到約 1,000 個英文字為止。例如我輸入：「天下分久必合，合久必 ___」，GPT-3 大概會預測下一個字是「分」。

如果我沒喊停，也沒有設定明確的任務，GPT-3 就會繼續生成下一個字，寫出一段故事或一篇文章。

或許你會問：「世界上文字千萬種，GPT-3 怎麼知道要寫論文或小說呢？」

這就是 GPT-3 驚人的地方：它是通用模型。只要使用者稍許提示，它就會自動調整輸出內容類型，不需要使用者另外精調（fine tune）。就像一個真的有用的 Siri，不管你丟什麼任務，只要是文字，它都接得下來。

例如有人簡短的提示（prompt） GPT-3「用 19 世紀作家 Jerome k. Jerome 的語氣寫一篇關於 Twitter 的文章」，GPT-3 就生出相當完整的作品。

只要是需要文字的任務，不論是回覆 email、寫新聞稿、翻譯外文、「翻譯」法律術語、編吉他和弦，甚至是寫程式，GPT-3 都能做得還不錯。一篇網路文章《GPT-3 可能是比特幣以來最重要的創新》更是格外轟動，因為讀者讀完才發現整篇都是 GPT-3 寫的。

相較於 GPT-2，GPT-3 效能是「暴力式」的飛越性成長。換言之，GPT-3 的基本架構與 GPT-2 幾乎一樣，只是參數由 15 億增加到 1,750 億（117 倍），但效果隨之大幅成長。這讓矽谷圈精神為之一振，因為代表機器學習仍可以透過擴大規模來成長。

雖說使用成本也等比增加 — 訓練一次 GPT-3 需要 460 萬美金 — 但能用錢解決的都是小問題。目前已知人類大腦的突觸約 1 百萬億個（100 trillion），是 GPT-3 的 1 萬倍。許多人不免幻想如果再來兩次升級 100 倍（共一萬倍），是不是就能逼近人類大腦了？

有成本就需要收入。OpenAI 現在提供 API，就是為將來商業化營運作準備。其他雲服務商如微軟、AWS、Google 也都開始提供機器學習「模型即服務」（Model as a Service, MaaS）。這大致可分三種應用：

● 垂直情境，簡單但量大的工作：如辨識異常、偵測錯字、回覆 email、回答客服基本問題等。這有點類似聘僱國中生實習，但聘雇的是無限個實習生。
● 垂直情境內，困難但狹隘的工作：以 AlphaGo 為代表。它打敗所有人，但只會下圍棋。
● 不限情境，多樣性比正確性重要的工作：以 GPT-3 為代表，如虛擬秘書、虛擬陪伴（《雲端情人》）、發想劇本、草擬程式碼、撰寫科技分析電子報（咦）等。

MaaS 固定成本高，因此會傾向集中於大型平台，特別是擁有資料的企業，如 Google。邊際成本現在也很高，但應該會逐漸降低，因此有利於擁有最多客戶（用量）的企業，如 AWS、微軟。

目前 GPT-3 率先大步起跑，將引發其他企業加大投資。其他企業需要差異化，因此會開發封閉的模型；GPT-3 則會是開放或開源的形式。同時，週邊的企業也需要開發工具，形成生態圈。例如目前運算的延遲嚴重，因此雲端的速度必須跟上。有更多相容的 app 提供更精準的提示，才能發揮 GPT-3 的價值。
⠀
想知道文章對 GPT-3 的原理、隱憂的討論，歡迎試用島讀的 1 元訂閱方案：https://bit.ly/3myOL0D

---

更多人工智慧內容：
[Podcast] 從邊緣挑戰雲上的人工智慧｜特別來賓耐能智慧創辦人劉峻誠（公開）
https://apple.co/2WrmCgC
臉部辨識 — 30 億張照片的資料庫｜執法機關熱烈採用｜三條路線（會員限定）
https://bit.ly/3p791an
蛋白質的 50 年難題｜AlphaFold 遙遙領先｜諾貝爾獎在望（會員限定）
https://bit.ly/2LSzIBt

[抒情文~很長哦~] 自從幾年前，開始在FB寫一些「奇怪的想法」，這件事就變成了習慣，很多人問我「為什麼要寫這些?」，還有學校的老師跟我說他想留言但不敢留言給我，怕顛覆了他在學生心中建立的形象，所以就用這篇文章來解釋一下寫這些「廢文」的用意。

在Stanford唸書的時候，王文華是比我早幾年的學長，出國前看了他寫的「蛋白質女孩」，讓我覺得驚為天人。後來到了Oracle工作，我發現工作和在學校唸書的差異是我有了無比多的自由時間，我們從小到大從學校回家總還有做不完的功課，但上班的本質是走出公司大門後不一定要一直想著公司的事。小時候我們複教育的工作好辛苦這件事，我產生了根本的質疑。面對每天慢慢的長夜，而且我住在晚上沒什麼夜生活的美國，我開始想著我還可以做什麼。有一段時間，我幻想成為工程師作家，並寫了一本7萬字的小說，試著四處去投稿但處處碰壁。感謝 Mr. 6 還為我投稿奔波。

後來我學到一件事情，適合我的創作方式是寫「程式」而不是寫「文字」。美國業餘的時候，我做了一些網站。我人生第一個業餘網站是一個可以寄信給未來自己的工具，你可以寄Email給10年後的自己，它的原理很簡單，它只是不像一般Email立即寄出，而是被暫存在我的電腦裡等個10年再寄出，當然最後也沒真的寄出，因為我的電腦早就壞了。

後來我又接續做了幾個網站，有小小的搜尋引擎，有會講話的機器人… 2007年回到台灣做的「地圖日記」，意外開啟了後來的創業。竟然就這樣開始和 郭書齊 （Jerry Kuo） 、 廖家欣 （Kelly Liao） 、吳佩雯 （Cindy Wu） 一起組成創業團隊，在過去13做年超過20個創業題目。(廣告: 最新的「運動市集」日前正式上線請多支持)

幾年前，我寫的程式開始減量，因為我們團隊裡大家寫的都比我好，自己覺得硬撐在那邊也不是辦法。另一個是因為我的角色不在PM也不在Engineering，我亂寫亂變程式不經過公司正常的開發流程，壞處逐漸大於好處。所以大概是3年前，我完全停止寫程式這件事，專業的事還是交給專業的人來比較好。於是我的大腦有一部份的空間沒有應用的地方，生活就有了一件事似乎沒有被滿足。「非常勸敗」的楊怡婷 （Audrey Yang） 前幾天問我，「寫程式對我是不是也是一種創作?」還說我寫的文章像是「幹話產生器」。這讓我想起了這件事，是呀，寫程式和寫FB文章和寫小說，我內心相信用的是大腦同一個區塊。

我的FB po文歷程，是幾年前從一篇看起來不起眼，也真的不起眼的文章開始的。從那天開始，我每天平均大概會有一篇不怎麼樣的PO文，這些PO文可能來自於日常的觀察、生命的啟發、無中生有的思緒、有中生無的昇華…而來。它不用花很多的時間，卻是一個讓我可以脫離日常生活的小小確幸。在日常的上班工作社交生活，我可以是一個完全正常的人，但回到這篇每天的小小文章，我可以允許自己有奇怪或沒有意義的想法。

也很感謝這幾年有很多人不計時間的浪費，在這些文章上給予回應，這些回應讓我生活有了更多樂趣，也偶爾有些啟發，至少確定這些文章還有人在看。對於每個曾用心或沒用心看我PO文的人，我想向大家表達真摯的感謝。因為如果沒有這些回饋，我應該寫個幾篇就懶了，而不可能就這樣寫了2千篇。也有人說我應該把它集結出書，這應該也不用，在這個時代網路的流量應該遠勝實體書。

另一個常被別人問到的問題，是「這些想法由何而來」。我讀過一篇在講「創意」的文章，某個創意大師說「創意就是把不相干的兩個東西用巧妙的方式聯結在一起」，這個想法給我很深的啟發，所以我的FB po文其實有一種框架，就是很故意的把不相干的東西用某種方法聯結在一起。有時候聯結的方式有點巧妙，看起來就像個創意，也蠻常聯結的方式很拙劣，就變成一篇廢文。

什麼叫兩個不相干的東西呢? 基本上只要兩個很有反差的東西，我覺得都蠻適合的，例如如果一篇文章同時出現「手機」和「古人」，或是同時出現「恐龍」和「火星」… 這就是兩個不相干的東西。下一個問題是怎麼把這兩個東西聯結在一起呢? 最簡單的聯結方式就是讓它們出現在同樣的時空，例如「古人拿著手機」或是「恐龍住在火星」。當想到差不多這樣，就可以組成一篇PO文了。

例如:
從前有個古人拿著手機打電話給他的朋友…
從前有隻住在火星的恐龍…

在…之後寫了什麼，其實真的也不是很重要，因為把前面這兩個不相干的元素放在一起，這篇PO文就已經完成了70%，而且有70%的人應該看到這邊就按讚繼續滑了，所以…之後的內容，真的也沒那麼重要，以上就是我寫這些文章的思考模式。

除此之外的第二個pattern，就是我努力讓文章的結尾有一些反差，不過這個有時候是可遇不可求，這應該就是創意大師說的「巧妙的聯結」的部份。理想上應該有非常驚人的一句話做轉折，但真實世界不是每天想得出來，所以實務上結尾通常偏弱。

回到工作和生活，我還是一個正常的人，顯少和人討論這些PO文怪異的內容，也顯少從這些PO文再去延伸出任何的事情。開會的時候，我還是一個嚴肅都笑不出來的人，工作的時候，我還是一個正常的人。不過這些小小的FB PO文，給了我一些小小確幸。

寫了這麼長的文章，也該做些結論了。如果你有一些奇怪的想法，我會鼓勵你把他寫出來，因為FB的主流文章是吃吃喝喝玩樂的照片，所以我們這些奇怪的想法已經是弱勢中的弱勢，所以需要你和我和他一起來發揚光大。大家一圯來讓我們弱勢的想法變成主流吧! (歡迎轉載分享)