人工智能心細如塵
（禽獸扮人當你低能）
AlphaGo（被安排）決戰棋手李世乭，令我想起今年1月1日至3日那三天，發生在我身上的事。
那三天，其實冇乜大事發生——我只是把自己禁閉在屋企，寫paper。Yes，當大部分人都在盡情享受那幾天假期的歡愉時，我也在盡情享受禁閉家中寫paper的痛苦。Why要...
人工智能心細如塵
（禽獸扮人當你低能）
AlphaGo（被安排）決戰棋手李世乭，令我想起今年1月1日至3日那三天，發生在我身上的事。
那三天，其實冇乜大事發生——我只是把自己禁閉在屋企，寫paper。Yes，當大部分人都在盡情享受那幾天假期的歡愉時，我也在盡情享受禁閉家中寫paper的痛苦。Why要令自己這麼痛苦？——Deadline：1月4日，星期一。
我自訂的題目是：「人工智能可以擁有意識嗎？」——題目，其實晨早諗好，但諗還諗寫還寫……點寫？我完全唔知點寫。
參考書和論文，倒是睇咗一堆（但我唔認為自己好睇得明），最大鑊是我個心好亂又好「吉」，根本唔知點落筆；轉題目？我諗都唔敢諗。惟有繼續死諗爛諗。
在成篇文只完美打咗自己個名和教授名字的絕望情況下（那一刻已經是1月1日傍晚），我做了一個極度不理性的決定：翻炒《未來戰士2》。或許當人在絕對絕望的情況下才能看見希望，我竟然在這第一百二十一次的翻炒過程中，睇到過去一百二十次都冇留意的細微位。這個細微位，統統發生在文戲，透過阿諾的T-800和主角John Connor的幾場戲呈現。
1.John Connor在T-800幫助下，從精神病院以身犯險救出媽咪後，媽咪狠狠地鬧咗John幾嘢，正值青春期的John忍唔住流下青春的淚水。（擁有學習機能的人工智能機械人）T-800望見，八卦地（這只是我添加的形容，人工智能會唔會八卦？謎）問：「你對眼有乜事？」不羈的John，冇答。
2.中段。T-800再問John：「Why你會喊？」John答，連佢本人都唔知……但，you know，當我們被hurt，就會喊。T-800追問：「因為痛？」John說，唔關事，總之就是有種被傷害的感覺囉笨。T-800聽完，話自己聽唔明。
3.Finally，打完T-1000，T-800不得不毀滅自己，John萬般不捨，T-800咁講：I know now why you cry. But it's something I can never do——就在那一個絕望的傍晚，我睇通了這對白可能是對我篇paper的啟示。多謝占士金馬倫！
上述三場戲隱含了一點：（透過阿諾）一嚿木（演技所演繹）的T-800，回到現代塵世後，經歷一個不斷學習過程，終於覺醒，明白了他本來不明白的事——他不明白，是因為製造者當初根本沒有內置有關「喊」和「傷痛」等行為和感受給他。問題來了，T-800話自己終於明白喊的原因啫，但hey，如何才能確定「它」真的明白呢？反正佢又喊唔到出來證明俾你睇。
原來我們對他者感覺的認知，一直都是透過他者的行為——例如，當一個人講完gag，而全場保持緘默，當事人應該可以從「保持緘默」這個集體行為而明白到：佢個gag根本完全唔好笑（到一個不能被稱為gag的慘烈程度）。而當佢（在若干秒後）重申自己其實在苦心孤詣地講爛gag後，全場當堂拍晒手掌——當事人或會因為「拍晒手掌」而自我感覺良好番，但你亦絕對可以將「拍晒手掌」解讀成一次集．體．交．戲的行為——Yes，即使行為是觀察他者感覺的最佳途徑，但行為，是可以被特登做出來的。行為，原來信唔過。
最後講番AlphaGo。即使AlphaGo真的打敗了李世乭，但情況就像1997年打敗國際象棋棋王卡斯帕羅夫的Deep Blue，兩部超級電腦真的明白捉棋是甚麼一回事？又是否能夠了解Win的感覺？甚至勁到懂得讓round這種禮儀？我們根本不能知道。
而當望見一班生物贊成又舉手反對又舉手，再睇住某生物又能憑感覺判斷當中較多生物（透過）舉手（這行為來表示）贊成時，成件事，相當crazy——佢哋真的明白舉手的意義？明白贊成和反對之間的分別？至於那個憑感覺作判斷的生物，佢啲感覺真係咁準？頂。由於crazy到超越我這個人類的認知，我不能貿貿然宣稱佢哋係人。
分別是，一部人工智能頂籠令你輸幾鋪棋，一班舉手生物卻會令你輸超多錢。頂頂頂。
（原文刊於am730）
#月巴事
alphago論文 在 台灣物聯網實驗室 IOT Labs Facebook 的精選貼文
Google AI 設計晶片速度大勝人類！不到 6 小時完成平面圖
作者 林 妤柔 | 發布日期 2021 年 06 月 11 日 12:26 |
Google 聲稱，新 AI 設計晶片的速度比人類還快，能在不到 6 小時內設計出人類至少要花數個月才能完成的晶片設計，論文刊登在《自然》期刊。
AI 已用於開發 Google 最新一代 TPU 加速器，這項突破將對半導體產業有著重大影響。換言之，Google 正在使用 AI 設計晶片，這些晶片能用來創造更複雜的人工智慧系統。
Google 的新 AI 能繪製晶片的「平面圖」，這涉及繪製 CPU、GPU 和內存等組件在晶片的相對位置，這些位置將影響晶片的功耗和處理速度，且在功耗、性能、晶片面積等關鍵參數指標，都優於人類設計的平面圖。
一般來說，人類晶片設計師通常以整齊的線條排列組件，並花數個月的時間改進這些平面圖設計，但 Google 的 AI 則使用更分散的方法設計晶片，並藉由深度強化學習系統 6 小時內完成。
2016 年，南韓棋王李世乭代表人類出戰 AlphaGo，以一勝四敗成績輸給 AlphaGo，震驚全世界；這狀況 AI 的演算法訓練為移動棋子，增加棋局獲勝的機會。研發晶片部分，AI 訓練找出組件的最佳組合，盡可能提高運算效率，AI 系統會植入 10,000 張晶片平面圖，以便學習哪些有效、哪些無效。
《自然》期刊認為，Google 的研究可說是重要突破，有助於加快供應鏈速度，但這項技術必須廣泛分享共用，以確保 Google 生態系統全球化，此外產業也要確保節省時間的技術不會趕走擁有核心技術的人才。
資料來源：https://technews.tw/2021/06/11/google-uses-a-i-to-design-chips-faster-than-humans/?fbclid=IwAR3rE_KhmcAaLuL-LGA4XfV9osYScugR7uxMRHvC8LXN4lyRUF0_Rs0cXrQ
alphago論文 在 Daodu Tech 科技島讀 Facebook 的最佳貼文
#島讀回顧 #人工智慧
今年島讀網站被搜尋最多次的關鍵字是「人工智慧」（AI）。
人工智慧近年的發展迅速，許多領域都能看到其應用。
島讀今年一篇《機器學習 — 知識工作者的未來》，以「文字產生器」GPT-3 討論人工智慧，獲得不少會員迴響。
---
寫論文很痛苦。有些人痛苦到整份照抄別人的論文。現在出現一線曙光，美國 OpenAI 公布機器學習模型 GPT-3（Generative Pretrained Transformer），堪稱是「萬用」的文字產生器。最近 GPT-3 開始封測，推出 API，更在矽谷引發轟動。目前已知有人用 GPT-3 寫程式、請牛頓解釋地心引力、回答醫學問題、摘要文章，甚至寫詩。
先說 OpenAI。OpenAI 是一個非營利組織，贊助者包括 PayPal 創辦人 Peter Thiel、Elon Musk 與 Salesforce 創辦人 Marc Benioff 等。其使命是確保通用人工智慧（Artificial General Intelligence）將用於服務人類，而非迫害人類。
GPT-3 則是其開發的語言生成模型，第三代的「文字產生器」（島讀去年討論過第二代）。使用者輸入一段文字，它就會生出下一個字，再繼續生出下一個字，不斷重複下去，直到人類喊停或是達到約 1,000 個英文字為止。例如我輸入：「天下分久必合，合久必 ___」，GPT-3 大概會預測下一個字是「分」。
如果我沒喊停，也沒有設定明確的任務，GPT-3 就會繼續生成下一個字，寫出一段故事或一篇文章。
或許你會問：「世界上文字千萬種，GPT-3 怎麼知道要寫論文或小說呢？」
這就是 GPT-3 驚人的地方：它是通用模型。只要使用者稍許提示，它就會自動調整輸出內容類型，不需要使用者另外精調（fine tune）。就像一個真的有用的 Siri，不管你丟什麼任務，只要是文字，它都接得下來。
例如有人簡短的提示（prompt） GPT-3「用 19 世紀作家 Jerome k. Jerome 的語氣寫一篇關於 Twitter 的文章」，GPT-3 就生出相當完整的作品。
只要是需要文字的任務，不論是回覆 email、寫新聞稿、翻譯外文、「翻譯」法律術語、編吉他和弦，甚至是寫程式，GPT-3 都能做得還不錯。一篇網路文章《GPT-3 可能是比特幣以來最重要的創新》更是格外轟動，因為讀者讀完才發現整篇都是 GPT-3 寫的。
相較於 GPT-2，GPT-3 效能是「暴力式」的飛越性成長。換言之，GPT-3 的基本架構與 GPT-2 幾乎一樣，只是參數由 15 億增加到 1,750 億（117 倍），但效果隨之大幅成長。這讓矽谷圈精神為之一振，因為代表機器學習仍可以透過擴大規模來成長。
雖說使用成本也等比增加 — 訓練一次 GPT-3 需要 460 萬美金 — 但能用錢解決的都是小問題。目前已知人類大腦的突觸約 1 百萬億個（100 trillion），是 GPT-3 的 1 萬倍。許多人不免幻想如果再來兩次升級 100 倍（共一萬倍），是不是就能逼近人類大腦了？
有成本就需要收入。OpenAI 現在提供 API，就是為將來商業化營運作準備。其他雲服務商如微軟、AWS、Google 也都開始提供機器學習「模型即服務」（Model as a Service, MaaS）。這大致可分三種應用：
● 垂直情境，簡單但量大的工作：如辨識異常、偵測錯字、回覆 email、回答客服基本問題等。這有點類似聘僱國中生實習，但聘雇的是無限個實習生。
● 垂直情境內，困難但狹隘的工作：以 AlphaGo 為代表。它打敗所有人，但只會下圍棋。
● 不限情境，多樣性比正確性重要的工作：以 GPT-3 為代表，如虛擬秘書、虛擬陪伴（《雲端情人》）、發想劇本、草擬程式碼、撰寫科技分析電子報（咦）等。
MaaS 固定成本高，因此會傾向集中於大型平台，特別是擁有資料的企業，如 Google。邊際成本現在也很高，但應該會逐漸降低，因此有利於擁有最多客戶（用量）的企業，如 AWS、微軟。
目前 GPT-3 率先大步起跑，將引發其他企業加大投資。其他企業需要差異化，因此會開發封閉的模型；GPT-3 則會是開放或開源的形式。同時，週邊的企業也需要開發工具，形成生態圈。例如目前運算的延遲嚴重，因此雲端的速度必須跟上。有更多相容的 app 提供更精準的提示，才能發揮 GPT-3 的價值。
⠀
想知道文章對 GPT-3 的原理、隱憂的討論，歡迎試用島讀的 1 元訂閱方案：https://bit.ly/3myOL0D
---
更多人工智慧內容：
[Podcast] 從邊緣挑戰雲上的人工智慧｜特別來賓耐能智慧創辦人劉峻誠（公開）
https://apple.co/2WrmCgC
臉部辨識 — 30 億張照片的資料庫｜執法機關熱烈採用｜三條路線（會員限定）
https://bit.ly/3p791an
蛋白質的 50 年難題｜AlphaFold 遙遙領先｜諾貝爾獎在望（會員限定）
https://bit.ly/2LSzIBt
alphago論文 在 Terry&Friends程天縱與朋友們 Facebook 的最佳貼文
兩年前的文章，謝謝吳俊毅找出來分享。
我的大兒子是UCLA CSE (加州大學洛杉磯分校計算機科學與工程系）畢業的博士，他專注在移動應用軟體的開發。畢業後，他並沒有走入學術領域當教授，反而選擇進入企業，走軟體開發的技術路線。
他告訴我，在學校的教授每年都忙著寫論文，發表在專業雜誌或論壇上。如果沒有辦法找到大企業合作，通常教授的論文就會偏向理論，在發表過後，就永遠歸檔留存，無法商品化。
只有跟大企業合作，才能夠得到許多真實的案例和大數據，才能夠驗證教授論文中的理論和模型。但是和大企業合作，談何容易？由於牽涉到商業機密，如果不是很知名的教授，通常都找不到願意合作的大企業。
與其留在學校當教授，得不到企業的合作，每年寫一些理論性的論文發表，我大兒子選擇進入企業，接觸真實的商業領域，開發可以應用和使用的產品。
我的三兒子今年暑假從 UCSD CSE（加州大學聖地牙哥分校的計算機科學與工程系）畢業，八月下旬他就進入 USC（南加大）攻讀碩博士，他專注在 AI 人工智慧領域的類神經網路模型與算法。
他跟我分享人工智慧過去70年的發展，曾經三起兩落。最早在上個世紀50年代，就出現人工智慧這個名詞。經過一陣子熱潮以後，由於技術出現瓶頸，無法突破，因此逐漸衰退。
80年代透過「專家系統」的程序和「知識處理」的應用，「機器學習」（Machine Learning）成了熱門話題，人工智慧迎來了第二次流行。經過一陣子熱潮以後，由於做不到業界預期的應用，又逐漸冷卻了。
第三波熱潮開始於2006年，Hinton教授找到了解方，提出限制玻爾茲曼機（RBM）模型成功訓練多層神經網路，重新命名為「深度學習」（Deep Learning)，人工智慧的應用出現了一線曙光。
真正的爆發點是在2012年10月，Hinton教授的兩個學生參加了全世界最大的圖像識別資料庫 ImegeNet 的比賽，以深度學習的算法加上GPU圖形處理器的運算速度，一舉拿下第一名。
其實從 2007 年 ImageNet 比賽創辦以來，每年的比賽結果、每家都差不多，錯誤率大致落在 30%、29%、28%... 瓶頸一直無法突破。結果這兩位學生以 16.42% 的錯誤率遠勝第二名的 26.22%。
從此爆發深度學習熱潮。先是 Google 在 2013 年收購了 Hinton 和他的兩位學生的公司，接下來一堆企業爭相投入深度學習的研究領域。後來，2015 年的冠軍 Microsoft ，以 3.5% 的錯誤率贏得冠軍，超越⼈類的 5%錯誤率，發展快速，一日千里。
2016年3月，AlphaGo擊敗李世乭，成為第一個不讓子而擊敗職業圍棋棋士的電腦圍棋程式。2017年5月，AlphaGo在中國烏鎮圍棋峰會的三局比賽中擊敗當時世界排名第一的中國棋手柯潔。
我的三兒子說，人工智慧能夠發展到今天的這個結果，主要的就是靠大量的「伺服器運算」和大量的「數據學習」。
我以上所說的大兒子和三兒子的例子，主要的目的就是指出大數據的重要性。而擁有各種大數據的機構，不外乎政府和大企業。
在未來互聯網和人工智慧爆發的時代𥚃，大企業擁有大量的伺服器和大數據，跟新創企業比起來，大企業擁有絕對的競爭優勢。
可是回顧歷史，在高科技領域的競爭中，反而是許多新創企業打敗了跨國大企業。為什麼呢？除了創業家和專業經理人的不同心態以外，我認為最主要的原因就是大企業不會創新。
大企業空擁有大量的數據和各種競爭優勢，但是大部分的專業經理人卻不懂得怎麼樣利用這些數據，產生策略和行動。
在上一篇文章當中，我提到過，80年代中期，我在惠普台灣分公司，負責電子測試儀器和電腦系統的銷售部門，主要市場就是台灣的電子產業。
在成立我的這個部門之前，測試儀器和電腦產品是隸屬於兩個不同的產品線業務團隊。雖然台灣的電子企業是共同的目標客戶，但是這兩個不同產品線的業務團隊，彼此很少交流合作。
我的這個部門在當時也是一個創舉，是第一次把兩個產品線放在一個部門裡。部門剛成立時，我首先到這兩個不同產品線的客戶資料庫裡面去做了一些統計分析。
當我將所有的測試儀器客戶和電腦產品的客戶列表出來以後，發現只有30%的客戶是兩種產品都有採購的。也就是說，有70%的現有客戶，我們可以推銷另外一種產品。
在軍事上來講，現有客戶就是我們已經佔據的山頭，如果競爭對手要取代我們，就是要攻山頭。攻山頭和守山頭的兵力，至少10比1才能打成平手。
例如我們的測試儀器現有客戶，或許使用競爭對手的電腦系統，但是我們和競爭對手都在一個山頭上了，比起重新攻打一個新山頭，要容易得多。
因此，我就把大部分資源集中在這70%的客戶上面，訂出目標，列出行動計劃，努力把這些現有客戶攻克。
一年以後，我們把同時向惠普購買測試儀器和電腦的客戶比率，從30%提高到80%。再加上我們還有新開發的客戶，當年的業績達成率遠遠超過我們年初所訂的目標。
另外，我在客戶資料庫裡又做了一些統計分析。我把過去三年買過惠普產品（包含配件、耗材、軟硬體維修合同）的客戶，定義為「現有客戶」（Installed Base Customers）。然後把過去一年曾經買過惠普產品的客戶，定義為「活躍客戶」（Active Customers）。
結果我發現，「活躍客戶」只佔了「現有客戶」的40%左右。所以我把這60%，在過去一年沒有跟惠普有過任何交易的客戶，叫做「冬眠客戶」（Dormant Customers）。
很簡單的數學公式：活躍客戶數+冬眠客戶數=現有客戶數。
這些冬眠客戶到底發生了什麼事？過去三年曾經是我們的現有客戶，可是卻在過去12個月當中，沒有跟公司發生任何採購交易紀錄？這些就是所謂 Low Hanging Fruits，應該是垂手可得的產品銷售對象。
80年代中期，還沒有互聯網和手機等等的通訊工具。我唯一可以使用的就是電子郵件和電話。
於是我組識了一個小小的電話行銷（Telemarketing）團隊，主動打電話給這些冬眠客戶，一方面更新我們的客戶資料庫，一方面介紹、推銷我們的新產品。這個計劃就叫做「叫醒」（Wake Up Call）。
除了極少數已經停止營業的小客戶之外，我們發現，有一些現有客戶已經轉投競爭者的陣營，也就是說，我們攻下的山頭並沒有好好守住，反而讓競爭對手攻佔了。
其餘大部分的現有客戶，都是由於我們沒有主動去好好照顧，也不了解到底我們有些什麼新產品，也不知道應該採購一些零配件或消耗品，因此在過去一兩年都沒有提出採購的需求。
經過我們一個一個的「叫醒」以後，我們得到了很大的收穫，重新連結客戶關係、更新了客戶資料庫、提高了客戶滿意度、取得了許多新的訂單。小投入得到大成果，關鍵就在於我們懂得利用數據做分析，然後採取行動。
回顧過去的經驗和歷史，我也重新學習，並且和各位朋友分享我的總結。
1）在中大型企業上班的朋友們，公司裡一定有許許多多的資料庫和大數據，各位可以發揮各種創新和創意，加以統計分析，或是找到新的「市場區隔」，或是找到新的「行銷策略」，都會得到意想不到的收穫。
2）對於新創企業，或許可以嘗試和政府、大企業合作，取得他們的大數據，加上創業者的創新生意模式和產品技術，增加創業成功的機會。
3）前一陣子，在網路上有許多爭論，對於台灣是否適合在人工智慧領域創業和投資，有不同的看法。我認為，人工智慧的領域非常廣泛，台灣一定有機會的。
最重要的關鍵是，擁有大數據的機構未必能夠創新，而想要創新創業的年輕人，又未必能夠接觸到這些大數據。
因此，擁有大數據的政府機構和大企業，應該把資源開放出來，鼓勵年輕人利用這些大數據來創新創業。
政府除了開放所擁有的大數據資源給新創者之外，還可以訂定一些優惠政策，鼓勵大企業將其擁有的大數據資源，開放出來給新創團隊。而大企業也可以透過合作、投資，達到輔導新創，建立雙贏的結果。