千呼萬喚! 半導體與EDA年度盛事 - CadenceLIVE Taiwan 徵文起跑囉! ✍️

無論你從事半導體或IC設計業，無論你著手開發是針對5G、AI、自駕車等未來應用，或者你在3D-IC、先進製程、雲端設計驗證、混合訊號SoC驗證等領域擁有專業豐富知識 ，CadenceLIVE 正是您絕佳展示舞台，我們誠摯邀您將您的經驗分享，為充滿複雜與挑戰的電子產業設計開拓新局。🔭

CadenceLIVE Taiwan 2021 日期: 8/19(四)
👉摘要徵文: 即日起
👉徵文截止: 4月23日 (五) => 5月3日 (一)

👉更多關於活動時程、論文簡報及摘要提交格式等訊息，歡迎前往 CadenceLIVE Taiwan 2021徵文網站👉👉https://www.cvent.com/c/abstracts/a1493498-0604-4f45-81c1-a439b8dd8027

CadenceLIVE Taiwan 官網: https://events.cadence.com/CadenceLIVETaiwan2021

#島讀回顧 #人工智慧

今年島讀網站被搜尋最多次的關鍵字是「人工智慧」（AI）。

人工智慧近年的發展迅速，許多領域都能看到其應用。

島讀今年一篇《機器學習 — 知識工作者的未來》，以「文字產生器」GPT-3 討論人工智慧，獲得不少會員迴響。

---

寫論文很痛苦。有些人痛苦到整份照抄別人的論文。現在出現一線曙光，美國 OpenAI 公布機器學習模型 GPT-3（Generative Pretrained Transformer），堪稱是「萬用」的文字產生器。最近 GPT-3 開始封測，推出 API，更在矽谷引發轟動。目前已知有人用 GPT-3 寫程式、請牛頓解釋地心引力、回答醫學問題、摘要文章，甚至寫詩。

先說 OpenAI。OpenAI 是一個非營利組織，贊助者包括 PayPal 創辦人 Peter Thiel、Elon Musk 與 Salesforce 創辦人 Marc Benioff 等。其使命是確保通用人工智慧（Artificial General Intelligence）將用於服務人類，而非迫害人類。

GPT-3 則是其開發的語言生成模型，第三代的「文字產生器」（島讀去年討論過第二代）。使用者輸入一段文字，它就會生出下一個字，再繼續生出下一個字，不斷重複下去，直到人類喊停或是達到約 1,000 個英文字為止。例如我輸入：「天下分久必合，合久必 ___」，GPT-3 大概會預測下一個字是「分」。

如果我沒喊停，也沒有設定明確的任務，GPT-3 就會繼續生成下一個字，寫出一段故事或一篇文章。

或許你會問：「世界上文字千萬種，GPT-3 怎麼知道要寫論文或小說呢？」

這就是 GPT-3 驚人的地方：它是通用模型。只要使用者稍許提示，它就會自動調整輸出內容類型，不需要使用者另外精調（fine tune）。就像一個真的有用的 Siri，不管你丟什麼任務，只要是文字，它都接得下來。

例如有人簡短的提示（prompt） GPT-3「用 19 世紀作家 Jerome k. Jerome 的語氣寫一篇關於 Twitter 的文章」，GPT-3 就生出相當完整的作品。

只要是需要文字的任務，不論是回覆 email、寫新聞稿、翻譯外文、「翻譯」法律術語、編吉他和弦，甚至是寫程式，GPT-3 都能做得還不錯。一篇網路文章《GPT-3 可能是比特幣以來最重要的創新》更是格外轟動，因為讀者讀完才發現整篇都是 GPT-3 寫的。

相較於 GPT-2，GPT-3 效能是「暴力式」的飛越性成長。換言之，GPT-3 的基本架構與 GPT-2 幾乎一樣，只是參數由 15 億增加到 1,750 億（117 倍），但效果隨之大幅成長。這讓矽谷圈精神為之一振，因為代表機器學習仍可以透過擴大規模來成長。

雖說使用成本也等比增加 — 訓練一次 GPT-3 需要 460 萬美金 — 但能用錢解決的都是小問題。目前已知人類大腦的突觸約 1 百萬億個（100 trillion），是 GPT-3 的 1 萬倍。許多人不免幻想如果再來兩次升級 100 倍（共一萬倍），是不是就能逼近人類大腦了？

有成本就需要收入。OpenAI 現在提供 API，就是為將來商業化營運作準備。其他雲服務商如微軟、AWS、Google 也都開始提供機器學習「模型即服務」（Model as a Service, MaaS）。這大致可分三種應用：

● 垂直情境，簡單但量大的工作：如辨識異常、偵測錯字、回覆 email、回答客服基本問題等。這有點類似聘僱國中生實習，但聘雇的是無限個實習生。
● 垂直情境內，困難但狹隘的工作：以 AlphaGo 為代表。它打敗所有人，但只會下圍棋。
● 不限情境，多樣性比正確性重要的工作：以 GPT-3 為代表，如虛擬秘書、虛擬陪伴（《雲端情人》）、發想劇本、草擬程式碼、撰寫科技分析電子報（咦）等。

MaaS 固定成本高，因此會傾向集中於大型平台，特別是擁有資料的企業，如 Google。邊際成本現在也很高，但應該會逐漸降低，因此有利於擁有最多客戶（用量）的企業，如 AWS、微軟。

目前 GPT-3 率先大步起跑，將引發其他企業加大投資。其他企業需要差異化，因此會開發封閉的模型；GPT-3 則會是開放或開源的形式。同時，週邊的企業也需要開發工具，形成生態圈。例如目前運算的延遲嚴重，因此雲端的速度必須跟上。有更多相容的 app 提供更精準的提示，才能發揮 GPT-3 的價值。
⠀
想知道文章對 GPT-3 的原理、隱憂的討論，歡迎試用島讀的 1 元訂閱方案：https://bit.ly/3myOL0D

---

更多人工智慧內容：
[Podcast] 從邊緣挑戰雲上的人工智慧｜特別來賓耐能智慧創辦人劉峻誠（公開）
https://apple.co/2WrmCgC
臉部辨識 — 30 億張照片的資料庫｜執法機關熱烈採用｜三條路線（會員限定）
https://bit.ly/3p791an
蛋白質的 50 年難題｜AlphaFold 遙遙領先｜諾貝爾獎在望（會員限定）
https://bit.ly/2LSzIBt

自然語言處理( NLP，Natural Language Processing )使用演算法來理解和操作人類語言。這項技術是機器學習應用最廣泛的領域之一。隨著人工智慧( AI )的不斷發展，對專業人才的需求也在不斷增加，這些專業人才需要擅長建立分析語句和語言的模型，揭示語境模式，並從文字和音訊中產生洞察力。

在這個專業課結束時，你將準備好設計執行問答和情感分析的 NLP 應用程式，建立翻譯語言和摘要文字的工具，甚至建構聊天機器人。這些和其他 NLP 應用程式將處於即將到來的 AI 驅動的未來轉換的第一線。

這個專業課是由兩個 NLP、機器學習和深度學習的專家設計和教授的。Younes Bensouda Mourri 是 Stanford University 的人工智慧講師，他也幫助建立了深度學習專業。Ukasz Kaiser 是 Google Brain 的研究員，也是 Tensorflow、Tensor2Tensor 和 Trax 程式庫，以及 Transformer 論文的合著者。

https://softnshare.com/natural-language-processing/

(下集)
🍿在下集當中，李老師跟大家聊的內容有：
1. 老師的宅男風格教學之力
2. 老師在2020年春季將會開一門全新課程！
3. 老師「請公子吃電信餅」🍪🍪🍪
4. 老師的「台大語音實驗室」都在做什麼？
🤖五個研究方向
🤖GAN來GAN去
🤖神奇模型「Multi-BERT」
5. 台大傅鐘的老梗笑話
6. 最後有李宏毅老師秘辛大爆料

🍿影片中提到的五個研究主題，李老師都精選了一篇論文，連結如下，請各位大大笑納:
非督導式語音辨識: https://arxiv.org/abs/1904.04100
非督導式語音轉換: https://arxiv.org/abs/1804.02812
非督導式文件摘要: https://arxiv.org/abs/1810.02851
問答系統: https://ieeexplore.ieee.org/document/8700217
個人化聊天機器人: https://arxiv.org/abs/1901.09672


#GAN來GAN去
#台大電機李宏毅專訪
#AI神奇模型訓練師
#珊蒂微AI
#人工智慧
#AI