#島讀回顧 #人工智慧

今年島讀網站被搜尋最多次的關鍵字是「人工智慧」（AI）。

人工智慧近年的發展迅速，許多領域都能看到其應用。

島讀今年一篇《機器學習 — 知識工作者的未來》，以「文字產生器」GPT-3 討論人工智慧，獲得不少會員迴響。

---

寫論文很痛苦。有些人痛苦到整份照抄別人的論文。現在出現一線曙光，美國 OpenAI 公布機器學習模型 GPT-3（Generative Pretrained Transformer），堪稱是「萬用」的文字產生器。最近 GPT-3 開始封測，推出 API，更在矽谷引發轟動。目前已知有人用 GPT-3 寫程式、請牛頓解釋地心引力、回答醫學問題、摘要文章，甚至寫詩。

先說 OpenAI。OpenAI 是一個非營利組織，贊助者包括 PayPal 創辦人 Peter Thiel、Elon Musk 與 Salesforce 創辦人 Marc Benioff 等。其使命是確保通用人工智慧（Artificial General Intelligence）將用於服務人類，而非迫害人類。

GPT-3 則是其開發的語言生成模型，第三代的「文字產生器」（島讀去年討論過第二代）。使用者輸入一段文字，它就會生出下一個字，再繼續生出下一個字，不斷重複下去，直到人類喊停或是達到約 1,000 個英文字為止。例如我輸入：「天下分久必合，合久必 ___」，GPT-3 大概會預測下一個字是「分」。

如果我沒喊停，也沒有設定明確的任務，GPT-3 就會繼續生成下一個字，寫出一段故事或一篇文章。

或許你會問：「世界上文字千萬種，GPT-3 怎麼知道要寫論文或小說呢？」

這就是 GPT-3 驚人的地方：它是通用模型。只要使用者稍許提示，它就會自動調整輸出內容類型，不需要使用者另外精調（fine tune）。就像一個真的有用的 Siri，不管你丟什麼任務，只要是文字，它都接得下來。

例如有人簡短的提示（prompt） GPT-3「用 19 世紀作家 Jerome k. Jerome 的語氣寫一篇關於 Twitter 的文章」，GPT-3 就生出相當完整的作品。

只要是需要文字的任務，不論是回覆 email、寫新聞稿、翻譯外文、「翻譯」法律術語、編吉他和弦，甚至是寫程式，GPT-3 都能做得還不錯。一篇網路文章《GPT-3 可能是比特幣以來最重要的創新》更是格外轟動，因為讀者讀完才發現整篇都是 GPT-3 寫的。

相較於 GPT-2，GPT-3 效能是「暴力式」的飛越性成長。換言之，GPT-3 的基本架構與 GPT-2 幾乎一樣，只是參數由 15 億增加到 1,750 億（117 倍），但效果隨之大幅成長。這讓矽谷圈精神為之一振，因為代表機器學習仍可以透過擴大規模來成長。

雖說使用成本也等比增加 — 訓練一次 GPT-3 需要 460 萬美金 — 但能用錢解決的都是小問題。目前已知人類大腦的突觸約 1 百萬億個（100 trillion），是 GPT-3 的 1 萬倍。許多人不免幻想如果再來兩次升級 100 倍（共一萬倍），是不是就能逼近人類大腦了？

有成本就需要收入。OpenAI 現在提供 API，就是為將來商業化營運作準備。其他雲服務商如微軟、AWS、Google 也都開始提供機器學習「模型即服務」（Model as a Service, MaaS）。這大致可分三種應用：

● 垂直情境，簡單但量大的工作：如辨識異常、偵測錯字、回覆 email、回答客服基本問題等。這有點類似聘僱國中生實習，但聘雇的是無限個實習生。
● 垂直情境內，困難但狹隘的工作：以 AlphaGo 為代表。它打敗所有人，但只會下圍棋。
● 不限情境，多樣性比正確性重要的工作：以 GPT-3 為代表，如虛擬秘書、虛擬陪伴（《雲端情人》）、發想劇本、草擬程式碼、撰寫科技分析電子報（咦）等。

MaaS 固定成本高，因此會傾向集中於大型平台，特別是擁有資料的企業，如 Google。邊際成本現在也很高，但應該會逐漸降低，因此有利於擁有最多客戶（用量）的企業，如 AWS、微軟。

目前 GPT-3 率先大步起跑，將引發其他企業加大投資。其他企業需要差異化，因此會開發封閉的模型；GPT-3 則會是開放或開源的形式。同時，週邊的企業也需要開發工具，形成生態圈。例如目前運算的延遲嚴重，因此雲端的速度必須跟上。有更多相容的 app 提供更精準的提示，才能發揮 GPT-3 的價值。
⠀
想知道文章對 GPT-3 的原理、隱憂的討論，歡迎試用島讀的 1 元訂閱方案：https://bit.ly/3myOL0D

---

更多人工智慧內容：
[Podcast] 從邊緣挑戰雲上的人工智慧｜特別來賓耐能智慧創辦人劉峻誠（公開）
https://apple.co/2WrmCgC
臉部辨識 — 30 億張照片的資料庫｜執法機關熱烈採用｜三條路線（會員限定）
https://bit.ly/3p791an
蛋白質的 50 年難題｜AlphaFold 遙遙領先｜諾貝爾獎在望（會員限定）
https://bit.ly/2LSzIBt

[筆記分享] 我如何在 Anaconda 上，安裝 TensorFlow 2.x，並開啟 GPU 加速

Evernote 網址： https://bit.ly/33K77F9

--------------

最近我正在台大計算機中心，教授「深度學習」這門課程。整門深度學習，用得最多的函式庫就是 TensorFlow 了。它可以用來建構深度學習所需要的「神經網路」架構，所以任一個深度學習工程師，都得要會安裝。

深度學習的開發環境很多！我個人偏好 Google Colab（線上環境）與 Anaconda（本地端環境）。Colab 的執行環境，Google 工程師已經幫你裝好了。你只要點擊 https://colab.research.google.com 就能用。比泡麵還簡單！但你也只能被動接受 Google 工程師幫你裝好的執行環境。畢竟「線上平台」彈性還是比「本地端平台」要小一點。

早期（TensorFlow 1.x 時期）要裝 TensorFlow，並開啟 GPU 圖形加速功能，只要開啟 Anaconda Prompt 命令列視窗，輸入下面這一行就可以了：

conda install tensorflow-gpu

但 TensorFlow 2.x 之後，Anaconda 並沒有把 conda 這個指令調整得很好。大家已經用到 TensorFlow 2.3 了，conda 安裝出來的最新版居然只到 TensorFlow 2.1。更慘的是，開啟 GPU 加速時，所需搭配的 cuDNN 函式庫與 CUDA Toolkit 版本，也跟 TensorFlow 2.1 這個版本衝得亂七八糟！總之，就是一堆同學裝不起來！機器空有獨立顯卡，但無法發揮 GPU 加速平行運算的能力！

有鑑於此，我今天早上就親自「試水溫」，想辦法找出這幾樣東西的排列組合，到底怎麼樣是對的：

Python版本 x nVidia驅動程式版本 x TensorFlow版本 x cuDNN 函式庫版本 x CUDA Toolkit版本

也順便找出最順暢的安裝流程，分享給大家。希望有需要的朋友能喜歡！

祝福大家都能釋放顯卡平行處理的威力，讓你跑神經網路時，硬是比別人快好幾倍！

有我說明不足的地方，歡迎在下方留言。不敢說一定有能力解決，但我會盡力的！ :-)

PS: 本文歡迎轉發、按讚、留言鼓勵我一下！您的隻字片語，都是讓我繼續提供好物的動力喔！
--------
看更多的紀老師，學更多的程式語言：

● YOTTA Python 課程購買： https://bit.ly/2k0zwCy
● YOTTA 機器學習 課程購買： https://bit.ly/30ydLvb
● Facebook 粉絲頁： https://goo.gl/N1z9JB
● YouTube 頻道： https://goo.gl/pQsdCt

如果您覺得這個粉絲頁不錯，請到「評論區」給我一個好評喔！
https://www.facebook.com/pg/teacherchi/reviews/

這陣子，我學習運用了幾個網路的社交和教育的應用程式。第一個，是 Twitter，我 2009 年已經有 account 了，卻一直沒有用，直至上年返送中運動的初段，我重新發 tweets，然而後來因為本來的 Facebook、WhatsApp 訊息已經夠多，無暇兼顧，就掉空了。有感於香港抗爭的國際線非常重要，又重新學習 follow 外國政要人物、香港手足，retweet 重要資訊，把香港的新聞發 tweet 宣揚，完成 telegram 群組的 twitter 任務。自己總有一個位置去貢獻。我雖勢弱言輕，決不虛作無聲。

其他就是新的 teaching tools 了。第一個，Boom Cards，set up 了 teacher account，因為有些 teacher bloggers 免費送出一些 Boom Cards，所以我的 library 也有好一些學習活動。教師戶口可以add 一個 classroom，再 add 學生（那是我家的三個孩子），再 assign 活動讓不同的學生去完成。不過我自己沒有在 Boom Cards DIY 教材，所以也不算熟悉功能。

第二個，是 Seesaw，因為朋友的鼓勵，我就學習自己去 DIY 教材。Seesaw 跟 Boom Cards 非常類似，先開一個教師戶口，建一個或多個 classrooms，再 add 學生，每個學生被分發了一個 QR code 作登入戶口用。我有一些 teacher bloggers 的 learning activities，我自己也設計了一些適合我 3 個孩子程度與興趣的活動，並可以分享給其他「教師」用。Seesaw 可以上載圖片、影片、pdf 等，孩子可以聆聽、錄音、手寫（有畫筆提供）、drag and drop 圖片。我的 library 裡，有我自己製作的 phonics song video，scan 了圖書各頁讓孩子錄音閱讀，連線練習、drag and drop 的小遊戲等（見圖片）。

第三個，是一個叫 Read Theory，提升孩子閱讀能力的免費網站。一樣先 set up teacher account，add classroom，add 學生，建立學生的 username 和 password，不過這個你不用 assign 作業或者自建任何活動，Read Theory 提供閱讀材料和問題。學生首先做一個 pretest，電腦便知道他的閱讀能力，然後依據他的閱讀能力提供閱讀理解練習，在進行的過程中，電腦會不斷依據成績來增加或減少難度（grade 1 to grade 12），教師會收到報告，告訴你學生實質的閱讀 grade level 或能夠閱讀哪個 lexile level 的文章。報告非常清楚（見圖），而正仔本身又好喜歡向難度挑戰，他很願意努力練習突破他現在（grade 5）的成績。

我自製的 Seesaw video：https://app.seesaw.me/pages/shared_activity?share_token=-8CATfORTk6JzUJtyHarSw&prompt_id=prompt.9facc26f-bd9b-4f3b-9e4e-2921661f81de ‪

我自製的 Seesaw 閱讀功課，孖仔一份功課，重複錄音四、五次，很想以最好的質素遞交：‪https://app.seesaw.me/pages/shared_activity?share_token=wy-ZvpLGRF6hFaCeWxjIOg&prompt_id=prompt.bd43691e-aacc-430c-af95-eb7d54c76559

#全部都是免費建立的教師戶口
#請看圖片caption
#幾有用也幾好玩
#不過孩子也不能太多screentime
#抗疫停課的日子我每天也有學習新知識
#有不斷學習的能力是非常值得感恩的事