這是我看過最好的一篇GPT-3 科普文章。到現在還看不懂GPT-3的，建議好好讀：

本文來自量子位微信公眾號
…………………………………………

火爆全球的GPT-3，到底憑什麼砸大家飯碗？

GPT-3是指第三代生成式預訓練Transformer，它由三藩市AI公司OpenAI開發。該程式歷經數年的發展，最近在AI文本生成領域內掀起了一波的創新浪潮。

從許多方面來看，這些進步與自2012年以來AI影像處理的飛躍相似。

電腦視覺技術促進了、無人駕駛汽車到面部識別、無人機的發展。因此，有理由認為GPT-3及其同類產品的新功能可能會產生類似的深遠影響。

與所有深度學習系統一樣，GPT-3也是資料模式。它在龐大的文本集上進行了訓練，並根據統計規律進行了挖掘。

重要的是，此過程中無需人工干預，程式在沒有任何指導的情況下查找，然後將其用於完成文本提示。

▌海量訓練數據

GPT-3的與眾不同之處在於它的運行規模和完成一系列令人難以置信的任務。

第一版GPT於2018年發佈，包含1.17億個參數。2019年發佈的GPT-2包含15億個參數。

相比之下，GPT-3擁有1750億個參數，比其前身多100倍，比之前最大的同類NLP模型要多10倍。

GPT-3的訓練資料集也十分龐大。整個英語維琪百科（約600萬個詞條）僅占其訓練數據的0.6％。

訓練資料的其他部分來自數位化書籍和各種網頁連結。不僅包括新聞文章、食譜和詩歌之類的內容，還包括程式碼、科幻小說、宗教預言等各種你可以想像到的任何文字。

上傳到互聯網的文本類型都可能成為其訓練資料，其中還包括不良內容。比如偽科學、陰謀論、種族主義等等。這些內容也會投喂給AI。

這種不可置信的深度和複雜性使輸出也具有複雜性，從而讓GPT-3成為一種非常靈活的工具。

在過去的幾周中，OpenAI通過向AI社區的成員提供GPT-3商業API，鼓勵了這些實驗。這導致大量新的用法出現。

下面是人們使用GPT-3創建的一小部分示例：

▌GPT-3能做什麼

1、基於問題的搜尋引擎：就像Google，鍵入問題，GPT-3會將定向到相關的維琪百科URL作為答案。

2、與歷史人物交談的聊天機器人：由於GPT-3接受過許多數位化書籍的訓練，因此它吸收了大量與特定哲學家相關的知識。這意味著你可以啟動GPT-3，使其像哲學家羅素一樣講話。

3、僅需幾個樣本，即可解決語言和語法難題。

4、基於文本描述的代碼生成：用簡單的文字描述你選擇的設計項目或頁面配置，GPT-3會彈出相關代碼。

5、回答醫療問題：來自英國的一名醫學生使用GPT-3回答了醫療保健問題。該程式不僅給出了正確答案，還正確解釋了潛在的生物學機制。

6、基於文本的探險遊戲。

7、文本的風格遷移：以某種格式編寫的輸入文本，GPT-3可以將其更改為另一種格式。

8、編寫吉他曲譜：這意味著GPT-3可以自行生成音樂。

9、寫創意小說。

10、自動完成圖像：這項工作是由GPT-2和OpenAI團隊完成的。它表明可以在圖元而不是單詞上訓練相同的基本GPT體系結構，從而使其可以像在文字上一樣實現視覺資料自動完成任務。

但是，所有這些樣本都需要一些上下文，以便更好地理解它們。而令人印象深刻的是，GPT-3沒有接受過完成任何特定任務的訓練。
常見的語言模型（包括GPT-2）需要完成基礎訓練，然後再微調以執行特定任務。

但是GPT-3不需要微調。在語法難題中，它只需要一些所需輸出類型的樣本（稱為“少量學習”）。

GPT-3是如此龐大，以至於所有這些不同功能都可以在其中實現。用戶只需要輸入正確的提示就可以調教好它。

但是網上傳出的內容存在另一個問題：這些都是精心挑選的樣本，生成結果肯定不止一個。必然有炒作因素。

正如AI研究人員Delip Rao在一篇針對GPT-3的炒作解構文章中指出的那樣，該軟體的許多早期演示來自矽谷企業家，他們渴望宣傳該技術的潛力並忽略其陷阱，因為他們關注AI帶來的新創業公司。

的確，瘋狂的鼓吹情緒變得如此強烈，以至於OpenAI CEO本人都發Twitter說：GPT-3被過度宣傳了。

▌GPT-3也會犯低級錯誤

儘管GPT-3可以編寫代碼，但我們很難判斷其總體用途。它是淩亂的代碼嗎，這樣的代碼會為人類開發人員帶來更多問題嗎？

沒有詳細的測試很難說，但是我們知道GPT-3在其他方面會犯嚴重錯誤。

當用戶和GPT-3創造的“約伯斯”交談時，詢問他現在何處，這個“約伯斯”回答：“我在加州庫比蒂諾的蘋果總部內。”這是一個連貫的答案，但很難說是一個值得信賴的答案。

在回答瑣事問題或基本數學問題時，也可以看到GPT-3犯了類似的錯誤。例如，不能正確回答100萬前的數是多少（回答是99萬）。

但是，我們很難權衡這些錯誤的重要性和普遍性。

如何判斷這個可以幾乎回答所有問題的程式的準確性？如何創建GPT-3的“知識”的系統地圖，然後如何對其進行標記？

儘管GPT-3經常會產生錯誤，但更加艱巨的挑戰是，通常可以通過微調所輸入的文本來解決這些問題。

用GPT-3創造出小說的研究人員Branwen指出，“抽樣可以證明知識的存在，但不能證明知識的缺失”，可以通過微調提示來修復GPT-3輸出中的許多錯誤。

在一個錯誤的示範中，詢問GPT-3：“哪個更重，一個烤麵包機或一支鉛筆？” 它回答說：“鉛筆比烤麵包機重。”

但是Branwen指出，如果你在問這個問題之前給機器投喂某些提示，告訴它水壺比貓重，海洋比塵土重，它會給出正確的回應。

這可能是一個棘手的過程，但是它表明GPT-3可以擁有正確的答案，如果你知道怎麼調教它。

Branwen認為，這種微調最終可能會最終成為一種編碼範例。就像程式設計語言使用專用語法的編碼更加流暢一樣，未來我們可能完全放棄這些程式設計語言，而僅使用自然語言程式設計。從業人員可以通過思考程式的弱點並相應地調整提示，來從程式中得出正確的回應。

GPT-3的錯誤引起了另一個問題：該程式不可信的性質是否會破壞其整體實用性？

現在人們已經嘗試了GPT-3各種用途：從創建客服機器人，到自動內容審核。但是答案內容的錯誤可能回給商業公司帶來嚴重後果。

沒有人原因創建一個偶爾侮辱客戶的客服機器人。如果沒有辦法知道答案是否可靠，我們也不敢拿GPT-3作為教育工具。

▌專業人士評價

一位匿名的在Google資深AI研究人員說，他們認為GPT-3僅能自動完成一些瑣碎任務，較小、更便宜的AI程式也可以做到，而且程式的絕對不可靠性最終會破壞其商用。

這位研究人員指出，如果沒有很多複雜的工程調試，GPT-3還不夠真正使用。

AI研究人員Julian Togelius說：“ GPT-3的表現常常像是一個聰明的學生，沒有讀完書，試圖通過廢話，比如一些眾所周知的事實和一些直率的謊言交織在一起，讓它看起來像是一種流暢的敘述。”

另一個嚴重的問題是GPT-3的輸出存在偏見。英偉達的AI專家Anima Anandkumar教授指出，GPT-3在部分程度上接受了Reddit過濾後的資料的訓練，並且根據此資料構建的模型產生的文本有“令人震驚地偏向性”。

在GPT-2的輸出中，如果要求完成下列句子時，模型會產生各種歧視性言論：“ 黑人（皮條客工作了15年）”、“ 那個女人（以Hariya為名做妓女）”。
參考連結：
https://www.theverge.com/21346343/gpt-3-explainer-openai-examples-errors-agi-potential

【日本語クイズに挑戦しよう！】日語大挑戰！🎉🎉
　　
みなさん、７月の検定試験まであと１ヶ月になりましたね！準備はどうですか？
これから私たちのタイムラインでクイズを出しますよ。ぜひみなさん挑戦してみてください！🙇‍♂🙇‍♂🙇‍♂　　
何回でも時挑戦できるし、他の学生たちの成績と比べることができますよ。
目指せナンバー１！　💯💯
　　
距離檢定的日期只剩下一個多月了，大家準備得如何呢？
我們特別推出了線上日語大挑戰，大家一定都要參加唷！
可以多次挑戰，也可以和其他人比較成績，目標第一名！
　　
　　
🔥今日のクイズは　「N４文法」
🔥今日的日語挑戰為「N４文法」
　　
　　
遊び方：
１．以下のURLにアクセスします。https://join.quizizz.com
２．画面下の“Enter code”に編碼を入力します。「838341」
３．自分の名前を入力して、クイズスタートです。
　　
遊戲方式
1. 請連結至以下網址
2. 在畫面中的“Enter code”輸入「838341」
3. 輸入名字，開始挑戰
　　
　　
🍎答える時間が早いほど、点数が高くなります。
🍎何度でもチャレンジできますよ。（名前を変える必要があります。例：Taro1,Taro2..等）
🍎有効期限は3日間です。
　　
🍏回答的速度越快，分數越高
🍏可以無限次參加(需要變更名字，例：Taro1,Taro2..等）
🍏每次挑戰的有效期限為3日
　　
　　
N４文法についてもっと勉強したい人はぜひこちらの教材もどうぞ＾＾
https://academy.shuwoon.com.tw/bookshelf/serial/48

　　
想要學習更多N4相關文法、單字，請務必參考我們的課程
https://academy.shuwoon.com.tw/bookshelf/serial/48

#物聯網IoT #大數據BigData #數據湖DataLake #人工智慧AI #機器學習MachineLearning #深度學習DeepLearning #容器Containers #虛擬引擎VirtualizationEngine #自動語音辨識ASR #自然語言處理NLP #聯合創新中心

【將「創新」內化成企業 DNA】

儘管這些年亞馬遜 (Amazon) 的財報盈虧不一，不過，旗下雲端運算服務、也是 Echo 智慧音箱靈魂的 Amazon Web Services (AWS)，自 2006 年成立以來，一直表現不俗，儼然是集團內的金雞母。亞馬遜 AWS 首席雲計算企業顧問張俠透露，亞馬遜的創新之道來自於：
●架構：具備靈活、可預測、約定俗成、防禦性等特性，雲端運算是最佳方案；
●組織：保持新創及敏捷心態，並不斷學習、精實團隊規模，亞馬遜一個心照不宣的默契是——任何事業單位的人員編制，以兩個大 pizza 能餵飽為基準 (上限約 8 人)；
●文化：將「創新」內化成企業 DNA，從骨子裡發想、落實創新；
●機制：聚焦於顧客，小至作為與顧客做深度溝通媒介的產品新聞發佈，都要明確傳達能為顧客解決什麼問題？提供什麼價值？並吸取市場反應、回頭再設計成新產品。

亞馬遜認為，「創新」就是以組織與架構的加乘為基數，並借助機制和文化持續成長的最終成果。以基礎架構、核心運算、網路、儲存和資料庫為根基，AWS 在 IoT 服務、AI 和機器學習擁有眾多先進技術，包括：自然語言理解、自動語音識別、視覺搜索、圖像辨識及文字轉語音等應用層編碼，已在雲端建好深度學習 (Deep Learning) 模型，且會不斷進化。開發者只需寫幾行簡單代碼即可調用函數，不必再做繁複編程；企業亦無需再重金投資設備，可加快創新節奏。

先前 AWS 攜手台北市政府與七所重點大學共同推動大數據跨界合作——《AWS Public Data Set 計畫》，一度引來坊間質疑聲浪：這恐讓種子教官與新培育出來的開發人才受限於 AWS 框架，似有圖利特定廠商之嫌。對此，張俠澄清：亞馬遜僅提供雲端儲存服務，任何人只要有某個 URL 網址就可獲取位於上面的數據，並未與亞馬遜工具綁定使用，反倒能造就許多間接得利者，藉以發展更多有利民生的事業。「從大處著眼、從小處著手」，或許正是亞馬遜最根本的轉骨秘方。

延伸閱讀：
《數位轉型2：雲端創新、落地對接 亞馬遜飛速成長的秘密》
http://compotechasia.com/a/shi__shang_/2018/0402/38468.html

#亞馬遜Amazon #AWS #ECS #Greengrass #Polly #Transcribe #Lex #Comprehend #Rekognition #S3

★★【智慧應用開發論壇】(FB 不公開社團：https://www.facebook.com/groups/smart.application/) 誠邀各界擁有工程專業或實作經驗的好手參與討論，採「實名制」入社。申請加入前請至 https://goo.gl/forms/829J9rWjR3lVJ67S2 填寫基本資料，以利規劃議題方向；未留資料者恕不受理。★★