#天下專欄 昨天寫新聞、今天寫程式，GPT-3 什麼都學得會？

人工智慧模型 GPT-3 自從 5 月問世以來，關於她學會新技能的新聞，幾乎每一、兩週就會冒出來 — 一下子會寫論文，一下子可以發 Twitter、陪顧客聊天、解數學，最近甚至開始寫程式、設計使用者介面。

你一定會好奇，為何 GPT-3 什麼都學得會？

首先，GPT-3 並非獨生子，她之前有兩個哥哥 GPT-2 與 GPT，而後有 Image GPT，且勢必還有許多弟弟妹妹將要誕生。創造出 GPT 家族的 OpenAI 實驗室，之所以會做這系列的研發，從一開始，就是要訓練出一個泛用的人工智慧。所以，GPT 什麼都能做，這是設計者的原意。

GPT 是 Generative Pre-trained Transformer 的簡稱，翻成白話文，就是預先訓練好，可以用來產生資料的一種 Transformer 模型。所謂 Transformer 模型，並不是指模型本身會變化，而是指模型會對資料進行轉換，來產生所謂「關注度」，進而用關注度來產生預測的結果。

的確很難懂。沒關係，人類也不太了解大腦的實際運作方式，但這不影響你去了解它的功能、特性與限制。

GPT-3 所做的預先訓練，有點像我們考試前的準備一樣，先閱讀包括維基百科、書籍等在內，共 45TB 的海量人類文字資料，把其中所有上下文間的相關性，分析記錄成 1,750 億個參數，正如同我們做重點筆記一樣。

因此，當你給她一段文字，GPT-3 可以查找她的筆記，寫出後面「應該」要出現的文字。

換言之，GPT-3 從頭到尾沒有「學會」任何知識 [1]，她只是把人類文字當作一個個的點，在一個極大維度的空間中，去標註它們的相對座標。因此，當你告訴她要從哪幾個維度去查找時，她可以很快告訴你陸續找到的文字。

因為她讀過的文字量太大了，所以即使是非常冷門的維度，都難不倒她。因此她表現出來的樣子，好像什麼領域都可以舉一反三的聰明學生。

更值得我們思考的是，如果 2020 年的 GPT-3 已有這個程度，那麼，2030 年的 GPT-13，會到達什麼樣的境界？

⨁ 創業者，歡迎加 AppWorks，跟我們一起抓住 AI/IoT 的黃金 10 年

[1] 所謂的「學會」，對人腦而言，事實上也就僅是建立連結，跟 GPT-3 的情況，其實是差不了多少的。但篇幅有限，就不做更深入的哲學探討，但大家可以想想，如果一個人對一個議題能舉一反三，正的問、反的問，怎麼問都問不倒，她到底有沒有「學會」？