DeepMind AI 修練成精了，已經學會「發脾氣」？

作者 雷鋒網 | 發布日期 2021 年 08 月 12 日 8:00 |

DeepMind 又在「捏小人」了！這群小人是英國人工智慧實驗室 DeepMind 生產的 AI，不過只能在遊戲裡看到。但你可能不知道的是，DeepMind 還訓練過 AI 下象棋、玩足球、比電競，甚至提出人工生命言論。

最近這群AI，竟然能直接跳過數據訓練，在開放式任務環境自我進化。

之前Alpha Go和Alpha Star能力再強，也只能在各自擅長遊戲放大招，超出範圍立刻停擺。現在這批小人卻能在不同遊戲游刃有餘完成任務，展現超強的泛用能力。難道人工智慧治好泛用「頑疾」了？

在搶奪高地金字塔的任務，兩個不同顏色的小人能力值相當，都沒有跳躍能力，開始發脾氣亂扔東西，混亂中竟把其中一塊板子「扔」成樓梯，長驅直入，任務完成！

多次實驗發現，小人可複製方法，難道這群AI有記憶了？不僅如此，小人還學會「相對運動」──我上不去，你下來──借助板子直接把目標拉下來！甚至為了贏得比賽，多個小人學會配合，團體合作能力一直上升。

這種用虛擬遊戲自我進化的AI，僅需人為搭建任務環境，設計大量任務目標，利用加強深度學習，一步步打通關，最終成為十八般武藝精通的AI。

沒有樣本，沒有經驗，這些AI究竟如何進化，零樣本學習是否意味這些AI具備基本的「自學意識」？

社會達爾文主義訓練場

比起之前的足球場，這批AI的訓練場更像遊戲「社會」，有無數個遊戲房，每房間遊戲照競爭性、平衡性、可選性、探索難度分類。不管哪種任務，這批AI都只能從最簡單開始，一步步解鎖更複雜的遊戲，整個遊戲更像虛擬社會。

無需大數據集訓的AI，每玩一次遊戲就成長一次，與各種環境互動和「獎勵」下成長為更通用的AI，更像人工「生命」。

能讓AI自我進化的關鍵在於正確設計初始智慧和進化規則。一開始都非常簡單，所有複雜結構都是進化而來。就像嬰兒不會做大人的事，任務核心是不要超出AI自身的改進能力。

據DeepMind說法，每個AI會在4千間遊戲房玩約70萬個遊戲，並在340萬個任務經歷2千億次訓練步驟。1億次步驟約耗時30分鐘。照這訓練法，41天就能訓練出一群「成年」AI。

但AI還是不會思考

DeepMind表示「單AI可開發智慧成多目標，不僅一個目標」。AI公司Pathmind 的CEO Chris Nicholson也說「它學到的技能可舉一反三。例AI學習抓取和操縱物體，就能完成敲鎚子或鋪床任務。DeepMind正用程式設計為AI在這世界設定目標，這些AI正在學習如何掌握。」

但南加州大學計算機科學副教授Sathyanaraya Raghavachary表示，這些AI並不能定義為「生命」，尤其關於AI擁有身體感覺、時間意識及理解目標幾個結論。「即使人類也沒有完全意識到身體這件事，更不用說人工智慧了。」

他表示，活躍的身體對大腦不可或缺，大腦要放在合適的身體意識和空間位置內進化。如果AI能理解任務，何必需要2千億次模擬訓練達到最佳結果？總體而言，虛擬環境訓練的AI只是和以往AI「大同小異」。

從理論到現實的路還很長

狹義人工智慧是「複製人類行為的元素」，在計算機內執行某種任務，如分類圖像、定位照片物件、定義對象邊界等。這些系統旨在執行特定任務，而不具解決問題的一般能力。

相比之下，Deepmind使用的「通用人工智慧」有時也稱為人類等級人工智慧，因可理解上下文、潛台詞和社會線索，甚至認為可能完全超過人類。

但正如行為主義和認知主義的對抗，AI是否有解決問題的能力，並不能只考慮統計結果。善於「事後解釋」任何行為，實驗室之外還是無法「預測」哪些行動即將發生。

資料來源：https://technews.tw/2021/08/12/is-deepminds-new-reinforcement-learning-system-a-step-toward-general-ai/?fbclid=IwAR0xofCay9Ydy83BfQ_7lyEtfGvJroFfCznxiTxYIHP6HUFWpELClQPFs28

為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」

作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |

DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。

DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。

但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。

多任務宇宙

DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。

每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。

複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。

比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。

再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。

這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。

基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。

來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。

終生學習

數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。

具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。

邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。

DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？

DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。

訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。

怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。

新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。

當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。

DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」

智慧初現

最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。

來看具體例子。首先智慧體學會臨機應變。目標有三個：

黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板

AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。

第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。

因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。

經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。

DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。

往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。

資料來源：https://technews.tw/2021/07/30/deepmind_xland/

請訂閱【TVBS 文茜的世界周報】YouTube頻道👉
https://www.youtube.com/c/TVBS%E6%96%87%E8%8C%9C%E7%9A%84%E4%B8%96%E7%95%8C%E5%91%A8%E5%A0%B1TVBSSisysWorldNews?app=desktop
並開啟🔔

1) 突破性感染 --- 接種後又感染，美國疾管局4月30日前統計，約1.01億成人完成接種，其中通報10262例感染，占0.01%。突破性感染病例中，27%無症狀、10%須入院治療、2%死亡。死亡中多半是80歲以上，其中1/5是死於其他因素。佛奇說無論打哪款疫苗，都會有突破性感染，疫苗實際保護力本來就不是百分之百，依舊高度有效，尤其是預防重症和死亡。醫生說突破性感染可能是接種後，沒有產生足夠的抗體，或是病毒量過高。

2) 抗體研究 --- 華盛頓大學醫學院，招募77位新冠肺炎患者，多為輕症患者，另有6人住院治療。在他們染疫1個月後，研究團隊每3個月抽取他們的血液樣本。在染疫7至8個月後，也抽取了其中28位的記憶型B細胞（memory B cell）與骨髓樣本，之後也在對其中的5人再次抽取進行比對。研究團隊發現，在染疫4個月後，受試者的抗體數值下降的很快，之後趨於平緩，但是在第11個月仍然可以檢測到抗體。患者經過急速感染期過後，體內的抗體數值本來就會下降，但這只是進入停滯期，並非是抗體歸零。而抽取骨髓的參與者中，在他們體內可以偵測到記憶型B細胞與非常少量的長生型血漿細胞，長生型血漿細胞移至骨髓後，會持續分泌少量的抗體到血管中，再次染疫時，改由記憶型B細胞製造抗體，這兩個細胞都可以幫助避免再次染疫。

3) 莫德納12-17歲 ---- 3732名受試者，三分之二打疫苗，三分之一打安慰劑，打完兩劑後14天採檢，疫苗組無人感染，安慰劑組4人感染，顯示效力達100%。6月初申請緊急授權使用，通過的話，估計7月開打。輝瑞在5月10日就獲批准對12-15歲施打。

4) 疫苗心肌炎 --- 打完mRNA疫苗第二劑後4天出現，多為男性青少年，會自行消解。目前出現的機率約是500萬分之一。疾管局仍在調查是否和打疫苗有關。

5) 血栓研究 ---- BBC報導指，出現血栓的患者，血小板數較低，還發現這些患者血液中有一種特別的免疫蛋白抗體，會啟動血小板，讓血小板結塊形成血栓，但還需更多研究才能驗證這個發現是否成立。金融時報指，德國科學家宣稱找到引發血栓的原因，指出AZ疫苗會將新冠病毒的棘蛋白，運送到細胞核中，引發棘蛋白分裂而產生突變，而無法與細胞膜結合。這些漂浮的突變蛋白便會分泌到體內，引起血栓，但同樣只是假說，還需更多實驗佐證。

{內文}
11 Alive主播:「美國疾管局公布新報告，關於他們稱為「突破性感染」病例，4月30號前，疾管局通報超過1萬例「突破性感染」，但這是在約1.01億成人完成接種下，「突破性感染」占極小比例。」

美國國家過敏和傳染病研究所所長 佛奇:「關於「突破性感染」，也就是已接種疫苗卻仍感染的病例，顯然這是我們認真看待，並密切追蹤的，無論打哪款疫苗，都會出現「突破性感染。」

打完疫苗又感染，不代表疫苗沒有效，美國疾管局5月25號發布的報告指出，4月底前美國約有1.01億成人完成接種，其中通報10262例確診，僅占約0.01%。這批接種後確診的，稱為「突破性感染」，在美國疾管局定義下，是接種後超過14天確診，施打的疫苗包括輝瑞、莫德納和嬌生。

11 Alive主播:「「突破性感染」病例主要是女性，27%沒有症狀，但10%需入院治療，2%病逝。」

心臟病專家 Payal Kohli:「有幾點可能的突破性感染因素，第一可能是接種後沒能產出足夠的抗體，對抗病毒不夠力，所以感染，其次是有抗體但逐漸減少，不是太快減少，就是接種後過了很長一段時間，也可能感染，第三是感染的病毒量太高，超過免疫反應能應付。」

報告指出，「突破性感染」患者多半是輕症和無症狀，2%死亡的患者多是80歲以上，其中約5分之1死於其他原因，「突破性感染」相當罕見，疫苗保護力不是百分之百，但依舊高度有效，尤其是預防重症和死亡。

主播 vs. 流行病學家 Mark Siedner:「我們接到很多關於指控的問題，我說的指控，在社交網站上流傳，宣稱美國疾管局蓋牌，針對已接種疫苗人，卻還是確診新冠的病例數，請你解釋為何「突破性感染」數據成為討論議題，醫生和大眾是否被數據誤導?我想這是單純的誤解，實驗室收集陽性結果數據，是為了臨床研究，為了篩檢和接觸追蹤，我們定期向當局通報，這是被要求要通報的，和疫苗接種無關。」

美國疾管局坦承，「突破性感染」病例數的確被低估，因為這些病例都是自主通報，且許多無症狀感染可能根本沒採檢，而且通報的「突破性感染」病例中，僅有5%完成基因定序，其中過半是英國和南非變異病毒，但還不足以確認變異病毒是否更有可能造成「突破性感染」。

美國國家過敏和傳染病研究所所長 佛奇:「需要做的其中一件要事是，也必須要做的是，進行病毒基因定序，也就是突破性感染的病毒，因為這很重要，以了解突破的是否為野生株，可顯示免疫力真的減少，或者突破的是變異病毒，這就比較能解釋，如果沒有足夠的交叉反應。」

CBS News記者:「疾管局已停止調查突破性感染病例，就是接種後還感染的罕見病例，除非突破性感染的患者入院或死亡，引發批評疾管局錯失重要機會，進行更多新冠研究，但疾管局堅持這能讓他們專心在更嚴重的病例上。」

另外，美國多所大學研究新冠病毒的抗體，顯示抗體在感染消除後會減少，但不會完全消失，華盛頓大學醫學院5月24號發布的研究，指出輕症患者痊癒後，產生抗體的長生型血漿細胞會駐紮在骨髓，無限期持續產生低量抗體，無論是自然感染或施打疫苗產生的免疫力，都可能維持多年，且在感染後又接種疫苗，更可強化免疫力，拉長保護時間。

亞利桑那大學醫學院副教授Deepta Bhattacharya:「我們發現所有確診感染新冠病毒的患者，即便是沒有症狀的人，都有很好的抗體反應，都有產生抗體能阻擋病毒感染，我們還發現每個人的抗體，在我們研究期間一直都存在。」

而在不少國家依舊苦無足夠的疫苗可打下，美國18歲以上，已有超過1.29億人完成接種，12到15歲也已開始施打輝瑞疫苗，而且估計到7月，12到17歲還有第二款疫苗可打。

聲音來源:ABC News記者:「莫德納今天(5/25)公布試驗結果，顯示疫苗對抗新冠病毒效力達100%，針對12到17歲，沒有安全顧慮。」

聲音來源:CBS News記者:「莫德納將於6月初申請食藥局緊急授權，輝瑞和莫德納都批准為未成年施打後，可大大增加今秋完全開放，實際到校上課的機會。」

參與莫德納試驗的3732名12到17歲的受試者中，三分之二接種疫苗，三分之一注射安慰劑，打完第二劑隔兩星期檢驗，發現疫苗組沒人感染，安慰劑組有4人感染，顯示在12到17歲族群，莫德納疫苗效力達100%。

費城兒童醫院疫苗教育中心主任Paul Offit:「孩童依舊會因新冠肺炎受苦，家長傾向認為孩童較不危險，這並不正確。」

美國兒科協會5月13號前統計，全美確診病例，20歲以下占14%，其中超過300人死亡，12到17歲打完一劑的不到20%，在打完兩劑疫苗的青少年中，少數出現心肌炎問題。

聲音來源:ABC News記者:「心肌炎似乎較常出現在十幾歲青少年身上，基於某些原因男性多於女性，通常是在打完第二劑後4天出現，且症狀通常會自行消解。」

波士頓兒童醫院醫生John Brownstein:「目前心肌炎和疫苗沒有清楚的連結關係，顯然還需進行更多調查。」

聲音來源:ABC News記者:「目前每5百萬接種的人中，只有1人通報有心肌炎，對比下，被雷打到的機率高出許多，是70萬分之1。」

成人接種後也有極少數出現心肌炎，美國疾管局正釐清疫苗和心肌炎之間的關聯，強調疫苗依舊利大於弊，也是人與人安全連結的最佳保障。

https://www.youtube.com/watch?v=QPQ8xFanRuA