為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」

作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |

DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。

DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。

但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。

多任務宇宙

DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。

每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。

複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。

比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。

再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。

這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。

基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。

來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。

終生學習

數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。

具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。

邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。

DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？

DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。

訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。

怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。

新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。

當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。

DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」

智慧初現

最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。

來看具體例子。首先智慧體學會臨機應變。目標有三個：

黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板

AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。

第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。

因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。

經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。

DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。

往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。

資料來源：https://technews.tw/2021/07/30/deepmind_xland/

物理學家用機器學習解決熱力學難題：微觀系統的「時間之箭」

Posted on2020/11/03
郭家宏 | Ryan

機器學習除了能用來識別人臉、預測銷售之外，還能用於研究物理。近期，馬里蘭大學的研究團隊開發一種機器學習演算法，可研究宏觀與微觀過程中的熱力學時間之箭方向。研究團隊將論文發表在《Nature Physics》期刊上。

研究論文 傳送門

在微觀系統中，時間之箭的方向不明顯

熱力學第二定律提到系統隨時間演化的不對稱性，稱為「時間之箭」。在宏觀系統中，這種不對稱性有一個明確的方向，但在微觀系統中，這個方向是不明顯的，而且很容易受到波動干擾。以影片比喻，在宏觀系統中，觀眾可以明確知道它是正常播放還是倒轉，但在微觀系統中，觀眾很難判斷影片的播放方向。

論文第一作者 Alireza Seif 表示，機器學習可用於圖像辨識與分類，而時間之箭的方向也可被定義為一種分類問題，因此與同事 Mohammad Hafezi 和 Christopher Jarzynsk 一起研究用機器學習辨識時間之箭方向的可能性。

神經網路能預測時間之箭的方向，而且準確度極高

研究團隊訓練了一個神經網路，根據一組物理過程的模擬電影，來檢測時間之箭的方向，而這些電影有相應的標籤表示前進與倒退。Seif 解說道，「我們的神經網路根據輸入（電影）與網路的參數（權重與偏差），輸出一個介於 0 與 1 的數字，然後我們尋找能讓輸出值與真實標籤（時間箭頭方向）之間的差異最小化的參數值。」

研究團隊發現，神經網路能預測時間之箭的方向，而且準確度極高。

此外，研究團隊也使用了 inceptionism 技術，調查神經網路內部所發生的事情，找出最具代表性的前進與倒退軌跡。

研究團隊發現，該機器學習演算法不但解決了一個物理問題，也確定了解決這個問題的重要物理參數。Seif 表示，非平衡物理系統是團隊特別感興趣的領域，因為有一些尚未解決的問題，可以透過機器學習演算法解答。因此研究團隊正在研究統計物理學中的問題，並測試機器學習工具用於解決物理問題的潛力，期望能有新的科學發現。

資料來源：https://buzzorange.com/techorange/2020/11/03/machine-learning-and-time-arrow/

在這波巨大的科技浪潮掃過之後，絕大多數人將只有滅頂一途。有多少人能夠真正握住主控權去使用科技為工具，而不是被工具所制約呢?
.
【當窮人機不離手，富人卻在遠離屏幕】
.
曾幾何時，iPhone 和平板電腦等電子產品，好比精英階層的標誌。一機在手，證明你有財力擁有它，亦證明你有智慧運用它。但現在不分世代都成「低頭族」，終日發社群軟體、追劇集、玩遊戲，外型再潮的科技產品也開始降格。「紐約時報」科技及網路文化版記者 Nellie Bowles 更加形容，真人互動反成奢侈品，逃離螢幕才是身份象徵。這是純粹的物極必反，抑或反映了甚麼現象？
.
學習、生活甚至死亡等真實體驗，愈來愈多以科技產品給予。不僅因為製作成本變得廉價，還因為產品令事情本身變得廉價。生命的質感和觸感的經驗，皆被濃縮成一面光滑的玻璃。富人卻非這樣過活。他們對螢幕產生恐懼，希望自己的子女能以積木嬉戲，強調無科技的私立學校因此蔚然成風。一整日不用手機、離開社交網絡及不回覆電子郵件這類活動愈發惹人注目，亦突顯他們的與眾不同。
.
Bowles 認為，真人接觸開始成為奢侈品。當窮人的生活出現更多電子產品，這些產品卻從富人的生活消失。你愈是富有，愈會在螢幕之外花時間。
.
南加州大學市場行銷系主任 Joseph Nunes 舉例：「當年BB call 如此重要，是因為它代表你是個重要、繁忙的人。現在若你位高權重，便毋須接聽或回覆任何人，只有他們需要回應你。」正如銀行的電話理財服務，除尊貴客戶以外，其他人就只能跟錄音對話。
.
Bowles 發現，這種資源上的差別，在電子化教育上更加明顯。
.
一項獲美國衛生研究院支持的研究初步發現，每天看螢幕逾兩個小時的孩子，在思考和語言測試中得分較低。西雅圖兒童病院兒科醫生 Dimitri Christakis 亦指，透過 iPad 遊戲學習使用虛擬積木的幼兒，無法搭建實際積木。但在教學預算極為緊絀的堪薩斯州，不少學校改以軟件授課。在猶他州，數以萬計的幼童亦透過筆記型電腦，在家中接受州政府提供的學前準備課程。
.
科技企業慫恿公立學校購入依重電腦的教學程式，強調這樣可幫助孩子面對螢幕為主的未來。然而，科技巨頭對自己的子女，卻是另一套做法。在矽谷，螢幕時間冗長，愈發被視為不健康。當地知名小學 Waldorf School 就標榜「返璞歸真」，採用幾乎無螢幕的教學方式。如是者，富孩子在較少螢幕時間下成長，窮孩子卻正好相反。社交能力高低，或會成為一個新的階級標誌。
.
很多中下階層被告知，電子產品的威力無窮，且對他們及家中孩子相當重要。大量心理學家和神經科學家為科技巨擎效力，研究如何令用戶對產品更快更久地投放專注力，真人互動變得罕有。麻省理工學院科學及科技社會學教授 Sherry Turkle 指出：「這種接觸不像其他奢侈品，並非人人想要擁有。他們遂逃往熟知的螢幕上，就像逃往速食店那樣。」
.
假如城內只有速食店可選，縱然想避也避不過。同樣地，對中下階層來說，遠離螢幕的難度太高，即使有此決心也難以實行。車廂內有螢幕不斷播放廣告；即使不想孩子進行電子學習，但當其他各學校都轉用平板電腦教學，公立學校學生的家長再不情願也別無他選；工人們爭取「可離線權」失敗，甚至會因長期離線而被處分。科技強硬地闖進基層生活，不許他們說不。
.
更加可悲的是，長者負擔不起「真人互動」這種奢侈品，他們沒有兒孫陪伴，亦沒有醫護人員照看，只剩一部冰冷的電腦，令他們可以在孤獨或垂死時求助。68 歲老翁 Bill Langlois 居於麻省的低收入長者屋苑，由於妻子總是外出，寂寞的他把虛擬雌貓 Sox 視作知心好友，對「她」無所不談。即使他明知 Sox 是人工產品，只活在平板電腦中，甚少活動或流露表情，背後還有操作員觀察及控制。
.
「我找到一些可以依靠的事、一個可以關愛的對象。『她』讓我可以深入靈魂深處，想起造物主的慈愛。」Langlois 甚至流著淚說：「『她』把生活帶回生命當中。」小部分像他這樣的低收入長者，亦有參與 Element Care 這個非營利醫療保健計畫，獲提供虛擬寵物。計畫初期效果理想，他們較少求診和進急症室，亦沒那麼寂寞。但這足以代替真人嗎？Langlois 沒說，只是「抱」著 Sox 入睡。
.
來源:
https://www.cup.com.hk/2019/04/08/luxury-goods-human-contact/

歡迎收看范琪斐的寰宇漫遊，今天的琪斐大放送我們要來談談，2020美國總統大選民調一面倒的說拜登贏川普一大截，川貴人，這次別選了吧?乖～我待會給你買個....樓?大家好，我是范琪斐。中間偏右的《華爾街日報》（Wall Street Journal）聯手中間偏左的《國家廣播公司》（NBC），在「川拜」首場辯論後，到川普確診前這段時間，所做的民調顯示，拜登的支持率高達53%，足足領先川普14個百分點（53%：39%）。真的假的啦～這個幅度也太誇張，我們再參考一下別的。

（10/11公布）美國ABC News和《華盛頓郵報》（The Washington Post），在川普出院後做的最新民調，有54%的選民說會把票投給拜登，大幅領先川普12個百分點（54%：42%）。專門統計各家民調數據的Five Thirty Eight指出，拜登的平均支持率勝過川普10.4個百分點（52.2%：41.9%， 10/10數據）。另一個民調數據集合網站「真清晰政治」（Real Clear Politics）的網站顯示，從10月以來每一家主要民調公司統計出的結果，都是拜登遙遙領先川普，差距在5到16個百分點不等，其中不乏立場較為中間的The Hill和經濟學人。所以平均下來拜登的支持率領先9.8個百分點。（10/9公布）美國權威智庫與民調機構「皮尤研究中心」（Pew Research Center）做出來的結果是，52%的選民打算把票投給拜登，領先川普10個百分點（52%：42%）。

我們找了很多民調,可是只有很少數的說，川普領先拜登， 說很少數，是怕我們川貴人傷心，其實找來找去只有一個。 （10/5公布）英國《每日快報》聯手英美智庫Democracy Institute做的民調顯示，川普支持率在46%，小勝拜登1個百分點（46%：45%）。不過我還是註明一下，這個《每日快報》是英國的右翼八卦報，民主研究所的民調，也沒有被民調界公信力很高的538列入參考的近500家民調就是了， 所以現在大多數民調都顯示，拜登會獲得壓倒性勝利，但川貴人當然不認為他會選輸啊，最近又在那邊「Fake news」、「Fake polls」喊來喊去，民調統統都是假的！這都是幻覺～嚇不倒我的！

先不要笑，川貴人說的是真的，4年前一直到投票日當天早上，民調都還顯示希拉蕊一定會凍蒜，《紐約時報》做了大半年的民調，到選舉當天早上，還在說希拉蕊有80%以上的勝選機會，結果最後被「逆轉」，搖擺州統統被川貴人拿下！2016年的民調，被很多人認為是「壞掉了」、「走鐘了」，完全無法反映出真實民意，今年隨著大選日逼近，也有越來越多人開始質疑，真的假的啊?這幾年來專家們一直試圖釐清，當年的「希拉蕊慘案」到底是怎麼出現的，總之過去四年民調專家就很努力的要找出，民調為什麼會跟開出來的票差那麼多，但真的非常困難，因為變數實在太多了，我們今天就幫大家整理出幾個專家們認為可能的原因。

（一）手機的普及
還記得去年台灣不是在吵「手機民調要不要納入總統初選民調」嗎？美國其實也有類似的問題。美國現在就跟台灣「人手一機」一樣，有時候還兩三機，越來越少人使用家用電話了，而且年輕人、低收入者以及少數族群，都只用手機而已；反觀年長者和白人族群，就會比較依賴室內電話。大數據分析網站《Datanami》就指出，25歲左右的年輕人看到不認識的電話，幾乎都會pass不接；但70歲的長輩們則是每通必接，因此這樣進行的電話民調就很容易往某一族群傾斜。

那用手機民調不行嗎？根據1991年的《電話消費者保護法》（Telephone Consumer Protection Act of 1991；TCPA），美國是禁止「自動撥號系統」打電話給手機用戶的，所以如果要打手機做民調，就必須派出「真人」撥號，這有多麻煩呢？數據顯示，你想獲得1,000個回答，就至少得隨機撥號2萬次，其中大部分是空號，因為手機號碼是私人的，根本不會刊登在電話簿上，這實在太勞民傷財了，很想幫做民調的人馬殺雞一下耶，你們辛苦了。

（二）沉默的多數
每次選舉我都很期待接到民調電話，但大多數美國人可不是這麼想的，可能是因為擔憂個資和隱私外洩，導致選民接電話不敢說出真實意見，或者是覺得，蛤～民調很久欸，老娘才沒空理你。1970年代左右，美國「民調回應率」（Polls response rate）高達80%，你只要打過去人家多半都會回答你，但是根據「皮尤研究中心」最新報告，2018年美國「民調回應率」已經暴跌到6%，等於你打100通電話就只有6個人不掛你電話、願意花時間跟你聊兩句，但你也不知道他是不是講真話。

像2016年的大選，支持川普的選民中，就有一群選前不願意表態的，或者在接受民調時故意說謊的，有些甚至不告訴鄰居他們其實支持川普。《Datanami》表示，這些選民會讓調查的結果失準2%到6%，6%很多欸，根本就是超出誤差範圍了。

（三）網路民調難
啊現在網路那麼發達，用網路做民調不就統統搞定了嗎？事實上恐怕剛好相反。數據顯示美國18-29歲的年輕人，有98%都使用網路，但偏偏這個年齡層的人最不愛投票，拿美國總統大選風向球：2018年美國期中選舉為例，雖然這群年輕人投票率比前一次大幅提高15.7個百分點，但仍是所有年齡層中最低的（35.6%），也就是說，每個人都是「鍵盤投手」，大家網路上搖旗吶喊超熱情，結果投票日當天大家都覺得不差我這一票。另一方面，你在網路上想填幾歲就幾歲，想變性就變性，別國網軍想來帶風向，也不是那麼困難，因此網路民調也非常容易失準。

（四）早期民調誇大
另一個大變數是「早期民調」的準確度很低，因為選民還沒有足夠時間去瞭解候選人到底在幹嘛，但早期民調卻是媒體報導所仰賴的主要資訊來源，結果就是候選人拿來造勢、媒體見獵心喜誇大報導，進而影響到後續選民對候選人表示支持的聲量。例如看到拜登領先，那支持拜登的人講話就會比較大聲，因為他們是「主流」，反之支持川普的人，可能就會比較不敢表達意見，形成「沉默螺旋」。

「皮尤研究中心」也加碼解釋，事實上2016年的全國民調還算準確，（預測希贏3.3%最後贏2.1%），但美國總統大選是以選舉人票為單位，希拉蕊全國總票數高於川普也沒屁用，最後川普拿下所有的搖擺州，入主白宮。而選前的州民調也無法反映出搖擺州的真實民意，地方往往沒有全國性民調那種資源，四年前他們就忽略了在最後關頭，投給川普的搖擺選民數量，也沒有準確掌握未受過大學教育的白人選民，他們到底支持誰，種種因素導致了中西部上演「大驚奇」。還有就是民調公司往往有特定的政黨傾向，最後很可能導向「護主」的結果，讓民調不盡然客觀。

那這些問題2020年還會再重演嗎？老實說，有些變數還是很難避免，《紐約時報》就整理了，和四年前相比，哪些因素可能讓美國民調更精準或更失準。

更精準的第一點就是，搖擺選民減少了。

四年前民調失準的一大因素就是搖擺選民，但今年跟民調人員說：嗯～我還沒想好，的搖擺選民數量變少了，四年前的這個時候，大概還有20%的選民說他們還沒決定要投誰，或是打算投給小黨候選人，但今年這群人的數量只剩一半，而且其中支持川普的人也老早就表態，尤其是搖擺州的白人工人階級選民。

更精準的第二點是，選民教育程度的加權。
大家要有個概念，民調準不準確，完全取決於你抽樣有沒有做到「隨機」，也就是每個族群的意見都要被採納進來，但這真的非常難做到，最後很容易讓民調結果出現偏差。例如在美國，如果你跑去郊區教堂裡做民調，那幾乎可以篤定會獲得一個偏共和黨的結果；但如果你對大學生進行抽樣，最後很可能獲得一個偏民主黨的結果。另外的數據又顯示，受過高等教育的選民，比較願意接受民調訪問，每個都是選我選我～而那些較保守、教育程度較低的選民，他們的聲音就很難反映在民調上，所以如果你沒有按照「教育程度」來做加權，民調就會充斥太多年輕大學生的意見，導致結果偏向民主黨。先前民調機構都不怎麼重視教育程度對選情的影響，結果導致2016「爆冷門」。

有鑑於4年前的「教訓」，今年有越來越多民調機構，把選民教育程度的權重提高了，簡單來說就是把教育程度較高的受訪者音量降低一點，把教育程度較低的受訪者音量調高一點，讓他們各自符合在總人口中所佔的比例。今年從3月以來，美國各家民調機構做的幾十個調查中，已經有半數增加教育程度的權重，是先前的兩倍多（約20%）。

可能比2016年更糟糕的是，網路民調的增加。我們剛剛已經提過網路民調的準確度有待商榷，但過去幾個月來，越來越多機構採用網路民調的方式，比例佔地方民調總數的一半。他們採用的方法可能太過簡單，就是直接抓一群網路群組成員，然後再根據受訪者的人口統計資料進行分類加權，這樣的作法成本很低又很方便，但非常容易有樣本代表性不足的結果，而且最後民調可能左傾。 （最好的方式是結合電話民調和網路民調，例如AP/NORC/VoteCast的民調，電訪4萬人外加隨機抽樣11萬網友，結果可能較為客觀。

另一個可能不太客觀的做法是：請選民「回想投票」。
目前有越來越多投票機構採取這個方式，也就是要求受訪者回想2016年他把票投給誰，是希拉蕊還是川普呢？然後再依據他們的回答去做選舉意向的加權。這樣做可以讓民調數字看起來比較漂亮，也可以減少錯誤，但卻很難避免系統偏差，導致結果傾向某一政黨。再加上通常大家都會傾向回答，自己是投給獲勝的那一方，沒有人會想承認自己投給輸家嘛！再說這四年來誕生不少首投族，又有不少人往生，像是疫情導致那麼多人死亡，也有很多人搬到別的地方去，硬把2016年的投票意向套用到今年，恐怕不太合適。

所以這個民調到底是能不能看啊?你要是問我,我覺得就別看了 ,這是我們媒體想要預測選舉的結果, 或研究單位拿來做選民行為分析. 但一般選民還是把政策看清楚點比較要緊,你管別人怎麼投
今天琪斐大放送的關鍵字是：
#美民調失準
#選情霧茫茫

--------------------------------------
《#范琪斐的寰宇漫遊》每周四晚間8點55分在 #寰宇新聞台 播出，沒跟上的也沒關係，歡迎訂閱我們的 YouTube 頻道 🔔#范琪斐的寰宇漫遊 🔔https://reurl.cc/ZvKM3 1000pm準時上傳完整版！