四兩撥千斤！ 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄，輕量化模型孟子一鳴驚人！

本週，中文語言理解權威評測基準CLUE榜單，被「低調」刷新。

不同的是，不是大公司、不是超大模型……

一個新面孔，一個輕量化模型，首戰即登頂，四兩撥千斤。

CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。

瀾舟科技-創新工場推出的孟子模型，以十億參數完成了此前百億、千億參數模型刷新的紀錄。

這也是瀾舟科技首次對外曝光，背後團隊負責人，正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理，文章來自《量子位》微信公眾號，經授權轉載。

▎輕量化模型孟子？

孟子，基於瀾舟團隊自研技術研發的大規模預訓練語言模型。

包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。

可處理多語言、多模態數據，同時支持多種文本理解和文本生成任務，能快速滿足不同領域、不同應用場景的需求。

孟子模型基於Transformer架構，僅包含十億參數量，基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。

但誰也沒想到，小模型卻有大智慧，一經登場，打破格局。

CLUE，中文語言理解領域最具權威性的測評基準，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。

該榜單競爭激烈，幾乎是業內所有自然語言理解玩家必爭之地。

騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。

而且隨著大參數模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。

因為百億、千億甚至萬億參數的大模型，已然不再是創業或其他玩家可與之爭鋒。

萬萬沒想到，瀾舟科技-創新工場團隊出手，四兩撥千斤。

因為孟子，走的是基於輕量級、高效訓練的研究路線，致力於構建十億級別的小模型，充分發揮已有參數下的模型潛力，有利於快速、低成本地落地現實業務場景。

孟子預訓練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務上表現出色。

相對已有的中文語言模型，孟子模型實現了多項突破性進展：
 1） 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下，遠超公開模型的性能。作為精巧的小模型，對標「巨無霸」，小模型性能超越千億規模模型。
 2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀錄。總排行榜分數突破84分，逼近人類基準分數（85.61）。
 3）靈活的領域和場景適應能力，方便快速定制和應用。基於T5-style的端到端生成的訓練範式，同步適配BERT-style的判定式架構，既能理解也能生成。便於適配行業應用，覆蓋廣泛業務場景。

當然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。

▎原理方法和應用？

在輕量化模型算法研究方面，基於自研的基於語言學知識、知識圖譜和領域數據增強等技術，從模型架構（包括基礎層Embedding表示和交互層Attention機制）到預訓練策略進行了全方位改進。

具體有四方面：
 1) 模型結構方面，將語義角色、詞性標註等語言學特徵融合到Embedding表示中，基於句法約束引入註意力機制中，從而提升模型對語言學知識的建模能力。
 2) 訓練策略上，引入基於實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關係的表徵。
 3) 為進一步提高訓練效率，使用了大模型蒸餾和初始化小模型策略。
 4) 為更好地將孟子模型適應垂直領域如金融、營銷，使用了領域數據繼續訓練並構造相應的提示模版（Prompt），取得了明顯的性能提升。

基於以上算法策略，實現從語料中高效學習涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結構和語義信息能力，以及良好的領域遷移能力，適應廣泛的產品應用場景。

另外，在Finetune的進展方面，如何將預訓練模型用於各項任務？

瀾舟團隊也有總結，從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索，進一步提升語言模型的性能：

 1) 數據增強：使用領域相關數據；
 2) 知識蒸餾：基於Teacher-Student自蒸餾提升訓練效率；
 3) 遷移訓練：結合課程學習的思想，由易到難訓練下游模型；
 4) 訓練優化：使用多種訓練目標，多角度提升模型能力；

而且孟子還已經展開了垂直化領域應用。

基於領域適應技術，孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型，領域適應策略主要包含兩大方面：

 1) 通過大規模的泛金融領域語料，將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
 2) 通過大規模的營銷領域語料，將孟子模型遷移到數字營銷領域，完成了營銷文案生成、新聞摘要等多項任務，將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。

瀾舟方面還透露，孟子模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋文本生成、行業搜索、機器翻譯等諸多領域。

並且毫無疑問的是，因為輕量級模型具有的模型參數較少、快速推斷的特點，更易於線上部署和推廣到移動設備中，自然不會局限於現有應用和場景，接下來還會有更廣泛的研究和應用場景中。

▎瀾舟團隊？

最後，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。

瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。

AI領域內，周明已不用過多介紹，他是公認的世界級AI科學家，自然語言處理領域的代表性人物。

周明博士在2020年加盟創新工場，擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型，基於大數據、知識圖譜和行業模型，提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。

據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。

值得注意的是，瀾舟科技除了大牛坐鎮，其實也是行業趨勢的體現。

引用創新工場董事長兼CEO李開復最新分享來說：

AI的發展可以按照兩個時間點劃分。

第一個時間點是2015年，以CNN為核心的計算機視覺技術讓機器超越了人類，帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。

而第二個時間點出現在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數據、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。

「如果說CNN造就了今天計算機視覺領域的突破和眾多應用，預訓練大模型+微調也將帶來自然語言的百花齊放的發展，用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果，在新機遇面前躬身入局，一起發掘NLP領域的黃金發展期」，李開復說到。

▋親愛的，金研院書店把振興券放大了！
　
買考試秘籍📙
買好讀book📖
買文青小物💼
買防疫用品🧴
通通都 1.2 倍啦！
　
🔎圖片中一直出現的黃色瓶子跟土色方塊是什麽？
看留言，就知道！看留言，有好康！
　
金融研訓院加碼挺振興，一起買起來～～～👆👆👆
　
---
　
《活動辦法》
109 年 7 月 15 日至 109 年 12 月 31 日，憑振興券實體券或數位券至金研院金融廣場書店消費，單筆滿240元以上即可享 1.2 倍放大優惠，200元可折抵240元，500元可折抵600元，恕不找零，不能與其他優惠並用。
　
---
　
#幫金編刷一排雞腿
#金編拿出計算機掐指一算
#發現是直接幫你打了83折啊各位朋友🧮

李開復《經濟學人The Economist》專欄：新冠疫情加速自動化大躍遷

中文授權翻譯來自創新工場微信公眾號，原文刊載於經濟學人官網：https://www.economist.com/by-invitation/2020/06/25/kai-fu-lee-on-how-covid-spurs-chinas-great-robotic-leap-forward

2003年SARS疫情期間，北京的實體商店全數關門歇業，這迫使一家零售商嘗試向網路轉型，開拓新市場，這家零售商後來發展為當今中國大陸電子商務巨頭之一：京東。再把時間快轉到我們所在的2020年新冠疫情期間，京東大舉推行新型自動化倉儲，單日訂單處理能力超過150萬單，推動銷售額飆升20%，還在武漢用上了機器人和無人機配送，並計劃於今年內在各地開設1000家自動化餐廳。

我們的世界正迎來疫情衝擊下的重大革新：自動化、智能化和數字化。中國經濟正在經歷一場由自動化驅動的升級再造，大規模引入機器人科技來降低商業運作中人與人的接觸；在線業務、演算法和自動化實現了降本提效及安全保障。雖然這樣的轉變在此次疫情之前就已發端，但疫情確實起到了加速的作用。同時我預測，自動化技術短期內可以用於保證社交安全距離，長期而言將對商業運行機制產生更廣泛、更深層次的影響。這一波後疫情時代的自動化浪潮在中國如火如荼，或許也將於世界各地的商業環境開花結果。

過去人們以為要完成生活中的大事小情，就得與他人面對面互動。經歷疫情隔離後，他們發現其實並非如此。從醫療看護、餐飲、配送、製造、物流、運輸和教育這類藍領屬性的職業，到金融、客服、業務、人力資源、法律和會計這些白領屬性的工作，很大程度上都可以由軟體和機器人科技來完成。

從歷史角度看，當經濟下行週期恰逢新一波成熟科技的應用落地，往往會掀起自動化的熱潮。企業受到成本壓力後，會覺得有必要削減工作崗位和嘗試新科技。一旦企業成功引進機器人來取代人類員工，老闆們就不太可能走回頭路，因為機器人不會生病、不會曠工、不會因為要執行危險任務而要求漲薪。事實上，機器人可以說是疾病大流行期間取代高危崗位的最佳解決方案。難怪美國麻省理工學院的經濟學家大衛·奧特爾 (David Autor) 將新冠疫情稱為「自動化推手」。

中國在發展自動化經濟方面有著得天獨厚的優勢，雖然擁有龐大的勞動力，但在過去20年間，中國的勞動力成本增加了十倍，是越南的兩倍多。作為世界工廠，中國有十足的動力實現智能製造，進而從製造大國晉升為製造強國。現在中國已經是全球最大、增長最快的工業機器人市場，2018年大陸的工業機器人市場規模激增21%，達到54億美元，佔全球銷售額的三分之一，各行各業也在積極探索將機器人技術融入製造業的方方面面。

自動化加速的趨勢還輻射到製造業以外的諸多領域。 二月疫情在武漢迅速蔓延，規模龐大的火神山醫院在十天內建成，成列的機器人在醫院內奔走，進行消毒和物資運送，機器人的「身影」還出現在各地的學校、醫院、商業建築中。上海機器人公司擎朗開發的一款無人車結合了激光雷達、計算機視覺、傳感器等技術，可執行無接觸消毒任務。

前陣子我在北京居家隔離時，網購的包裹和食品都由社區的機器人運送，它裝有輪子、外形敦實，很像《星際大戰》中的R2D2，送貨時先以無線呼叫電梯，自主導航至我家門口，然後撥打我的電話通知開門取件。我取走快遞後，機器人就會回到前台等候下一個任務。

美團外賣也推出了「無接觸」配送服務，將餐品送至指定的取餐點，外賣小哥和顧客無需互動便可完成交易，美團還在積極測試無人駕駛送餐車。微信也開發了一個系統，人們可以用手機瀏覽餐廳菜單、點餐和結賬，由人類或機器人將食物送上餐桌。穿梭於店內的機器人服務生可能是為了隔離安全，也可能是為了炒噱頭，但未來它們或許會成為大多數普通餐廳的基礎配置（上流餐廳除外）。

不過短期來看，自動化對白領類型的工作影響更大。雖然流水線這樣基礎的重複性工作容易實現自動化，但多數手工技藝對機器人來說仍舊難以掌握。21世紀的「智能自動化」將有別於20世紀的初級物理自動化，因為如今的機器人需要將機械工程和用於感知和精細動作操控的人工智慧技術模塊融為一體。而在疫情期間，白領員工居家上班，他們在線上的一切活動、承擔的所有任務都被轉化成數據，標誌著向機器全面接手邁出了一小步。這就是自疫情危機爆發以來，提供“機器人流程自動化”的公司迎來一波銷售熱潮的原因。

作為身在中國的高科技投資人，我第一手見證了這些科技在疫情期間落地應用，舉例創新工場投資的追一科技公司開發了一款客服中心自動化軟體。疫情期間，大陸一家大型銀行的信用卡部門部署使用了該軟體，每天和客戶的通話量高達35萬，相當於1200名人工客服的工作量，這類對話機器人不僅降低了成本，還提高了客戶滿意度，增加了收入。現在追一科技已將AI數字員工的落地應用擴大到智能營銷、智能分析、智能培訓、智能助理等諸多場景。

後疫情時代的商業環境新脈絡正在成形，一切可通過自動化降本提效的運營環節都將實現自動化，而自動化過程壓縮人類崗位，不僅僅是為了利潤和績效，更是為了健康和安全。機器人和軟體在疫情發生前便已展現出吸引力，如今這些技術更是有理由成為企業剛需——無論新冠肺炎疫苗是否會研發出來。

雖然一些工作因自動化改變或消亡，但許多新的工作崗位也被創造出來，例如數據中心、5G設備、智能軟體等新的數字化基礎設施，軟體將需要人類員工加以研發部署，而機器人的操作和維修也需要人類技師。同樣，以人為核心的數據收集和標籤分類工作也需要人類參與，以便為AI提供“燃料”，助力自動化經濟發展。許多行業將根據「人類-數字共生」的嶄新模式獲得重塑。以教育領域為例，AI可擔任24小時在線的老師和教練，而人類老師則是智慧的導師和激勵者；在醫療領域，AI將協助人類醫生，充當精準的、有針對性的診斷引擎，而人類醫生則負責與患者溝通和做出最終的決定。

在向自動化經濟轉型的進程中，政府和民間機構需要攜手努力，共同試驗和樹立最佳模式，幫助就業大眾做好準備，並對面臨失業風險的人群進行再培訓。中國較早採用自動化科技，而且有望成功從一個貧困的農業經濟體轉型為一個工業強國，說明中國大陸的實踐可以提供寶貴的經驗。

二戰後，美國的商業慣例成為了全球標準，世界各地的企業都立志與之看齊，在此次疫情的推動下，中國將加快推進自動化、人工智慧和機器人科技深入各行各業，同時為其他地區探索未來方向提供可藉鑑的思路。 ■

本文作者 | 李開復博士
創新工場董事長兼首席執行官
創新工場人工智慧工程院院長

©The Economist Newspaper Limited, London 25th June 2020