四兩撥千斤！ 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄，輕量化模型孟子一鳴驚人！

本週，中文語言理解權威評測基準CLUE榜單，被「低調」刷新。

不同的是，不是大公司、不是超大模型……

一個新面孔，一個輕量化模型，首戰即登頂，四兩撥千斤。

CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。

瀾舟科技-創新工場推出的孟子模型，以十億參數完成了此前百億、千億參數模型刷新的紀錄。

這也是瀾舟科技首次對外曝光，背後團隊負責人，正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理，文章來自《量子位》微信公眾號，經授權轉載。

▎輕量化模型孟子？

孟子，基於瀾舟團隊自研技術研發的大規模預訓練語言模型。

包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。

可處理多語言、多模態數據，同時支持多種文本理解和文本生成任務，能快速滿足不同領域、不同應用場景的需求。

孟子模型基於Transformer架構，僅包含十億參數量，基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。

但誰也沒想到，小模型卻有大智慧，一經登場，打破格局。

CLUE，中文語言理解領域最具權威性的測評基準，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。

該榜單競爭激烈，幾乎是業內所有自然語言理解玩家必爭之地。

騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。

而且隨著大參數模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。

因為百億、千億甚至萬億參數的大模型，已然不再是創業或其他玩家可與之爭鋒。

萬萬沒想到，瀾舟科技-創新工場團隊出手，四兩撥千斤。

因為孟子，走的是基於輕量級、高效訓練的研究路線，致力於構建十億級別的小模型，充分發揮已有參數下的模型潛力，有利於快速、低成本地落地現實業務場景。

孟子預訓練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務上表現出色。

相對已有的中文語言模型，孟子模型實現了多項突破性進展：
 1） 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下，遠超公開模型的性能。作為精巧的小模型，對標「巨無霸」，小模型性能超越千億規模模型。
 2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀錄。總排行榜分數突破84分，逼近人類基準分數（85.61）。
 3）靈活的領域和場景適應能力，方便快速定制和應用。基於T5-style的端到端生成的訓練範式，同步適配BERT-style的判定式架構，既能理解也能生成。便於適配行業應用，覆蓋廣泛業務場景。

當然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。

▎原理方法和應用？

在輕量化模型算法研究方面，基於自研的基於語言學知識、知識圖譜和領域數據增強等技術，從模型架構（包括基礎層Embedding表示和交互層Attention機制）到預訓練策略進行了全方位改進。

具體有四方面：
 1) 模型結構方面，將語義角色、詞性標註等語言學特徵融合到Embedding表示中，基於句法約束引入註意力機制中，從而提升模型對語言學知識的建模能力。
 2) 訓練策略上，引入基於實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關係的表徵。
 3) 為進一步提高訓練效率，使用了大模型蒸餾和初始化小模型策略。
 4) 為更好地將孟子模型適應垂直領域如金融、營銷，使用了領域數據繼續訓練並構造相應的提示模版（Prompt），取得了明顯的性能提升。

基於以上算法策略，實現從語料中高效學習涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結構和語義信息能力，以及良好的領域遷移能力，適應廣泛的產品應用場景。

另外，在Finetune的進展方面，如何將預訓練模型用於各項任務？

瀾舟團隊也有總結，從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索，進一步提升語言模型的性能：

 1) 數據增強：使用領域相關數據；
 2) 知識蒸餾：基於Teacher-Student自蒸餾提升訓練效率；
 3) 遷移訓練：結合課程學習的思想，由易到難訓練下游模型；
 4) 訓練優化：使用多種訓練目標，多角度提升模型能力；

而且孟子還已經展開了垂直化領域應用。

基於領域適應技術，孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型，領域適應策略主要包含兩大方面：

 1) 通過大規模的泛金融領域語料，將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
 2) 通過大規模的營銷領域語料，將孟子模型遷移到數字營銷領域，完成了營銷文案生成、新聞摘要等多項任務，將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。

瀾舟方面還透露，孟子模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋文本生成、行業搜索、機器翻譯等諸多領域。

並且毫無疑問的是，因為輕量級模型具有的模型參數較少、快速推斷的特點，更易於線上部署和推廣到移動設備中，自然不會局限於現有應用和場景，接下來還會有更廣泛的研究和應用場景中。

▎瀾舟團隊？

最後，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。

瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。

AI領域內，周明已不用過多介紹，他是公認的世界級AI科學家，自然語言處理領域的代表性人物。

周明博士在2020年加盟創新工場，擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型，基於大數據、知識圖譜和行業模型，提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。

據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。

值得注意的是，瀾舟科技除了大牛坐鎮，其實也是行業趨勢的體現。

引用創新工場董事長兼CEO李開復最新分享來說：

AI的發展可以按照兩個時間點劃分。

第一個時間點是2015年，以CNN為核心的計算機視覺技術讓機器超越了人類，帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。

而第二個時間點出現在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數據、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。

「如果說CNN造就了今天計算機視覺領域的突破和眾多應用，預訓練大模型+微調也將帶來自然語言的百花齊放的發展，用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果，在新機遇面前躬身入局，一起發掘NLP領域的黃金發展期」，李開復說到。

【和一位編輯的對話】
　
1.
「盈志，七年裡你已經出了五本卡繆的書，明年還有兩本，說說到底是怎麼開始的？」
　
一開始並不是想出版卡繆作品，而是我想讀卡繆的《反抗者》。那時候，將近十年前，因為反核四、士林王家拆遷、大埔強徵、洪仲丘事件、反服貿、三一八事件，義憤之下需要思想與閱讀的來源。在那時得知卡繆有本著作叫《反抗者》，於是我去尋找，但沒找到還有流通的版本，只有一個四十年前的譯本，只在某些圖書館有少數存本。因為我自己很想讀，想要有一個符合當代語感的譯本，在找了一些關於此書的資料和評論之後，便開始著手洽談翻譯《反抗者》。
　
編輯《反抗者》的最後階段，剛好踫上三一八事件，我就是上班編稿，下班把稿子帶到青島東路、濟南路上，就著路燈接續看稿。
　
「啊？那我怎麼沒有在那裡見到你？」
　
三一八那時立法院旁人山人海的連電話訊號都很弱啊。太多手機。
　
2.
「後來又怎麼繼續的？」
　
《反抗者》出版後，邀請撰寫導讀的沈清楷老師到書店演講，我也到幾個場合談這本書。談書的方式我不是直接解釋書裡的思想，而是與讀者分享為什麼我們需要這本書、為什麼卡繆會產生反抗思想，因為這些準備，也讓我覺得應該要把卡繆反抗思想前一階段的荒謬思想大致理解一遍。也是因為自己想閱讀，希望有更適合當代讀者閱讀的版本，所以又找嚴慧瑩合作翻譯《薛西弗斯的神話》，讓卡繆的思想脈絡可以更清晰。
　
3.
「《異鄉人》又是怎麼出來的？」
　
本來以為出版《薛西弗斯的神話》和《反抗者》（後來有組成「卡繆思想套書」出版）之後應該暫時告一段落，但意外的旅程總是開啟新風景。前幾年出差到美國舊金山，到舊金山當然要去逛當地的地標「城市之光書店」（City Lights Bookstore），一進書店門沒多久，就在書架上看到陳列推薦當月出版的新書：Looking for The Stranger，這是關於卡繆如何寫出他一鳴驚人作品《異鄉人》的故事，我立刻把書拿到櫃台結帳。回國後，看了一點書讀了評論，就決定買下版權翻譯出版這本《尋找異鄉人：卡繆與一部文學經典的誕生》。此書的作者艾莉絲．卡普蘭是美國耶魯大學法文系教授，她的法國文學研究也往往得到法國學界的讚賞。既然要出版《尋找異鄉人》，是不是需要再出版一本新翻譯的《異鄉人》呢？幾經考慮，決定重新翻譯最多人認識的卡繆作品《異鄉人》，與《尋找異鄉人》一起出版，我們再重新探尋這部經典作品一次。
　
出版《異鄉人》和《尋找異鄉人》之後，我不由又想到卡繆兩個完整系列的創作。正當在心中思索這個念頭之際，新型冠狀病毒疫情開始爆發，很快便決定要出版一部能展現當下人類處境的《瘟疫》新譯本。到此時，卡繆的荒謬系列和反抗系列已經有過半出版，而剩下的是卡繆創作的最初——戲劇，卡繆在大學時便開始參加劇團。我也了解劇本在台灣讀者間並不討好，但卡繆的戲劇作品善用角色間的衝突來試煉他的中心主題，不跟台灣讀者介紹這些卡繆的經典，難以全面展現卡繆思想與創作，因此便決定將兩個系列都完整出版。
　
4.
「說說我們版本的《瘟疫》和其他版本有什麼不同吧？」
　
這是全新從法文直譯過來的版本。譯者嚴慧瑩在法國念研究所攻讀博士學位時，卡繆一度是她專攻的對象，對卡繆作品有自己的熱愛和研究，而不光只是譯者與譯作的關係而已。
　
大塊文化與嚴慧瑩長期合作翻譯卡繆作品，依出版序目前已經出版：《反抗者》、《薛西弗斯的神話》、《異鄉人》、《瘟疫》與《正義者》，後續還有《卡里古拉》及《誤會》，在翻譯上有一致性的優點，也是台灣第一次根據卡繆自己規畫（根據1947年6月的卡繆札記裡的記載）創作的不同系列階段來整合出版。
我們已經出版反抗系列（Le cycle de la révolte）三部曲：《瘟疫》＋《反抗者》＋《正義者》。明年將會出齊荒謬系列（Le cycle de l’absurde）四部曲，除了《異鄉人》＋《薛西弗斯的神話》之外，還會再出版《卡里古拉》、《誤會》，這就出齊了卡繆作品中完整的兩個創作系列。
　
5.
「你走的這條路，真是編輯可以走也應該走的路啊。」

這是一個從一開始只是想讀一本書，卻沒有書可以讀，只好從頭做起洽談翻譯出版，到後來被作品與作者吸引，想要讀到完整的面貌，就變成了兩系列七本書的計畫（再外加一本《尋找異鄉人》）。

#比崩潰更崩潰的WFH

這禮拜開始放暑假，淦。

不能送夏令營，不能送婆家娘家，
怎麼辦？放風不管大家自由嗎？

太天真。

沒有課程，就是無限的吵架告狀，
沒有課程，就是各種方法偷用3C，
(我開會時是偷用的最好時機)
每10分鐘跳針來問能不能用平板，
不能用就趴在地上哭、大叫、甩門。
(我生的我生的我生的我生的我生的)

沒有課程就要生課程出來
If I don't keep them busy,
They will make me dizzy.
大概就是這個概念

我加入了兩個家長自助共學團
就是家長貢獻兩堂課程教小孩
大家小孩拼湊著上所有課
一個是小乖同學群(一年級)
一個是Showing同溫層(四五年級)
我發現兩邊的備課根本無法一起備
而且課程之間會打架😭😭

小乖的程度是成語故事、英文對話
(一鳴驚人、一波三折、三娘教子)
(what you like to do in summer)
難度在於控制螢幕前的小朋友
Showing那邊的家長群超神
貢獻的課程有創業須知、會計原理
難度在於生出好吸收但有難度的課

這兩天家長們的線上課還不多
我還要額外準備課程給小孩

Day 1&2
早上會議最滿時，小孩看影片
「舌尖上的中國」是池先生準備的
我則是準備以及審核學習單

Day 1下午則是畫畫課跟體育館
Day2 下午則是英文課
放心，媽媽一打二沒空教課
出題讓他們做就仁至義盡

畫畫必須畫出一個成語
小乖混到人神共憤
有興趣的可以看圖猜猜他畫啥

英文課必須完成媽媽指定閱讀
查完整篇故事不會的單字之後
閱讀故事並同步翻譯給媽媽聽
搞到晚上8點半才完成。

淦，兩天下來他媽的我有夠累。
管理秩序比準備課程累一百倍。

終於發現老師跟老公一樣重要。
沒了學校，爸媽就會起笑。

前些天6/25池先生生日，
他說他的生日願望就是遠離小孩，
當天6點多清晨當全家都還在睡，
他就飛奔去公司沒有人能阻擋他。

兩週後我生日，
我能有一樣的願望嗎？？？？

『瞿欣怡的女人書房』播出時間：週四晚上10:00，敬請訂閱影響力

【一鳴驚人之前，我們都在土裡】

本集簡介：從小我們就開始追尋著大大小小不同的夢想，不停的在這條道路上迷惘、擺盪著…
成功者的故事聽了太多了，到底為何這些人成功了，而我們卻還在掙扎著？
仔細看看周遭吧～其實還有很多人像你一樣不斷地在挖洞，找尋夢想的出口！

#播出時間
「瞿欣怡的女人書房」為#雙週上映，歡迎粉絲持續追蹤影響力頻道，觀看更多達人分享喔！

趕快按下「訂閱」影響力頻道，最即時、最有料的影音節目一集都不漏看。只要每天花5分鐘時間，就能輕輕鬆鬆提昇自我的實力！
+ 看更多瞿欣怡的女人書房：http://seepower.tv/author/guest_24/

關於瞿欣怡：
江湖人稱「小貓」，做過文案、記者、週刊主筆等工作，現在是小貓流文化總編輯。大學時在女研社被啟蒙，成為女性主義者，希望當女性主義翻譯者，用簡單的話語，述說女人的一切。

+ 影響力官網：http://seepower.tv
+ 影響力臉書粉絲專頁：https://www.facebook.com/seepower.tv/
+ 加入影響力Line@：https://line.me/R/ti/p/%40cph9985f
+ 影響力愛奇藝站：http://tw.iqiyi.com/u/1269595541
-
影響力於2018年正式上線，由讚點子數位行銷有限公司發起，在這裡，我們匯集了台灣各領域的專業人士，包括國際、財經、職場、親子、兩性、教育、藝術等領域，成為我們引領社會脈動的「達人」，透過影音傳播的力量，帶來超越世代的影響力！

下一個十年，你準備好和達人一起充實自己嗎？
2018年，期待與你一同創造全新的知識影音元年。