四兩撥千斤！ 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄，輕量化模型孟子一鳴驚人！

本週，中文語言理解權威評測基準CLUE榜單，被「低調」刷新。

不同的是，不是大公司、不是超大模型……

一個新面孔，一個輕量化模型，首戰即登頂，四兩撥千斤。

CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。

瀾舟科技-創新工場推出的孟子模型，以十億參數完成了此前百億、千億參數模型刷新的紀錄。

這也是瀾舟科技首次對外曝光，背後團隊負責人，正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理，文章來自《量子位》微信公眾號，經授權轉載。

▎輕量化模型孟子？

孟子，基於瀾舟團隊自研技術研發的大規模預訓練語言模型。

包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。

可處理多語言、多模態數據，同時支持多種文本理解和文本生成任務，能快速滿足不同領域、不同應用場景的需求。

孟子模型基於Transformer架構，僅包含十億參數量，基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。

但誰也沒想到，小模型卻有大智慧，一經登場，打破格局。

CLUE，中文語言理解領域最具權威性的測評基準，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。

該榜單競爭激烈，幾乎是業內所有自然語言理解玩家必爭之地。

騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。

而且隨著大參數模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。

因為百億、千億甚至萬億參數的大模型，已然不再是創業或其他玩家可與之爭鋒。

萬萬沒想到，瀾舟科技-創新工場團隊出手，四兩撥千斤。

因為孟子，走的是基於輕量級、高效訓練的研究路線，致力於構建十億級別的小模型，充分發揮已有參數下的模型潛力，有利於快速、低成本地落地現實業務場景。

孟子預訓練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務上表現出色。

相對已有的中文語言模型，孟子模型實現了多項突破性進展：
 1） 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下，遠超公開模型的性能。作為精巧的小模型，對標「巨無霸」，小模型性能超越千億規模模型。
 2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀錄。總排行榜分數突破84分，逼近人類基準分數（85.61）。
 3）靈活的領域和場景適應能力，方便快速定制和應用。基於T5-style的端到端生成的訓練範式，同步適配BERT-style的判定式架構，既能理解也能生成。便於適配行業應用，覆蓋廣泛業務場景。

當然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。

▎原理方法和應用？

在輕量化模型算法研究方面，基於自研的基於語言學知識、知識圖譜和領域數據增強等技術，從模型架構（包括基礎層Embedding表示和交互層Attention機制）到預訓練策略進行了全方位改進。

具體有四方面：
 1) 模型結構方面，將語義角色、詞性標註等語言學特徵融合到Embedding表示中，基於句法約束引入註意力機制中，從而提升模型對語言學知識的建模能力。
 2) 訓練策略上，引入基於實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關係的表徵。
 3) 為進一步提高訓練效率，使用了大模型蒸餾和初始化小模型策略。
 4) 為更好地將孟子模型適應垂直領域如金融、營銷，使用了領域數據繼續訓練並構造相應的提示模版（Prompt），取得了明顯的性能提升。

基於以上算法策略，實現從語料中高效學習涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結構和語義信息能力，以及良好的領域遷移能力，適應廣泛的產品應用場景。

另外，在Finetune的進展方面，如何將預訓練模型用於各項任務？

瀾舟團隊也有總結，從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索，進一步提升語言模型的性能：

 1) 數據增強：使用領域相關數據；
 2) 知識蒸餾：基於Teacher-Student自蒸餾提升訓練效率；
 3) 遷移訓練：結合課程學習的思想，由易到難訓練下游模型；
 4) 訓練優化：使用多種訓練目標，多角度提升模型能力；

而且孟子還已經展開了垂直化領域應用。

基於領域適應技術，孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型，領域適應策略主要包含兩大方面：

 1) 通過大規模的泛金融領域語料，將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
 2) 通過大規模的營銷領域語料，將孟子模型遷移到數字營銷領域，完成了營銷文案生成、新聞摘要等多項任務，將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。

瀾舟方面還透露，孟子模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋文本生成、行業搜索、機器翻譯等諸多領域。

並且毫無疑問的是，因為輕量級模型具有的模型參數較少、快速推斷的特點，更易於線上部署和推廣到移動設備中，自然不會局限於現有應用和場景，接下來還會有更廣泛的研究和應用場景中。

▎瀾舟團隊？

最後，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。

瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。

AI領域內，周明已不用過多介紹，他是公認的世界級AI科學家，自然語言處理領域的代表性人物。

周明博士在2020年加盟創新工場，擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型，基於大數據、知識圖譜和行業模型，提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。

據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。

值得注意的是，瀾舟科技除了大牛坐鎮，其實也是行業趨勢的體現。

引用創新工場董事長兼CEO李開復最新分享來說：

AI的發展可以按照兩個時間點劃分。

第一個時間點是2015年，以CNN為核心的計算機視覺技術讓機器超越了人類，帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。

而第二個時間點出現在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數據、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。

「如果說CNN造就了今天計算機視覺領域的突破和眾多應用，預訓練大模型+微調也將帶來自然語言的百花齊放的發展，用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果，在新機遇面前躬身入局，一起發掘NLP領域的黃金發展期」，李開復說到。

你們知道「 #田鼠阿佛 #Frederick」嗎？
我看IG的hashtag人數就知道大家其實不大關心他😆

當初我在 #一物立方 邊吃早午餐邊逛日式雜貨，看到這個杯子二話不說買了2個，店員睜大眼睛的問我說：「 你是因為知道他是誰嗎？還是覺得他可愛？」

我很不好意思的說，
「 我讀過他的繪本，而且我家還有他的玩偶😂」好吧。
店員可能覺得和我形象太不符合，
我們給彼此有禮貌又不失禮的微笑☺️

田鼠阿佛（外表有著懶散的垂眼、手裡抓著一朵畫龍點睛的🌹）其實是美國人畫的繪本，作者49歲著手畫兒童繪本卻意外畫出連成年人都覺得有禪意的悟性，故事是這樣的-

田鼠阿佛的家人跟大家一樣，每天為四季生存而煩惱忙碌、儲存糧食忙過冬、尋找果實🍒，但是唯有阿佛每天無所事事也不幫忙，儘管家人都罵他這樣不行，但他仍然堅持說自己每天收集的是 「陽光、顏色和說話的詞語。」

阿佛表示，冬天來臨躲在巢穴裡-
會看不到陽光、看不見顏色、彼此關在一起聊天聊到沒有詞語好表達，所以他收集這些。

直到真正寒冬來臨時，當田鼠們入洞穴避冬，隨著時間拉長等大家都把自己所囤積的食物都吃光時，話也說完了。

大家期待著阿佛分享他平常收集的東西，他開始請大家閉上眼睛，用他平常收集的詞語表達著感受到的陽光、顏色，讓田鼠們在此時雖然已經沒有物質糧食，但卻因為阿佛的分享心裡得到一絲暖意，彼此覺得自己很幸福知足。

故事不長的繪本，
反觀現在好像因為疫情在禁足的我們❤️
好像他說的沒錯，在不大力缺乏物質的狀態下，我們現在的日子是需要我們之前平時大量收集那些陽光、顏色還有詞語，來渲染現在的生活。

我想內心越富有，不管在什麼狀態下
都能知足喜樂❤️

然後，
也很開心現在還有願意看文字的人，
如果你認真的看到這裡在下面+1好嗎🙌🏻

讓我看看還有多少人願意被文字洗禮😆

#兒童繪本故事分享 #兒童繪本 #田鼠阿佛 #Frederick #francistsai法蘭書籍篇 #陽光顏色詞語 #心靈雞湯 #心靈富足

其實～
大家都知道我在賣豆花～其實我還有另一個斜槓的角色「詞曲創作」
今天終於釋出了我的作品「無香之水」
謝謝陳宏宇 @jc0930tp 老師認可了它，讓它今天有機會能夠問世，意外的還是大家都知道的神級人物唱！
謝謝妳彭佳慧 @juliastar888 我很渺小，但是這首歌真的包括了我人生很多故事！
我真的很感激所有一切發生的我事、也希望認識我的朋友能藉此認識這首我的心血，聽到的當下真的激動到快要哭出來～

人活著！本就不該被任何人去定義！
怎麼呼吸，怎麼談吐都必須是你表達的樣子！
也許那是他們定義你的樣子
但！可以不要忘記自己嗎？
如果遺失了，那就重新認識吧！
你本就應該綻放你的樣子⋯
#無香之水
#彭佳慧
#太難唱了誒

大年初四適合聽👂🏻#客家本色
詞曲：涂敏恆
收錄在專輯《後生就係本錢》由彭月春
演唱的客家本色，歌曲內容講述客家祖先「唐山過臺灣」的艱辛過程，臺灣險峻多樣化的自然山川與多樣、險惡的族群，以因地制宜的「移民本色」，打造了風貌殊異的客家新故鄉，
從歌詞「無半點錢/剎猛打拼耕山耕田/咬薑啜醋幾十年/毋識/埋怨」 可以知道客家人來台的艱辛，一切從零開始，辛勤耕耘忍受開山種田的辛苦，歌詞後半勉勵後輩面對不對改變、進步的社會「修好/心田/正正當當做一個善良介人/就像摁介老祖先/永久不忘祖宗言/千年/萬年」不要忘記祖先開山擴土，堅忍不埋怨的精神，好好做個堂堂正正的客家人。

新的一年就用客家精神來面對各式挑戰💪🏻💪🏻💪🏻

🎊 CC古箏線上課
▶ https://ps.yottau.net/QX3FQ

試琴、音樂學習歡迎加入官方line
https://lin.ee/yhWNFeQ

平安的圍爐夜 平凡的垃圾話
2/11 除夕夜 22 : 30
約好一起團圓，一起迎接新年

鼠年最後一個半小時
五月天亂入你家的團圓飯
先祝你新的一年「牛樂」！

#五月天陪你守歲​​
#新春樂不停​​
#除夕夜不見不散​​​


🧧更多新年特別企劃
密切鎖定相信音樂日常B'in Now頻道
立即訂閱開鈴鐺 ➠ https://bit.ly/YTBinNow


‥‥訂閱・相信‥‥‥‥‥‥‥‥
▶️ 訂閱相信音樂YouTube官方頻道
– MV首播、新歌搶先聽、獨家花絮
http://bit.ly/YTBinMusic

按讚相信音樂官方FB Like on Facebook
– 官方訊息公佈、即時照片
https://www.facebook.com/ibinmusic​​​​​

➩ 五月天 OFFICIAL ➩
facebook：https://www.facebook.com/imayday555​​​​​
instagram：https://www.instagram.com/imayday55555​​
Twitter：https://twitter.com/Mayday_EN​​​​​
Weibo：http://weibo.com/mayday​​

-

歌名：笑忘歌
詞：阿信
曲：怪獸
OP：認真工作室/SP：相信音樂國際股份有限公司
OP：蒙斯特音樂工作室/SP：相信音樂國際股份有限公司

歌名：盛夏光年
詞曲：阿信
OP：認真工作室/SP：相信音樂國際股份有限公司

歌名：孫悟空
詞：阿信
曲：怪獸
OP：認真工作室/SP：相信音樂國際股份有限公司
OP：蒙斯特音樂工作室/SP：相信音樂國際股份有限公司

歌名：知足
詞曲：阿信
OP：認真工作室/SP：相信音樂國際股份有限公司

歌名：諾亞方舟
詞：阿信
曲：瑪莎
OP：認真工作室/SP：相信音樂國際股份有限公司
OP：繆絲音樂有限公司/SP：相信音樂國際股份有限公司

歌名：倔強
詞曲：阿信
OP：認真工作室/SP：相信音樂國際股份有限公司

歌名：突然好想你
詞曲：阿信
OP：認真工作室/SP：相信音樂國際股份有限公司

歌名：白色
詞曲：白安
OP：相信音樂國際股份有限公司

歌名：黃金年代
詞曲：HUSH
OP：相知國際股份有限公司

歌名：人生海海
詞曲：阿信
OP：Rock Music Publishing Co., Ltd.

歌名：唯一
詞曲：潘雲安
OP：更漂亮音樂工作室/SP：相信音樂國際股份有限公司

歌名：刻在我心底的名字
詞曲：許媛婷/佳旺/陳文華
OP: Warner Chappell Music, Hong Kong Limited Taiwan Branch

歌名：私奔到月球
詞曲：阿信
OP：認真工作室/SP：相信音樂國際股份有限公司

歌名：因為你 所以我
詞曲：阿信
OP：認真工作室/SP：相信音樂國際股份有限公司

歌名：I LOVE YOU 無望
詞曲：阿信
OP：認真工作室/SP：相信音樂國際股份有限公司

歌名：所有相愛的人啊
詞曲：火星電台
詞：葛大為
OP：上海火電文化傳播工作室/SP: 相信音樂國際股份有限公司
OP：好感度音樂有限公司Good Sense Music Service Co., Ltd./SP：Universal Ms Publ Ltd Taiwan


‥‥訂閱・看更多‥‥‥‥‥‥‥‥
▶ 追蹤 五月天 Mayday 相關資訊
https://imayday55555.soci.vip/

訂閱相信音樂YouTube官方頻道
音樂MV http://bit.ly/YTBinMusic
相信日常 http://bit.ly/YTBinNow

按讚相信音樂官方FB Like on Facebook
https://www.facebook.com/ibinmusic

Steam頁面：https://store.steampowered.com/app/1217060/
另外補述一些影片沒提到的。
1：只要打到+5的武器，就算在第二章前也可以獲得「雙子屬性」。
2：如果先把武器強化到+5，然後拿去洗銘刻屬性，也可以提前把雙子屬性洗出來。
3：彩虹的橘色詞條，會有兩條光束的好像滿常引發BUG(或是其他原因)，導致想射射不出來。
-----
【各種社交平台】
最近DISCORD有起色：https://discord.gg/JCNbErN
Twitch 實況：http://www.twitch.tv/lice0424
臉書粉絲團：https://www.facebook.com/Lice0424/

-----
【＃ 萊斯也在拍生活片？】
加入萊斯社群的好處！居然可以去摩鐵開趴！
♥ https://www.youtube.com/watch?v=-ZE8o-zWel8
暴雪feat星巴克？蟲族快攻咖啡是甚麼味道？
♥ https://www.youtube.com/watch?v=DAoOI_7NKPo
男生五種該丟的衣服，男女丟衣標準大不同！Ft.貝莉莓
♥https://www.youtube.com/watch?v=XEdm0ouRJrk

【＃ 萊斯垃圾話】
♥鬥陣特攻➤這世界需要以德報怨，不是你的抱怨
https://www.youtube.com/watch?v=KmmwPiOV3TM
♥E3展觀後感➤各種重點資訊彙整◆串流服務的未來可行性
https://www.youtube.com/watch?v=6W83WyxkljY
♥人家喜歡甚麼不喜歡甚麼，到底乾你屁事？
https://www.youtube.com/watch?v=Tg11uTXSafo

【＃ 特賣推薦影片】
Steam特賣不知道要買甚麼？遊戲荒沒遊戲玩？看這邊！
✈https://www.youtube.com/playlist?list=PLpVkxO-KqEaButYz52MMXQIvYygzOsy2M

-----
【想要贊助】
歐付寶贊助連結：https://goo.gl/z1nJpp
Paypal贊助連結：https://twitch.streamlabs.com/lice0424
在實況的時候贊助，會在畫面跳顯示喔^^

-----
【播放清單推薦】
【實況日常&精華】：https://goo.gl/f6zVMu
【萊斯垃圾話】：https://goo.gl/GJyNP8
【萊斯聊Game】：https://goo.gl/RXus2

#槍火重生 #聊Game #RogueLike