四兩撥千斤！ 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄，輕量化模型孟子一鳴驚人！

本週，中文語言理解權威評測基準CLUE榜單，被「低調」刷新。

不同的是，不是大公司、不是超大模型……

一個新面孔，一個輕量化模型，首戰即登頂，四兩撥千斤。

CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。

瀾舟科技-創新工場推出的孟子模型，以十億參數完成了此前百億、千億參數模型刷新的紀錄。

這也是瀾舟科技首次對外曝光，背後團隊負責人，正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理，文章來自《量子位》微信公眾號，經授權轉載。

▎輕量化模型孟子？

孟子，基於瀾舟團隊自研技術研發的大規模預訓練語言模型。

包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。

可處理多語言、多模態數據，同時支持多種文本理解和文本生成任務，能快速滿足不同領域、不同應用場景的需求。

孟子模型基於Transformer架構，僅包含十億參數量，基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。

但誰也沒想到，小模型卻有大智慧，一經登場，打破格局。

CLUE，中文語言理解領域最具權威性的測評基準，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。

該榜單競爭激烈，幾乎是業內所有自然語言理解玩家必爭之地。

騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。

而且隨著大參數模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。

因為百億、千億甚至萬億參數的大模型，已然不再是創業或其他玩家可與之爭鋒。

萬萬沒想到，瀾舟科技-創新工場團隊出手，四兩撥千斤。

因為孟子，走的是基於輕量級、高效訓練的研究路線，致力於構建十億級別的小模型，充分發揮已有參數下的模型潛力，有利於快速、低成本地落地現實業務場景。

孟子預訓練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務上表現出色。

相對已有的中文語言模型，孟子模型實現了多項突破性進展：
 1） 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下，遠超公開模型的性能。作為精巧的小模型，對標「巨無霸」，小模型性能超越千億規模模型。
 2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀錄。總排行榜分數突破84分，逼近人類基準分數（85.61）。
 3）靈活的領域和場景適應能力，方便快速定制和應用。基於T5-style的端到端生成的訓練範式，同步適配BERT-style的判定式架構，既能理解也能生成。便於適配行業應用，覆蓋廣泛業務場景。

當然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。

▎原理方法和應用？

在輕量化模型算法研究方面，基於自研的基於語言學知識、知識圖譜和領域數據增強等技術，從模型架構（包括基礎層Embedding表示和交互層Attention機制）到預訓練策略進行了全方位改進。

具體有四方面：
 1) 模型結構方面，將語義角色、詞性標註等語言學特徵融合到Embedding表示中，基於句法約束引入註意力機制中，從而提升模型對語言學知識的建模能力。
 2) 訓練策略上，引入基於實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關係的表徵。
 3) 為進一步提高訓練效率，使用了大模型蒸餾和初始化小模型策略。
 4) 為更好地將孟子模型適應垂直領域如金融、營銷，使用了領域數據繼續訓練並構造相應的提示模版（Prompt），取得了明顯的性能提升。

基於以上算法策略，實現從語料中高效學習涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結構和語義信息能力，以及良好的領域遷移能力，適應廣泛的產品應用場景。

另外，在Finetune的進展方面，如何將預訓練模型用於各項任務？

瀾舟團隊也有總結，從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索，進一步提升語言模型的性能：

 1) 數據增強：使用領域相關數據；
 2) 知識蒸餾：基於Teacher-Student自蒸餾提升訓練效率；
 3) 遷移訓練：結合課程學習的思想，由易到難訓練下游模型；
 4) 訓練優化：使用多種訓練目標，多角度提升模型能力；

而且孟子還已經展開了垂直化領域應用。

基於領域適應技術，孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型，領域適應策略主要包含兩大方面：

 1) 通過大規模的泛金融領域語料，將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
 2) 通過大規模的營銷領域語料，將孟子模型遷移到數字營銷領域，完成了營銷文案生成、新聞摘要等多項任務，將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。

瀾舟方面還透露，孟子模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋文本生成、行業搜索、機器翻譯等諸多領域。

並且毫無疑問的是，因為輕量級模型具有的模型參數較少、快速推斷的特點，更易於線上部署和推廣到移動設備中，自然不會局限於現有應用和場景，接下來還會有更廣泛的研究和應用場景中。

▎瀾舟團隊？

最後，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。

瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。

AI領域內，周明已不用過多介紹，他是公認的世界級AI科學家，自然語言處理領域的代表性人物。

周明博士在2020年加盟創新工場，擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型，基於大數據、知識圖譜和行業模型，提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。

據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。

值得注意的是，瀾舟科技除了大牛坐鎮，其實也是行業趨勢的體現。

引用創新工場董事長兼CEO李開復最新分享來說：

AI的發展可以按照兩個時間點劃分。

第一個時間點是2015年，以CNN為核心的計算機視覺技術讓機器超越了人類，帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。

而第二個時間點出現在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數據、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。

「如果說CNN造就了今天計算機視覺領域的突破和眾多應用，預訓練大模型+微調也將帶來自然語言的百花齊放的發展，用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果，在新機遇面前躬身入局，一起發掘NLP領域的黃金發展期」，李開復說到。

從這 8 小時的課程，你會學到

1 掌握NLP當下核心演算法模型
2 熟練掌握Transformer網路架構
3 熟悉注意力機制的作用（Attention）
4 熟練掌握BERT模型原理及應用
5 熟練使用谷歌開源專案BERT
6 基於BERT開源模型構建自己的專案
7 將預訓練模型應用到自己的任務中
8 熟悉當下NLP常規解決方案

https://softnshare.com/python-bert/

Python自然語言處理-BERT模型實戰課程旨在幫助同學們快速掌握當下NLP領域最核心的演算法模型BERT的原理構造與應用例項。

通俗講解BERT模型中所涉及的核心知識點（Transformer,self-attention等），基於google開源BERT專案從零開始講解如何搭建自然語言處理通用框架，通過debug原始碼詳細解讀其中每一核心程式碼模組的功能與作用。最後基於BERT框架進行中文情感分析與命名實體識別等主流專案實戰。

https://softnshare.com/python-bert/

HKonlineTV - 新歌推介 : 瑕疵 - 麥浚龍 Juno x 莫文蔚 Karen

《瑕疵》 Official MV: https://youtu.be/84InCnL9Ioo

作曲：Bert
填詞：黃偉文
編曲: Jerald
監製: Juno Mak / Jerald

差些想放棄吧　為何未放手
差一些不要我吧　為何又再忍
並沒什麼虧欠我吧
為何犯罪作惡都找到藉口　作罷
曾懷疑與後悔嗎

差一些失去你吧　為何沒法改
明明瑕疵多似亂麻　不去掩蓋一下
其實你也很多景仰者愛你吧
很感激依然留下

情人間　能容許小秘密嗎
應該揭穿但揭穿擔心更卑下
情人間　能容許小錯處嗎
真的想過沒送花也沒情話
也算是愛情吧(但我不只有這點錯)
嚴重多幾倍吧
忍耐到底　光陰都不算白花
(為何人性會這麼可怕)
天就算灰　始終想守到月牙　　　　　(得寵的更惡吧)
這算愛嗎　或是感化嗎　讓到底無代價
(這算愛嗎　還是欺壓嗎　無餘地任我花)

差些想放棄吧　為何未放手　差一些不要我吧
(真的不要再查　如若愛　不必將真相徹查)
為何又再忍　並沒什麼虧欠我吧
(能預計　會掃興的不要亂查)
為何犯罪　都找藉口作罷　曾懷疑與後悔嗎
(情人應將黑暗的夢幻化　如誠實令人容怕)
差一些失去你吧　為何沒法改　明明瑕疵多似亂麻
(不忍將真相徹查　如若愛　那細節不管也罷)
(也罷)不看(也罷)不聽

何事你會肯這麼徹底放下　仁慈地再讓我一馬
(願意受受苦因記著你舊時　極甜蜜剎那)

先變笨吧　換我忍忍得到嗎
其實曾內心掙扎嗎(就當贈你的禮物吧)
罪案不去調查　亦想聽你講一下

差些想放棄吧　為何未放手
差一些不要你吧　為何又再忍
是未服輸的個性吧
才能夜夜　將好記憶放大來彌補眼下
(替你將　種種缺點浪漫化)
早知道誰也有很多不美好
(十分想將惡習全部也制限住)
只需要還有美好那面蒙住
(但始終本性未能抑壓一次)
要是病態漸露出請記住漂亮時
(還是我也想　偷偷靠此証實
頑皮極你亦會寬恕)或懷念某次

盼你能明白　用這詭計也有一點羞恥
(誰人用愛煉藥將你治癒)
要愛我有陣時(不捨得不寬恕)不易

早知道原理吧　因此我也沒驚訝
找快樂先修課程是要接受最差
登天國拿勝利也一秒吧
不過謫仙之路遙遠又可怕
我共你關係如等大石開花
美好一剎　可殺死我吧
因此不捨這滿場　頹垣敗瓦

HKonlineTV 衝破傳統框框, 開創一個意想不到的網上電視台。

Website : http://www.HKonlineTV.com
YouTube : https://www.youtube.com/user/HKonlineTV
Facebook : https://www.facebook.com/hkonlinetv
Google Play / IOS : HKonlineTV

Produced By SunnyIdea (HK)

作曲：Bert 填詞：黃偉文 編曲: Jerald 監製 Juno Mak / Jerald
director of photography JIMMY WONG @ h.k.s.c. producer LAI Tsz LEUNG
assistant director WAYNE TSANG art direction SOMAD524 / DEBBY POON
production manager FATPLANE make-up KERRY WONG@ zing make-up school
marketing manager SINDY LAM post-production ONE COOL
directed by JUNO MAK

差些想放棄吧　為何未放手
差一些不要我吧　為何又再忍
並沒什麼虧欠我吧
為何犯罪作惡都找到藉口　作罷
曾懷疑與後悔嗎

差一些失去你吧　為何沒法改
明明瑕疵多似亂麻　不去掩蓋一下
其實你也很多景仰者愛你吧
很感激依然留下

情人間　能容許小秘密嗎
應該揭穿但揭穿擔心更卑下
情人間　能容許小錯處嗎
真的想過沒送花也沒情話
也算是愛情吧(但我不只有這點錯)
嚴重多幾倍吧
忍耐到底　光陰都不算白花
(為何人性會這麼可怕)
天就算灰　始終想守到月牙
　　　　(得寵的更惡吧)
這算愛嗎　或是感化嗎　讓到底無代價
(這算愛嗎　還是欺壓嗎　無餘地任我花)

差些想放棄吧　為何未放手　差一些不要我吧
(真的不要再查　如若愛　不必將真相徹查)
為何又再忍　並沒什麼虧欠我吧
(能預計　會掃興的不要亂查)
為何犯罪　都找藉口作罷　曾懷疑與後悔嗎
(情人應將黑暗的夢幻化　如誠實令人害怕)
差一些失去你吧　為何沒法改　明明瑕疵多似亂麻
(不忍將真相徹查　如若愛　那細節不管也罷)
(也罷)不看(也罷)不聽

何事你會肯這麼徹底放下　仁慈地再讓我一馬
(願意受受苦因記著你舊時　極甜蜜剎那)

先變笨吧　換我忍忍得到嗎
其實曾內心掙扎嗎(就當贈你的禮物吧)
罪案不去調查　亦想聽你講一下

差些想放棄吧　為何未放手
差一些不要你吧　為何又再忍
是未服輸的個性吧
才能夜夜　將好記憶放大來彌補眼下
(替你將　種種缺點浪漫化)
早知道誰也有很多不美好
(十分想將惡習全部也制限住)
只需要還有美好那面蒙住
(但始終本性未能抑壓一次)
要是病態漸露出請記住漂亮時
(還是我也想　偷偷靠此証實
頑皮極你亦會寬恕)或懷念某次

盼你能明白　用這詭計也有一點羞恥
(誰人用愛煉藥將你治癒)
要愛我有陣時(不捨得不寬恕)不易

早知道原理吧　因此我也沒驚訝
找快樂先修課程是要接受最差
登天國拿勝利也一秒吧
不過謫仙之路遙遠又可怕
我共你關係如等大石開花
美好一剎　可殺死我吧
因此不捨這滿場　頹垣敗瓦


JUNO MAK 's SOCIAL MEDIA:

Twitter: http://twitter.com/theofficialjuno
Instagram: https://instagram.com/juno_mak
Weibo: http://weibo.com/theofficialjunomak
Google+: https://plus.google.com/+%E9%BA%A5%E6%B5%9A%E9%BE%8DTHEOFFICIALJUNOMAK/about
Flickr: https://www.flickr.com/photos/theofficialjunomak
Website: http://www.kudos-films.com/#&panel1-5
Facebook:https://www.facebook.com/pages/Kudos-Films-Limited/224992630889779?fref=ts

JUNO MAK 's MUSIC PLATFORM:

Youtube: https://www.youtube.com/user/theofficialjunomak
iTunes: https://itunes.apple.com/hk/artist/juno-mak/id720628741
KKbox: http://www.kkbox.com/hk/tc/artist/0Jbrbifi10dBIc20F0BKu08J-index-1.html
Spotify: https://open.spotify.com/artist/6YlGm6QDrC3TOknYcHjt62
Moov: http://moov.hk/moovnow/music/album/albumdetail.do?contributorid=00024182&roleid=Artist&albumid=VAEP00110080A