四兩撥千斤！ 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄，輕量化模型孟子一鳴驚人！

本週，中文語言理解權威評測基準CLUE榜單，被「低調」刷新。

不同的是，不是大公司、不是超大模型……

一個新面孔，一個輕量化模型，首戰即登頂，四兩撥千斤。

CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。

瀾舟科技-創新工場推出的孟子模型，以十億參數完成了此前百億、千億參數模型刷新的紀錄。

這也是瀾舟科技首次對外曝光，背後團隊負責人，正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理，文章來自《量子位》微信公眾號，經授權轉載。

▎輕量化模型孟子？

孟子，基於瀾舟團隊自研技術研發的大規模預訓練語言模型。

包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。

可處理多語言、多模態數據，同時支持多種文本理解和文本生成任務，能快速滿足不同領域、不同應用場景的需求。

孟子模型基於Transformer架構，僅包含十億參數量，基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。

但誰也沒想到，小模型卻有大智慧，一經登場，打破格局。

CLUE，中文語言理解領域最具權威性的測評基準，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。

該榜單競爭激烈，幾乎是業內所有自然語言理解玩家必爭之地。

騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。

而且隨著大參數模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。

因為百億、千億甚至萬億參數的大模型，已然不再是創業或其他玩家可與之爭鋒。

萬萬沒想到，瀾舟科技-創新工場團隊出手，四兩撥千斤。

因為孟子，走的是基於輕量級、高效訓練的研究路線，致力於構建十億級別的小模型，充分發揮已有參數下的模型潛力，有利於快速、低成本地落地現實業務場景。

孟子預訓練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務上表現出色。

相對已有的中文語言模型，孟子模型實現了多項突破性進展：
 1） 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下，遠超公開模型的性能。作為精巧的小模型，對標「巨無霸」，小模型性能超越千億規模模型。
 2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀錄。總排行榜分數突破84分，逼近人類基準分數（85.61）。
 3）靈活的領域和場景適應能力，方便快速定制和應用。基於T5-style的端到端生成的訓練範式，同步適配BERT-style的判定式架構，既能理解也能生成。便於適配行業應用，覆蓋廣泛業務場景。

當然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。

▎原理方法和應用？

在輕量化模型算法研究方面，基於自研的基於語言學知識、知識圖譜和領域數據增強等技術，從模型架構（包括基礎層Embedding表示和交互層Attention機制）到預訓練策略進行了全方位改進。

具體有四方面：
 1) 模型結構方面，將語義角色、詞性標註等語言學特徵融合到Embedding表示中，基於句法約束引入註意力機制中，從而提升模型對語言學知識的建模能力。
 2) 訓練策略上，引入基於實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關係的表徵。
 3) 為進一步提高訓練效率，使用了大模型蒸餾和初始化小模型策略。
 4) 為更好地將孟子模型適應垂直領域如金融、營銷，使用了領域數據繼續訓練並構造相應的提示模版（Prompt），取得了明顯的性能提升。

基於以上算法策略，實現從語料中高效學習涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結構和語義信息能力，以及良好的領域遷移能力，適應廣泛的產品應用場景。

另外，在Finetune的進展方面，如何將預訓練模型用於各項任務？

瀾舟團隊也有總結，從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索，進一步提升語言模型的性能：

 1) 數據增強：使用領域相關數據；
 2) 知識蒸餾：基於Teacher-Student自蒸餾提升訓練效率；
 3) 遷移訓練：結合課程學習的思想，由易到難訓練下游模型；
 4) 訓練優化：使用多種訓練目標，多角度提升模型能力；

而且孟子還已經展開了垂直化領域應用。

基於領域適應技術，孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型，領域適應策略主要包含兩大方面：

 1) 通過大規模的泛金融領域語料，將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
 2) 通過大規模的營銷領域語料，將孟子模型遷移到數字營銷領域，完成了營銷文案生成、新聞摘要等多項任務，將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。

瀾舟方面還透露，孟子模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋文本生成、行業搜索、機器翻譯等諸多領域。

並且毫無疑問的是，因為輕量級模型具有的模型參數較少、快速推斷的特點，更易於線上部署和推廣到移動設備中，自然不會局限於現有應用和場景，接下來還會有更廣泛的研究和應用場景中。

▎瀾舟團隊？

最後，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。

瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。

AI領域內，周明已不用過多介紹，他是公認的世界級AI科學家，自然語言處理領域的代表性人物。

周明博士在2020年加盟創新工場，擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型，基於大數據、知識圖譜和行業模型，提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。

據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。

值得注意的是，瀾舟科技除了大牛坐鎮，其實也是行業趨勢的體現。

引用創新工場董事長兼CEO李開復最新分享來說：

AI的發展可以按照兩個時間點劃分。

第一個時間點是2015年，以CNN為核心的計算機視覺技術讓機器超越了人類，帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。

而第二個時間點出現在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數據、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。

「如果說CNN造就了今天計算機視覺領域的突破和眾多應用，預訓練大模型+微調也將帶來自然語言的百花齊放的發展，用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果，在新機遇面前躬身入局，一起發掘NLP領域的黃金發展期」，李開復說到。

【美國會推出戰略競爭法案，全方位抑制中國】​
​
這幾天美國國會最重磅的消息，當然就是《2021年戰略競爭法案》（Strategic Competition Act）。這個草案4月21日由參院外委會以21：1的壓倒性比數通過，送交院會審議。​
​
這個法案主要目的就是要應對中國全面的挑戰，法案開宗明義就講說，國會經過調查研究，認定中國在政治、外交、經濟、軍事、科技、以及意識型態各方面成為美國的戰略挑戰者，而且各方面都威脅到了美國和全世界的利益。法案是為了要因應中國的獨裁以及威權擴散，維護美國在全球的領導地位，並且保持自由開放的國際秩序。分析指出，法案的目的在於「全面動員美國政府及盟友的資源來遏制中國。」​
​
➤ 新聞：https://reurl.cc/YWa99X。​
➤ 法案全文：https://reurl.cc/ZQkrrA。​
​
雖然法案名稱是「競爭」，但實際上的內容就是從不同面向來談，如何抑制中國的威權擴散。宋承恩老師的分析說（https://reurl.cc/8yaWpj）：「相較於川普（Donald Trump）總統時代的各項政策聲明由美國優先（America First）的角度出發，《2021戰略競爭法》更以『中國顛覆國際秩序』做為基調。回想拜登競選時，口口聲聲『會讓中國遵守國際規則行事』，如今『進化』到直指中國的意圖就是改變國際秩序，想必是受到就任數月以來與中國的交手的經驗，中國不但不接受普世人權，反而制裁歐美各國挺身指控中國的人員。『總加速師』習近平成了更積極抗中的最大推手。」​
​
《戰略競爭法》由參議院外委會兩黨領袖梅南德斯（Bob Menendez）和里契（Jim Risch）領銜推動，具有跨黨派的共識，看來接下來通過只是時間的問題。我們先前就提到過很多次，目前在眾多議題當中，「對抗中國」是兩大黨之間最有共識（而且或許是唯一最沒有分歧的）的一個政策領域。​
​
法案內容提供了立法相關程序、確保資金無虞，明訂對抗中國的工作將由總統總其成，國會將確保有足夠的聯邦預算可資運用、要求行政部門遵循法定的優先順序、通暢行政、立法、與私部門間的溝通協調。法案並要求國務院任命次卿等級的協調官，專責與中國競爭之事務。​
​
中國方面毫無意外地又跳出來大罵，表達強烈不滿、堅決反對。​
​
這個大部頭的法案裡面有很多跟台灣相關的部份，尤其是法案中明確指出：台灣是美國印太戰略重要組成部分，增進台灣民主的安全是美國極重大的國家安全利益（過去在各項台灣相關立法當中，從來沒有這樣清楚的表態）。同時，這法案內容也是首次直接稱呼台灣「政府」（參考下面列出的213節），明定說國務院和「台灣經民主選舉所產生的政府」（the democratically elected government of Taiwan）往來時，必須適用和其他國家政府往來一樣的準則。另外，法案也重申了美對台承諾、支持台灣提高自我防衛能力並嚇阻中國武力進犯。​
​
以下我們列出法案當中跟台灣直接相關的兩節內容，其他有提到台灣的部份．我們列在留言區。​
​
​
📌 強化美國與台灣的夥伴關係（SEC. 212. ENHANCING THE UNITED STATES-TAIWAN PARTNERSHIP）​
​
１、承認台灣是美國印太戰略重要的一部分；​
２、促進台灣安全及其民主，這是印太地區持續和平與穩定的關鍵要素，也是美國至關重要的國家安全利益；​
３、根據《台灣關係法》（公法第96-8號）和「六項保證」，並按照美國的「一中政策」，加強對台灣的承諾；​
４、支持台灣建立非對稱防禦戰略，包括台灣的「整體防衛構想」（Overall Defense Concept）中確定的優先事項；​
５、敦促台灣增加國防開支，以充分利用其國防戰略；​
６、定期向台灣轉移國防物資，以增強台灣的自衛能力，特別是其發展和整合不對稱作戰能力，包括反艦導彈、海防、反裝甲、防空、海底作戰、先進指揮、控制、通訊、計算機、情報、監視和偵察，以及靈活的指揮和控制能力；​
７、倡導並積極推動台灣有意義地參與聯合國，世界衛生大會（WHA），國際民航組織（ICAO），國際刑警組織（INTERPOL）和其他適當的國際機構；​
８、促進美國，台灣和其他志同道合的伙伴之間的有意義的合作​
​
​
📌 應對台灣政府（SEC. 213. TREATMENT OF TAIWAN GOVERNMENT）​
​
（a）一般而言：國務院和其他美國政府機構，應在台灣政府由民選產生的這個相同基礎上，同美國政府與其他外國政府般交往，並使用相同的命名法和協議。儘管美國在台協會（AIT）持續支持執行美國外交政策和保護美國在台灣利益，但美國政府不得對國務院和其他美國政府官員直接與台灣政府機構的同行（counterpart）進行日常互動的能力加以限制。​
​
（b）施行規則：本段中的任何內容均不得解釋為恢復與中華民國（台灣）的外交關係，或改變美國政府在台灣國際地位上的立場。​
​
註：這是非常少見的，美國法案裡面用「政府」來說台灣一方。雖然仍然強調這不等同於外交承認，因為美國尚未放棄所謂的戰略模糊及一中政策，但這已經是非常重大的進展。尤其是在第一點，幾乎已經讓美國官方人員和台灣對口的交往規範與其他國家無二致。​
​
​
➤ 推薦閱讀：​
宋承恩專欄：美國會推《戰略競爭法》抗中​
https://www.storm.mg/new7/article/3608024。
​
​
✨ 觀測站推特：https://twitter.com/ustaiwanwatch。​
✨ 贊助觀測站：https://ustaiwanwatch.soci.vip。

【Jway 臭氧殺菌萬用包】防疫必備🌟
🔗團購表單： https://meim.ai/ead0ae
⏰期限：12/04 23:59
-
⭕ 一個就免運!!!!

我們家已經輪流生病兩周多了💦
原本我對消毒殺菌不是很在意，現在開始拼命的消毒殺菌。

這個殺菌包是利用「氣體(臭氧)」做殺菌，360度無死角，全方位的殺菌，也沒有材質的限制，大家可以瘋狂丟東西進去😲
99.9% 滅菌 ⭕
連健保卡 手機 都能消毒 😱😱
外出旅行 帶這臭氧殺菌包好安心

👀 殺菌萬用包優點：
✔ 是殺菌包也是萬用包、媽媽包，一袋提著走非常方便
✔ 皮質手把高質感，輕巧好攜帶
✔ 三層分隔、拉鍊內袋、底部大空間
✔ 臭氧氣體消毒，無殺菌死角、無材質限制、不須碰水，物品不會壞
✔ 只需要五分鐘＝曝曬６Ｈ
✔ USB充電線30cm，可插行動電源、直接使用USB插頭

🔍臭氧濃度20mg/H，是正常安全濃度範圍，而且殺菌時是拉鍊密封的空間，不用擔心安全問題。
🔍使用時請在通風良好的環境，打開時不要近距離大力吸氣體唷~

➡寶寶用品有很多都不能碰水
➡生活用品上如遊戲搖桿、冷氣電視遙控器。
新聞也報導過不可以使用酒精，但寶寶超級喜歡，
所以消毒上真的讓人很頭痛...

有臭氧殺菌包後，每天晚上趁米糕睡覺就把東西通通丟進去殺菌!!
外出住宿、露營、車上，再也不用擔心沒有消毒鍋💛

✍️寶寶用品
木頭玩具、奶嘴、奶瓶、固齒器、餐具、圍兜、紗布巾 衣服、娃娃
✍️生活物品
遙控器、電動搖桿、 鑰匙、錢包、手機、須裝電池的3c用品
✍️媽咪物品
內衣、保養品、化妝袋、刷具、化妝品、保養品
✍️日常用品
筆、指甲刀、計算機、筆記本、尺、鉛筆盒

畢竟現在流行性感冒太多，疫情也正在燃燒!
殺菌消毒包真的是必備用品，
⭕小小一包有大空間
⭕一包多用CP非常的高✨
⭕寶寶用全家用，病毒退散!!

建議有殺菌消毒需求的人，但又因為很多物品不能碰水、塑膠製品不能進入紫外線消毒鍋，那快來參考看看臭氧殺菌萬用包吧!!!
你一定會覺得非常好用!!!!

------------------------
◆ 𝗙𝗼𝗹𝗹𝗼𝘄 𝗺𝗲 ◆
ɪɢ ➢ https://reurl.cc/e8knl7
ғʙ ➣ https://www.facebook.com/migaomom
------------------------

#團購 #米糕媽媽開箱 #小米糕 # #開箱 #米糕媽媽團購 #JWAY #JWAY臭氧殺菌萬用包 #殺菌消毒 #clean #清潔 #殺菌 #消毒 #臭氧殺菌 #殺菌包 #寶寶物品 #育兒必備
------------------------------