四兩撥千斤！ 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄，輕量化模型孟子一鳴驚人！

本週，中文語言理解權威評測基準CLUE榜單，被「低調」刷新。

不同的是，不是大公司、不是超大模型……

一個新面孔，一個輕量化模型，首戰即登頂，四兩撥千斤。

CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。

瀾舟科技-創新工場推出的孟子模型，以十億參數完成了此前百億、千億參數模型刷新的紀錄。

這也是瀾舟科技首次對外曝光，背後團隊負責人，正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理，文章來自《量子位》微信公眾號，經授權轉載。

▎輕量化模型孟子？

孟子，基於瀾舟團隊自研技術研發的大規模預訓練語言模型。

包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。

可處理多語言、多模態數據，同時支持多種文本理解和文本生成任務，能快速滿足不同領域、不同應用場景的需求。

孟子模型基於Transformer架構，僅包含十億參數量，基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。

但誰也沒想到，小模型卻有大智慧，一經登場，打破格局。

CLUE，中文語言理解領域最具權威性的測評基準，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。

該榜單競爭激烈，幾乎是業內所有自然語言理解玩家必爭之地。

騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。

而且隨著大參數模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。

因為百億、千億甚至萬億參數的大模型，已然不再是創業或其他玩家可與之爭鋒。

萬萬沒想到，瀾舟科技-創新工場團隊出手，四兩撥千斤。

因為孟子，走的是基於輕量級、高效訓練的研究路線，致力於構建十億級別的小模型，充分發揮已有參數下的模型潛力，有利於快速、低成本地落地現實業務場景。

孟子預訓練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務上表現出色。

相對已有的中文語言模型，孟子模型實現了多項突破性進展：
 1） 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下，遠超公開模型的性能。作為精巧的小模型，對標「巨無霸」，小模型性能超越千億規模模型。
 2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀錄。總排行榜分數突破84分，逼近人類基準分數（85.61）。
 3）靈活的領域和場景適應能力，方便快速定制和應用。基於T5-style的端到端生成的訓練範式，同步適配BERT-style的判定式架構，既能理解也能生成。便於適配行業應用，覆蓋廣泛業務場景。

當然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。

▎原理方法和應用？

在輕量化模型算法研究方面，基於自研的基於語言學知識、知識圖譜和領域數據增強等技術，從模型架構（包括基礎層Embedding表示和交互層Attention機制）到預訓練策略進行了全方位改進。

具體有四方面：
 1) 模型結構方面，將語義角色、詞性標註等語言學特徵融合到Embedding表示中，基於句法約束引入註意力機制中，從而提升模型對語言學知識的建模能力。
 2) 訓練策略上，引入基於實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關係的表徵。
 3) 為進一步提高訓練效率，使用了大模型蒸餾和初始化小模型策略。
 4) 為更好地將孟子模型適應垂直領域如金融、營銷，使用了領域數據繼續訓練並構造相應的提示模版（Prompt），取得了明顯的性能提升。

基於以上算法策略，實現從語料中高效學習涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結構和語義信息能力，以及良好的領域遷移能力，適應廣泛的產品應用場景。

另外，在Finetune的進展方面，如何將預訓練模型用於各項任務？

瀾舟團隊也有總結，從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索，進一步提升語言模型的性能：

 1) 數據增強：使用領域相關數據；
 2) 知識蒸餾：基於Teacher-Student自蒸餾提升訓練效率；
 3) 遷移訓練：結合課程學習的思想，由易到難訓練下游模型；
 4) 訓練優化：使用多種訓練目標，多角度提升模型能力；

而且孟子還已經展開了垂直化領域應用。

基於領域適應技術，孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型，領域適應策略主要包含兩大方面：

 1) 通過大規模的泛金融領域語料，將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
 2) 通過大規模的營銷領域語料，將孟子模型遷移到數字營銷領域，完成了營銷文案生成、新聞摘要等多項任務，將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。

瀾舟方面還透露，孟子模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋文本生成、行業搜索、機器翻譯等諸多領域。

並且毫無疑問的是，因為輕量級模型具有的模型參數較少、快速推斷的特點，更易於線上部署和推廣到移動設備中，自然不會局限於現有應用和場景，接下來還會有更廣泛的研究和應用場景中。

▎瀾舟團隊？

最後，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。

瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。

AI領域內，周明已不用過多介紹，他是公認的世界級AI科學家，自然語言處理領域的代表性人物。

周明博士在2020年加盟創新工場，擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型，基於大數據、知識圖譜和行業模型，提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。

據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。

值得注意的是，瀾舟科技除了大牛坐鎮，其實也是行業趨勢的體現。

引用創新工場董事長兼CEO李開復最新分享來說：

AI的發展可以按照兩個時間點劃分。

第一個時間點是2015年，以CNN為核心的計算機視覺技術讓機器超越了人類，帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。

而第二個時間點出現在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數據、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。

「如果說CNN造就了今天計算機視覺領域的突破和眾多應用，預訓練大模型+微調也將帶來自然語言的百花齊放的發展，用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果，在新機遇面前躬身入局，一起發掘NLP領域的黃金發展期」，李開復說到。

AI趨勢周報第163期：
1-南投縣政府在雙龍瀑布入口路段架設攝影機，用影像辨識AI打造車流壅塞預警系統
2-南投交警如何用AI揪出偷跑砂石車？中華電信解密
3-中文版GPT-3來了，中國發布參數破億的超大中文預訓練模型，表現堪比GPT-3
4-MIT新方法讓GPT-3理解力媲美BERT

https://www.ithome.com.tw/news/143618
-------------------------------------------------
◤ 最具指標年度盛事．CYBERSEC 2021 臺灣資安大會 ◢
2,300+ 家企業指定造訪、臺灣唯一超規格資安展會
掌握趨勢、諮詢專家，尋求資安解方的第一首選！
🔴 馬上報名 https://r.itho.me/register
🟢 邀請好友抽 AirPods Pro https://r.itho.me/share
★ 全方位主題論壇 200+ 場專業演說 👑
★ 破 200+ 品牌參展 歷年最大資安展覽 ⛹
★ 佳評如潮 CyberLAB 實機攻防演練 🏆
★ 獨門 CYBERSEC Playground 資安體驗區 🃏
★ 臺灣資安館 看見 MIT 自主研發實力 👊
★ CyberTalent Connect 資安新鮮人才專區 🙋
★ 票選最受歡迎 Tech Demo Award 拿大獎 📣
… and more!
🔵 鎖定大會動態 https://r.itho.me/CYBERSEC_2021
🔴 免費參加 https://r.itho.me/signup
________________________________
CYBERSEC 2021 臺灣資安大會
時間：5 月 4 - 6 日
地點：臺北南港展覽二館
#TRUST_redefined #信任重構
#CYBERSEC2021 #2021臺灣資安大會
#CYBERSECEXPO #臺灣資安大展 #資安 #iThomeSecurity

寶先生上場！手把手AI教學👍食品廣告文字辨識分析，協助快速判讀廣告是否有違法疑慮，讓律師把時間放在更有價值的事情中！

-專案背景與解題架構（直接分享好佛心，見圖）
-CoreLab程式碼示範與實作+應用介面Demo
-BERT解題+CoreLab程式碼示範

認真聽講takeaways 📝
✅最傳統的RNN不適合解長文的題目，會忘掉，所以要用LSTM解決長文問題。
✅因為每個字對電腦來說都是數字代碼，所以需要設多維度（特徵）的詞向量代表每個單字。
✅中文斷詞建議用結巴，中研院也有開發類似的，但size過大，之後包成服務時容易跑不動。
✅在跑模型前，可先用文字雲分析，概略看一下資料標註的狀況，假如光看文字雲兩者就差別不大，那跑模型一定效果也不會好。

#AI落地應用 #RNN #LSTM #BERT
#經濟部工業局 開源智造Open AI Fab

J.K. Rowling (哈利波特作者) 最近發表了她的新創作《The Ickabog》，目前故事放在網站上供讀者免費線上閱讀，要到2020/11才會正式出版原文，所以中文翻譯還要再等等了。但是喜歡英文小說的年輕讀者不用擔心，這是我台灣學生錄製的中文導讀，內容是Chapter 2~Chapter 3。

【第二章：怪獸的傳說】
第二章主要介紹傳說中的怪獸Ickabog，跟很多的傳說一樣，大家形容的怪獸長相和能力都不大相同。總之，這個怪獸就像虎姑婆一樣，只是家長拿來嚇唬小孩用的，其實大家都不相信怪獸是真的。不過，小孩有時候還是會當真，晚上甚至會做惡夢。
第二章英文故事朗讀請前往 https://youtu.be/WRQ1NiAg3EA

【第三章：首席女裁縫之死】
第三章前一部分主要在介紹兩家子好朋友：Beamish家以及Dovetail家。他們都在城堡裡工作。

爸爸 Major Beamish：皇家侍衛隊大隊長
媽媽 Bertha Beamish：皇家烘培坊的主廚
兒子 Bert Beamish：胖胖的小男孩，有一個難聽的綽號Butterballs

女兒 Daisy Dovetail：Bert最好的朋友
爸爸 Dan Dovetail：皇家木匠師傅
媽媽 Dora Dovetail：皇家首席女裁縫

第三章中段就有角色死了。國王Fred因為鄰國國王來訪，要皇宮的裁縫師趕緊幫他製作一件華麗的，雖然知道Dora Dovetail好像有點生病了，他還是指名要Dora幫他製作(因為Dora的手藝最好)，沒想到趕工了三天三夜的Dora竟然過勞而暴斃。
第三章英文故事朗讀請前往 https://youtu.be/e7EZYa-ffvE
---
嗨，我是Sandy采聿老師。歡迎追蹤我的Facebook粉絲專頁
► https://www.facebook.com/sandytsaiyu/

J.K. Rowling新作品《The Ickabog》完整全文線上閱讀
https://www.theickabog.com/home/
---

Vector Designed by macrovector / Freepik - https://www.freepik.com

#SocialDistancing #社交距離 #戶外運動
👉🏻Prof. Bert Blocken發表的文章http://www.urbanphysics.net/Social%20Distancing%20v20_White_Paper.pdf
👉🏻Prof. Bert Blocken的Twitter原文https://twitter.com/BertBlocken/status/1247540730425249799
👉🏻The Brussels Times報導https://is.gd/mWY04M
⭕️Linda翻譯中文版https://lindalovescycling.com/2020/04/10/outdooractivitysocialdistancing/
❌Prof. Bert Blocken指出的錯誤引用文章https://is.gd/Im8WXO

拍攝器材：iPhone XR
剪輯軟體：iMovie
＋＋＋

嗨，如果你是第一次看我的影片
我是Linda，一名單車運動上癮者
秉持對於健康與美的追求
致力推廣公路車運動
希望能讓更多初學者迅速上手
女孩們，快和我一同享受公路車之美吧！

到這裡追蹤更多Linda：
官方部落格：www.LindaLovesCycling.com
Facebook https://www.facebook.com/LindaLovesCycling/
Instagram https://www.instagram.com/lindalovescycling/
Weibo http://tw.weibo.com/6545299991
bilibili https://space.bilibili.com/326501602/#/

這位備受喜愛的封面女郎蘿拉‧史東 Lara Stone剛結束在洛杉磯的拍攝，《Vogue》趁她的下一場活動開始之間，與她共度了稀有的一日休假生活。
這位超模在忙碌的時裝月中得到暫時休息的機會，我們在她位於櫻草花山的家，倫敦創作者獨有的飛地；和她的狗伯特 Bert 一起放鬆、做自製的荷蘭鬆餅早餐，帶我們參觀了她的「世界最大的城市之一裡的小村莊」。
Credits:
Director of photography: Joseph Dunn
Stylist: Jenny Kennedy, at One Represents
Makeup artist: Jorge Balzaretti, at The Wall Group
Hair stylist: Ken O'Rourke, at Premier Hair & Makeup

With thanks to:
The Lansdowne Pub & Dining Room
Primrose Bakery
Shepherd Foods
Primrose Hill (Park)

【 其他熱門主題】
▷ 到明星家翻箱倒櫃 ► http://smarturl.it/2juv00
▷ 唐綺陽星座系列 ► http://smarturl.it/4xm6l0
▷ 美容編輯隨你問 ► http://smarturl.it/ki94gy
▷ 時尚主編Anny開箱 ► http://smarturl.it/nkh7lu
▷ 打開女星化妝包 ► http://smarturl.it/wn6164
▷ 73個快問快答 ► http://smarturl.it/cf6wyf
▷ 打開名人豪宅 ► http://smarturl.it/8cdd1a
▷ 大明星化妝間 ► http://smarturl.it/75ar6s
------------------------------
#請訂閱 #開啟小鈴鐺 #超模日記
-------------------------------
【追蹤 VOGUE TAIWAN】
★官網：http://www.vogue.com.tw/live/
★Facebook：https://www.facebook.com/VogueTW/
★美人會不會 FB社團：http://hyperurl.co/rgfitl
★Instagram：https://www.instagram.com/voguetaiwan/
★Twitter：https://twitter.com/Vogue_Taiwan
★LINE：VogueTaiwan

▷ Make sure you subscribe to my channel and hit the notification bell, so you don’t miss any of my new videos → http://bit.ly/2eoVk7R
--------------------------------------------
※關於時尚，VOGUE說了算！自從1892年第一本VOGUE在美國出版以來，至今已有122年的歷史，始終被時尚專業人士所推崇，因此榮譽為Fashion Bible時尚聖經。
--------------------------------------------
※台灣VOGUE隸屬Condé Nast Interculture Group，相關國外影片皆由國外授權提供給台灣使用，台灣VOGUE秉持服務網友，讓更多中文語系觀眾可以看到國際影片跟中文字幕，所以在此頻道分享給大家，如果喜歡我們的頻道，請訂閱我們，我們將會持續努力帶來更多優質內容。