四兩撥千斤！ 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄，輕量化模型孟子一鳴驚人！

本週，中文語言理解權威評測基準CLUE榜單，被「低調」刷新。

不同的是，不是大公司、不是超大模型……

一個新面孔，一個輕量化模型，首戰即登頂，四兩撥千斤。

CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。

瀾舟科技-創新工場推出的孟子模型，以十億參數完成了此前百億、千億參數模型刷新的紀錄。

這也是瀾舟科技首次對外曝光，背後團隊負責人，正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理，文章來自《量子位》微信公眾號，經授權轉載。

▎輕量化模型孟子？

孟子，基於瀾舟團隊自研技術研發的大規模預訓練語言模型。

包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。

可處理多語言、多模態數據，同時支持多種文本理解和文本生成任務，能快速滿足不同領域、不同應用場景的需求。

孟子模型基於Transformer架構，僅包含十億參數量，基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。

但誰也沒想到，小模型卻有大智慧，一經登場，打破格局。

CLUE，中文語言理解領域最具權威性的測評基準，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。

該榜單競爭激烈，幾乎是業內所有自然語言理解玩家必爭之地。

騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。

而且隨著大參數模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。

因為百億、千億甚至萬億參數的大模型，已然不再是創業或其他玩家可與之爭鋒。

萬萬沒想到，瀾舟科技-創新工場團隊出手，四兩撥千斤。

因為孟子，走的是基於輕量級、高效訓練的研究路線，致力於構建十億級別的小模型，充分發揮已有參數下的模型潛力，有利於快速、低成本地落地現實業務場景。

孟子預訓練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務上表現出色。

相對已有的中文語言模型，孟子模型實現了多項突破性進展：
 1） 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下，遠超公開模型的性能。作為精巧的小模型，對標「巨無霸」，小模型性能超越千億規模模型。
 2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀錄。總排行榜分數突破84分，逼近人類基準分數（85.61）。
 3）靈活的領域和場景適應能力，方便快速定制和應用。基於T5-style的端到端生成的訓練範式，同步適配BERT-style的判定式架構，既能理解也能生成。便於適配行業應用，覆蓋廣泛業務場景。

當然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。

▎原理方法和應用？

在輕量化模型算法研究方面，基於自研的基於語言學知識、知識圖譜和領域數據增強等技術，從模型架構（包括基礎層Embedding表示和交互層Attention機制）到預訓練策略進行了全方位改進。

具體有四方面：
 1) 模型結構方面，將語義角色、詞性標註等語言學特徵融合到Embedding表示中，基於句法約束引入註意力機制中，從而提升模型對語言學知識的建模能力。
 2) 訓練策略上，引入基於實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關係的表徵。
 3) 為進一步提高訓練效率，使用了大模型蒸餾和初始化小模型策略。
 4) 為更好地將孟子模型適應垂直領域如金融、營銷，使用了領域數據繼續訓練並構造相應的提示模版（Prompt），取得了明顯的性能提升。

基於以上算法策略，實現從語料中高效學習涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結構和語義信息能力，以及良好的領域遷移能力，適應廣泛的產品應用場景。

另外，在Finetune的進展方面，如何將預訓練模型用於各項任務？

瀾舟團隊也有總結，從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索，進一步提升語言模型的性能：

 1) 數據增強：使用領域相關數據；
 2) 知識蒸餾：基於Teacher-Student自蒸餾提升訓練效率；
 3) 遷移訓練：結合課程學習的思想，由易到難訓練下游模型；
 4) 訓練優化：使用多種訓練目標，多角度提升模型能力；

而且孟子還已經展開了垂直化領域應用。

基於領域適應技術，孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型，領域適應策略主要包含兩大方面：

 1) 通過大規模的泛金融領域語料，將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
 2) 通過大規模的營銷領域語料，將孟子模型遷移到數字營銷領域，完成了營銷文案生成、新聞摘要等多項任務，將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。

瀾舟方面還透露，孟子模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋文本生成、行業搜索、機器翻譯等諸多領域。

並且毫無疑問的是，因為輕量級模型具有的模型參數較少、快速推斷的特點，更易於線上部署和推廣到移動設備中，自然不會局限於現有應用和場景，接下來還會有更廣泛的研究和應用場景中。

▎瀾舟團隊？

最後，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。

瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。

AI領域內，周明已不用過多介紹，他是公認的世界級AI科學家，自然語言處理領域的代表性人物。

周明博士在2020年加盟創新工場，擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型，基於大數據、知識圖譜和行業模型，提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。

據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。

值得注意的是，瀾舟科技除了大牛坐鎮，其實也是行業趨勢的體現。

引用創新工場董事長兼CEO李開復最新分享來說：

AI的發展可以按照兩個時間點劃分。

第一個時間點是2015年，以CNN為核心的計算機視覺技術讓機器超越了人類，帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。

而第二個時間點出現在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數據、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。

「如果說CNN造就了今天計算機視覺領域的突破和眾多應用，預訓練大模型+微調也將帶來自然語言的百花齊放的發展，用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果，在新機遇面前躬身入局，一起發掘NLP領域的黃金發展期」，李開復說到。

【國立臺灣大學 109學年度畢業典禮 校長致詞】
Opening Remarks, National Taiwan University Commencement 2021
President Dr. Chung-Ming Kuan

.
各位師長同仁，各位畢業同學以及家長們，歡迎大家參加 109 學年度的線上畢業典禮。

去年新冠疫情初起，學校雖仍舉辦實體的畢業典禮，但規模大為縮小，許多師生和家長均以無法參加典禮為憾。今年初臺灣的疫情持續穩定，大家原本期待今年畢業典禮能按照往年方式辦理。不料五月時疫情急轉直下，臺北市疫情警戒程度提高，我們於是推遲畢業典禮，並改以線上方式進行。這也是臺大首次以線上方式舉辦畢業典禮。

隨著疫情發展，線上活動如今已成為生活中的新常態。我們雖逐漸習慣線上教學，線上會議，線上交流，線上購物訂餐等，但連期待了四年的畢業典禮也只能在線上參加，許多同學與家長們難免失望。為此，學務處與許多同學攜手，精心策劃了今天這場特殊的線上畢業典禮，希望能讓大家留下不一樣，但仍美好的記憶。

因為新冠疫情，有些同學會抱怨：這樣大的疫情怎麼就正好被我們在畢業時碰上了？也有些同學則樂觀的想，一旦有了疫苗，疫情得到控制，世界最終還是會回到以前的軌道，大家仍可以過著平穩安定的日子。

然而這個世界從不曾平靜。今年畢業的同學多數出生於1999 年，那正是規模達 7.3 的 921 大地震發生的那一年。時隔四年，亞洲（包括臺灣）爆發了罕見的急性呼吸道感染病 SARS。不過五年之後，源自美國的金融海嘯席捲全球，影響全世界經濟數年之久。2009 更是不平靜的一年，臺灣出現莫拉克風災，造成慘重傷亡；全球則爆發了 H1N1 流感大流行，數十萬人因此死亡。這些當時都曾被認為是數十年（甚至百年）一遇的重大災難。

回顧二十多年來的這些事件（這還僅僅是一部份與臺灣相關的事件），我們就會發現：巨大的天災人禍，過去曾頻繁出現，未來應該也不會少見。

當然，新冠疫情的影響範圍遠超過 SARS 與 H1N1 流感，對世界的衝擊則更大於金融海嘯。近代能與這次疫情相比的是一百年前 (1918-1920) 的全球流感大流行；據後來估計，當時全世界人口三分之一染疫，約有五千萬人因此不幸喪生。

那次流感爆發時正值第一次世界大戰末期，對當時的德軍主力造成嚴重打擊。而後疫情時代，戰敗的德國被列強宰割，奧匈帝國及奧圖曼帝國亦隨之瓦解，徹底改變了舊的國際秩序，也為後來的世局（從歐陸，到中東和亞洲）埋下許多不安定的種子。

這次新冠疫情並未伴隨著世界大戰，但出現在國際強權針鋒相對，世界產業供應鏈重整的關鍵時刻；後疫情時代因此充滿不確定性。而重組後的國際政經秩序，我不知道那會是一個「美好或不美好的新世界」*，但它就是大家必須面對的世界。那裡將充滿挑戰和機會，如何善用所學回應挑戰，如何從機會中脫穎而出，都是大家新的功課。這些功課沒有標準答案，你們必須自己解答，自己審閱答案。

我也希望利用這個機會提醒同學們，對於正在醫療前線奮戰的眾多醫護人員，其中包括了許多學校師長與大家的學長姐們，我們一定要心存感念。當疫情大浪襲來時，他們勇往直前，力挽狂瀾，不僅保護病人，也捍衛著臺灣社會。他們是真正的英雄。只要大家共同努力，疫情終會過去，我們一定會贏得抗疫的最後勝利。

最後，我謹代表所有老師和行政主管，向所有畢業同學們表達最深切的祝福，也恭喜辛苦多年的家長們。敬祝大家未來一切順利，身體健康
最後我還想講幾句話。我記得我看過一篇外國人寫的文章，他說他在臺灣多年，注意到臺灣有個很奇怪的習慣，朋友分手時都常常會說：「要小心哦」。我看到這篇文章的時候，也突然心有所感；多年來我媽媽每次看到我出門時會跟我講這句話，而後來我跟自己的小孩，也會講這樣的話。所以在畢業典禮這個時刻，我敬祝大家未來一切順利，身體健康，大家都要小心哦！

2021.6.26

*「美好新世界」(Brave New World) due to A. Huxley

.
==============================

.
When the COVID-19 pandemic began last year, NTU was still able to hold graduation ceremonies in person but on a much smaller scale and with the absence of many faculty members, students, and parents. Earlier this year, we were hoping to gather for a traditional commencement. But the sudden outbreak in May had forced Taipei City to raise its epidemic alert level. So we postponed the Commencement and made the decision to hold the ceremony virtually. This is the first virtual Commencement in NTU history.

To our faculty, new graduates, and parents, welcome to the National Taiwan University’s Commencement celebration for the Class of 2021.

As the pandemic unfolds, digital is the new normal. While we gradually adapt to online learning, virtual meetings, social media, online shopping, and food delivery, it is inescapably disappointing for many students and parents to have to celebrate the achievements of our graduates this way after anticipating this event for four years. And because of this, the Office of Student Affairs has teamed up with the graduates to ensure that this unique virtual Commencement is a moment that everyone will remember fondly in the future.

Some of you may ask, "why does this happen just when we are graduation?" And some of you may think optimistically that once the vaccines are available and the pandemic is contained, the world will be back to normal, and that we will all live peacefully.

But the world has never been peaceful. Most of the graduates this year were born in 1999, when the magnitude 7.3 earthquake happened on September 21. Four years after, SARS broke out in Asia, including Taiwan. Within another 5 years, the financial crisis, originated in the United States, affected global economies for years. In 2009, Typhoon Morakot landed and caused severe casualties in Taiwan; the H1N1 flu pandemic took hundreds of thousands of lives. These disasters were, at the time, seen as rare catastrophes that would only take place once every few decades, or even centuries.

Looking back to the past 20 years, we’d notice that, even just in Taiwan, catastrophes have never been in short supply. And they will probably never be in the future either.

Of course, the effect of COVID is far beyond SARS and H1N1, and its impact is greater than the financial crises. What came close was the Spanish flu that took place a century ago (1918-1920), when, according to estimation, one-third of the global population was infected and about 50 million people died.

The influenza pandemic outbreak took place at the end of WWI and hit the German military especially hard. And after the pandemic, Germany was forced to cede its territories to the great powers. What followed was the fall of the Austro-Hungarian and the Ottoman Empires. The series of events reset the international order and formed the settings for many conflicts in the years to come.

While COVID did not break out during a world war, it came at a critical time when great powers bicker and the global supply chains face a reform. The post-pandemic ear is therefore full of uncertainty. I don’t know whether it’d be a "Brave New World"* once the international political and economic orders are reshuffled. But it will be a world we have to live in. There will be many challenges and opportunities, and it will be our new task to utilize what we have learned to tackle challenges and grasp opportunities. Unlike any standardize
d test, you will have to answer and grade the answers yourselves.

I also want to use this opportunity to remind the graduates, that we must have appreciation and gratitude for the healthcare workers who are on the frontlines fighting. Many of them are our faculty members and alums. When the waves of the pandemic hit, they stood up to save lives and protect Taiwan’s society. They are true heroes. As long as we work together, we will weather the crisis and win this battle.

Finally, on behalf of the faculty and management, I send you our deepest best wishes. And congratulations to the parents and families who have supported the graduates for years. I wish you success and good health.

One final thing, I remember reading an article by a foreign writer who said he had lived in Taiwan for years and had noticed that Taiwanese people have a strange habit of saying "be careful" when they part ways. When I read the article, this resonates with me from the heart. For years, my mother would say the same thing whenever I am leaving the house. Now I say the same thing to my children, too. So at this Commencement ceremony, I wish everyone great success in the future, good health, and "be careful."

2021.6.26

*「美好新世界」(Brave New World) due to A. Huxley

.
詳見：
https://www.facebook.com/NTUCommencement/posts/2718144868475937

.
#臺灣大學 #畢業典禮 #NTUCommencement2021 #校長致詞

【校園見聞】內地日前一對學生情侶，原本喺學校操場上談情說愛，但傾下傾下，情到濃時，兩個人開始除衫褲，不顧眾人目光，開始「上下搖擺」，仲一路激戰到天黑，令一旁目睹嘅同學睇到目瞪口呆，甚至用手機影低。

https://pc3mag.com/school-student-sex/
#內地 #校園 #學生 #操場性愛 #情侶 #激戰 #網上瘋傳

————————————————————
記得Follow埋小編哋PC3嘅帳號哦
MeWe:https://bit.ly/3mvanuO
Facebook:https://bit.ly/39zmTG8
Instgram:https://bit.ly/3gZz7b2
Youtube:https://bit.ly/37mQDdG10
————————————————————
設定小編哋PC3專頁「搶先看」！優先取得科技生活著數玩樂情報
設定教學：https://bit.ly/335Fwwp

PRS 的 Special Semi-Hollow 跟 SE 35th Custom 24
都是我非常喜歡的琴
在這集中我做了兩把琴的完整比較
包含它們的用料、作工跟音色
對於還在考慮要入手哪個等級的 PRS 的觀眾應該會有些參考價值
如果你覺得兩把琴的聲音都很好聽
那可能是 NUX MG-30 太強了 (咦)

0:00 前言
0:24 PRS 眾多產線中為什麼只挑 Core 跟 SE ?
2:20 Core vs SE 製作成本比較
14:53 Core vs SE 製作成本心得小結
16:41 Core vs SE 延音長度測試
17:23 Core vs SE 相同設定下的音色比較
22:45 PRS 全產線介紹 (Royal Blue 特殊色的由來)

平價版的 Super Eagle | PRS Special Semi-Hollow | 器材介紹 | K_Music
https://youtu.be/LVShQ4Dd78Y

CP 值之王 | PRS The 35th Anniversary SE Custom 24 | 器材介紹 | K_Music
https://youtu.be/arUKI0hWJXY

我是怎麼從美國買吉他的 | Reverb.com 祕技大公開 | JKL 代購 | K_Music
https://youtu.be/tmuWCoQPaBA

NUX MG-30 介紹 | 電吉他電貝斯木吉他一機三用 | 宅錄 Reamp | 器材介紹 | K_Music
https://youtu.be/NniNsAvfNqE

===

NUX MG-30 音色參數下載 (Kenmin Low Gain, Slash Jungle, JM WaitUntilTmr, Tomo Just Funky)
https://0rz.tw/keKa4

===

#prsguitars
#prscore
#prsse

大家好，歡迎回到我的channel，在美國每年有數萬人申請牙醫學院，競爭力也越來越高，要在眾多人成功脫穎而出，是非常不容易的事，美國去年票選最理想的工作就是牙醫，因為牙醫工作穩定，收入也非常高。所以我今天要跟大家分享的就是我是如何在美國考上牙醫，打敗萬人成功進入牙醫學院！

Song: Niwel - Memories
Music provided by Vlog No Copyright Music.
Creative Commons - Attribution-ShareAlike 3.0 Unported
Video Link: https://youtu.be/kjG2hiMpLUU

Disclaimer: This video is not intended to provide diagnosis, treatment or medical advice. Content provided on this Youtube channel is for informational purposes only. Please consult with a physician or other healthcare professional regarding any medical or health related diagnosis or treatment options. Information on this Youtube channel should not be considered as a substitute for advice from a healthcare professional. The statements made about specific products throughout this video are not to diagnose, treat, cure or prevent disease.

警察不是人民保母嗎？怎麼可以對我們動手！

在維基百科解釋鎮暴警察是
人群管制、鎮壓以至驅散騷亂以至暴動人群
或者經由警察警告而不離開者
以防範暴力事件的發生，維持社會秩序回復

在2017年聯合國有份文件『行動警察防暴隊政策』
文件中指出，指導鎮暴隊在任務區的行為
必須對任務說明仔細，合理使用武力
更加清晰的指南、行為準則、指揮與控制
此外，還必須要達到充份的準備

少數國家，鎮暴警察使用過當
例如最近的反送中，警方不斷提升武力
使用胡椒噴劑﹑布袋彈、手擲催淚彈、催淚水劑及橡膠彈
見到被警方打傷的民眾，依然殘暴的對待

多數國家，鎮暴警察並不會採取主動出擊
反倒是示威者投擲石塊和球形物體
焚燒汽車和破壞商店與餐館，淪為暴力活動時
鎮暴警察才會依照現場情況採取行動

而警察，在與民眾對峙後
又會對自己心靈產生什麼傷害呢？

#鎮暴警察 #催淚彈 #胡椒水 #防暴警察 #肉搜

訂閱BIG Student 粉專
：https://www.facebook.com/blinkstudent...
訂閱BIG Student IG：https://bigstudent.tw/yQXaf

｜影片中參考資料來源｜
文章-
維基百科警察：https://bigstudent.tw/iQUda
世界各國警察使用武器規定：https://bigstudent.tw/TJOIb
淺談警察不被注意的心理創傷：https://bigstudent.tw/Uqe7w

影片-
Protester Knocks Out Brussels Police Chief：https://bigstudent.tw/8hKs9
Сутички та вибух під Верховною Радою：https://bigstudent.tw/Oct1k
Pisa, violenti scontri e tensioni al corteo contro Salvini：https://bigstudent.tw/z2KMG
Attack on French Police Car：https://bigstudent.tw/wSDS9