來自創新工場大灣區人工智慧研究院的兩篇論文入選了自然語言處理領域（NLP）頂級學術會議 ACL 2020 。
這兩篇論文均聚焦中文分詞領域，是深度學習引入知識後的有益嘗試，將該領域近年來廣泛使用的各資料集上的分數全部刷至新高，在工業中也有著可觀的應用前景。

本文來自創新工場公眾號
……………………………………………………………………

創新工場兩篇論文入選ACL 2020，將中文分詞性能刷至新高

“土地，我的金箍棒在哪裡？”
“大聖，你的金箍，棒就棒在，特別配你的髮型。”

感謝神奇的中文分詞，給我們帶來了多少樂趣。豐富多變的中文行文，給人的理解造成歧義，也給AI分詞帶來挑戰。

近日，自然語言處理領域（NLP）頂級學術會議 ACL 2020 (https://acl2020.org/)正在火熱舉行。

令人振奮的是，來自創新工場大灣區人工智慧研究院的兩篇論文入選。這兩篇論文均聚焦中文分詞領域，是深度學習引入知識後的有益嘗試，將該領域近年來廣泛使用的各資料集上的分數全部刷至新高，在工業中也有著可觀的應用前景。

分詞及詞性標注是中文自然語言處理的基本任務，尤其在工業場景對分詞有非常直接的訴求，但當前沒有比較好的一體化解決方案，而且中文分詞普遍存在歧義和未登錄詞的難題。

基於此，兩篇論文各自提出了“鍵-值記憶神經網路的中文分詞模型”和“基於雙通道注意力機制的分詞及詞性標注模型”，將外部知識（資訊）創造性融入分詞及詞性標注模型，有效剔除了分詞“噪音”誤導，大幅度提升了分詞及詞性標注效果。

兩篇文章的作者有：華盛頓大學博士研究生、創新工場實習生田元賀，創新工場大灣區人工智慧研究院執行院長宋彥，創新工場科研合夥人張潼，創新工場CTO兼人工智慧工程院執行院長王詠剛等人。

ACL（The Association for ComputationalLinguistics）國際計算語言學協會是自然語言處理領域影響力最大、最具活力的國際學術組織之一，自1962年創立以來已有58年歷史，其每年夏天舉辦的年會是該領域學術頂會。

與往年不同的是，受新冠疫情影響，ACL2020全部轉為線上進行，不過這絲毫沒有減弱熱度。根據之前公佈的資料，今年大會投稿數量超過3000篇，共接收 779 篇論文，包括 571 篇長論文和 208 篇短論文，接收率為 25.2%，在全球疫情衝擊下反而是有史以來最盛大的一屆ACL會議，創新工場的技術大牛們也頂著時差連續數晚熬夜參會。

▌利用記憶神經網路，將中文分詞性能刷到歷史新高

中文分詞目的是在中文的字序列中插入分隔符號，將其切分為詞。例如，“我喜歡音樂”將被切分為“我/喜歡/音樂”(“/”表示分隔符號)。

中文語言因其特殊性，在分詞時面臨著兩個主要難點。一是歧義問題，由於中文存在大量歧義，一般的分詞工具在切分句子時可能會出錯。例如，“部分居民生活水準”，其正確的切分應為“部分/居民/生活/水準”，但存在“分居”、“民生”等歧義詞。“他從小學電腦技術”，正確的分詞是：他/從小/學/電腦技術，但也存在“小學”這種歧義詞。

二是未登錄詞問題。未登錄詞指的是不在詞表，或者是模型在訓練的過程中沒有遇見過的詞。例如經濟、醫療、科技等科學領域的專業術語或者社交媒體上的新詞，或者是人名。這類問題在跨領域分詞任務中尤其明顯。

對此，《ImprovingChinese Word Segmentation with Wordhood Memory Networks》這篇論文提出了基於鍵-值記憶神經網路的中文分詞模型。

該模型利用n元組（即一個由連續n個字組成的序列，比如“居民”是一個2元組，“生活水準”是一個4元組）提供的每個字的構詞能力，通過加（降）權重實現特定語境下的歧義消解。並通過非監督方法構建詞表，實現對特定領域的未標注文本的利用，進而提升對未登錄詞的識別。

例如，在“部分居民生活水準”這句話中，到底有多少可能成為詞的組塊？單字可成詞，如“民”；每兩個字的組合可能成詞，如“居民”；甚至四個字的組合也可能成詞，例如“居民生活”。

把這些可能成詞的組合全部找到以後，加入到該分詞模型中。通過神經網路，學習哪些詞對於最後完整表達句意的幫助更大，進而分配不同的權重。像“部分”、“居民”、“生活”、“水準”這些詞都會被突出出來，但“分居”、“民生”這些詞就會被降權處理，從而預測出正確的結果。
在“他從小學電腦技術” 這句話中，對於有歧義的部分“從小學”（有“從/小學”和“從小/學”兩種分法），該模型能夠對“從小”和“學”分配更高的權重，而對錯誤的n元組——“小學”分配較低的權重。

為了檢驗該模型的分詞效果，論文進行了嚴格的標準實驗和跨領域實驗。

實驗結果顯示，該模型在5個資料集（MSR、PKU、AS、CityU、CTB6）上的表現，均達了最好的成績（F值越高，性能越好）。（注：所選擇的五個資料集是中文分詞領域目前全世界唯一通用的標準資料集）

創新工場大灣區人工智慧研究院執行院長宋彥表示，與前人的模型進行比較發現，該模型在所有資料集上的表現均超過了之前的工作，“把中文分詞領域廣泛使用的標準資料集上的性能全部刷到了新高。”

在跨領域實驗中，論文使用網路博客資料集（CTB7）測試。實驗結果顯示，在整體F值以及未登陸詞的召回率上都有比較大提升。

▌“雙通道注意力機制”，有效剔除“噪音”誤導

第二篇論文《Joint ChineseWord Segmentation and Part-of-speech Tagging via Two-way Attentions ofAuto-analyzed Knowledge》提供了一種基於雙通道注意力機制的分詞及詞性標注模型。

中文分詞和詞性標注是兩個不同的任務。詞性標注是在已經切分好的文本中，給每一個詞標注其所屬的詞類，例如動詞、名詞、代詞、形容詞。詞性標注對後續的句子理解有重要的作用。

在詞性標注中，歧義仍然是個老大難的問題。例如，對於“他要向全班同學報告書上的內容”中，“報告書”的正確的切分和標注應為“報告_VV/書_N”。但由於“報告書”本身也是一個常見詞，一般的工具可能會將其標注為“報告書_NN”。

句法標注本身需要大量的時間和人力成本。在以往的標注工作中，使用外部自動工具獲取句法知識是主流方法。在這種情況下，如果模型不能識別並正確處理帶有雜音的句法知識，很可能會被不準確的句法知識誤導，做出錯誤的預測。

例如，在句子“他馬上功夫很好”中，“馬”和“上”應該分開（正確的標注應為“馬_NN/上_NN”）。但按照一般的句法知識，卻可能得到不準確的切分及句法關係，如“馬上”。

針對這一問題，該論文提出了一個基於雙通道注意力機制的分詞及詞性標注模型。該模型將中文分詞和詞性標注視作聯合任務，可一體化完成。模型分別對自動獲取的上下文特徵和句法知識加權，預測每個字的分詞和詞性標籤，不同的上下文特徵和句法知識在各自所屬的注意力通道內進行比較、加權，從而識別特定語境下不同上下文特徵和句法知識的貢獻。

這樣一來，那些不準確的，對模型預測貢獻小的上下文特徵和句法知識就能被識別出來，並被分配小的權重，從而避免模型被這些有噪音的資訊誤導。

即便在自動獲取的句法知識不準確的時候，該模型仍能有效識別並利用這種知識。例如，將前文有歧義、句法知識不準確的句子（“他馬上功夫很好”），輸入該雙通道注意力模型後，便得到了正確的分詞和詞性標注結果。

為了測試該模型的性能，論文在一般領域和跨領域分別進行了實驗。

一般領域實驗結果顯示，該模型在5個資料集（CTB5，CTB6，CTB7，CTB9，Universal Dependencies）的表現（F值）均超過前人的工作，也大幅度超過了斯坦福大學的 CoreNLP 工具，和伯克利大學的句法分析器。

即使是在與CTB詞性標注規範不同的UD資料集中，該模型依然能吸收不同標注帶來的知識，並使用這種知識，得到更好的效果。

而在跨領域的實驗中，和斯坦福大學的CoreNLP 工具相比，該模型也有近10個百分點的提升。

▌主動引入和分辨知識，實現中文分詞技術突破

中文分詞在中國科研領域已經有幾十年的歷史。最初的中文分詞是基於詞典構建，詞典的好壞會直接影響到最後分析的效果。如果某個新詞在詞典裡沒有，那麼模型是死活都分不出來的。

這種方式的局限性還在於，詞典和分詞兩件事情中間始終有一條鴻溝，儘管詞典可以編撰得非常全面，但在處理分詞的時候，因為每一句話都有上下文語境，往往會產生多種不同的切分方法，從而無法有效地在當前語境下對分詞結構進行恰當的指導。

從2003年開始，分詞方法出現了新的突破。研究人員提出了打標籤的方式，通過給每一個字打詞首、詞尾、詞中的標籤，不再需要構建詞典，大幅度提升了未登錄詞的召回效果。

到了2014年左右，深度學習和神經網路開始被廣泛應用到中文分詞中，打標籤的模型從之前的淺層學習變成了深度學習，但演算法本質沒有發生變化，所以提升作用並不太大。

近兩年，學界開始研究怎麼在打標籤的過程中加入外部知識和資訊。創新工場的這兩篇文章就是沿著這個路徑，用記憶神經網路的方式記錄對分詞結果有影響的 n元組，並引入對詞性標注有影響的句法知識，將分詞結果和自動獲得的知識銜接起來，既發揮了神經網路的優勢，也把知識的優勢用上，實現了分詞技術上小而有效的改進和突破。

宋彥表示，“從技術創新的角度，我們的貢獻主要有兩點。一是在現有技術的基礎上，建立了一個一體化的模型框架，使用非監督方法構建詞表，並把知識（資訊）融入進來，使用更高層次的句法知識，來幫助詞性標注，起到'他山之石，可以攻玉’的效果。”

“二是主動吸收和分辨不同的外部知識（資訊）。通過鍵-值記憶神經網路和雙通道注意力機制，進行動態權重的分配，能夠有效分辨知識，區分哪些是有效的，哪些是無效的。雖然這些知識是自動獲取的、不準確的，但‘三個臭皮匠，頂個諸葛亮’，經過有效利用，總能湊出一些有用的資訊。如何實現模型的主動吸收和分辨，就變得更加重要。”

據瞭解，今年的ACL大會，在分詞領域一共收錄了18篇論文，創新工場人工智慧工程院同時有2篇入選，也表現出ACL官方對這一貢獻的認可。

▌具備跨領域分詞能力，提升工業應用效率

中文分詞和詞性標注是最底層的應用，對於接下來的應用和任務處理非常重要。例如對於文本分類、情感分析，文本摘要、機器翻譯等，分詞都是不可或缺的基本“元件”。

宋彥表示，做此項研究的目的是主要為了拓展其工業場景的應用，正確的分詞能夠平衡公司應用開發的效率和性能，同時方便人工干預及（預）後處理。

這也是創新工場人工智慧工程院的努力方向之一。工程院成立於2016年9月，宗旨是銜接科技創新和行業賦能，做嫁接科研和產業應用的橋樑，為行業改造業務流程、提升業務效率。

工程院下設北京總部、南京研究院和大灣區研究院。大灣區研究院再下設資訊感知和理解實驗室，專注于對自然語言處理（NLP）領域的研究。執行院長宋彥本人也有超過15年的NLP領域的科研經驗。

“在工業場景使用的時候，跨領域的模型能力是一個非常直接的訴求。”宋彥表示，在某個領域的訓練模型，大概率也需要應用到其他領域。

“如何在新領域缺少資料，或者新領域只有少量未標注資料的情況下，實現模型的冷開機，依然是項巨大的挑戰。如果能利用外部知識，提高模型性能，就能有效地召回很多在訓練集中沒有出現過的新詞。”

例如搜尋引擎的廣告系統，最初也是通過組詞匹配的方式，在某個特定領域訓練其分詞模型，但在進入一個新的領域時，例如從新聞領域進入醫療領域或體育領域，效果往往會大打折扣，甚至頻頻出錯。

而使用跨領域特性後，廣告系統在進入新領域時，便無需額外的資料，就可以對它進行比較準確的分詞和標注，從而有效匹配廣告和客戶，大大提升系統運行的效率和穩定性。

目前，這兩篇論文的工具都已經開源，在下面兩個連結中，可以找到對應的所有代碼和模型，各位朋友可按需自取：

分詞工具：https://github.com/SVAIGBA/WMSeg
分詞及詞性標注工具：https://github.com/SVAIGBA/TwASP

email copywriting學英文 — errand呢個字點解？⁣
⁣
我曾經同一個好有心機學好英文嘅學生上堂。⁣
⁣
雖然一對一嘅薪酬唔高，但係我教呢個學生亦都非常之開心，因為呢個學生非常之乖、好有心機學野。⁣
⁣
呢個學生而家做咗記者，雖然主要用嚟寫作嘅語言唔係中文，但係佢非常之有心機學好英文。⁣
⁣
我地成日喺CityU嘅canteen同唔同嘅cafe上堂。我成日都同呢個學生賞析唔同類型嘅文章，包括報紙上嘅評論、雜誌（例如已經執咗笠嘅Hong Kong Magazine）上嘅文章、email上嘅文字，甚至莎士比亞嘅劇作等等。⁣
⁣
呢個學生問過我一個問題，佢問我：⁣
⁣
「Tiffany，點解你訂閱咁多電郵啊，你唔會覺得inbox成日幾百封email，好大壓力咩，咁咪成日要清理個email mailbox ？」⁣
⁣
我答佢：⁣
⁣
「唔會，我好鍾意睇email，學吓人地點樣介紹佢地嘅產品同向我sell嘢架。睇嚟冇嘢學嗰啲，我好快就會清咗佢。如果啲email長期令我學唔到野，我更加會unsubscribe（停止訂閱），但係好多email都令我學到好多野，亦都會幫到我溫習到好多英文嘅知識㗎 ！」⁣
⁣
對於我黎講，閱讀唔同公司send黎嘅email，就好似住喺唐樓咁，每一日都要行樓梯，不知不覺之間身體就會好咗。⁣
⁣
當然，呢個方法未必適合所有人，有啲人好憎distractions，反而鍾意由頭到尾完完整整咁睇完一本書。⁣
⁣
I, personally, for one, thrive in distractions. 我好鍾意從唔同嘅source度逐少逐少咁學英文。⁣
⁣
Email newsletter，唔同嘅公司唔同嘅品牌send俾客人，同同客人溝通嘅工具，所以一定要淺白，最好仲可以偶然睿智同幽默，但又唔可以高深度人哋睇唔明。⁣
⁣
學英文嘅人最容易犯嘅其中一個錯誤係咩？⁣
⁣
就係越學越深，越鑽越深，寫嘅嘢亦都越嚟越深，深到人哋根本睇唔明，但自己就寫得好high好開心。⁣
⁣
例如依一封Uber send黎嘅email裏面，errand意思係差事/小差，例如買餸、湊仔放學、乾洗、放狗。⁣
⁣
英文裡面通常會講 run an errand、do an errand。⁣
⁣
例句：I’ve got an errand to run.⁣
⁣
呢個字非常好用，亦用得直接到point，清楚表示Uber可以幫到顧客慳時間。我大約係喺中級中學嘅時期學識嘅。⁣
⁣
有同學會話，既然你都已經識呢個字，點解仲要重溫？⁣
要不斷能夠省起同記起呢個字，就係要間唔耐就見到佢、間唔耐又見到佢 （see it from time to time），咁要用嘅時候，就唔會省唔起。就好似作曲家要聽同賞析音樂，啟發自己作曲一樣。⁣
⁣
學英文，為咗嘅，從來唔止係學新生字，仲係為咗溫舊生字。⁣

幫過咁多大學生補習，我發覺佢哋嘅成績次次都A-/A/A+😍仲好過我N年前自己讀大學嗰陣，真是慚愧😚

#大學補習 #HKU #CUHK #UST #BU #CITYU #POLYU #LINGU
~~~~~~~~~~
#賭Sir 🔥 #杜氏數學 📺
.
🕸官網 www.HermanToMath.com
.
🏅全港唯一「完爆」【DSE Core+M1+M2】、【AL Pure+Applied】、【CE Maths+A.Maths】和【IAL 全12份Maths卷】的數學補習導師
🏅全港第一 最多訂閱粉絲嘅數學教育YouTuber
🏅YouTube Channel超過700萬Hit Rate、超過5萬Subscribers
🏅全港唯一數學補習YouTuber獲YouTube官方連續首兩屆邀請出席Creator Camp
🏅全港首位以手機App開Live授課 時薪過萬 的數學補習導師
.
🏅本土暢銷書作家 著作：
《賭波男人嫁得過》📗
《碌葛男人嫁得過》📔
《5**數學男人嫁得過》📘
《YouTuber新手到網紅》📕
《賭馬男人嫁得過》📓
.
🧠 Mensa Club member
🎓 中文大學 數學碩士畢業（Big Data stream）
🎓 中文大學 風險管理學士畢業
.
👉👉👉 真‧完美考試戰績
.
新制中六DSE: (2016 M2 + 2017 M1)
.
🏆數學必修 (Mathematics) 一take過 奪5**
🏆數學延伸M1 (Calculus and Statistics) 一take過 奪5**
🏆數學延伸M2 (Algebra and Calculus) 一take過 奪5**
.
舊制中七高考: (2011)
.
🏆純粹數學 (Pure Mathematics) 一take過 奪A
🏆應用數學 (Applied Mathematics) 一take過 奪A
.
舊制中五會考: (2009)
.
🏆數學 (Mathematics) 一take過 奪A
🏆附加數學 (Additional Mathematics) 一take過 奪A
.
國際高考International Advanced Level: (2017+2018)
.
🏆Core Math 1 2 一take過 奪A
🏆Core Math 3 4 一take過 奪A
🏆Further Pure Math 1 一take過 奪A
🏆Further Pure Math 2 一take過 奪A
🏆Further Pure Math 3 一take過 奪A
🏆Mechanics 1 一take過 奪A
🏆Mechanics 2 一take過 奪A
🏆Mechanics 3 一take過 奪A
🏆Statistics 1 一take過 奪A
🏆Statistics 2 一take過 奪A
🏆Statistics 3 一take過 奪A
🏆Decision Math 1 一take過 奪A
.
#yylam #koopakoo #林鄭月娥 #me #statistics #melodytam #mathman #口罩 #skx #studygram #大學 #hermanto #數學 #maths #afterschool #examskills #mathtutor #love #followme

?杜氏數學 官方網站： http://www.HermanToMath.com
?賭Sir 幫你急救 DSE 數學： https://hermantomath.skx.io/courses/6328693527937024
----------
賭Sir語錄?學習知識 不宜揀飲擇食
賭Sir語錄?包拗頸法則 e.g. 唔恐慌！唔飲喜茶！唔睇賀歲片！
----------
⚡快速跳播目錄：
02:37 ?Hypothesis Testing原理?
11:42 ?戀愛統計學應用?
----------
?️賭Sir是杜氏數學Herman To Math的始創人
?全港唯一「完爆」【DSE Core+M1+M2】、【IAL 12科Maths】、【AL Pure+Applied】、【CE Maths+A.Maths】的數學導師
?全港第一最多訂閱粉絲的數學教育YouTuber
?YouTube觀看次數超越700萬、訂閱粉絲超過50000人
----------
? Mensa Club member
? 中文大學 數學碩士畢業（Big Data stream）
? 中文大學 風險管理學士畢業
----------
?流行文學作家，出版著作：
《賭波男人嫁得過》?（2018）
《碌葛男人嫁得過》?（2018）
《5**數學男人嫁得過》?（2019）
《YouTuber新手到網紅》?（2019）
《賭馬男人嫁得過》?（2020）
----------
?YouTuber Go網絡課程 全港最平+獨家 報讀優惠：
http://hermantomath.blogspot.com/2019/03/youtuber-go-link.html

?無限操數王(epractice) 全港最平+獨家 優惠(可同時使用)：
?50%OFF 半價優惠碼：MC83-AI93-NFW0-331E
?25%OFF 額外邀請碼：J7N9-RDRP-NFAH-OH13
官方網頁：https://www.dsemth.com/

?教你「教外國人學廣東話」賺錢課程：https://forms.gle/BGEqVnSLcDr941HUA

?成為杜氏數學電視台的股東：https://www.youtube.com/channel/UCH2t6jvINIOeYzBQR0iI5kw/join

?跟我的靚女老師Abby學英文 + 送你USD$10優惠：https://italki.com/teacher/5422298?ref=6BDcd0

?跟我的靚仔老師Connor學英文 + 送你USD$10優惠：https://www.italki.com/teacher/5984357?ref=6BDcd0

?Tidebit全港最穩妥的比特幣(Bitcoin)交易所：http://bit.ly/2LIWA4J

?Uber免費送你$25優惠：https://www.uber.com/invite/2utyzr

?Trip.com送你酒店8％折扣優惠： http://t.trip.com/FTTE3b0
----------
賭Sir考試戰績:

新制中六DSE: (2016 M2 + 2017 M1)
?數學必修 (Mathematics) 一take過 奪5**
?數學延伸M1 (Calculus and Statistics) 一take過 奪5**
?數學延伸M2 (Algebra and Calculus) 一take過 奪5**

國際高考International Advanced Level: (2017 + 2018)
?Core Math 1 2 一take過 奪A
?Core Math 3 4 一take過 奪A
?Further Pure Math 1 一take過 奪A
?Further Pure Math 2 一take過 奪A
?Further Pure Math 3 一take過 奪A
?Mechanics 1 一take過 奪A
?Mechanics 2 一take過 奪A
?Mechanics 3 一take過 奪A
?Statistics 1 一take過 奪A
?Statistics 2 一take過 奪A
?Statistics 3 一take過 奪A
?Decision Math 1 一take過 奪A

舊制中七高考: (2011)
?純粹數學 (Pure Mathematics) 一take過 奪A
?應用數學 (Applied Mathematics) 一take過 奪A

舊制中五會考: (2009)
?數學 (Mathematics) 一take過 奪A
?附加數學 (Additional Mathematics) 一take過 奪A

#sorry廢up耐咗 #大學生必學 #室外補習都有錄影

合作影片，多謝Whisper邀請?
Whisper少女口棉袋 #小美M巾 $8 coupon: http://bit.ly/2xUF591

懶人包?
What’s in my bag 00:30
Ocamp有乜要知？04:35
長知識倒水測試 07:36

Instagram: https://www.instagram.com/cheryllpy/
Facebook: https://www.facebook.com/cheryllpy/

#Ocamp #WhatsInMyBag #香港Youtuber #WhisperHK

Instagram: https://www.instagram.com/cheryllpy/

#大學 #大學生活 #粵語Youtuber #CherryVDO