雖然這篇memory詞性鄉民發文沒有被收入到精華區:在memory詞性這個話題中,我們另外找到其它相關的精選爆讚文章
在 memory詞性產品中有5篇Facebook貼文,粉絲數超過3萬的網紅辣媽英文天后 林俐 Carol,也在其Facebook貼文中提到, 已經報名暑期課的孩子, 一定對這個頁面不陌生吧? 上週大家已經背完高一三民版、龍騰版、翰林版B1L1的單字, 威俐老師們知道只看紙質平面背單字, 一定空虛寂寞覺得冷🥶😰 我們熬夜錄製了每個版本每一課的影音單字導讀(你現在看到的po文搭配的只是截圖,真的精彩的在影片中~容俐媽賣個關子呀😙😙) 影片...
同時也有20部Youtube影片,追蹤數超過15萬的網紅韋禮安 WeiBird,也在其Youtube影片中提到,當鈴鼓聲響起時 是該跟著靈感先生走的時候了… 在音樂路上 進行一場不設限的實驗與冒險 韋禮安WeiBird 全新演繹經典英文單曲《Mr. Tambourine Man》 你準備好一起出發了嗎? 🎧 《Mr. Tambourine Man》數位平台:https://Weibird.lnk.to...
memory詞性 在 辣媽英文天后 林俐 Carol Instagram 的最佳貼文
2021-08-03 12:32:11
已經報名暑期課的孩子, 一定對這個頁面不陌生吧? 上週大家已經背完高一三民版、龍騰版、翰林版B1L1的單字, 威俐老師們知道只看紙質平面背單字, 一定空虛寂寞覺得冷🥶😰 我們熬夜錄製了每個版本每一課的影音單字導讀(你現在看到的po文搭配的只是截圖,真的精彩的在影片中~容俐媽賣個關子呀😙😙) 影片...
-
memory詞性 在 韋禮安 WeiBird Youtube 的最佳貼文
2021-09-14 00:00:05當鈴鼓聲響起時
是該跟著靈感先生走的時候了…
在音樂路上
進行一場不設限的實驗與冒險
韋禮安WeiBird
全新演繹經典英文單曲《Mr. Tambourine Man》
你準備好一起出發了嗎?
🎧 《Mr. Tambourine Man》數位平台:https://Weibird.lnk.to/MTM
🔔 訂閱韋禮安官方頻道 : https://pse.is/WeiBird_Sub
韋禮安全新演繹英文單曲《Mr. Tambourine Man》致敬民歌搖滾教父 Bob Dylan,這首歌是 Bob Dylan 被改編最多次的經典作品之一,《Mr. Tambourine Man》是一首關於「靈感」的歌曲,韋禮安化身為「鈴鼓手先生」,以輕鬆率性的唱腔和編曲重新詮釋,帶著隨性反叛的冒險精神,透過旋律不疾不徐地恣意地暢想和夢想。
《Mr. Tambourine Man》在單曲封面和 MV 設計中特別以六〇年代的復古配色為視覺基調,歌曲旋律從簡單到豐富的層層變化,象徵靈感從點線面的迸發,視覺上更用幾何色塊來呈現樂器的律動。就像《Mr. Tambourine Man》歌曲中一再重複的「I’ll come followin’ you」,對韋禮安來說,沒有靈感時最簡單的解方不是原地等待,而是出發尋找,藉由音樂、電影、書籍,甚至只是烹飪⋯⋯等等生活裡與音樂毫無相關的事情輸入新的刺激,讓身體和腦袋動一動,自然而然就能產生新的創作能量。現在就打開耳朵,準備好一起出發!
------------
♩ 歌詞 Lyrics
Hey, Mr. Tambourine Man, play a song for me
I'm not sleepy and there is no place I'm going to
Hey, Mr. Tambourine Man, play a song for me
In the jingle jangle morning I'll come following you
Though I know that evening's empire has returned into sand
Vanished from my hand
Left me blindly here to stand, but still not sleeping
My weariness amazes me, I'm branded on my feet
I have no one to meet
And the ancient empty street's too dead for dreaming
Hey, Mr. Tambourine Man, play a song for me
I'm not sleepy and there is no place I'm going to
Hey, Mr. Tambourine Man, play a song for me
In the jingle jangle morning I'll come following you
Take me on a trip upon your magic swirling ship
My senses have been stripped
My hands can't feel to grip
My toes too numb to step
Wait only for my boot heels to be wandering
I'm ready to go anywhere, I'm ready for to fade
Into my own parade
Cast your dancing spell my way, I promise to go under it
Hey, Mr. Tambourine Man, play a song for me
I'm not sleepy and there is no place I'm going to
Hey, Mr. Tambourine Man, play a song for me
In the jingle jangle morning I'll come following you
Though you might hear laughing, spinning, swinging madly across the sun
It's not aimed at anyone
It's just escaping on the run
And but for the sky there are no fences facing
And if you hear vague traces of skipping reels of rhyme
To your tambourine in time
It's just a ragged clown behind
I wouldn't pay it any mind
It's just a shadow you're seeing that he's chasing
Hey, Mr. Tambourine Man, play a song for me
I'm not sleepy and there is no place I'm going to
Hey, Mr. Tambourine Man, play a song for me
In the jingle jangle morning I'll come following you
And take me disappearing through the smoke rings of my mind
Down the foggy ruins of time
Far past the frozen leaves
The haunted frightened trees
Out to the windy beach
Far from the twisted reach of crazy sorrow
Yes, to dance beneath the diamond sky
With one hand waving free
Silhouetted by the sea
Circled by the circus sands
With all memory and fate
Driven deep beneath the waves
Let me forget about today until tomorrow
Hey, Mr. Tambourine Man, play a song for me
I'm not sleepy and there is no place I'm going to
Hey, Mr. Tambourine Man, play a song for me
In the jingle jangle morning I'll come following you
-----------
♩ 音樂製作 Song Credit
作詞|Bob Dylan
作曲|Bob Dylan
製作人 Producer|韋禮安 WeiBird、蔡尚文 Aven Tsai
編曲 Arrangement|保卜.巴督路 Baobu Badulu
吉他 Guitars|保卜.巴督路 Baobu Badulu
和聲編寫 Chorus Arrangement|韋禮安 WeiBird
和聲 Chorus|韋禮安 WeiBird
口琴 Harmonica|藤井俊充 Toshi Fujii
製作行政 Production Administrator|廖婧紋 Melrose Liao
錄音工程師 Recording Engineers|蔡尚文 Aven Tsai (Vocal、Chorus、Harmonica)、單為明 Link Shan (Guitars)
錄音室 Recording Studios|Awesome Music Studio (Vocal、Chorus、Harmonica)、Lights Up Studio (Guitars)
混音工程師 Mixing Engineer|宋星凱 Sean M. Sinclair
混音錄音室 Mixing Studio|ff studio
------------
♩ MV製作 Music Video Credit
美術設計 Art Design | 蘇柔方 JouFang Su
動態設計 Motion Design|朱詠任 Tino Chu
──♫─ 更多韋禮安 ─────────────────────────
韋禮安 WeiBird FB|https://www.facebook.com/Weibird.official
韋禮安 WeiBird IG |https://www.instagram.com/weibirdmusic/
韋禮安 WeiBird WeiBo 微博|https://www.weibo.com/weibird -
memory詞性 在 王大喜 Youtube 的精選貼文
2021-05-29 00:09:122021/05/28音樂及生命紀實上碼
Alchemist Riddle、
The memory, doesn’t belong
The missing part,
Burning from the ground,
There is a color,
Love yourself,
Everyday from above,
Time is old,
Moving forward,
Reborn..
The spirits travel 7 times,
Faster than (the earth) where we are,
We are the people,
We are your sea,
Through the vibe,
That we share,
Can’t you see?
/.王大喜(Rasta Wang)
但現在你們要棄絕這一切的事,以及惱恨、忿怒、惡毒 、毀謗,並口中污穢的言語。 不要彼此說謊;因你們已經脫去舊人和舊人的行為, 穿上了新人。這新人在知識上漸漸更新,正如造他主的形像。 在此並不分 希臘 人、 猶太 人,受割禮的、未受割禮的,化外人、 西古提 人,為奴的、自主的,惟有基督是包括一切,又住在各人之內。
當用各樣的智慧,把基督的道理豐豐富富地存在心裏 ,用詩章、頌詞、靈歌,彼此教導,互相勸戒,心被恩感,歌頌神。
你們作妻子的,當順服自己的丈夫,這在主裏面是相宜的。 你們作丈夫的,要愛你們的妻子,不可苦待她們。 你們作兒女的,要凡事聽從父母,因為這是主所喜悅的。 你們作父親的,不要惹兒女的氣,恐怕他們失了志氣。 你們作僕人的,要凡事聽從你們肉身的主人,不要只在眼前事奉,像是討人喜歡的,總要存心誠實敬畏主。 無論做甚麼,都要從心裏做,像是給主做的,不是給人做的, 因你們知道從主那裏必得着基業為賞賜;你們所事奉的乃是主基督。 那行不義的必受不義的報應; 主 並不偏待人。」
歌羅西書 3:5, 8-11, 16, 18-25 CUNP-神
「Because of these, the wrath of God is coming.
But now you must also rid yourselves of all such things as these: anger, rage, malice, slander, and filthy language from your lips. Do not lie to each other, since you have taken off your old self with its practices and have put on the new self, which is being renewed in knowledge in the image of its Creator. Here there is no Gentile or Jew, circumcised or uncircumcised, barbarian, Scythian, slave or free, but Christ is all, and is in all.
Let the message of Christ dwell among you richly as you teach and admonish one another with all wisdom through psalms, hymns, and songs from the Spirit, singing to God with gratitude in your hearts.
Wives, submit yourselves to your husbands, as is fitting in the Lord. Husbands, love your wives and do not be harsh with them. Children, obey your parents in everything, for this pleases the Lord. Fathers, do not embitter your children, or they will become discouraged. Slaves, obey your earthly masters in everything; and do it, not only when their eye is on you and to curry their favor, but with sincerity of heart and reverence for the Lord. Whatever you do, work at it with all your heart, as working for the Lord, not for human masters, since you know that you will receive an inheritance from the Lord as a reward. It is the Lord Christ you are serving. Anyone who does wrong will be repaid for their wrongs, and there is no favoritism.」
Colossians 3:6, 8-11, 16, 18-25 NIV
2021/05/27生命記錄
救命視頻,聽此肺炎免疫者怎麼說!Safe the planet earth!lListen to those who healed from It! /.王大喜(Rasta Wang) https://youtu.be/O6WYx1SjmRs
*相關參考視頻(進階議題保護自己於我的Podbean中播放)
救命!吸溫鹽水入鼻腔及喉嚨的助益,
新此肺炎疫後的痊癒分享。
/.王大喜(Rasta Wang)
https://www.facebook.com/713880123/posts/10157733892925124/?d=n
病毒同與DNA的光化機轉生命紀實。The common mechamism of Virus and DNA (Documentary) /.王大喜(Rasta Wang) https://youtu.be/xD4yakvcloc
冠狀病毒真相,基因重新編程。及時空的創造。Truth, covid 19, DNA resetting, reforming time and space. https://youtu.be/amO74rHvCzA
冠狀病毒的真相,DNA重組。truth about COVID 19, reforming DNA.夢吃蜂蜜,DNA淨化。Dream of honey, DNA purify./.Rasta Wang https://youtu.be/nEjC9s-yKdA
“神經元的死亡與重建。” 「子午線、走陰、走陽」光化物於氣,重建神經元。twilight zone、north、south」,from root to light,rebuild Neuron. https://youtu.be/lNK0no-tbKQ
來自鹽巴的聲音,血液、污染的河川及即將轉型的病毒。the Voice from the Salt,blood、polluted river and the new mutant type COVID. https://youtu.be/NbG3JNlr9bg
2020/04/23不存在想法的能量共享年代已經到來,生命及文明的進化。 /.原始議題 王大喜 https://youtu.be/tp1SDU9AY9U
2020/03/22厭氧型病毒的產生,由於..人類與自然的失衡。/.原著 王大喜(Rasta Wang) https://youtu.be/arJ0ZQIiIuU
2020/03/22答案不是隔離,而是尊重他人、其他物種的多樣性及其生存空間。/.原始議題出處 王大喜 https://youtu.be/flXcAIqepj0
2020/03/25病毒的變異及遷徙下,我們應該知道的真相!5G加速Corona Virus的變異/.王大喜(Rasta Wang) https://youtu.be/m_p6ubCHsyY
2020/01/13「創世紀」與光,「元素空間」中禁止攜帶”已知“物質或觀念,否則將製造噩夢於他人的潛意識中!/.王大喜(Rasta Wang) https://youtu.be/wXMMvIH-YUc
2019/12/01細胞的全息性,哪裡有戰爭,哪裡就有答案。 /.原始議題出處 王大喜 https://youtu.be/w5MUul6_fhA
2019/11/22鼠疫及豬瘟根本因素,遠古惡靈「別西卜」喜好既得利益造謠的載體,談根本解決之道。(談中國將發生的瘟疫) https://youtu.be/8aSdBe72Klo
2019/11/08「暗物質及光的意識呼吸通道」追尋智慧的人少,追尋物質的人多。 /.原始議題 王大喜 https://youtu.be/W05rBZBdPQY
新冠在我感染及復原後生命記錄。
菌叢與DNA共同機轉的遺失檔案。
*相關視頻記錄:
https://www.facebook.com/713880123/posts/10157713793605124/?d=n
Alchemist Riddle、
「The power in silence」
Silence Is the gold,
Patience Is the key
God can you redeem,
Those been traded?
/.Rasta Wang
「thy reformation」
Can I hook you up?
Let’s catch thy speed,
Through the crystal(salt)
we see time,
Reform by thee,
While the whole world is in darkness,
But we walk by light,
Only love we share can take us to the journey,
Only love, We share,
Can take us to the next step.
/Rasta Wang
(本台已被標籤,大量廣告被迫下架,因此所有視頻是沒有收入的,原初做影片動機也不是為了收入或觀眾量,重要訊息請多分享,另外保護自己,尊重原創及智慧資產,請勿將視頻與其他通靈訊息或評論性頻道同時收藏於同一個檔案夾避免觀眾混淆的不良反應)
(目前專注於療癒及生命紀實、創作,恢復線上諮詢及捐款,如需手術請至以下官網詳閱。☀️🙏)
資訊如下
台幣帳號:
戶名:王大囍
銀行代號:808
銀行名稱:玉山銀行內湖分行
帳號:0462968127363
台幣帳號:
銀行代號:048
銀行名稱:王道銀行
帳戶名稱:王大囍
帳號:01000115473288
美元帳號:
戶名:王大囍
E.SUN Multi-Currency Deposit
存戶帳號:0015879086033
Dream Walker™: RastaWang.com
(夢行者,™,醒夢人) -
memory詞性 在 Crescent Lament Youtube 的最佳貼文
2021-04-11 21:00:16◆【噤夢】數位專輯搶先聽:https://reurl.cc/a5V5qX
◆ 博客來實體專輯:https://reurl.cc/R1x2m6
◆ Listen to the album here: https://reurl.cc/a5V5qX
台灣民謠金屬樂團 Crescent Lament 恆月三途,【噤夢】專輯首支live MV - 「念伊人」正式推出。
感謝參與【噤夢】全台巡演的各位觀眾朋友們,因為有你們的熱情支持,我們留下無數感動萬分的超棒回憶。
這支MV紀錄了我們在台灣各地的許多美好時刻。
謝謝各位觀眾的掌聲與鼓勵,我們會繼續傳唱台灣的故事,大步前行!
-------------------------------------------------------------------------------
「念伊人」這首歌,時序上接續「孤燈微微」:1947年3月8日,明風離家前往基隆港邊,卻再也未歸;阿香日復一日在社寮島海邊等待,也盼不到明風出現。
春夏過去了,秋冬離開了,時間之輪默默的運轉著。而花開花落、月盈月缺,阿香卻僅能在落雨暝的夢中,與明風相會。
「念伊人」的歌詞,深深刻畫出二二八事件後的台灣女性,對於生死未明的摯愛,無盡的思念與等待。
-------------------------------------------------------------------------------
噤聲的人,無聲的夢。
每個殷切期盼的背後,往往都是永盼不到一面的魂斷夢空。
紀念那些為了成就心中的台灣夢,而被噤聲的台灣人。
Crescent Lament 恆月三途 —【噤夢】。
👉 點此看「孤燈微微」官方MV: http://reurl.cc/14VboV
==========================================================
* Turn on the caption to activate the English subtitle of this video.*
Crescent Lament's new music video — "Another Night of Solitude" is now released.
Based on the footage of "Land of Lost Voices" album releasing tour, it is a live record composed of
numerous wonderful moments from December 2020 to January 2021.
Thanks to every audience of the tour, we are so touched by your great enthusiasm!
-------------------------------------------------------------------------------
The story of "Another Night of Solitude" followed "By the Lone Light". After Bîng-hong went missing during the indiscriminate massacre in March 1947, A-hiong tried desperately to find her beloved one but in vain. As seasons changed, a year went by. Longing for Bîng-hong's safe return eventually became a foolish wish, only solitude remained.
-------------------------------------------------------------------------------
In memory of 228 Incident of Taiwan, 1947.
Crescent Lament - Land of Lost Voices.
👉 Watch “By the Lone Light ” music video here: http://reurl.cc/14VboV
==========================================================
【念伊人 / Another Night of Solitude】
.影片製作/Video:葉修甫 Hsiu
.B Camera:陳安, 黃群耀 Akiradesu
.詞/Lyrics:周慕姿 Muer Chou
.曲/Music:周岳弘 Komet Chou
.英譯/English translation:Happy Metal Guy, 賴昱伸 lok-sin LOA
.英文校正/English revision & proofread:Happy Metal Guy
.收錄專輯/Album:噤夢 Land of Lost Voices (2020)
.專輯製作人/Producer:
劉允墨 Jesse Black Liu & Crescent Lament 恆月三途
.專輯錄音/Recorded by:
劉允墨 Jesse Black Liu - 黑頻工作室 Black Frequency Studio
海波浪製作 Wave Productions
.音軌剪輯/Editing by:
劉允墨 Jesse Black Liu - 黑頻工作室 Black Frequency Studio
Joakim Dahlström - The Sweetspot Studio(Sweden)
.專輯混音/Mixed by:
Rickard Bengtsson - The Sweetspot Studio(Sweden)
Assisted by Joakim Dahlström
.母帶後期處理/Mastered by:
Mika Jussila - Finnvox Studios(Finland)
.Crescent Lament 恆月三途:
主唱 Soprano:周慕姿 Muer Chou
鼓 Drums:周岳弘 Komet Chou
貝斯 Bass:許至維 Wick Hsu
吉他 Guitars:邱振華 Wat Chiu
二胡 Erhu:Jedi Yeh
鍵盤 Synths & Piano:魏大昕 Sebastian Wei
客座演出 Guest Appearance:
- 吼腔 Grunts:肯尼 Kenny
- 笛/蕭 Flute/Xiao:楊子儀 Jack Yang
- 三味線 Shamisen:廣原武豪 Jun How Wu
.特別感謝武雄老師 Bu-hiông 提供台語歌詞之填詞與唱法指導 。
.特別感謝氫酸鉀 KCN 繪製專輯封面及團徽。
.特別感謝美術編輯總監 Hollowcorpse。
.追蹤我們的最新消息 / Stay up to date on Crescent Lament
Facebook - https://www.facebook.com/crescentlament
Website - https://crescentlament.wixsite.com/home
memory詞性 在 辣媽英文天后 林俐 Carol Facebook 的最佳解答
已經報名暑期課的孩子,
一定對這個頁面不陌生吧?
上週大家已經背完高一三民版、龍騰版、翰林版B1L1的單字,
威俐老師們知道只看紙質平面背單字,
一定空虛寂寞覺得冷🥶😰
我們熬夜錄製了每個版本每一課的影音單字導讀(你現在看到的po文搭配的只是截圖,真的精彩的在影片中~容俐媽賣個關子呀😙😙)
影片中老師帶著同學學會切音節(syllable)、注意子音和母音(consonant and vowel)、長音短音(long vowel and short vowel)、抓重音(stress)、熟悉發音(pronunciation)
還教了單字的字根字首字尾組成(root/prefix/suffix)、同義字反義字(synonym/ antonym)、提點重要衍生字(derivative)、詞性(part of speech)
更進一步教單字的用法(usage)、搭配詞(collocation)、相似字(similar words)
有的老師還在影音解析中唱歌🎤增強你的記憶(improve/enhance your memory)、畫圖示範(illustration)、還教一些諧音或雙關語(pun)讓大家記得更牢
背單字,搭配老師的聲音和解釋,
是不是更好記了呢?
而且,
我們的聲音超~溫~柔~☺️
有俐媽的活力朝氣、洪威老師的阿爸級溫柔叮嚀、尹俐老師的活潑可愛、黃威老師的電台DJ級嗓音,
保證你耳朵會懷孕👂🏻🤰🏻👂🏻🤰🏻👂🏻🤰🏻
同學可以把單字導讀影片下載到手機中,
沒有WiFi時,一樣可以隨時衝單字量!
八月中EEC開課時,
我們已經背完高一第一次段考單字了!
這個暑假,
我們一定要遙遙領先其他還在等放榜+天天床上滾的同學!
新同學,欲知詳情?
傳送門在這兒 ➡️ https://reurl.cc/3NdeM9
舊生,你們知道哪裡找單字導讀影音解析嚕~
要追著每個版本每一課的放送時間表
千萬別耍廢嘿😉😉😉😉😉
#俐媽英文教室單字篇
#感覺不用等兩年半後的學測定生死
#這個暑假奠定了誰輸誰贏的基礎
#龍騰B1L2單字導讀週四就會放送
#台大明明帶著你向前衝🏃🏻♂️🏃🏻♂️🏃🏻♂️
#威俐老師大發威👊🏼👊🏼👊🏼
memory詞性 在 大V生活 Facebook 的最讚貼文
久違的加工時間,可以想像這次kidsread結團後破喉嚨們又要熬夜加工了🍻
字卡導圓角94美啊~也比較不容易因為常用而毛邊,我現在還打算把字卡貼上詞性,就像亮亮幼兒園的英文區工作一樣。
💡你們會想加工詞性嗎?想要的的舉手告訴我._./
這是練習句子時好重要的一件事,就算孩子認識單字只要擺錯位子就無法是合理意思。
說到這個讓我抱怨一下,本來七月我要去上蒙特梭利的美語師資課程,遇到疫情只好轉成線上課了(淚)
如果遇到雙寶沒有復學,我..是要怎麼上課啦!
我很喜歡JY Sight Word Readers這套教材,完美到我幾乎無法想到延伸的方法欸😆
對小小孩來說當然不用背單字的詞性,而是透過每次擺放字卡位子的記憶自然而然記起來,光只看著書,是無法打從身體記得這個字!
小小孩學東西很快,忘記也很快,需要不只是視覺收到這個訊息,搭配觸覺、味覺、身體的勞動來記憶。
#我們稱之為working memory
更多的介紹我已經迫不及待想跟你們分享啦,等我再潤稿,確認沒有缺之後再開放給大家看我的心得。
必收指數:🌟 🌟 🌟 🌟 🌟
你們有期待我先發哪一本書的介紹嗎?比較多人許願的我先寫完啊~
#新品是壓軸發啦🤫
#624晚上十點直播見
#625早上九點準時開搶
📌別忘了先複習一月直播影片新手好懂kidsread :https://reurl.cc/AkyRVp
【省時好安心綠拿鐵鮮凍包】
🔸大V加碼再送兩包:https://pse.is/3jaybg
【花蓮無毒有機蔬菜箱】
🔸下單連結:https://gbf.tw/oalik
【伊萊克斯手持式無線吸塵器 #46折,五千有找】
🔸下單與心得:https://pse.is/3hyykf
【防疫不擾鄰】
🔸巧拼地墊,大塊好整理耐髒好隔音:https://pse.is/3heuen
🔸實木成長餐椅,高cp值好整理:https://reurl.cc/kZ70Ad
❗️防疫買起來❗️
【Lingumi 專屬大V折扣✨】 #方案二已達標送三個月超級划算只有我這麼優惠✨
🔸心得與三種選項,要教材或是最佳折扣都在這:https://pse.is/3jcj8b
【閱讀啟蒙】
🔸康軒在蒙芽:https://pse.is/3cdmdp
【英文口說】
🔸tutorJr免費體驗一個月:https://pse.is/3hfefb
【eguchitoys】
🔸專業蒙式教具輸入折扣碼Vjune,全館85折
https://eguchitoys.shoplineapp.com
memory詞性 在 李開復 Kai-Fu Lee Facebook 的最佳貼文
來自創新工場大灣區人工智慧研究院的兩篇論文入選了自然語言處理領域(NLP)頂級學術會議 ACL 2020 。
這兩篇論文均聚焦中文分詞領域,是深度學習引入知識後的有益嘗試,將該領域近年來廣泛使用的各資料集上的分數全部刷至新高,在工業中也有著可觀的應用前景。
本文來自創新工場公眾號
……………………………………………………………………
創新工場兩篇論文入選ACL 2020,將中文分詞性能刷至新高
“土地,我的金箍棒在哪裡?”
“大聖,你的金箍,棒就棒在,特別配你的髮型。”
感謝神奇的中文分詞,給我們帶來了多少樂趣。豐富多變的中文行文,給人的理解造成歧義,也給AI分詞帶來挑戰。
近日,自然語言處理領域(NLP)頂級學術會議 ACL 2020 (https://acl2020.org/)正在火熱舉行。
令人振奮的是,來自創新工場大灣區人工智慧研究院的兩篇論文入選。這兩篇論文均聚焦中文分詞領域,是深度學習引入知識後的有益嘗試,將該領域近年來廣泛使用的各資料集上的分數全部刷至新高,在工業中也有著可觀的應用前景。
分詞及詞性標注是中文自然語言處理的基本任務,尤其在工業場景對分詞有非常直接的訴求,但當前沒有比較好的一體化解決方案,而且中文分詞普遍存在歧義和未登錄詞的難題。
基於此,兩篇論文各自提出了“鍵-值記憶神經網路的中文分詞模型”和“基於雙通道注意力機制的分詞及詞性標注模型”,將外部知識(資訊)創造性融入分詞及詞性標注模型,有效剔除了分詞“噪音”誤導,大幅度提升了分詞及詞性標注效果。
兩篇文章的作者有:華盛頓大學博士研究生、創新工場實習生田元賀,創新工場大灣區人工智慧研究院執行院長宋彥,創新工場科研合夥人張潼,創新工場CTO兼人工智慧工程院執行院長王詠剛等人。
ACL(The Association for ComputationalLinguistics)國際計算語言學協會是自然語言處理領域影響力最大、最具活力的國際學術組織之一,自1962年創立以來已有58年歷史,其每年夏天舉辦的年會是該領域學術頂會。
與往年不同的是,受新冠疫情影響,ACL2020全部轉為線上進行,不過這絲毫沒有減弱熱度。根據之前公佈的資料,今年大會投稿數量超過3000篇,共接收 779 篇論文,包括 571 篇長論文和 208 篇短論文,接收率為 25.2%,在全球疫情衝擊下反而是有史以來最盛大的一屆ACL會議,創新工場的技術大牛們也頂著時差連續數晚熬夜參會。
▌利用記憶神經網路,將中文分詞性能刷到歷史新高
中文分詞目的是在中文的字序列中插入分隔符號,將其切分為詞。例如,“我喜歡音樂”將被切分為“我/喜歡/音樂”(“/”表示分隔符號)。
中文語言因其特殊性,在分詞時面臨著兩個主要難點。一是歧義問題,由於中文存在大量歧義,一般的分詞工具在切分句子時可能會出錯。例如,“部分居民生活水準”,其正確的切分應為“部分/居民/生活/水準”,但存在“分居”、“民生”等歧義詞。“他從小學電腦技術”,正確的分詞是:他/從小/學/電腦技術,但也存在“小學”這種歧義詞。
二是未登錄詞問題。未登錄詞指的是不在詞表,或者是模型在訓練的過程中沒有遇見過的詞。例如經濟、醫療、科技等科學領域的專業術語或者社交媒體上的新詞,或者是人名。這類問題在跨領域分詞任務中尤其明顯。
對此,《ImprovingChinese Word Segmentation with Wordhood Memory Networks》這篇論文提出了基於鍵-值記憶神經網路的中文分詞模型。
該模型利用n元組(即一個由連續n個字組成的序列,比如“居民”是一個2元組,“生活水準”是一個4元組)提供的每個字的構詞能力,通過加(降)權重實現特定語境下的歧義消解。並通過非監督方法構建詞表,實現對特定領域的未標注文本的利用,進而提升對未登錄詞的識別。
例如,在“部分居民生活水準”這句話中,到底有多少可能成為詞的組塊?單字可成詞,如“民”;每兩個字的組合可能成詞,如“居民”;甚至四個字的組合也可能成詞,例如“居民生活”。
把這些可能成詞的組合全部找到以後,加入到該分詞模型中。通過神經網路,學習哪些詞對於最後完整表達句意的幫助更大,進而分配不同的權重。像“部分”、“居民”、“生活”、“水準”這些詞都會被突出出來,但“分居”、“民生”這些詞就會被降權處理,從而預測出正確的結果。
在“他從小學電腦技術” 這句話中,對於有歧義的部分“從小學”(有“從/小學”和“從小/學”兩種分法),該模型能夠對“從小”和“學”分配更高的權重,而對錯誤的n元組——“小學”分配較低的權重。
為了檢驗該模型的分詞效果,論文進行了嚴格的標準實驗和跨領域實驗。
實驗結果顯示,該模型在5個資料集(MSR、PKU、AS、CityU、CTB6)上的表現,均達了最好的成績(F值越高,性能越好)。(注:所選擇的五個資料集是中文分詞領域目前全世界唯一通用的標準資料集)
創新工場大灣區人工智慧研究院執行院長宋彥表示,與前人的模型進行比較發現,該模型在所有資料集上的表現均超過了之前的工作,“把中文分詞領域廣泛使用的標準資料集上的性能全部刷到了新高。”
在跨領域實驗中,論文使用網路博客資料集(CTB7)測試。實驗結果顯示,在整體F值以及未登陸詞的召回率上都有比較大提升。
▌“雙通道注意力機制”,有效剔除“噪音”誤導
第二篇論文《Joint ChineseWord Segmentation and Part-of-speech Tagging via Two-way Attentions ofAuto-analyzed Knowledge》提供了一種基於雙通道注意力機制的分詞及詞性標注模型。
中文分詞和詞性標注是兩個不同的任務。詞性標注是在已經切分好的文本中,給每一個詞標注其所屬的詞類,例如動詞、名詞、代詞、形容詞。詞性標注對後續的句子理解有重要的作用。
在詞性標注中,歧義仍然是個老大難的問題。例如,對於“他要向全班同學報告書上的內容”中,“報告書”的正確的切分和標注應為“報告_VV/書_N”。但由於“報告書”本身也是一個常見詞,一般的工具可能會將其標注為“報告書_NN”。
句法標注本身需要大量的時間和人力成本。在以往的標注工作中,使用外部自動工具獲取句法知識是主流方法。在這種情況下,如果模型不能識別並正確處理帶有雜音的句法知識,很可能會被不準確的句法知識誤導,做出錯誤的預測。
例如,在句子“他馬上功夫很好”中,“馬”和“上”應該分開(正確的標注應為“馬_NN/上_NN”)。但按照一般的句法知識,卻可能得到不準確的切分及句法關係,如“馬上”。
針對這一問題,該論文提出了一個基於雙通道注意力機制的分詞及詞性標注模型。該模型將中文分詞和詞性標注視作聯合任務,可一體化完成。模型分別對自動獲取的上下文特徵和句法知識加權,預測每個字的分詞和詞性標籤,不同的上下文特徵和句法知識在各自所屬的注意力通道內進行比較、加權,從而識別特定語境下不同上下文特徵和句法知識的貢獻。
這樣一來,那些不準確的,對模型預測貢獻小的上下文特徵和句法知識就能被識別出來,並被分配小的權重,從而避免模型被這些有噪音的資訊誤導。
即便在自動獲取的句法知識不準確的時候,該模型仍能有效識別並利用這種知識。例如,將前文有歧義、句法知識不準確的句子(“他馬上功夫很好”),輸入該雙通道注意力模型後,便得到了正確的分詞和詞性標注結果。
為了測試該模型的性能,論文在一般領域和跨領域分別進行了實驗。
一般領域實驗結果顯示,該模型在5個資料集(CTB5,CTB6,CTB7,CTB9,Universal Dependencies)的表現(F值)均超過前人的工作,也大幅度超過了斯坦福大學的 CoreNLP 工具,和伯克利大學的句法分析器。
即使是在與CTB詞性標注規範不同的UD資料集中,該模型依然能吸收不同標注帶來的知識,並使用這種知識,得到更好的效果。
而在跨領域的實驗中,和斯坦福大學的CoreNLP 工具相比,該模型也有近10個百分點的提升。
▌主動引入和分辨知識,實現中文分詞技術突破
中文分詞在中國科研領域已經有幾十年的歷史。最初的中文分詞是基於詞典構建,詞典的好壞會直接影響到最後分析的效果。如果某個新詞在詞典裡沒有,那麼模型是死活都分不出來的。
這種方式的局限性還在於,詞典和分詞兩件事情中間始終有一條鴻溝,儘管詞典可以編撰得非常全面,但在處理分詞的時候,因為每一句話都有上下文語境,往往會產生多種不同的切分方法,從而無法有效地在當前語境下對分詞結構進行恰當的指導。
從2003年開始,分詞方法出現了新的突破。研究人員提出了打標籤的方式,通過給每一個字打詞首、詞尾、詞中的標籤,不再需要構建詞典,大幅度提升了未登錄詞的召回效果。
到了2014年左右,深度學習和神經網路開始被廣泛應用到中文分詞中,打標籤的模型從之前的淺層學習變成了深度學習,但演算法本質沒有發生變化,所以提升作用並不太大。
近兩年,學界開始研究怎麼在打標籤的過程中加入外部知識和資訊。創新工場的這兩篇文章就是沿著這個路徑,用記憶神經網路的方式記錄對分詞結果有影響的 n元組,並引入對詞性標注有影響的句法知識,將分詞結果和自動獲得的知識銜接起來,既發揮了神經網路的優勢,也把知識的優勢用上,實現了分詞技術上小而有效的改進和突破。
宋彥表示,“從技術創新的角度,我們的貢獻主要有兩點。一是在現有技術的基礎上,建立了一個一體化的模型框架,使用非監督方法構建詞表,並把知識(資訊)融入進來,使用更高層次的句法知識,來幫助詞性標注,起到'他山之石,可以攻玉’的效果。”
“二是主動吸收和分辨不同的外部知識(資訊)。通過鍵-值記憶神經網路和雙通道注意力機制,進行動態權重的分配,能夠有效分辨知識,區分哪些是有效的,哪些是無效的。雖然這些知識是自動獲取的、不準確的,但‘三個臭皮匠,頂個諸葛亮’,經過有效利用,總能湊出一些有用的資訊。如何實現模型的主動吸收和分辨,就變得更加重要。”
據瞭解,今年的ACL大會,在分詞領域一共收錄了18篇論文,創新工場人工智慧工程院同時有2篇入選,也表現出ACL官方對這一貢獻的認可。
▌具備跨領域分詞能力,提升工業應用效率
中文分詞和詞性標注是最底層的應用,對於接下來的應用和任務處理非常重要。例如對於文本分類、情感分析,文本摘要、機器翻譯等,分詞都是不可或缺的基本“元件”。
宋彥表示,做此項研究的目的是主要為了拓展其工業場景的應用,正確的分詞能夠平衡公司應用開發的效率和性能,同時方便人工干預及(預)後處理。
這也是創新工場人工智慧工程院的努力方向之一。工程院成立於2016年9月,宗旨是銜接科技創新和行業賦能,做嫁接科研和產業應用的橋樑,為行業改造業務流程、提升業務效率。
工程院下設北京總部、南京研究院和大灣區研究院。大灣區研究院再下設資訊感知和理解實驗室,專注于對自然語言處理(NLP)領域的研究。執行院長宋彥本人也有超過15年的NLP領域的科研經驗。
“在工業場景使用的時候,跨領域的模型能力是一個非常直接的訴求。”宋彥表示,在某個領域的訓練模型,大概率也需要應用到其他領域。
“如何在新領域缺少資料,或者新領域只有少量未標注資料的情況下,實現模型的冷開機,依然是項巨大的挑戰。如果能利用外部知識,提高模型性能,就能有效地召回很多在訓練集中沒有出現過的新詞。”
例如搜尋引擎的廣告系統,最初也是通過組詞匹配的方式,在某個特定領域訓練其分詞模型,但在進入一個新的領域時,例如從新聞領域進入醫療領域或體育領域,效果往往會大打折扣,甚至頻頻出錯。
而使用跨領域特性後,廣告系統在進入新領域時,便無需額外的資料,就可以對它進行比較準確的分詞和標注,從而有效匹配廣告和客戶,大大提升系統運行的效率和穩定性。
目前,這兩篇論文的工具都已經開源,在下面兩個連結中,可以找到對應的所有代碼和模型,各位朋友可按需自取:
分詞工具:https://github.com/SVAIGBA/WMSeg
分詞及詞性標注工具:https://github.com/SVAIGBA/TwASP