AI 將可快速分離人聲、各式樂器等音源，Facebook 開源 Demucs 計畫

作者 雷鋒網 | 發布日期 2020 年 03 月 11 日 10:59 |

音樂源分離，是利用技術將一首歌曲分解成它的組成成分，如人聲、低音和鼓，這和人類大腦的工作很類似，大腦可以將一個單獨的對話，從周圍的噪音和一屋子的人聊天中分離出來。

如果你擁有原始的錄音室多軌錄音，這很容易實現，你只需調整混音來分離一個音軌，但是，如果你從一個普通 MP3 檔案開始，所有的樂器和聲音都被混合到一個立體聲錄音中，即使是最複雜的軟體程式也很難精確地挑出一個部分。

Facebook AI 的研究人員已經開發了一個系統，可以做到這一點──精確度高得驚人。

創建者名叫亞歷山大‧笛福茲（Alexandre Defossez），是 Facebook 人工智慧巴黎實驗室的科學家。笛福茲的系統被稱為 Demucs，這個名字來源於「音樂資源深度提取器」，其工作原理是檢測聲波中的複雜模式，對每種樂器或聲音的波形模式建立一個高層次的理解，然後利用人工智慧將它們巧妙地分離。

笛福茲說，像 Demucs 這樣的技術，不僅能幫助音樂家學習複雜的吉他即興重複段落，總有一天，它還能讓人工智慧助理在嘈雜的房間裡更容易聽到語音指令。笛福茲說，他的目標是讓人工智慧系統擅長辨識音頻源的組成部分，就像它們現在可以在一張照片中準確地區分不同的物體一樣。「我們在音頻方面還沒有達到同樣的水平。」他說。

分解聲波的更好方法

聲源分離長期以來一直吸引著科學家。1953 年，英國認知科學家科林‧切爾瑞（Colin Cherry）創造了「雞尾酒會效應」這個詞語，用來描述人類在擁擠嘈雜的房間裡專注於一次談話的能力。

工程師們首先試圖透過調整立體聲錄音中的左右聲道，或調整均衡器設置來提高或降低某些頻率，進而隔離歌曲的人聲或吉他聲。

基於聲譜圖的人工智慧系統，在分離出以單一頻率響起或共振的樂器的音符方面相對有效，例如鋼琴或小提琴旋律。

這些旋律在聲譜圖上顯示為清晰、連續的水平線，但是隔離那些產生殘餘噪音的撞擊聲，比如鼓、低音拍擊，是一項非常艱鉅的任務。鼓點感覺像一個單一的、即時的整體事件，但它實際上包含了不同的部分。對於鼓來說，它包括覆蓋較高頻率範圍的初始撞擊，隨後是在較低頻率範圍內的無音高衰減。笛福茲說，一般的小鼓「就頻率而言，到處都是」。

聲譜圖只能將聲波表現為時間和頻率的組合，無法捕捉到這樣的細微差別。因此，他們將鼓點或拍子低音處理成幾條不連續的垂直線，而不是一個整齊、無縫的聲音。這就是為什麼透過聲譜圖分離出來的鼓和低音軌道，聽起來常常是模糊不清的。

夠聰明的系統來重建缺失

基於人工智慧的波形模型避免了這些問題，因為它們不試圖將一首歌放到時間和頻率的僵化結構中。笛福茲解釋，波形模型的工作方式與電腦視覺相似，電腦視覺是人工智慧的研究領域，旨在讓電腦學會從數位圖像中辨識模式，進而獲得對視覺世界的高級理解。

電腦視覺使用神經網路來檢測基本模式──類似於在圖像中發現角落和邊緣──然後推斷更高級或更複雜的模式。「波形模型的工作方式非常相似」，笛福茲說。他解釋了波形模型如何需要幾秒鐘來適應歌曲中的突出頻率──人聲、低音、鼓或吉他──並為每一個元素生成單獨的波形。然後，它開始推斷更高比例的結構，以增加細微差別，並精細雕刻每個波形。

笛福茲說，他的系統也可以比做探測和記錄地震的地震儀。地震時，地動儀的底座會移動，但懸掛在上面的重物不會移動，這使得附著在重物上的筆可以畫出記錄地面運動的波形。人工智慧模型可以探測到同時發生的幾個不同地震，然後推斷出每個地震的震級和強度的細節。同樣，笛福茲的系統分析並分離出一首歌曲的本來面目，而不是根據預先設定的聲譜圖結構來分割它。

笛福茲解釋，構建這個系統需要克服一系列複雜的技術挑戰。他首先使用了 Wave-U-Net 的底層架構，這是一個為音樂源分離開發的早期人工智慧波形模型。然後他還有很多工作要做，因為聲譜圖模型的表現優於 Wave-U-Net。他透過添加線性單元來微調波形網路中分析模式的演算法參數。笛福茲還增加了長短期記憶，這種結構允許網路處理整個數據序列，如一段音樂或一段視頻，而不僅是一個數據點，如圖像。笛福茲還提高了 Wave-U-Net 的速度和記憶體使用率。

這些修改幫助 Demucs 在一些重要方面勝過 Wave-U-Net，比如它如何處理一種聲音壓倒另一種聲音的問題。「你可以想像一架飛機起飛，引擎噪音會淹沒一個人的聲音」，笛福茲說。

以前的波形模型，透過簡單地移除原始音頻源文件的一部分來處理這個問題，但是它們不能重建丟失材料的重要部分。笛福茲增強了 Demucs 解碼器的能力，「Demucs 可以重新創建它認為存在但卻迷失在混音中的音頻​​」，這意味著他的模型可以重新合成可能被響亮的鐃鈸聲影響而遺失的柔和鋼琴音符，因為它理解應該呈現什麼樣的聲音。

這種重構和分離的能力使 Demucs 比其他波形模型有優勢。笛福茲說，Demucs 已經與最好的波形技術相匹配，並且「遠遠超出」最先進的聲譜技術。

在盲聽測試中，38 名參與者從 50 首測試曲目中隨機抽取 8 秒鐘進行聽音，這 50 首曲目由 3 個模型分開：Demucs、領先波形、頻譜圖技術。聽眾認為 Demucs 在品質和無偽影（如背景噪音或失真）方面表現最佳。

Demucs 已經引起了人工智慧愛好者的興趣，精通技術的讀者可以從 GitHub 下載 Demucs 的代碼，代碼用 MusDB 數據集來分離音樂源。

笛福茲解釋，隨著 Demucs 的發展，它將為人們在家中創作音樂的數位音頻工作站帶來聲音的真實性。這些工作站提供了能夠喚起特定時代或風格的合成儀器，通常需要對原始硬體進行大量的數位化改造。

想像一下，如果音樂源分離技術能夠完美地捕捉 20 世紀 50 年代搖滾歌曲中用電子管放大器演奏的老式空心電吉他的聲音，Demucs 讓音樂愛好者和音樂家離這個能力更近了一步。

資料來源：https://technews.tw/2020/03/11/using-ai-for-music-source-separation/?fbclid=IwAR1C-0LhFNEkIFUg9QS3xRQK8VKeqKIkPEx9kh7QdGamcsCfUViwyeXyqXg

AI 將可快速分離人聲、各式樂器等音源，Facebook 開源 Demucs 計畫

作者 雷鋒網 | 發布日期 2020 年 03 月 11 日 10:59 |

音樂源分離，是利用技術將一首歌曲分解成它的組成成分，如人聲、低音和鼓，這和人類大腦的工作很類似，大腦可以將一個單獨的對話，從周圍的噪音和一屋子的人聊天中分離出來。

如果你擁有原始的錄音室多軌錄音，這很容易實現，你只需調整混音來分離一個音軌，但是，如果你從一個普通 MP3 檔案開始，所有的樂器和聲音都被混合到一個立體聲錄音中，即使是最複雜的軟體程式也很難精確地挑出一個部分。

Facebook AI 的研究人員已經開發了一個系統，可以做到這一點──精確度高得驚人。

創建者名叫亞歷山大‧笛福茲（Alexandre Defossez），是 Facebook 人工智慧巴黎實驗室的科學家。笛福茲的系統被稱為 Demucs，這個名字來源於「音樂資源深度提取器」，其工作原理是檢測聲波中的複雜模式，對每種樂器或聲音的波形模式建立一個高層次的理解，然後利用人工智慧將它們巧妙地分離。

笛福茲說，像 Demucs 這樣的技術，不僅能幫助音樂家學習複雜的吉他即興重複段落，總有一天，它還能讓人工智慧助理在嘈雜的房間裡更容易聽到語音指令。笛福茲說，他的目標是讓人工智慧系統擅長辨識音頻源的組成部分，就像它們現在可以在一張照片中準確地區分不同的物體一樣。「我們在音頻方面還沒有達到同樣的水平。」他說。

分解聲波的更好方法

聲源分離長期以來一直吸引著科學家。1953 年，英國認知科學家科林‧切爾瑞（Colin Cherry）創造了「雞尾酒會效應」這個詞語，用來描述人類在擁擠嘈雜的房間裡專注於一次談話的能力。

工程師們首先試圖透過調整立體聲錄音中的左右聲道，或調整均衡器設置來提高或降低某些頻率，進而隔離歌曲的人聲或吉他聲。

基於聲譜圖的人工智慧系統，在分離出以單一頻率響起或共振的樂器的音符方面相對有效，例如鋼琴或小提琴旋律。

這些旋律在聲譜圖上顯示為清晰、連續的水平線，但是隔離那些產生殘餘噪音的撞擊聲，比如鼓、低音拍擊，是一項非常艱鉅的任務。鼓點感覺像一個單一的、即時的整體事件，但它實際上包含了不同的部分。對於鼓來說，它包括覆蓋較高頻率範圍的初始撞擊，隨後是在較低頻率範圍內的無音高衰減。笛福茲說，一般的小鼓「就頻率而言，到處都是」。

聲譜圖只能將聲波表現為時間和頻率的組合，無法捕捉到這樣的細微差別。因此，他們將鼓點或拍子低音處理成幾條不連續的垂直線，而不是一個整齊、無縫的聲音。這就是為什麼透過聲譜圖分離出來的鼓和低音軌道，聽起來常常是模糊不清的。

夠聰明的系統來重建缺失

基於人工智慧的波形模型避免了這些問題，因為它們不試圖將一首歌放到時間和頻率的僵化結構中。笛福茲解釋，波形模型的工作方式與電腦視覺相似，電腦視覺是人工智慧的研究領域，旨在讓電腦學會從數位圖像中辨識模式，進而獲得對視覺世界的高級理解。

電腦視覺使用神經網路來檢測基本模式──類似於在圖像中發現角落和邊緣──然後推斷更高級或更複雜的模式。「波形模型的工作方式非常相似」，笛福茲說。他解釋了波形模型如何需要幾秒鐘來適應歌曲中的突出頻率──人聲、低音、鼓或吉他──並為每一個元素生成單獨的波形。然後，它開始推斷更高比例的結構，以增加細微差別，並精細雕刻每個波形。

笛福茲說，他的系統也可以比做探測和記錄地震的地震儀。地震時，地動儀的底座會移動，但懸掛在上面的重物不會移動，這使得附著在重物上的筆可以畫出記錄地面運動的波形。人工智慧模型可以探測到同時發生的幾個不同地震，然後推斷出每個地震的震級和強度的細節。同樣，笛福茲的系統分析並分離出一首歌曲的本來面目，而不是根據預先設定的聲譜圖結構來分割它。

笛福茲解釋，構建這個系統需要克服一系列複雜的技術挑戰。他首先使用了 Wave-U-Net 的底層架構，這是一個為音樂源分離開發的早期人工智慧波形模型。然後他還有很多工作要做，因為聲譜圖模型的表現優於 Wave-U-Net。他透過添加線性單元來微調波形網路中分析模式的演算法參數。笛福茲還增加了長短期記憶，這種結構允許網路處理整個數據序列，如一段音樂或一段視頻，而不僅是一個數據點，如圖像。笛福茲還提高了 Wave-U-Net 的速度和記憶體使用率。

這些修改幫助 Demucs 在一些重要方面勝過 Wave-U-Net，比如它如何處理一種聲音壓倒另一種聲音的問題。「你可以想像一架飛機起飛，引擎噪音會淹沒一個人的聲音」，笛福茲說。

以前的波形模型，透過簡單地移除原始音頻源文件的一部分來處理這個問題，但是它們不能重建丟失材料的重要部分。笛福茲增強了 Demucs 解碼器的能力，「Demucs 可以重新創建它認為存在但卻迷失在混音中的音頻​​」，這意味著他的模型可以重新合成可能被響亮的鐃鈸聲影響而遺失的柔和鋼琴音符，因為它理解應該呈現什麼樣的聲音。

這種重構和分離的能力使 Demucs 比其他波形模型有優勢。笛福茲說，Demucs 已經與最好的波形技術相匹配，並且「遠遠超出」最先進的聲譜技術。

在盲聽測試中，38 名參與者從 50 首測試曲目中隨機抽取 8 秒鐘進行聽音，這 50 首曲目由 3 個模型分開：Demucs、領先波形、頻譜圖技術。聽眾認為 Demucs 在品質和無偽影（如背景噪音或失真）方面表現最佳。

Demucs 已經引起了人工智慧愛好者的興趣，精通技術的讀者可以從 GitHub 下載 Demucs 的代碼，代碼用 MusDB 數據集來分離音樂源。

笛福茲解釋，隨著 Demucs 的發展，它將為人們在家中創作音樂的數位音頻工作站帶來聲音的真實性。這些工作站提供了能夠喚起特定時代或風格的合成儀器，通常需要對原始硬體進行大量的數位化改造。

想像一下，如果音樂源分離技術能夠完美地捕捉 20 世紀 50 年代搖滾歌曲中用電子管放大器演奏的老式空心電吉他的聲音，Demucs 讓音樂愛好者和音樂家離這個能力更近了一步。

資料來源：https://technews.tw/…/using-ai-for-music-source-separation/…

「用新的幸福 把遺憾包著
　就這樣朝著 未來前進了」

-
　初戀那年，我和你相遇了...
　突然好想你。
-
　此時此刻，後來的我們 …
　在哪裡？
-
　五月天 1st 抒情主打 [ 後來的我們 ] MV：https://youtu.be/pd3eV-SG23E


=================================================

後來就沒有我們了，就像那是一個被淘汰的舊軟體、被新的程式取代；後來就沒有我們了，就像那是一份過期的日曆、失去了意義。

從複數被分割成兩個單獨存在的主詞，他們謹慎地挑選著字眼，有意或無意地透露你的消息。你的名字還那麼親暱地溜進我的耳朵裡，叫醒所有微涼的雨季和泛紅的曬傷；沒有「後來的我們」、只有「過去的我們」，而「過去的我們」各自走成了現在的你、我。

這是一首不存在的歌曲，你如此快樂、我捨不得你聽見傷心的歌；這是一段不存在的喃喃自語，你如此快樂、不應該感覺到我的遺憾。偶爾，偶爾我會想起當時，
我笑著說：「沒關係。」
好讓後來的你能放心，和我，沒有關係。


………………………………

後來的我們


然後呢
他們說你的心 似乎痊癒了
也開始有個人 為你守護著
我該心安或是 心痛呢？

然後呢
其實我的日子 也還可以呢
除了回憶肆虐 的某些時刻
慶幸還有眼淚 沖淡苦澀

而那些昨日 依然繽紛著 它們都有我 細心收藏著
也許你還記得 也許你都忘了
也不是那麼 重要了

只期待 後來的你 能快樂
那就是 後來的我 最想的
後來的我們 依然走著
只是不再並肩了
朝各自的人生 追尋了

無論是 後來故事 怎麼了
也要讓 後來人生 精彩著
後來的我們 我期待著
淚水中能看到 你真的 自由了

親愛的
回憶我們共同 走過的曲折
是那些帶我們 來到了這一刻
讓珍貴的人生 有失有得

用新的幸福 把遺憾包著 就這麼朝著 未來前進了
有再多的不捨 也要狠心割捨
「別回頭看我 親愛的」

只期待 後來的你 能快樂
那就是 後來的我 最想的
後來的我們 依然走著
只是不再並肩了
朝各自的人生 追尋了

無論是 後來故事 怎麼了
也要讓 後來人生 精彩著
後來的我們 我期待著
淚水中能看到 你真的 幸福快樂

「在某處 另一個你 留下了」
「在那裡 另一個我 微笑著」
另一個我們 還深愛著
代替我們永恆著
「如果能這麼想 就夠了」

無論是 後來故事 怎麼了
也要讓 後來人生 值得
後來的我們 我期待著
淚水中能看到 你真的 自由了


………………………………



●【五月天 LIFE tour [ 人生無限公司 ] 全新世界巡迴演唱會】


人生中最好的一天，一生活一場五月天！
-
五月天 LIFE [ 人生無限公司 ] 巡迴演唱會
2017 MAYDAY LIFE TOUR
-
■場次訊息： http://www.bin-music.com/events/mayday/2017MaydayLiFE/

廣州 3/25. 26
廈門 4/02
杭州 4/08
合肥 4/15
鄭州 4/22
大連 4/29
濟南 5/01
太原 5/06
香港 5/10-23
呼和浩特 7/08

-
■ [ 五月天LIFE ] 人生無限互動LED螢光棒 3/1開始販售
官方 3/1 開賣銷售點
全家便利商店＆全家行動購 https://goo.gl/y2nTQV
博客來 https://goo.gl/12cv6C
五大唱片 https://goo.gl/w9iTb9
滾石網路 https://goo.gl/CYWnsw
相信音樂線上購物 https://goo.gl/q25DRD
STAYREAL官網及（門市 3/3開始販售）https://goo.gl/FL6PEV

#五月天人生無限公司


………………………………


●【五月天 [ 自傳 history of Tomorrow ] 專輯Album】

五月天 . 自傳
Mayday . history of Tomorrow
-

★★ MUSIC VIDEO ★★
如果我們不曾相遇 → https://youtu.be/tClCiypl51o
後來的我們 → https://youtu.be/1xvQFNDwQzs
派對動物 → https://youtu.be/Fn7NLWHJw4s
派對動物 - 動畫版 → https://youtu.be/OJF3CjVxEVk
頑固 → https://youtu.be/YKiMrg6rgYQ
頑固 - 五十萬人合唱版 → https://youtu.be/YKiMrg6rgYQ
好好(好想把你寫成一首歌) - 動畫版→ https://youtu.be/fgY-pj-x1oc
任意門- 現場就是起點版→ https://youtu.be/lUCa4e5Mkrc


★★ 數位專輯 ★★
iTunes→ https://goo.gl/dCbUOR
Apple Music→ https://itun.es/tw/BJBaw
Spotify→ https://goo.gl/JqSe6Q
Omusic→ http://goo.gl/59dSYF
KKBOX(台港星馬日泰)→ http://kkbox.fm/3a1HF1
myMusic→ https://goo.gl/37K35z
阿里音樂→ http://goo.gl/gRn9bL


★★ 實體CD ★★
博客來→ http://goo.gl/Zm5OPn
五大唱片→ https://goo.gl/dagt5a
佳佳唱片→ https://goo.gl/o1WjLg
誠品音樂→ http://goo.gl/jJCU3i
滾石購物網→ http://goo.gl/USGj93


#五月天自傳
#五月天作品9號



‥‥訂閱・相信‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
▶訂閱相信音樂YouTube官方頻道 Subscribe YouTube
-- MV首播、新歌搶先聽、獨家花絮
http://www.youtube.com/binmusictaipei


Mayday:
★FB(CN)：https://www.facebook.com/imayday555
★Twitter(EN)：https://twitter.com/Mayday_EN
★WEIBO：http://weibo.com/mayday
★YouTube：http://goo.gl/dR6yLm
★iTunes：http://goo.gl/qmfEbo
★Spotify：http://goo.gl/5pDCi7
★KKBOX：http://goo.gl/AcQpzZ
★Omusic：http://goo.gl/2huU2z
★myMusic：http://goo.gl/oB8xGR