AI 將可快速分離人聲、各式樂器等音源，Facebook 開源 Demucs 計畫

作者 雷鋒網 | 發布日期 2020 年 03 月 11 日 10:59 |

音樂源分離，是利用技術將一首歌曲分解成它的組成成分，如人聲、低音和鼓，這和人類大腦的工作很類似，大腦可以將一個單獨的對話，從周圍的噪音和一屋子的人聊天中分離出來。

如果你擁有原始的錄音室多軌錄音，這很容易實現，你只需調整混音來分離一個音軌，但是，如果你從一個普通 MP3 檔案開始，所有的樂器和聲音都被混合到一個立體聲錄音中，即使是最複雜的軟體程式也很難精確地挑出一個部分。

Facebook AI 的研究人員已經開發了一個系統，可以做到這一點──精確度高得驚人。

創建者名叫亞歷山大‧笛福茲（Alexandre Defossez），是 Facebook 人工智慧巴黎實驗室的科學家。笛福茲的系統被稱為 Demucs，這個名字來源於「音樂資源深度提取器」，其工作原理是檢測聲波中的複雜模式，對每種樂器或聲音的波形模式建立一個高層次的理解，然後利用人工智慧將它們巧妙地分離。

笛福茲說，像 Demucs 這樣的技術，不僅能幫助音樂家學習複雜的吉他即興重複段落，總有一天，它還能讓人工智慧助理在嘈雜的房間裡更容易聽到語音指令。笛福茲說，他的目標是讓人工智慧系統擅長辨識音頻源的組成部分，就像它們現在可以在一張照片中準確地區分不同的物體一樣。「我們在音頻方面還沒有達到同樣的水平。」他說。

分解聲波的更好方法

聲源分離長期以來一直吸引著科學家。1953 年，英國認知科學家科林‧切爾瑞（Colin Cherry）創造了「雞尾酒會效應」這個詞語，用來描述人類在擁擠嘈雜的房間裡專注於一次談話的能力。

工程師們首先試圖透過調整立體聲錄音中的左右聲道，或調整均衡器設置來提高或降低某些頻率，進而隔離歌曲的人聲或吉他聲。

基於聲譜圖的人工智慧系統，在分離出以單一頻率響起或共振的樂器的音符方面相對有效，例如鋼琴或小提琴旋律。

這些旋律在聲譜圖上顯示為清晰、連續的水平線，但是隔離那些產生殘餘噪音的撞擊聲，比如鼓、低音拍擊，是一項非常艱鉅的任務。鼓點感覺像一個單一的、即時的整體事件，但它實際上包含了不同的部分。對於鼓來說，它包括覆蓋較高頻率範圍的初始撞擊，隨後是在較低頻率範圍內的無音高衰減。笛福茲說，一般的小鼓「就頻率而言，到處都是」。

聲譜圖只能將聲波表現為時間和頻率的組合，無法捕捉到這樣的細微差別。因此，他們將鼓點或拍子低音處理成幾條不連續的垂直線，而不是一個整齊、無縫的聲音。這就是為什麼透過聲譜圖分離出來的鼓和低音軌道，聽起來常常是模糊不清的。

夠聰明的系統來重建缺失

基於人工智慧的波形模型避免了這些問題，因為它們不試圖將一首歌放到時間和頻率的僵化結構中。笛福茲解釋，波形模型的工作方式與電腦視覺相似，電腦視覺是人工智慧的研究領域，旨在讓電腦學會從數位圖像中辨識模式，進而獲得對視覺世界的高級理解。

電腦視覺使用神經網路來檢測基本模式──類似於在圖像中發現角落和邊緣──然後推斷更高級或更複雜的模式。「波形模型的工作方式非常相似」，笛福茲說。他解釋了波形模型如何需要幾秒鐘來適應歌曲中的突出頻率──人聲、低音、鼓或吉他──並為每一個元素生成單獨的波形。然後，它開始推斷更高比例的結構，以增加細微差別，並精細雕刻每個波形。

笛福茲說，他的系統也可以比做探測和記錄地震的地震儀。地震時，地動儀的底座會移動，但懸掛在上面的重物不會移動，這使得附著在重物上的筆可以畫出記錄地面運動的波形。人工智慧模型可以探測到同時發生的幾個不同地震，然後推斷出每個地震的震級和強度的細節。同樣，笛福茲的系統分析並分離出一首歌曲的本來面目，而不是根據預先設定的聲譜圖結構來分割它。

笛福茲解釋，構建這個系統需要克服一系列複雜的技術挑戰。他首先使用了 Wave-U-Net 的底層架構，這是一個為音樂源分離開發的早期人工智慧波形模型。然後他還有很多工作要做，因為聲譜圖模型的表現優於 Wave-U-Net。他透過添加線性單元來微調波形網路中分析模式的演算法參數。笛福茲還增加了長短期記憶，這種結構允許網路處理整個數據序列，如一段音樂或一段視頻，而不僅是一個數據點，如圖像。笛福茲還提高了 Wave-U-Net 的速度和記憶體使用率。

這些修改幫助 Demucs 在一些重要方面勝過 Wave-U-Net，比如它如何處理一種聲音壓倒另一種聲音的問題。「你可以想像一架飛機起飛，引擎噪音會淹沒一個人的聲音」，笛福茲說。

以前的波形模型，透過簡單地移除原始音頻源文件的一部分來處理這個問題，但是它們不能重建丟失材料的重要部分。笛福茲增強了 Demucs 解碼器的能力，「Demucs 可以重新創建它認為存在但卻迷失在混音中的音頻​​」，這意味著他的模型可以重新合成可能被響亮的鐃鈸聲影響而遺失的柔和鋼琴音符，因為它理解應該呈現什麼樣的聲音。

這種重構和分離的能力使 Demucs 比其他波形模型有優勢。笛福茲說，Demucs 已經與最好的波形技術相匹配，並且「遠遠超出」最先進的聲譜技術。

在盲聽測試中，38 名參與者從 50 首測試曲目中隨機抽取 8 秒鐘進行聽音，這 50 首曲目由 3 個模型分開：Demucs、領先波形、頻譜圖技術。聽眾認為 Demucs 在品質和無偽影（如背景噪音或失真）方面表現最佳。

Demucs 已經引起了人工智慧愛好者的興趣，精通技術的讀者可以從 GitHub 下載 Demucs 的代碼，代碼用 MusDB 數據集來分離音樂源。

笛福茲解釋，隨著 Demucs 的發展，它將為人們在家中創作音樂的數位音頻工作站帶來聲音的真實性。這些工作站提供了能夠喚起特定時代或風格的合成儀器，通常需要對原始硬體進行大量的數位化改造。

想像一下，如果音樂源分離技術能夠完美地捕捉 20 世紀 50 年代搖滾歌曲中用電子管放大器演奏的老式空心電吉他的聲音，Demucs 讓音樂愛好者和音樂家離這個能力更近了一步。

資料來源：https://technews.tw/2020/03/11/using-ai-for-music-source-separation/?fbclid=IwAR1C-0LhFNEkIFUg9QS3xRQK8VKeqKIkPEx9kh7QdGamcsCfUViwyeXyqXg

AI 將可快速分離人聲、各式樂器等音源，Facebook 開源 Demucs 計畫

作者 雷鋒網 | 發布日期 2020 年 03 月 11 日 10:59 |

音樂源分離，是利用技術將一首歌曲分解成它的組成成分，如人聲、低音和鼓，這和人類大腦的工作很類似，大腦可以將一個單獨的對話，從周圍的噪音和一屋子的人聊天中分離出來。

如果你擁有原始的錄音室多軌錄音，這很容易實現，你只需調整混音來分離一個音軌，但是，如果你從一個普通 MP3 檔案開始，所有的樂器和聲音都被混合到一個立體聲錄音中，即使是最複雜的軟體程式也很難精確地挑出一個部分。

Facebook AI 的研究人員已經開發了一個系統，可以做到這一點──精確度高得驚人。

創建者名叫亞歷山大‧笛福茲（Alexandre Defossez），是 Facebook 人工智慧巴黎實驗室的科學家。笛福茲的系統被稱為 Demucs，這個名字來源於「音樂資源深度提取器」，其工作原理是檢測聲波中的複雜模式，對每種樂器或聲音的波形模式建立一個高層次的理解，然後利用人工智慧將它們巧妙地分離。

笛福茲說，像 Demucs 這樣的技術，不僅能幫助音樂家學習複雜的吉他即興重複段落，總有一天，它還能讓人工智慧助理在嘈雜的房間裡更容易聽到語音指令。笛福茲說，他的目標是讓人工智慧系統擅長辨識音頻源的組成部分，就像它們現在可以在一張照片中準確地區分不同的物體一樣。「我們在音頻方面還沒有達到同樣的水平。」他說。

分解聲波的更好方法

聲源分離長期以來一直吸引著科學家。1953 年，英國認知科學家科林‧切爾瑞（Colin Cherry）創造了「雞尾酒會效應」這個詞語，用來描述人類在擁擠嘈雜的房間裡專注於一次談話的能力。

工程師們首先試圖透過調整立體聲錄音中的左右聲道，或調整均衡器設置來提高或降低某些頻率，進而隔離歌曲的人聲或吉他聲。

基於聲譜圖的人工智慧系統，在分離出以單一頻率響起或共振的樂器的音符方面相對有效，例如鋼琴或小提琴旋律。

這些旋律在聲譜圖上顯示為清晰、連續的水平線，但是隔離那些產生殘餘噪音的撞擊聲，比如鼓、低音拍擊，是一項非常艱鉅的任務。鼓點感覺像一個單一的、即時的整體事件，但它實際上包含了不同的部分。對於鼓來說，它包括覆蓋較高頻率範圍的初始撞擊，隨後是在較低頻率範圍內的無音高衰減。笛福茲說，一般的小鼓「就頻率而言，到處都是」。

聲譜圖只能將聲波表現為時間和頻率的組合，無法捕捉到這樣的細微差別。因此，他們將鼓點或拍子低音處理成幾條不連續的垂直線，而不是一個整齊、無縫的聲音。這就是為什麼透過聲譜圖分離出來的鼓和低音軌道，聽起來常常是模糊不清的。

夠聰明的系統來重建缺失

基於人工智慧的波形模型避免了這些問題，因為它們不試圖將一首歌放到時間和頻率的僵化結構中。笛福茲解釋，波形模型的工作方式與電腦視覺相似，電腦視覺是人工智慧的研究領域，旨在讓電腦學會從數位圖像中辨識模式，進而獲得對視覺世界的高級理解。

電腦視覺使用神經網路來檢測基本模式──類似於在圖像中發現角落和邊緣──然後推斷更高級或更複雜的模式。「波形模型的工作方式非常相似」，笛福茲說。他解釋了波形模型如何需要幾秒鐘來適應歌曲中的突出頻率──人聲、低音、鼓或吉他──並為每一個元素生成單獨的波形。然後，它開始推斷更高比例的結構，以增加細微差別，並精細雕刻每個波形。

笛福茲說，他的系統也可以比做探測和記錄地震的地震儀。地震時，地動儀的底座會移動，但懸掛在上面的重物不會移動，這使得附著在重物上的筆可以畫出記錄地面運動的波形。人工智慧模型可以探測到同時發生的幾個不同地震，然後推斷出每個地震的震級和強度的細節。同樣，笛福茲的系統分析並分離出一首歌曲的本來面目，而不是根據預先設定的聲譜圖結構來分割它。

笛福茲解釋，構建這個系統需要克服一系列複雜的技術挑戰。他首先使用了 Wave-U-Net 的底層架構，這是一個為音樂源分離開發的早期人工智慧波形模型。然後他還有很多工作要做，因為聲譜圖模型的表現優於 Wave-U-Net。他透過添加線性單元來微調波形網路中分析模式的演算法參數。笛福茲還增加了長短期記憶，這種結構允許網路處理整個數據序列，如一段音樂或一段視頻，而不僅是一個數據點，如圖像。笛福茲還提高了 Wave-U-Net 的速度和記憶體使用率。

這些修改幫助 Demucs 在一些重要方面勝過 Wave-U-Net，比如它如何處理一種聲音壓倒另一種聲音的問題。「你可以想像一架飛機起飛，引擎噪音會淹沒一個人的聲音」，笛福茲說。

以前的波形模型，透過簡單地移除原始音頻源文件的一部分來處理這個問題，但是它們不能重建丟失材料的重要部分。笛福茲增強了 Demucs 解碼器的能力，「Demucs 可以重新創建它認為存在但卻迷失在混音中的音頻​​」，這意味著他的模型可以重新合成可能被響亮的鐃鈸聲影響而遺失的柔和鋼琴音符，因為它理解應該呈現什麼樣的聲音。

這種重構和分離的能力使 Demucs 比其他波形模型有優勢。笛福茲說，Demucs 已經與最好的波形技術相匹配，並且「遠遠超出」最先進的聲譜技術。

在盲聽測試中，38 名參與者從 50 首測試曲目中隨機抽取 8 秒鐘進行聽音，這 50 首曲目由 3 個模型分開：Demucs、領先波形、頻譜圖技術。聽眾認為 Demucs 在品質和無偽影（如背景噪音或失真）方面表現最佳。

Demucs 已經引起了人工智慧愛好者的興趣，精通技術的讀者可以從 GitHub 下載 Demucs 的代碼，代碼用 MusDB 數據集來分離音樂源。

笛福茲解釋，隨著 Demucs 的發展，它將為人們在家中創作音樂的數位音頻工作站帶來聲音的真實性。這些工作站提供了能夠喚起特定時代或風格的合成儀器，通常需要對原始硬體進行大量的數位化改造。

想像一下，如果音樂源分離技術能夠完美地捕捉 20 世紀 50 年代搖滾歌曲中用電子管放大器演奏的老式空心電吉他的聲音，Demucs 讓音樂愛好者和音樂家離這個能力更近了一步。

資料來源：https://technews.tw/…/using-ai-for-music-source-separation/…

※聯合文學 小說推薦※
　
大家好：
　　
今、明兩天，我們張貼的都是小說。順帶一提，「詩．聲．字」所分享的，體裁原不限於詩歌，粉專名字裡的「詩」是泛指，以之代表文學作品，不然的話，就得取名為「詩歌，散文，小說，其他．朗讀．手寫」了（被放在「其他」概括的體裁們表示……）。
　　
只是臉書介面比較不適宜閱讀長篇文字，因此我們平時的分享上，仍然是以詩歌為主的，獨愛詩歌的舊雨新知，略過散文、小說也無妨（呃），但請繼續關注我們。
　　
※
　　
　　李琴峰《獨舞》節錄：「就像刺鳥的宿命」
　　
　　「小惠妳就是那時注意到，自己只能喜歡女生的？」
　　她將丹辰的往事與那場大地震的經驗告訴小書後，小書如此問道。
　　她與小書在新宿二丁目裡一間名為Lilith的酒吧裡小酌。「小惠」是她在性少數圈裡使用的中文暱稱，日語的暱稱則是リエ。Rie，理惠。
　　「不是『只能』喜歡女生，是『就是』喜歡女生。」她訂正道。
　　小書本名李書柔，由於「書」在日文裡讀作「sho」，因此在日本大家都稱她Sho-chan，翻成中文便是「小書」，所以懂中文的人也有人會用中文稱呼她「小書」，但由於「小書」與「小叔」音近，因此本人似乎不大希望這個稱呼傳開。小書與她相同年紀，都是台灣人，但她是在大學畢業後立刻來到日本，小書則是在台灣先工作了一陣子，去年才來的日本。現在小書在東京一邊上著語言學校，一邊在找工作。小書剛來日本時，在PTT拉板上發了一篇題為「有圈內人在東京嗎？」的文章，那便成了兩人相識的契機。
　　「還不是一樣？」
　　「差多了，請不要用『只能』這種缺乏能動性的字眼來描述我的性取向行嗎？」
　　「妳很龜毛耶。」小書一邊笑著說道，一邊將裝著金黃色啤酒的酒杯靠到嘴邊啜飲了一口。「簡直像日本人一樣。」
　　「不是『龜毛』，是『擇善固執』好嗎？」她也笑著回應。
　　與心有千千結，凡事老想太多的她不同，小書總是對什麼事都不大在乎，一副無拘無束的樣子。有時散漫過了頭會讓人看了心裡焦急，甚至捏把冷汗，但相處起來頗為輕鬆。
　　
　　
　　週五的二丁目總是一片熱鬧繁華，且九月底又是東京最舒適的季節，盛暑方過，既沒有夏日的濕氣，也沒有冬日那刻膚刺骨的凜冽寒風。夜晚十一點，重低音的夜店舞曲從數家店內流洩而出，路上好幾對同性情侶並肩走著，知名店家的店外更是大排長龍。
　　Lilith店內也播放著輕快的音樂，不滿三十平方米的狹窄空間裡塞了二、三十人，年齡從二十幾歲到四十幾歲不等。店內客人以日本人居多，但也有如她和小書這樣講中文的人，或是一口道地英語的白人女性。Lilith是間限女性的拉子酒吧，但店內也有不少光從外表難以判斷性別的客人。一位看起來大學生年紀，一頭烏黑長髮的女孩在店內的卡拉OK機器點了歌，於是原先的西洋歌曲淡出，由松隆子所翻唱的〈真實的我〉（譯註：原題〈ありのままで〉，迪士尼電影《冰雪奇緣》日語版主題曲）前奏靜靜流淌而出。
　　「那妳是為什麼會想來日本呢？」
　　這個問題她自己已被日本人問過無數次，這次輪到她問小書了。她一直頗好奇小書的動機，畢竟日本雖然近年來LGBT議題逐漸受到重視，但「同志沙漠」的惡名可不是那麼輕易就能洗清的。再說小書來日本轉眼也已過了一年半，至今卻總無法適應日本社會似的，總是抱怨著日本人死腦筋，在細節上太過龜毛，行動劃一毫無個性可言等等。
　　「我也沒想太多，朋友找我來我就來了。」
　　「最好是。認真回答啦。」
　　她知道小書不大擅長認真的自我剖析，因此多半會打馬虎眼試圖糊弄過去，果然給她猜中了。小書嘆了口氣，那嘆息中大有「果然糊弄不過去嗎」的意味，接著沉思了好一會兒才回答。
　　「如果妳在台灣工作過就知道，台灣讓人作不了夢，連夢想的尾巴都看不到。每天起床就是夾在一大群機車裡去上班，工作累得像狗一樣，領那一點吃不飽也餓不死的薪水勉強維持生活……」
　　小書又啜了一口啤酒。她也舉起手邊的Kahlua咖啡牛奶調酒湊到唇邊。此時那位女大學生的〈真實的我〉剛好進入副歌。小書繼續說道。
　　「就算是現在，當我一想起台北的天空，眼前浮現的總是一片灰色陰沉的景象。有天上班途中在等紅綠燈時，我抬頭看了看天空，突然有了個想法——難道我還要看這片陰沉的天空看上個二、三十年嗎？」
她望著小書的雙眼，在那眼裡她彷彿同時看到了對一成不變的未來的恐懼，以及變化的契機必須由自己來創造的那種積極光芒。
　　「正好那時路邊有家吉野家，我看了就想，不然，就去日本吧。我把這想法告訴那時在交往的女友後，自然是一陣大吵啦。她又是抓住我哭著說不想分開，又是企圖說服我，說我沒錢又不會日文，去日本做什麼？但那都沒用，離開島嶼的想望像在心底紮了根似的。於是我就跟她分手，辭了工作，向父母借了錢出來了。然後，就這副德性啦。」
　　小書一邊苦笑一邊乾了手邊的啤酒，又向店員點了一杯。她也點了一杯Cassis柳橙調酒。小書所做的決定某種程度上可說是毫無計畫的魯莽行事，但那決定裡卻蘊含了毫無他人干涉餘地的，小書自身純粹的自由意志，這點使她相當羨慕。她至今也為自己下了許許多多的決定，但那些與其說是自由意志，不如說是順應每個當下的時勢所導出的最佳解答罷了。她感覺她不過是個被某種神秘力量所操縱的傀儡。
　　〈真實的我〉唱完，店內響起一陣掌聲。小書拿過遙控器，點了飛兒樂團的〈刺鳥〉。店裡大部分客人都是日本人，小書卻不怕破壞氣氛，偏要點中文歌，這也是她的厲害之處。
　　前奏流淌而出，店內氣氛瞬間冷卻了下來，但小書絲毫不顧他人反應，自顧自興高采烈地唱了起來。她坐在一旁靜靜聽著。
　　
　　就像刺鳥的宿命
　　悲劇而勇敢
　　用生命交換結局的燦爛
　　
〆〆〆〆〆〆〆〆
　　
跨國生活、身為女同志，可說是少數中的少數；若是他鄉遇故知，兩人之間的親切熱絡自是不在話下。小說中的小惠（趙紀惠，主角）、小書，便是在這難得的機緣下，在拉子酒吧內小酌。雖有相近的背景，兩人的性格卻有鮮明的不同，也有不同的方式處理自己不斷置換的身分（identity）命題。小惠著重細節，對自己的性取向帶有積極的思考模式（她堅持自己「就是」喜換女生，而非被動地「只能」喜歡女生），但時常感覺自己缺乏強健的自由意志；小書較為不拘小節，但對自己的生活規劃頗有想法，一旦設定目標便不顧一切勇往直前，好像〈刺鳥〉歌詞所描述的，哪怕要悲壯地付出生命，也甘願以此換取燦爛結局。迥異的人格特質，是否左右了兩位角色在小說中的命運，待讀者們親自去探索。
　　
小說也呼應了台灣當代的社會背景。第一，開頭的「大地震」，指涉的極可能是九二一大地震（從小惠可能的年齡推算，大約發生在她的童年）。第二，小惠和小書都有使用PTT的習慣。第三，小書對台北的工作環境有精闢的觀察：機車代步、天空通常是陰暗的、勞力與薪資比例失衡…等等。寫實元素使台完讀者更能融入情節，也使兩位角色更有說服力。
　
#李琴峰 創作
#Evan 手寫
#謝銘鴻 評述
　　
※李琴峰小說《#獨舞》（聯合文學，2019年1月），本書曾獲日本「群像新人文學獎」優秀作，副標題為我們借用篇末歌詞，自行加上。
　　
※感謝聯合文學，及其聯絡人懷慧