{{ 柒. 高流副執週記 }}_08

[二. 高雄行動紀實_04] - {02_主場館} _01

假設你身在一座全新的流行音樂中心主場館 – 她沒有固定式舞台，二樓以上的座席三千多，一樓區域如果打開全數的彈射座席、加上另外擺放的 NBA 座椅，全場域估計可容納四千多人；如果一樓區域採用『搖滾區』站席的概念，那麼，在以安全為前提的狀態下，觀眾人數應該可以再往上增加不少。再假設你已經合法運用了文化部的建設經費，以將近新台幣一億圓的金額購置了一套『全臺灣唯一』的『３D 式沈浸』音響系統，依廠商所設定的『吊點』、懸掛在場館的屋頂；又加上你已經知道在很短的期間內，你必須要執行一場『滿載壓力測試性演出』，你第一個想要知道的事情會是什麼？

我會超想知道這套聲音系統到底在這個場館裡能有什麼級數的表現 – 在測試性演出之前！

你會怎麼做、來觀察你希望知道的結果呢？我用的第一種方式，其實就是挑選了五張我非常熟悉的流行音樂 CD，透過音響控制系統的控台播放出來，然後在全場域上上下下、左左右右地走來走去，聆聽每個位置所聽到的聲音頻率與音像定位；比較不同的是：我在假想的舞台區域內架設了五組地板監聽喇叭，將每個喇叭的音量推到類似真實樂器演奏時的音量，以『場館總音量』的概念，來聽聽看這套聲音系統的表現能力。

結果？比我想像的好得多了！所有我以為會發生的頻率干擾、過多的空間反射，竟然都沒有發生，我不禁佩服這座場館的聲學設計，在設定 Reverb Time 二點多秒的條件下，可以把所有聲音的『尾巴』都收拾得非常自然、乾淨。而這套貴貴的音響系統，就場域的涵蓋面來說，的確做到了與傳統 Stereo 陣列式系統有著巨大差異的變革，而聲音屬性上，有著一種德國血統的該有的冷靜；非常粗淺而不負責任地說：我覺得這套系統對於『人聲』的頻率區段，有著令我詫異的卓越表現。

但！那畢竟是 CD 播放，這種音響玩家式的測試，我非常清楚那會與樂手在場館中真實演奏的狀態差距頗大。所以我執行了第二種驗證方式：樂團演出的『空場測試』。

2020 年 10 月 22 日下午，『高雄流行音樂中心行政法人』邀請了金曲獎最佳作詞人、最佳台語專輯與最佳台語男演唱人得主的謝銘祐 (https://zh.wikipedia.org/wiki/%E8%AC%9D%E9%8A%98%E7%A5%90 ) 老師，與他的樂團『麵包車』，在高雄流行音樂中心的主場館，進行了第一次的『空場測試』。在除了『行政法人』工作人員之外、空無觀眾的場館裡，銘祐與麵包車就像任何一次的對外演出一般，呈現了高水準的音樂內容；而所有的音訊工作人員，就像面對任何一場正式演出一般，完成了所有的技術執行。

你就是必須親耳聽到真實的音樂家在這個場館裡演奏了真實的音樂，你才可以對這整個音響系統的設計，做出稍微客觀的評價。

這樣的『空場測試』，我計劃會執行兩次：

銘祐與麵包車的音樂，是『菸嗓』男聲與偏『原聲樂器』(Unplugged) 的組合，整體音樂性是比較溫暖、人文的。特別是當整個測試的最後一首曲目，銘祐安排的是今年剛剛得獎、旋即被蔡英文總統在雙十國慶演說中引用的『路』(https://www.youtube.com/watch?v=_Vy0dlrs1VI )、(https://www.youtube.com/watch?v=d8v511N6mkk )，用充滿生命力的現場樂團版本演出時，我真的為臺灣有這樣的音樂家感到非常驕傲！

而第二次的『空場測試』，當然會用非常有對比性的音樂內容，來比對這套音響系統在場館內的表現力。所以，在短期內，『行政法人』會邀請同樣是金曲獎得主等級的『佛跳牆』樂團，以清亮有穿透力與感染力的女聲 – 戴佩妮，搭配一夥瘋氣與才華兼具的三十世代最強樂手組合，用極度炸裂的搖滾音樂，來測試整個場館的音壓耐受力。

在場館裡執行音樂事務，是我自己所擅長的，我相信這已經發生、以及將會發生的兩天，會是我在這個工作職務上，最『自然』的日子。

可惜，在這裡，以這種真實、直接面對音樂的機會，不會太多了。

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

上週，『高流』主辦的『樂團興奮波』，公佈了由所有評審出席參加的第一次評審會議錄影紀錄：https://www.facebook.com/watch/?v=278400056665839 。我們非常榮幸能邀請到兩組金曲獎最佳樂團得主的『滅火器』與『麋先生』，以及展演場館『Legacy』的阿瞇、企劃與節目製作的左光平老師，共同擔任這個與眾不同的比賽評審。我真的希望你能花一點時間、看一下在影片中我們所討論的話題，你應該很容易發現，我們對於某些價值的堅持。

其實，把事情執行得『公開、透明與公平』，真的沒有那麼難。

除非有心人士，試圖做一些掩耳盜鈴的事。

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

後記.

第四張相片，是取材自音響品牌『D&B』在其他場域的展示紀錄檔案。

AI 將可快速分離人聲、各式樂器等音源，Facebook 開源 Demucs 計畫

作者 雷鋒網 | 發布日期 2020 年 03 月 11 日 10:59 |

音樂源分離，是利用技術將一首歌曲分解成它的組成成分，如人聲、低音和鼓，這和人類大腦的工作很類似，大腦可以將一個單獨的對話，從周圍的噪音和一屋子的人聊天中分離出來。

如果你擁有原始的錄音室多軌錄音，這很容易實現，你只需調整混音來分離一個音軌，但是，如果你從一個普通 MP3 檔案開始，所有的樂器和聲音都被混合到一個立體聲錄音中，即使是最複雜的軟體程式也很難精確地挑出一個部分。

Facebook AI 的研究人員已經開發了一個系統，可以做到這一點──精確度高得驚人。

創建者名叫亞歷山大‧笛福茲（Alexandre Defossez），是 Facebook 人工智慧巴黎實驗室的科學家。笛福茲的系統被稱為 Demucs，這個名字來源於「音樂資源深度提取器」，其工作原理是檢測聲波中的複雜模式，對每種樂器或聲音的波形模式建立一個高層次的理解，然後利用人工智慧將它們巧妙地分離。

笛福茲說，像 Demucs 這樣的技術，不僅能幫助音樂家學習複雜的吉他即興重複段落，總有一天，它還能讓人工智慧助理在嘈雜的房間裡更容易聽到語音指令。笛福茲說，他的目標是讓人工智慧系統擅長辨識音頻源的組成部分，就像它們現在可以在一張照片中準確地區分不同的物體一樣。「我們在音頻方面還沒有達到同樣的水平。」他說。

分解聲波的更好方法

聲源分離長期以來一直吸引著科學家。1953 年，英國認知科學家科林‧切爾瑞（Colin Cherry）創造了「雞尾酒會效應」這個詞語，用來描述人類在擁擠嘈雜的房間裡專注於一次談話的能力。

工程師們首先試圖透過調整立體聲錄音中的左右聲道，或調整均衡器設置來提高或降低某些頻率，進而隔離歌曲的人聲或吉他聲。

基於聲譜圖的人工智慧系統，在分離出以單一頻率響起或共振的樂器的音符方面相對有效，例如鋼琴或小提琴旋律。

這些旋律在聲譜圖上顯示為清晰、連續的水平線，但是隔離那些產生殘餘噪音的撞擊聲，比如鼓、低音拍擊，是一項非常艱鉅的任務。鼓點感覺像一個單一的、即時的整體事件，但它實際上包含了不同的部分。對於鼓來說，它包括覆蓋較高頻率範圍的初始撞擊，隨後是在較低頻率範圍內的無音高衰減。笛福茲說，一般的小鼓「就頻率而言，到處都是」。

聲譜圖只能將聲波表現為時間和頻率的組合，無法捕捉到這樣的細微差別。因此，他們將鼓點或拍子低音處理成幾條不連續的垂直線，而不是一個整齊、無縫的聲音。這就是為什麼透過聲譜圖分離出來的鼓和低音軌道，聽起來常常是模糊不清的。

夠聰明的系統來重建缺失

基於人工智慧的波形模型避免了這些問題，因為它們不試圖將一首歌放到時間和頻率的僵化結構中。笛福茲解釋，波形模型的工作方式與電腦視覺相似，電腦視覺是人工智慧的研究領域，旨在讓電腦學會從數位圖像中辨識模式，進而獲得對視覺世界的高級理解。

電腦視覺使用神經網路來檢測基本模式──類似於在圖像中發現角落和邊緣──然後推斷更高級或更複雜的模式。「波形模型的工作方式非常相似」，笛福茲說。他解釋了波形模型如何需要幾秒鐘來適應歌曲中的突出頻率──人聲、低音、鼓或吉他──並為每一個元素生成單獨的波形。然後，它開始推斷更高比例的結構，以增加細微差別，並精細雕刻每個波形。

笛福茲說，他的系統也可以比做探測和記錄地震的地震儀。地震時，地動儀的底座會移動，但懸掛在上面的重物不會移動，這使得附著在重物上的筆可以畫出記錄地面運動的波形。人工智慧模型可以探測到同時發生的幾個不同地震，然後推斷出每個地震的震級和強度的細節。同樣，笛福茲的系統分析並分離出一首歌曲的本來面目，而不是根據預先設定的聲譜圖結構來分割它。

笛福茲解釋，構建這個系統需要克服一系列複雜的技術挑戰。他首先使用了 Wave-U-Net 的底層架構，這是一個為音樂源分離開發的早期人工智慧波形模型。然後他還有很多工作要做，因為聲譜圖模型的表現優於 Wave-U-Net。他透過添加線性單元來微調波形網路中分析模式的演算法參數。笛福茲還增加了長短期記憶，這種結構允許網路處理整個數據序列，如一段音樂或一段視頻，而不僅是一個數據點，如圖像。笛福茲還提高了 Wave-U-Net 的速度和記憶體使用率。

這些修改幫助 Demucs 在一些重要方面勝過 Wave-U-Net，比如它如何處理一種聲音壓倒另一種聲音的問題。「你可以想像一架飛機起飛，引擎噪音會淹沒一個人的聲音」，笛福茲說。

以前的波形模型，透過簡單地移除原始音頻源文件的一部分來處理這個問題，但是它們不能重建丟失材料的重要部分。笛福茲增強了 Demucs 解碼器的能力，「Demucs 可以重新創建它認為存在但卻迷失在混音中的音頻​​」，這意味著他的模型可以重新合成可能被響亮的鐃鈸聲影響而遺失的柔和鋼琴音符，因為它理解應該呈現什麼樣的聲音。

這種重構和分離的能力使 Demucs 比其他波形模型有優勢。笛福茲說，Demucs 已經與最好的波形技術相匹配，並且「遠遠超出」最先進的聲譜技術。

在盲聽測試中，38 名參與者從 50 首測試曲目中隨機抽取 8 秒鐘進行聽音，這 50 首曲目由 3 個模型分開：Demucs、領先波形、頻譜圖技術。聽眾認為 Demucs 在品質和無偽影（如背景噪音或失真）方面表現最佳。

Demucs 已經引起了人工智慧愛好者的興趣，精通技術的讀者可以從 GitHub 下載 Demucs 的代碼，代碼用 MusDB 數據集來分離音樂源。

笛福茲解釋，隨著 Demucs 的發展，它將為人們在家中創作音樂的數位音頻工作站帶來聲音的真實性。這些工作站提供了能夠喚起特定時代或風格的合成儀器，通常需要對原始硬體進行大量的數位化改造。

想像一下，如果音樂源分離技術能夠完美地捕捉 20 世紀 50 年代搖滾歌曲中用電子管放大器演奏的老式空心電吉他的聲音，Demucs 讓音樂愛好者和音樂家離這個能力更近了一步。

資料來源：https://technews.tw/2020/03/11/using-ai-for-music-source-separation/?fbclid=IwAR1C-0LhFNEkIFUg9QS3xRQK8VKeqKIkPEx9kh7QdGamcsCfUViwyeXyqXg

AI 將可快速分離人聲、各式樂器等音源，Facebook 開源 Demucs 計畫

作者 雷鋒網 | 發布日期 2020 年 03 月 11 日 10:59 |

音樂源分離，是利用技術將一首歌曲分解成它的組成成分，如人聲、低音和鼓，這和人類大腦的工作很類似，大腦可以將一個單獨的對話，從周圍的噪音和一屋子的人聊天中分離出來。

如果你擁有原始的錄音室多軌錄音，這很容易實現，你只需調整混音來分離一個音軌，但是，如果你從一個普通 MP3 檔案開始，所有的樂器和聲音都被混合到一個立體聲錄音中，即使是最複雜的軟體程式也很難精確地挑出一個部分。

Facebook AI 的研究人員已經開發了一個系統，可以做到這一點──精確度高得驚人。

創建者名叫亞歷山大‧笛福茲（Alexandre Defossez），是 Facebook 人工智慧巴黎實驗室的科學家。笛福茲的系統被稱為 Demucs，這個名字來源於「音樂資源深度提取器」，其工作原理是檢測聲波中的複雜模式，對每種樂器或聲音的波形模式建立一個高層次的理解，然後利用人工智慧將它們巧妙地分離。

笛福茲說，像 Demucs 這樣的技術，不僅能幫助音樂家學習複雜的吉他即興重複段落，總有一天，它還能讓人工智慧助理在嘈雜的房間裡更容易聽到語音指令。笛福茲說，他的目標是讓人工智慧系統擅長辨識音頻源的組成部分，就像它們現在可以在一張照片中準確地區分不同的物體一樣。「我們在音頻方面還沒有達到同樣的水平。」他說。

分解聲波的更好方法

聲源分離長期以來一直吸引著科學家。1953 年，英國認知科學家科林‧切爾瑞（Colin Cherry）創造了「雞尾酒會效應」這個詞語，用來描述人類在擁擠嘈雜的房間裡專注於一次談話的能力。

工程師們首先試圖透過調整立體聲錄音中的左右聲道，或調整均衡器設置來提高或降低某些頻率，進而隔離歌曲的人聲或吉他聲。

基於聲譜圖的人工智慧系統，在分離出以單一頻率響起或共振的樂器的音符方面相對有效，例如鋼琴或小提琴旋律。

這些旋律在聲譜圖上顯示為清晰、連續的水平線，但是隔離那些產生殘餘噪音的撞擊聲，比如鼓、低音拍擊，是一項非常艱鉅的任務。鼓點感覺像一個單一的、即時的整體事件，但它實際上包含了不同的部分。對於鼓來說，它包括覆蓋較高頻率範圍的初始撞擊，隨後是在較低頻率範圍內的無音高衰減。笛福茲說，一般的小鼓「就頻率而言，到處都是」。

聲譜圖只能將聲波表現為時間和頻率的組合，無法捕捉到這樣的細微差別。因此，他們將鼓點或拍子低音處理成幾條不連續的垂直線，而不是一個整齊、無縫的聲音。這就是為什麼透過聲譜圖分離出來的鼓和低音軌道，聽起來常常是模糊不清的。

夠聰明的系統來重建缺失

基於人工智慧的波形模型避免了這些問題，因為它們不試圖將一首歌放到時間和頻率的僵化結構中。笛福茲解釋，波形模型的工作方式與電腦視覺相似，電腦視覺是人工智慧的研究領域，旨在讓電腦學會從數位圖像中辨識模式，進而獲得對視覺世界的高級理解。

電腦視覺使用神經網路來檢測基本模式──類似於在圖像中發現角落和邊緣──然後推斷更高級或更複雜的模式。「波形模型的工作方式非常相似」，笛福茲說。他解釋了波形模型如何需要幾秒鐘來適應歌曲中的突出頻率──人聲、低音、鼓或吉他──並為每一個元素生成單獨的波形。然後，它開始推斷更高比例的結構，以增加細微差別，並精細雕刻每個波形。

笛福茲說，他的系統也可以比做探測和記錄地震的地震儀。地震時，地動儀的底座會移動，但懸掛在上面的重物不會移動，這使得附著在重物上的筆可以畫出記錄地面運動的波形。人工智慧模型可以探測到同時發生的幾個不同地震，然後推斷出每個地震的震級和強度的細節。同樣，笛福茲的系統分析並分離出一首歌曲的本來面目，而不是根據預先設定的聲譜圖結構來分割它。

笛福茲解釋，構建這個系統需要克服一系列複雜的技術挑戰。他首先使用了 Wave-U-Net 的底層架構，這是一個為音樂源分離開發的早期人工智慧波形模型。然後他還有很多工作要做，因為聲譜圖模型的表現優於 Wave-U-Net。他透過添加線性單元來微調波形網路中分析模式的演算法參數。笛福茲還增加了長短期記憶，這種結構允許網路處理整個數據序列，如一段音樂或一段視頻，而不僅是一個數據點，如圖像。笛福茲還提高了 Wave-U-Net 的速度和記憶體使用率。

這些修改幫助 Demucs 在一些重要方面勝過 Wave-U-Net，比如它如何處理一種聲音壓倒另一種聲音的問題。「你可以想像一架飛機起飛，引擎噪音會淹沒一個人的聲音」，笛福茲說。

以前的波形模型，透過簡單地移除原始音頻源文件的一部分來處理這個問題，但是它們不能重建丟失材料的重要部分。笛福茲增強了 Demucs 解碼器的能力，「Demucs 可以重新創建它認為存在但卻迷失在混音中的音頻​​」，這意味著他的模型可以重新合成可能被響亮的鐃鈸聲影響而遺失的柔和鋼琴音符，因為它理解應該呈現什麼樣的聲音。

這種重構和分離的能力使 Demucs 比其他波形模型有優勢。笛福茲說，Demucs 已經與最好的波形技術相匹配，並且「遠遠超出」最先進的聲譜技術。

在盲聽測試中，38 名參與者從 50 首測試曲目中隨機抽取 8 秒鐘進行聽音，這 50 首曲目由 3 個模型分開：Demucs、領先波形、頻譜圖技術。聽眾認為 Demucs 在品質和無偽影（如背景噪音或失真）方面表現最佳。

Demucs 已經引起了人工智慧愛好者的興趣，精通技術的讀者可以從 GitHub 下載 Demucs 的代碼，代碼用 MusDB 數據集來分離音樂源。

笛福茲解釋，隨著 Demucs 的發展，它將為人們在家中創作音樂的數位音頻工作站帶來聲音的真實性。這些工作站提供了能夠喚起特定時代或風格的合成儀器，通常需要對原始硬體進行大量的數位化改造。

想像一下，如果音樂源分離技術能夠完美地捕捉 20 世紀 50 年代搖滾歌曲中用電子管放大器演奏的老式空心電吉他的聲音，Demucs 讓音樂愛好者和音樂家離這個能力更近了一步。

資料來源：https://technews.tw/…/using-ai-for-music-source-separation/…