#你知道尛 │ 你知道小星星跟ABC在法律上是實質相同的歌嘛？
----------------------------
金曲獎最佳年度歌曲的《刻在我心底的名字》深陷抄襲疑雲，近日同樣因為歌曲相似度而在網路上引發熱議的，還有發行首張單曲就席捲音樂界的18歲歌手Olivia Rodrigo。

Olivia Rodrigo今年5月發行的新歌Good 4 U被國外網友點名抄襲了搖滾樂團Paramore在2007年推出的Misery Business。如果你還沒聽過這首歌，以下是附timecode的YT連結：

➤ Olivia Rodrigo - Good 4 U (2021):
https://youtu.be/gNi_6U5Pm_o?t=44

➤ Paramore- Misery Business (2007):
https://youtu.be/aCyGvGEtOwc?t=37

仔細聽可以發現兩首歌的和弦非常相似。事實上，Paramore的主唱Hayley Williams與前吉他手Josh Farro事後還被Olivia Rodrigo列成該首歌的共同作曲人。這種擷選原曲旋律後重新填詞的作法，稱為「插值」（Interpolation）。

插值在流行音樂裡是相當常見的做法，Ariana Grande、Bon Jovi、David Bowie、Ed Sheeran、Flo Rida、Kanye West、Nicki Minaj、Taylor Swift與披頭四等都曾在歌曲中插入其他藝術家的原曲旋律。

擅長樂理分析的YouTuber亞當‧尼利（Adam Neely）從和弦（chords）、旋律曲線（Melodic Contour）、各小節的升降音等面向下去比較，發現一個有趣的事實：Good 4 U、Misery Business、Boulevard Of Broken Dreams與We Are Never Ever Getting Back Together都有相同的和弦編曲（chord progression）、主調（target tone）、切分音（syncopation）與結構。

有興趣的人可以跳轉到下面的timecode比較這四首歌的差異（泰勒絲的We Are Never Ever Getting Back Together真的嚇歪我，跟Paramore的Misery Business有夠像）：

➤ Green Day - Boulevard Of Broken Dreams (2005):
https://youtu.be/Soa3gO7tL-c?t=78

➤ Taylor Swift - We Are Never Ever Getting Back Together (2010):
https://youtu.be/WA4iX5D9Z64?t=48

根據統計，1990年至2016年間告示牌排行榜前100名的歌曲中，有300多首歌可被歸入常見的四大和弦編曲裡、佔總數的12.3%；可見受歡迎的流行歌存在某種被偏好的編曲旋律，也就是所謂的「金曲公式」。

近年在著作權法的規範下，時常發生兩首聽起來截然不同的歌被判定為「實質相同」的狀況，像是披頭四吉他手George Harrison的歌曲My Sweet Lord被控侵權The Chiffons的歌曲He so Fine，或是Katy Perry的Dark Horse被控抄襲Marcus Gray的福音歌Joyful Noise。

想自證「自己沒有在無意間聽過這首歌」在法庭上極為困難，被告極有可能花費大把金錢卻仍落得敗訴的下場。

為了避免剛起步音樂人的創意被版權規範扼殺在搖籃裡，擁有音樂學位、會寫程式的律師迪米安（Damien Riehl）的諾亞（Noah Rubin）推出All The Music計畫：用演算法將一個八度內所有的音階排列組合譜寫成包含12個音符的旋律，並將旋律無償提供給大眾使用。

迪米安表示，這些數據在被存入外接硬碟後立即享有著作權的保護，如果AI譜寫出的旋律可受著作權保護，他們將以公共領域貢獻（CC0）形式授權給大家；若AI的創作不具著作權，那麼任何人都可使用這些旋律，避免人們再因為旋律的實質相同而被告上法院。

#迪米安跟諾亞真的帥慘了 #音樂法律程式三棲還心懷天下蒼生 #只能respect #尛編

Source: Adam Neely, All The Music

#刻在 #刻在我心底的名字 #OliviaRodrigo #Good4U #Paramore #MiseryBusiness #AdamNeely #AllTheMusic

📜 [專欄新文章] 區塊鏈管線化的效能增進與瓶頸

✍️ Ping Chen

📥 歡迎投稿： https://medium.com/taipei-ethereum-meetup #徵技術分享文 #使用心得 #教學文 #medium

使用管線化（Pipeline）技術可以提升區塊鏈的處理效能，但也可能會產生相應的代價。

Photo by tian kuan on Unsplash

區塊鏈的擴容方案

說到區塊鏈的效能問題，目前討論度最高的應該是分片（sharding）技術，藉由將驗證者分成多組的方式，可以同時分別處理鏈上的交易需求，即使單分片效能不變，總交易量可以隨著分片/驗證者集的數量線性增加。

除了分片，另一個常用來提升程式效能的方案是將計算步驟拆解，以流水線的方式將複雜的運算攤平，降低系統的閒置時間，並大幅提升工作效率。為了達到管線化預期的目的，會需要先知道系統的瓶頸在哪。

區塊鏈的效能瓶頸

熟悉工作量證明設計哲學的人應該會知道，區塊鏈之所以需要挖礦，並不是為了驗證交易的正確性，而是要決定交易的先後順序，從而避免雙花和帳本分裂的發生。可以說，區塊鏈使用低效率的單線程設計，並付給礦工高額的成本，都只為了一件事，就是對交易的全局排序產生共識。

在這樣的基礎之上，區塊鏈在一段時間內可以處理的交易數量是有限的，這之中包含許多方面的限制，包括 CPU 效能、硬碟空間、網路速度等。其中，關於 TPS(每秒交易數) 提升和對硬體的要求大致上是線性增加的，但在設計共識演算法時，通訊複雜度常是平方甚至三次方的關係。

以現在的目標 TPS 來說，處理交易和生成一個合法的區塊並不困難，只是因為區塊鏈的特性，新區塊需要透過洪水法的方式擴散到全網路，每個節點在收到更新請求的時候都要先執行/驗證過區塊內的交易，等於整個廣播的延時會是「驗證區塊時間×經過的 hop 數量」這麼多。似乎網路越分散、節點越多，我們反而會需要降低計算量，以免讓共識不穩定。

管線化的共識機制

使用權益證明取代工作量證明算是行業發展的趨勢，除了環保或安全這些比較顯然的好處之外，權益證明對產生共識的穩定性也很有幫助。首先，權益證明在同一時間參與共識的節點數是已知的，比較容易控制數量級的邊界；其次，權益證明的出塊時間相較工作量證明固定很多，可以降低計算資源不足或閒置的機率。

相較於工作量證明是單一節點出塊，其餘節點驗證，權益證明的出塊本身就需要很多節點共同參與，瓶頸很像是從驗證轉移到通訊上。

以 PBFT 為例，每次產新區塊都需要經過 pre-prepare, prepare, commit 三個階段，你要對同意驗證的區塊簽名，還要對「你有收到某人的簽名」這件事簽名，再對「你有收到 A 說他有收到 B 的簽名」這件事簽名，過程中會有很多簽名飛來飛去，最後才能把一個區塊敲定。

為了降低每兩個區塊間都需要三輪簽名造成的延遲，後來的共識演算法包括 HotStuff 和 Casper FFG 採用了管線化的區塊驗證過程。也就是對區塊 T 的 pre-prepare 同時是對 T-1 的 prepare 和對 T-2 的 commit。再加上簽名聚合技術，出塊的開銷在複雜度等級和係數等級都降低許多。

然而，要保持管線化的區塊生產順利，需要驗證者集合固定不變，且網路通訊狀況良好。如果會經常更動驗證者集合或變換出塊的領導者，前後區塊間的相依性會是個大問題，也就是 T 的驗證者集合取決於 T-1 裡有沒有會導致刪除或新增驗證者的交易，T-1 的合法性又相依於 T-2，以此類推。

當激烈的分叉出現的時候，出塊跟共識的流水線式耦合就從優雅變成災難了。為了避免這種災難，更新的共識演算法會限制驗證者變更的時機，有些叫 epoch 有些叫 checkpoint，每隔一段時間會把前面的區塊徹底敲定，才統一讓驗證者加入或退出。到這些檢查點的時候，出塊的作業流程就會退化成原本的三階段驗證，但在大部分時候還是有加速的效果。

管線化的狀態更新

另一個可以用管線化加速的是區塊鏈的狀態更新。如前所述，現在公鏈的瓶頸在於提高 TPS 會讓區塊廣播變慢，進而導致共識不穩定，這點在區塊時間短的以太坊上尤其明顯。可是如果單看執行一個區塊內的交易所花的時間的話，實際上是遠遠低於區塊間隔的。

只有在收到新區塊的時候，節點才會執行狀態轉移函數，並根據執行結果是否合法來決定要不要把區塊資訊再廣播出去。不過其實只要給定了交易集合，新的狀態 s’ = STF(s, tx) 應該是確定性的。

於是我們有了一個大膽的想法：何不乾脆將交易執行結果移出共識外呢？反正只要大家有對這個區塊要打包哪些交易有共識，計算的結果完全可以當作業留給大家自己算吧。如果真的不放心，我們也可以晚點再一起對個答案，也就是把這個區塊執行後的新狀態根包在下個區塊頭裡面。

這就是對狀態更新的管線化，在區塊 T 中敲定交易順序但暫不執行，區塊 T+1 的時候才更新狀態（以及下一批交易）。這麼做的好處十分顯而易見，就是將原本最緊繃的狀態計算時間攤平了，從原本毫秒必爭的廣播期移出來，變成只要在下個塊出來之前算完就好，有好幾秒的時間可以慢慢來。新區塊在廣播的每個 hop 之間只要驗證交易格式合法（簽名正確，有足夠的錢付手續費）就可以放行了，甚至有些更激進的方案連驗簽名都省略了，如果真的有不合法交易混進去就在下個區塊處罰礦工/提案者便是。

把負擔最重的交易執行移出共識，光用想的就覺得效能要飛天，那代價呢？代價是區塊的使用程度會變得不穩定。因為我們省略了執行，所以對於一筆交易實際用掉多少 gas 是未知的。本來礦工會完整的執行所有交易，並盡可能的塞滿區塊空間，然而在沒有執行的情況下，只能以使用者設定的 gas limit 當作它的用量，能打包的交易會比實際的上限少。

緊接著，下一個問題是退費困難。如果我們仍然將沒用完的手續費退還給使用者，惡意的攻擊者可以透過發送 gas limit 超大，實際用量很小的交易，以接近零的成本「霸佔」區塊空間。所以像已故區塊鏈 DEXON 就直接取消 gas refund，杜絕濫用的可能。但顯然這在使用者體驗和區塊空間效率上都是次優的。

而最近推出的 smartBCH 嘗試擬了一套複雜的退款規則：交易執行後剩餘的 gas 如果小於 gas limit 的一半（代表不是故意的）就退款；如果剩餘量介於 50%-75% 可以退一半；超過 75% 推斷為惡意，不退款。乍看是個合理的方案，仔細一想會發現製造的問題似乎比解決的還多。無論如何，沒用掉的空間終究是浪費了，而根據殘氣比例決定是否退款也不會是個好政策，對於有條件判斷的程式，可能要實際執行才知道走哪條路，gas limit 一定是以高的情況去設定，萬一進到 gas 用量少的分支，反而會噴更多錢，怎麼想都不太合理。

安全考量，退費大概是沒希望了。不過呢，最近以太坊剛上線的 EIP1559 似乎給了一點方向，如果區塊的使用程度能以某種回授控制的方式調節，即使偶爾挖出比較空的區塊似乎也無傷大雅，也許能研究看怎麼把兩者融合吧。

管線化方案的發展性

考慮到以太坊已經堅定地選擇了分片的路線，比較激進的單鏈高 TPS 管線化改造方案應該不太有機會出線，不過管線化畢竟是種歷史悠久的軟體最佳化技巧，還是很有機會被使用在其他地方的，也許是 VDF 之於信標鏈，也許是 rollup 的狀態轉換證明，可以坐等開發者們表演。

倒是那些比較中心化的 EVM fork/sidechain，尤其是專門只 for DeFi 的鏈，管線化加速可以在不破壞交易原子性的前提下擴容，確實是有一些比分片優秀的地方可以說嘴，值得研究研究，但這就要看那些機房鏈們有沒有上進心，願不願意在分叉之餘也投資發展自己的新技術了。

給我錢

ping.eth

區塊鏈管線化的效能增進與瓶頸 was originally published in Taipei Ethereum Meetup on Medium, where people are continuing the conversation by highlighting and responding to this story.

👏 歡迎轉載分享鼓掌

摩爾定律放緩　靠啥提升AI晶片運算力？

作者 : 黃燁鋒，EE Times China
2021-07-26

對於電子科技革命的即將終結的說法，一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續，也就意味著資訊技術的整棟大樓建造都將出現停滯，那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有的，但這波革命始終也沒有結束。AI技術本質上仍然是第三次科技革命的延續……

人工智慧(AI)的技術發展，被很多人形容為第四次科技革命。前三次科技革命，分別是蒸汽、電氣、資訊技術(電子科技)革命。彷彿這“第四次”有很多種說辭，比如有人說第四次科技革命是生物技術革命，還有人說是量子技術革命。但既然AI也是第四次科技革命之一的候選技術，而且作為資訊技術的組成部分，卻又獨立於資訊技術，即表示它有獨到之處。

電子科技革命的即將終結，一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續，也就意味著資訊技術的整棟大樓建造都將出現停滯，那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有，但這波革命始終也沒有結束。

AI技術本質上仍然是第三次科技革命的延續，它的發展也依託於幾十年來半導體科技的進步。這些年出現了不少專門的AI晶片——而且市場參與者相眾多。當某一個類別的技術發展到出現一種專門的處理器為之服務的程度，那麼這個領域自然就不可小覷，就像當年GPU出現專門為圖形運算服務一樣。

所以AI晶片被形容為CPU、GPU之後的第三大類電腦處理器。AI專用處理器的出現，很大程度上也是因為摩爾定律的發展進入緩慢期：電晶體的尺寸縮減速度，已經無法滿足需求，所以就必須有某種專用架構(DSA)出現，以快速提升晶片效率，也才有了專門的AI晶片。

另一方面，摩爾定律的延緩也成為AI晶片發展的桎梏。在摩爾定律和登納德縮放比例定律(Dennard Scaling)發展的前期，電晶體製程進步為晶片帶來了相當大的助益，那是「happy scaling down」的時代——CPU、GPU都是這個時代受益，不過Dennard Scaling早在45nm時期就失效了。

AI晶片作為第三大類處理器，在這波發展中沒有趕上happy scaling down的好時機。與此同時，AI應用對運算力的需求越來越貪婪。今年WAIC晶片論壇圓桌討論環節，燧原科技創始人暨CEO趙立東說：「現在訓練的GPT-3模型有1750億參數，接近人腦神經元數量，我以為這是最大的模型了，要千張Nvidia的GPU卡才能做。談到AI運算力需求、模型大小的問題，說最大模型超過萬億參數，又是10倍。」

英特爾(Intel)研究院副總裁、中國研究院院長宋繼強說：「前兩年用GPU訓練一個大規模的深度學習模型，其碳排放量相當於5台美式車整個生命週期產生的碳排量。」這也說明了AI運算力需求的貪婪，以及提供運算力的AI晶片不夠高效。

不過作為產業的底層驅動力，半導體製造技術仍源源不斷地為AI發展提供推力。本文將討論WAIC晶片論壇上聽到，針對這個問題的一些前瞻性解決方案——有些已經實現，有些則可能有待時代驗證。

XPU、摩爾定律和異質整合

「電腦產業中的貝爾定律，是說能效每提高1,000倍，就會衍生出一種新的運算形態。」中科院院士劉明在論壇上說，「若每瓦功耗只能支撐1KOPS的運算，當時的這種運算形態是超算；到了智慧型手機時代，能效就提高到每瓦1TOPS；未來的智慧終端我們要達到每瓦1POPS。 這對IC提出了非常高的要求，如果依然沿著CMOS這條路去走，當然可以，但會比較艱辛。」

針對性能和效率提升，除了尺寸微縮，半導體產業比較常見的思路是電晶體結構、晶片結構、材料等方面的最佳化，以及處理架構的革新。

(1)AI晶片本身其實就是對處理器架構的革新，從運算架構的層面來看，針對不同的應用方向造不同架構的處理器是常規，更專用的處理器能促成效率和性能的成倍增長，而不需要依賴於電晶體尺寸的微縮。比如GPU、神經網路處理器(NPU，即AI處理器)，乃至更專用的ASIC出現，都是這類思路。

CPU、GPU、NPU、FPGA等不同類型的晶片各司其職，Intel這兩年一直在推行所謂的「XPU」策略就是用不同類型的處理器去做不同的事情，「整合起來各取所需，用組合拳會好過用一種武器去解決所有問題。」宋繼強說。Intel的晶片產品就涵蓋了幾個大類，Core CPU、Xe GPU，以及透過收購獲得的AI晶片Habana等。

另外針對不同類型的晶片，可能還有更具體的最佳化方案。如當代CPU普遍加入AVX512指令，本質上是特別針對深度學習做加強。「專用」的不一定是處理器，也可以是處理器內的某些特定單元，甚至固定功能單元，就好像GPU中加入專用的光線追蹤單元一樣，這是當代處理器普遍都在做的一件事。

(2)從電晶體、晶片結構層面來看，電晶體的尺寸現在仍然在縮減過程中，只不過縮減幅度相比過去變小了——而且為緩解電晶體性能的下降，需要有各種不同的技術來輔助尺寸變小。比如說在22nm節點之後，電晶體變為FinFET結構，在3nm之後，電晶體即將演變為Gate All Around FET結構。最終會演化為互補FET (CFET)，其本質都是電晶體本身充分利用Z軸，來實現微縮性能的提升。

劉明認為，「除了基礎元件的變革，IC現在的發展還是比較多元化，包括新材料的引進、元件結構革新，也包括微影技術。長期賴以微縮的基本手段，現在也在發生巨大的變化，特別是未來3D的異質整合。這些多元技術的協同發展，都為晶片整體性能提升帶來了很好的增益。」

他並指出，「從電晶體級、到晶圓級，再到晶片堆疊、引線接合(lead bonding)，精準度從毫米向奈米演進，互連密度大大提升。」從晶圓/裸晶的層面來看，則是眾所周知的朝more than moore’s law這樣的路線發展，比如把兩片裸晶疊起來。現在很熱門的chiplet技術就是比較典型的並不依賴於傳統電晶體尺寸微縮，來彈性擴展性能的方案。

台積電和Intel這兩年都在大推將不同類型的裸晶，異質整合的技術。2.5D封裝方案典型如台積電的CoWoS，Intel的EMIB，而在3D堆疊上，Intel的Core LakeField晶片就是用3D Foveros方案，將不同的裸晶疊在一起，甚至可以實現兩片運算裸晶的堆疊、互連。

之前的文章也提到過AMD剛發佈的3D V-Cache，將CPU的L3 cache裸晶疊在運算裸晶上方，將處理器的L3 cache大小增大至192MB，對儲存敏感延遲應用的性能提升。相比Intel，台積電這項技術的獨特之處在於裸晶間是以混合接合(hybrid bonding)的方式互連，而不是micro-bump，做到更小的打線間距，以及晶片之間數十倍通訊性能和效率提升。

這些方案也不直接依賴傳統的電晶體微縮方案。這裡實際上還有一個方面，即新材料的導入專家們沒有在論壇上多說，本文也略過不談。

1,000倍的性能提升

劉明談到，當電晶體微縮的空間沒有那麼大的時候，產業界傾向於採用新的策略來評價技術——「PPACt」——即Powe r(功耗)、Performance (性能)、Cost/Area-Time (成本/面積-時間)。t指的具體是time-to-market，理論上應該也屬於成本的一部分。

電晶體微縮方案失效以後，「多元化的技術變革，依然會讓IC性能得到進一步的提升。」劉明說，「根據預測，這些技術即使不再做尺寸微縮，也會讓IC的晶片性能做到500~1,000倍的提升，到2035年實現Zetta Flops的系統性能水準。且超算的發展還可以一如既往地前進；單裸晶儲存容量變得越來越大，IC依然會為產業發展提供基礎。」

500~1,000倍的預測來自DARPA，感覺有些過於樂觀。因為其中的不少技術存在比較大的邊際遞減效應，而且有更實際的工程問題待解決，比如運算裸晶疊層的散熱問題——即便業界對於這類工程問題的探討也始終在持續。

不過1,000倍的性能提升，的確說明摩爾定律的終結並不能代表第三次科技革命的終結，而且還有相當大的發展空間。尤其本文談的主要是AI晶片，而不是更具通用性的CPU。

矽光、記憶體內運算和神經型態運算

在非傳統發展路線上(以上內容都屬於半導體製造的常規思路)，WAIC晶片論壇上宋繼強和劉明都提到了一些頗具代表性的技術方向(雖然這可能與他們自己的業務方向或研究方向有很大的關係)。這些技術可能尚未大規模推廣，或者仍在商業化的極早期。

(1)近記憶體運算和記憶體內運算：處理器性能和效率如今面臨的瓶頸，很大程度並不在單純的運算階段，而在資料傳輸和儲存方面——這也是共識。所以提升資料的傳輸和存取效率，可能是提升整體系統性能時，一個非常靠譜的思路。

這兩年市場上的處理器產品用「近記憶體運算」(near-memory computing)思路的，應該不在少數。所謂的近記憶體運算，就是讓儲存(如cache、memory)單元更靠近運算單元。CPU的多層cache結構(L1、L2、L3)，以及電腦處理器cache、記憶體、硬碟這種多層儲存結構是常規。而「近記憶體運算」主要在於究竟有多「近」，cache記憶體有利於隱藏當代電腦架構中延遲和頻寬的局限性。

這兩年在近記憶體運算方面比較有代表性的，一是AMD——比如前文提到3D V-cache增大處理器的cache容量，還有其GPU不僅在裸晶內導入了Infinity Cache這種類似L3 cache的結構，也更早應用了HBM2記憶體方案。這些實踐都表明，儲存方面的革新的確能帶來性能的提升。

另外一個例子則是Graphcore的IPU處理器：IPU的特點之一是在裸晶內堆了相當多的cache資源，cache容量遠大於一般的GPU和AI晶片——也就避免了頻繁的訪問外部儲存資源的操作，極大提升頻寬、降低延遲和功耗。

近記憶體運算的本質仍然是馮紐曼架構(Von Neumann architecture)的延續。「在做處理的過程中，多層級的儲存結構，資料的搬運不僅僅在處理和儲存之間，還在不同的儲存層級之間。這樣頻繁的資料搬運帶來了頻寬延遲、功耗的問題。也就有了我們經常說的運算體系內的儲存牆的問題。」劉明說。

構建非馮(non-von Neumann)架構，把傳統的、以運算為中心的馮氏架構，變換一種新的運算範式。把部分運算力下推到儲存。這便是記憶體內運算(in-memory computing)的概念。

記憶體內運算的就現在看來還是比較新，也有稱其為「存算一體」。通常理解為在記憶體中嵌入演算法，儲存單元本身就有運算能力，理論上消除資料存取的延遲和功耗。記憶體內運算這個概念似乎這在資料爆炸時代格外醒目，畢竟可極大減少海量資料的移動操作。

其實記憶體內運算的概念都還沒有非常明確的定義。現階段它可能的內涵至少涉及到在儲記憶體內部，部分執行資料處理工作；主要應用於神經網路(因為非常契合神經網路的工作方式)，以及這類晶片具體的工作方法上，可能更傾向於神經型態運算(neuromorphic computing)。

對於AI晶片而言，記憶體內運算的確是很好的思路。一般的GPU和AI晶片執行AI負載時，有比較頻繁的資料存取操作，這對性能和功耗都有影響。不過記憶體內運算的具體實施方案，在市場上也是五花八門，早期比較具有代表性的Mythic導入了一種矩陣乘的儲存架構，用40nm嵌入式NOR，在儲記憶體內部執行運算，不過替換掉了數位週邊電路，改用類比的方式。在陣列內部進行模擬運算。這家公司之前得到過美國國防部的資金支援。

劉明列舉了近記憶體運算和記憶體內運算兩種方案的例子。其中，近記憶體運算的這個方案應該和AMD的3D V-cache比較類似，把儲存裸晶和運算裸晶疊起來。

劉明指出，「這是我們最近的一個工作，採用hybrid bonding的技術，與矽通孔(TSV)做比較，hybrid bonding功耗是0.8pJ/bit，而TSV是4pJ/bit。延遲方面，hybrid bonding只有0.5ns，而TSV方案是3ns。」台積電在3D堆疊方面的領先優勢其實也體現在hybrid bonding混合鍵合上，前文也提到了它具備更高的互連密度和效率。

另外這套方案還將DRAM刷新頻率提高了一倍，從64ms提高至128ms，以降低功耗。「應對刷新率變慢出現拖尾bit，我們引入RRAM TCAM索引這些tail bits」劉明說。

記憶體內運算方面，「傳統運算是用布林邏輯，一個4位元的乘法需要用到幾百個電晶體，這個過程中需要進行資料來回的移動。記憶體內運算是利用單一元件的歐姆定律來完成一次乘法，然後利用基爾霍夫定律完成列的累加。」劉明表示，「這對於今天深度學習的矩陣乘非常有利。它是原位的運算和儲存，沒有資料搬運。」這是記憶體內運算的常規思路。

「無論是基於SRAM，還是基於新型記憶體，相比近記憶體運算都有明顯優勢，」劉明認為。下圖是記憶體內運算和近記憶體運算，精準度、能效等方面的對比，記憶體內運算架構對於低精準度運算有價值。

下圖則總結了業內主要的一些記憶體內運算研究，在精確度和能效方面的對應關係。劉明表示，「需要高精確度、高運算力的情況下，近記憶體運算目前還是有優勢。不過記憶體內運算是更新的技術，這幾年的進步也非常快。」

去年阿里達摩院發佈2020年十大科技趨勢中，有一個就是存算一體突破AI算力瓶頸。不過記憶體內運算面臨的商用挑戰也一點都不小。記憶體內運算的通常思路都是類比電路的運算方式，這對記憶體、運算單元設計都需要做工程上的考量。與此同時這樣的晶片究竟由誰來造也是個問題：是記憶體廠商，還是數文書處理器廠商？(三星推過記憶體內運算晶片，三星、Intel垂直整合型企業似乎很適合做記憶體內運算…)

(2)神經型態運算：神經型態運算和記憶體內運算一樣，也是新興技術的熱門話題，這項技術有時也叫作compute in memory，可以認為它是記憶體內運算的某種發展方向。神經型態和一般神經網路AI晶片的差異是，這種結構更偏「類人腦」。

進行神經型態研究的企業現在也逐漸變得多起來，劉明也提到了AI晶片「最終的理想是在結構層次模仿腦，元件層次逼近腦，功能層次超越人腦」的「類腦運算」。Intel是比較早關注神經型態運算研究的企業之一。

傳說中的Intel Loihi就是比較典型存算一體的架構，「這片裸晶裡面包含128個小核心，每個核心用於模擬1,024個神經元的運算結構。」宋繼強說，「這樣一塊晶片大概可以類比13萬個神經元。我們做到的是把768個晶片再連起來，構成接近1億神經元的系統，讓學術界的夥伴去試用。」

「它和深度學習加速器相比，沒有任何浮點運算——就像人腦裡面沒有乘加器。所以其學習和訓練方法是採用一種名為spike neutral network的路線，功耗很低，也可以訓練出做視覺辨識、語言辨識和其他種類的模型。」宋繼強認為，不採用同步時脈，「刺激的時候就是一個非同步電動勢，只有工作部分耗電，功耗是現在深度學習加速晶片的千分之一。」

「而且未來我們可以對不同區域做劃分，比如這兒是視覺區、那兒是語言區、那兒是觸覺區，同時進行多模態訓練，互相之間產生關聯。這是現在的深度學習模型無法比擬的。」宋繼強說。這種神經型態運算晶片，似乎也是Intel在XPU方向上探索不同架構運算的方向之一。

(2)微型化矽光：這個技術方向可能在層級上更偏高了一些，不再晶片架構層級，不過仍然值得一提。去年Intel在Labs Day上特別談到了自己在矽光(Silicon Photonics)的一些技術進展。其實矽光技術在連接資料中心的交換機方面，已有應用了，發出資料時，連接埠處會有個收發器把電訊號轉為光訊號，透過光纖來傳輸資料，另一端光訊號再轉為電訊號。不過傳統的光收發器成本都比較高，內部元件數量大，尺寸也就比較大。

Intel在整合化的矽光(IIIV族monolithic的光學整合化方案)方面應該是商業化走在比較前列的，就是把光和電子相關的組成部分高度整合到晶片上，用IC製造技術。未來的光通訊不只是資料中心機架到機架之間，也可以下沉到板級——就跟現在傳統的電I/O一樣。電互連的主要問題是功耗太大，也就是所謂的I/O功耗牆，這是這類微型化矽光元件存在的重要價值。

這其中存在的技術挑戰還是比較多，如做資料的光訊號調變的調變器調變器，據說Intel的技術使其實現了1,000倍的縮小；還有在接收端需要有個探測器(detector)轉換光訊號，用所謂的全矽微環(micro-ring)結構，實現矽對光的檢測能力；波分複用技術實現頻寬倍增，以及把矽光和CMOS晶片做整合等。

Intel認為，把矽光模組與運算資源整合，就能打破必須帶更多I/O接腳做更大尺寸處理器的這種趨勢。矽光能夠實現的是更低的功耗、更大的頻寬、更小的接腳數量和尺寸。在跨處理器、跨伺服器節點之間的資料互動上，這類技術還是頗具前景，Intel此前說目標是實現每根光纖1Tbps的速率，並且能效在1pJ/bit，最遠距離1km，這在非本地傳輸上是很理想的數字。

還有軟體…

除了AI晶片本身，從整個生態的角度，包括AI感知到運算的整個鏈條上的其他組成部分，都有促成性能和效率提升的餘地。比如這兩年Nvidia從軟體層面，針對AI運算的中間層、庫做了大量最佳化。相同的底層硬體，透過軟體最佳化就能實現幾倍的性能提升。

宋繼強說，「我們發現軟體最佳化與否，在同一個硬體上可以達到百倍的性能差距。」這其中的餘量還是比較大。

在AI開發生態上，雖然Nvidia是最具發言權的；但從戰略角度來看，像Intel這種研發CPU、GPU、FPGA、ASIC，甚至還有神經型態運算處理器的企業而言，不同處理器統一開發生態可能更具前瞻性。Intel有個稱oneAPI的軟體平台，用一套API實現不同硬體性能埠的對接。這類策略對廠商的軟體框架構建能力是非常大的考驗——也極大程度關乎底層晶片的執行效率。

在摩爾定律放緩、電晶體尺寸微縮變慢甚至不縮小的前提下，處理器架構革新、異質整合與2.5D/3D封裝技術依然可以達成1,000倍的性能提升；而一些新的技術方向，包括近記憶體運算、記憶體內運算和微型矽光，能夠在資料訪存、傳輸方面產生新的價值；神經型態運算這種類腦運算方式，是實現AI運算的目標；軟體層面的最佳化，也能夠帶動AI性能的成倍增長。所以即便摩爾定律嚴重放緩，AI晶片的性能、效率提升在上面提到的這麼多方案加持下，終將在未來很長一段時間內持續飛越。這第三(四)次科技革命恐怕還很難停歇。

資料來源：https://www.eettaiwan.com/20210726nt61-ai-computing/?fbclid=IwAR3BaorLm9rL2s1ff6cNkL6Z7dK8Q96XulQPzuMQ_Yky9H_EmLsBpjBOsWg

本集節目由以下艾草贊助製播：
匿名者 / LeonC / Kevin / Cabo / Hank Wu / Ray / 星曜

特別感謝 Seagate 贊助硬碟！
Seagate 官網：https://www.seagate.com/tw/zh/products/nas-drives/ironwolf-hard-drive/

聽眾乾爹乾媽募集中！
https://pay.soundon.fm/podcasts/438640c5-fcd9-4cd6-854f-10c32b0009fa
我們將在最新一集的 Podcast 唸出各位贊助者的留言 =)
感謝您！

* SoundOn 推出的新功能，僅收取 5% 金流手續費。

口播工商請洽：alviniststudio@gmail.com
艾爾文的所有社群：https://linktr.ee/Alvinist

#Seagate #IronWolf #NAS

►歡迎加入 Telegram ►
打倒演算法的高牆？ https://t.me/alvinist

►本集使用音樂►
1. Victorious - Marc Torch

▶行動派艾草▶ 頻道會員持續募集中
▉「行動派艾草」是什麼？
這是 YouTube 推出的「定期型群眾募資」。
俗氣的說，就是：用錢支持喜歡的創作者。
可依照自己的能力，選擇支持方案。
行動派艾草 / 每個月 75 元（新台幣）；
銀級行動派艾草 / 每個月 450 元（新台幣）；
金級行動派艾草 / 每個月 900 元（新台幣）；
尊爵行動派艾草 / 每個月 1,600 元（新台幣）。

YouTube 將抽取三成費用。
其餘的將提供給創作者，（希望可以）無憂無慮的創作、添購設備器材等。

點選以下網址，綁定信用卡即可：
https://www.youtube.com/alvinist/join

►艾爾文的社群 / 歡迎追蹤►
▎所有社群平台連結：https://linktr.ee/Alvinist
▎Telegram 官方公告頻道: https://t.me/alvinist
▎YouTube 子頻道：http://youtube.com/coopaler
▎Instagram 很精彩: http://www.instagram.com/alvinist
▎Facebook 粉絲專頁: http://www.facebook.com/alvinistvlog
▎Twitter 偶爾更新: http://www.twitter.com/alvinist

►艾耳聞 Podcast 博客收聽平台►
▎Apple Podcasts: https://apple.co/2RVWA36
▎Spotify Podcasts: https://spoti.fi/3eDkytP
▎Google Podcasts: https://bit.ly/3bxKkgS
▎SoundOn 及 KKbox 請搜尋「艾爾文」

►我的器材 / My Gear►
https://kit.co/Alvinist

►合作請洽►
alviniststudio@gmail.com

►親愛的艾爾文時間► 信件及包裹寄送地址
【中文】23599 中和宜安郵局第 171 號信箱
【英文】P.O.BOX 171 Zhonghe Yi-an, New Taipei City, 23599 Taiwan (R.O.C)

這一次升級所有的器材和明細如下：

設備
【自費】QNAP TVS-h1288X NTD 95,000
【贊助】QXP-T32P Thunderbolt™ 3 擴充卡 NTD 4,090
【贊助】TL-D800C 8-Bay 儲存擴充設備 NTD 13,900
【贊助】QNA-T310G1T Thunderbolt 3 對 10GbE 網路轉換器 (NBASE-T) NTD 5,990

硬碟
【贊助】IronWolf Pro HDD 12TB × 5 NTD 58,450
【贊助】IronWolf Pro 125 SATA 3.84TB × 2 NTD 45,980

快取硬碟
【自費】SAMSUNG 980 PRO 1TB NVMe M.2 2280 PCIe Gen 4x4 （2 條）NTD 11,376

線材
【自費】QNAP Thunderbolt 3 20m 線 CAB-TBT320M-40G-LINTES NTD 3,200

總價值：237,986

#NAS #QNAP #Seagate #IronWolf #IronwolfPro #硬碟
QNAP 官網：https://www.qnap.com
Seagate 官網：https://www.seagate.com/tw/zh/products/nas-drives/ironwolf-hard-drive/

►歡迎加入 Telegram ►
打倒演算法的高牆？ https://t.me/alvinist

▶行動派艾草▶ 頻道會員持續募集中
▉「行動派艾草」是什麼？
這是 YouTube 推出的「定期型群眾募資」。
俗氣的說，就是：用錢支持喜歡的創作者。
可依照自己的能力，選擇支持方案。
行動派艾草 / 每個月 75 元（新台幣）；
銀級行動派艾草 / 每個月 450 元（新台幣）；
金級行動派艾草 / 每個月 900 元（新台幣）；
尊爵行動派艾草 / 每個月 1,600 元（新台幣）。

YouTube 將抽取三成費用。
其餘的將提供給創作者，（希望可以）無憂無慮的創作、添購設備器材等。

點選以下網址，綁定信用卡即可：
https://www.youtube.com/alvinist/join

►艾爾文的社群 / 歡迎追蹤►
▎所有社群平台連結：https://linktr.ee/Alvinist
▎Telegram 官方公告頻道: https://t.me/alvinist
▎YouTube 子頻道：http://youtube.com/coopaler
▎Instagram 很精彩: http://www.instagram.com/alvinist
▎Facebook 粉絲專頁: http://www.facebook.com/alvinistvlog
▎Twitter 偶爾更新: http://www.twitter.com/alvinist

►艾耳聞 Podcast 博客收聽平台►
▎Apple Podcasts: https://apple.co/2RVWA36
▎Spotify Podcasts: https://spoti.fi/3eDkytP
▎Google Podcasts: https://bit.ly/3bxKkgS
▎SoundOn 及 KKbox 請搜尋「艾爾文」

►我的器材 / My Gear►
https://kit.co/Alvinist

►合作請洽►
alviniststudio@gmail.com

►親愛的艾爾文時間► 信件及包裹寄送地址
【中文】23599 中和宜安郵局第 171 號信箱
【英文】P.O.BOX 171 Zhonghe Yi-an, New Taipei City, 23599 Taiwan (R.O.C)

https://goo.gl/vhxbCM 歐付寶 贊助連接 (會顯示於實況)

https://reurl.cc/pDrpnl
訂閱旁邊的加入按紐 = 每月75.NT 付費訂閱的概念
付費 加入 會員 (即可使用德德表情符號包)

贊助請量力而為 如果你是學生
請把錢拿去買點父母喜歡吃的
孝順父母 阿德就會很開心了!

FB 飛天德德 粉絲頁面: https://www.facebook.com/YouTube.Open0706/

實況設備:

MSI GE75 8SG
8750H + 2080 + 16G ram 筆記型電腦
遊戲內 1920X1080 120hz中高特效
實況上 1920X1080 60 FPS

(沒視訊畫面 = 筆電實況中)

電腦硬體：CPU:I7 7820X 4.5Ghz 8C16T

CPU散熱器: NZXT X52 一體式水冷

MB: ASUS PRIME X299-DELUXE

顯示卡 : GALAX GTX1070 OC mini 8G

記憶體: 金士頓 DDR4 32G (8Gx4) 2666

SSD固態硬碟 256G

滑鼠：羅技 G502 RGB

鍵盤：海盜船 K95 RGB

視訊：羅技 C920 HD pro

耳機：Sennheiser 聲海 G4ME ONE

(有視訊畫面 實況會開到 1920X1080 60FPS)