#每日5分鐘快速添補ai知識與技能
邊緣運算與AI的關係是什麼？
邊緣AI ＝
把「人工智慧」與「機器學習」處理，
從雲端移至網路邊緣威力強大的伺服器，
如：辦公室、5G 基地台，
及其他接近連網終端裝置的實體地點。
⠀⠀
將 AI 運算移到更靠近數據的地方，
它不僅可以排除延遲，
且能確保所有數據的價值可以保留。
⠀⠀
在網路數據應用能提升效率，
感應器的融合，也能即時應用成果。
⠀⠀
多家公司都在開發AI邊緣👇
https://blog.tibame.com/?p=19495
⠀⠀
#AI60問 #邊緣運算
【AI／資料科學不可不知的60道問題】
具備AI跨域知識，為職場技能加分💪
#TibaMe #緯育TibaMe #知識 #學習 #科技

有圖有文有影片，特點介紹有寫語法讓你可以直接跳有興趣段落閱讀，網站是自己架的，沒有頁面廣告請放心觀看
https://www.chocye.com/post/hyread-gaze-pocket-6

因為照片很多，FB也沒有網誌功能了，還是建議到網站上看體驗會比較好～

現在沒空看也歡迎先分享存到自己的個人頁面，有空慢慢看啦。真D掏心掏肺的心得文。

以下是純文字的版本

～～～～～～正文開始～～～～～～

電子閱讀器觀望了一年多，本來很掙扎到底是需要還是想要，直到2021/5/17疫情爆發後
，因為無法再跟圖書館借實體書，開始認真決定要買。

我的需求：能在圖書館借書、借不到的書有得買、可以調整亮度跟色溫(我的眼睛對光線
刺激比較敏感)、可以讀我已經買了的電子書

考慮到我跟圖書館借書居多，雖然網路上曝光率超高的KOBO H2O外型令人心動，審慎思考
後還是覺得，能跟圖書館平台無痛互通的 HyRead 閱讀器可能會更適合我。

關於 HyRead 被負評的翻頁很慢這點，我沒使用過其他家的電子閱讀器所以無從比較。不
過疫情之前有去誠品試用過不同的機型，覺得不管是哪家電子閱讀器的電子紙都有翻頁延
遲的感覺。

同時一起比較的 KOBO H2O 雖然一切都看起來很美好，但他有一個我不太喜歡的致命缺點
，就是在樂天商城上面買電子書刷信用卡的話會是以海外消費計算，會有一筆海外消費手
續費。雖然費用可能不多，但我就不喜歡這種結完帳收到帳單後才發現被多加一筆不確定
金額的感覺。

最後讓我直接下定決心購買 HyRead Gaze Pocket 的關鍵點就是，在觀察了各大閱讀器討
論區後發現，很新的二手閱讀器算是還滿好轉賣的。要是用了真的不喜歡，轉賣也很容易
。不如就先試看看再說～

HyRead Gaze Pocket 是2021五月底才推出的機型，6吋對女生的手來說真的滿剛好的，
可以單手支撐閱讀。因為尺寸比較小，跟同品牌的其他閱讀器比起來價格也較好入手。

他的包裝非常簡約，盒子打開就只有三個東西，電子閱讀器本尊、Type-C充電線、使用說
明書。

以下將逐一說明我在使用 HyRead Gaze Pocket 這台電子閱讀器一個月後的實際感受。

（網頁版文章才有的功能）若有你特別感興趣的主題，可直接按下列文字跳至相對應段落
閱讀。

保護套
充電孔
借書功能
買書
安裝其他書城的閱讀APP
上傳書籍或其他文件
待機畫面
截圖功能
看漫畫
翻頁殘影
筆記跟手寫
電力
社團支援

保護套：
我有加買官方的寶藍色保護套，還沒收到保護套前是先拿電子閱讀器的包裝當保護殼用。
拿起來手感不錯～

保護套滿多人說尺寸做得太剛好，很難把機器塞進去。官方有推出他們建議的保護套安裝
方式影片，我照著影片裝是覺得雖然真的很緊，但還算順利。訣竅就是要放膽的大力塞進
去。

保護套穿上去後第一天整台機器感覺滿緊繃，兩個長邊也都鼓鼓的，但用幾天後就會變平
了。

官方保護套除了一個小缺點外一切完美，就是他上蓋少做一個充電孔，所以沒辦法蓋著上
蓋充電!!

因為怕開著上蓋充電，螢幕會被貓踩過，所以我現在每次充電都要像照片這樣讓他站著。

HyRead Gaze Pocket 的保護套內裡還滿吸貓毛的

充電孔：
對 Type C 情有獨鍾的話，HyRead Gaze Pocket 的充電孔是 Type C 的，你可以安心購
買。

借書功能：
只要你有圖書館的帳號就可以借書！

台北市立圖書館跟新北市立圖書館的藏書量都算滿豐富的，我想看得書80%上面都有。雖
然有些書的排隊預約有兩三百人，不想等的話是可以開網路用線上模式閱讀。

預約的功能就只是多了你能夠把書下載到電子閱讀器裡面，沒網路的時候也可以看這樣。

圖書館借閱 APP 在手機上面可以按愛心收藏想看的書， HyRead Gaze Pocket 上不知為
何沒有同步這個功能。

所以我都是用手機先查想看的書、把書加入收藏，再到 HyRead Gaze Pocket 上搜尋來線
上閱讀，或開啟已借閱的同步閱讀。

當初也是看其他人分享的上述狀況而打消過購買HyRead的念頭，文字看起來步驟很多很麻
煩，但實際使用起來真的還好～

雖然看到很多人說圖書館的藏書量不多，但我自己平常有興趣的多是工具書，圖書館這方
面的藏書量很豐富，也有一直在持續購入新出版的電子書。

工具書系列很多目前的夯書上面都有，例如原子習慣、像火箭科學家一樣思考、黑馬思維
、投資最重要的事等等。偏工具類型的輕鬆休閒書或圖鑑也都有很多選擇～

但如果你是喜歡閱讀日系小說的話，可能還是買KOBO會比較適合。圖書館裡面的日系小說
選擇就少非常多～

買書：
目前還沒在HyRead商城上買過書，不過我已經擬好一份購買清單，等實際買完再回來分享
經驗。

HyRead書城有Line的好友帳號可以加，也有電子報可以訂閱，上面有他們不定期推出特價
書展的資訊。

安裝其他商城的閱讀APP：
在購買 HyRead Gaze Pocket 閱讀器前，我曾經在 TAZZE 跟 MyBook 書城上有買過書。

HyRead Gaze Pocket 介面是 Android 系統的，上面有類似手機下載APP的地方。 TAZZE
的閱讀APP可以直接從裡面下載。

MyBook書城的APP不知為何無法直接下載，不過可以用網站 下載 Mybook的APK 檔解決。

按下螢幕下方的“更多應用程式”，找到網頁APP，就是那顆地球。

點進去後直接在網址欄打上“ Mybook APK ” 就可以搜尋到網址。點進去後直接下載照
著步驟安裝就可以了～

在 HyRead Gaze Pocket 的電子閱讀器裡面用其書城的閱讀軟體當然是會比較不順手一點
，書籍頁面顯示的設定會有點卡卡的，用原始設定直接讀書的話我是覺得還算可接受。也
有可能是我對排版的要求比較低，雖然不到滿意，但還是看得下去。

待機畫面：
買了保護殼後，其實有沒有待機畫面都沒差，因為你暫時不看的時候就是會把上蓋直接蓋
起來。

不過 HyRead Gaze Pocket 有在推可以自己設定待機畫面的這個功能。只要把你喜歡的圖
上傳到照片庫裡面就可以設定成待機畫面了～我是用我們家兩豬貓的照片輪播。

上傳的方式有可以使用 Google Drive 或是直接用藍牙連線。

截圖功能：
HyRead Gaze Pocket 有截圖功能，讀到喜歡的句子可以截圖下來當筆記。

聽說如果書本是彩色的，截下來的圖回傳到電腦或手機裝置看也會是彩色的。但這功能我
還沒用過～

看漫畫：
非常意外它呈現出來的畫面還算滿細膩的！

目前用他看過的漫畫也就只有來自深淵的第九冊，但畫面真的有讓我驚艷～

畫面比我預想的還要細緻，也可能是我本來就沒抱持什麼期待的關係

另外有圖的書我還看了“噢!原來如此有趣的鳥類學 ”跟“水族館可愛生物！圖鑑”等。

像這種有插畫的書，讀起來我覺得效果還滿好的

目前看過的都是文字不太多的漫畫，沒有到需要放大看的程度，如果要拿來看那種字很多
畫面很滿的漫畫我就不知道適不適合了。

翻頁殘影：
翻頁殘影多少有，原本也擔心不適應，但實際使用後我個人覺得不影響閱讀

筆記跟手寫：
HyRead Gaze Pocket 沒有手寫功能，也因此他跟同廠牌的其他閱讀器比算是較低價位的
。筆記的話我自己是會用手機的記事本功能寫。

當初查資料看到有人說HyRead Gaze 系列閱讀器速度的快慢取決於你機器上裝了多少東西
。我想說那裝越少越好，只多裝了兩個有買書的閱讀APP。讓這台的功能就是非常單純的
只有閱讀。

電力：
目前用了一個月，充電過兩三次。我是只要電力低於70%就會想充，加上我目前用比較多
線上閱讀功能，一直開著網路閱讀的情況下，電力就掉的比較快。

社團支援：
HyRead Gaze 有一個 讀者專用的FB社團 ，上面會分享各種閱讀器相關的大小事，使用心
得、閱讀心得、書籍推薦跟機器問題討論。

看到好幾次有人發一些機器相關問題，就會有幾個帳號非常快的跳出來協助處理或解答疑
問，應該是 HyRead 的相關人員。這種直接面對使用者的感覺還滿好的～

購入電子閱讀器後的改變

我本來就有閱讀的習慣，通常都是早上閱讀。晚上因為燈光昏暗，讀起來比較吃力就會懶
得打開實體書。

有了電子閱讀器後最大的改變就是晚上也會看書，大大的增加了我的閱讀量。

因為它可以調螢幕色溫跟亮度，即使房間開著休息用黃光，也可以把電子閱讀器調整到舒
服的亮度來閱讀。

現在睡前就會想讀幾個章節再睡～

拿實體書的時候通常會需要兩隻手，因為只用一手，就必須把書本的一面捲起來，不然書
本會自己闔上。拿電子閱讀器就完全沒這種困擾，搭配官方的保護殼，還可以直接把閱讀
器立在床上趴著看。

電子閱讀器的內建系統還會在閱讀30分鐘後跳出提醒，問你要不要休息一下。

從6/21 收到 HyRead Gaze Pocket 到現在8/1，過了一個多月，目前在這台上面閱讀了8
本書

來自深淵 9
海洋動物怎麼那麼可愛！圖鑑
水族館可愛生物！圖鑑
噢！原來如此有趣的鳥類學
每天最重要的2小時
丟掉你的那些無關緊要
腦洞大開物理學
做自己的運動營養師

雖然很多都是容易閱讀的閒書，但還是比只拿紙本的時候讀了更多～

閱讀體驗也比用手機跟平板看來的更可以專心，因為知道我手上拿的這台沒有其他功能，
就只能看書，所以比較不會看一看就突然下意識的跑去滑網頁或其他APP。

使用一個月後的感想是覺得非常滿意，確定不會轉手賣掉了。
也不會後悔自己沒有更早買，因為HyRead Gaze Pocket 今年5月才剛推出，要更早也是沒
得買。

總結

目前我有在用電子閱讀器的朋友們，不管他買的是哪家的閱讀器，使用心得都跟我差不多
，就是買了不後悔，後悔太晚買。

改用電子書除了可以清空家裡的藏書空間外，隨買隨看、隨借隨讀真的是太方便了。

雖然缺點也還是有，例如翻頁延遲、有時候會有殘影、開機時間頗慢、圖書館小說跟漫畫
藏書量較少，畫面不比手機平板精緻。但以上的不方便對我來說，還是利大於弊。

如果你跟我一樣
想借圖書館的書
看工具書居多(因為圖書館這類藏書比較多)
希望閱讀器可以調整電子紙的亮度跟色溫
已經有在其他書城買了少量的電子書
希望未來可以帶出門使用(火車上、飛機上或是帶去公園邊曬太陽邊看書等)
那HyRead Gaze Pocket真的是，可以買! 讚！非常推！
尤其你本來就有在看書的話，買下去閱讀量肯定會暴增～

以上，歡迎加入擁有電子閱讀器後的新生活。

也歡迎你把文章分享給正在考慮要不要下手電子閱讀器的親友們！

可以購入 HyRead Gaze Pocket 6吋全平面電子紙閱讀器 的地方：

以下幾個商城價差不大，會有差別的就是等各自商城做活動＋信用卡優惠的時候，能用比
較便宜的價格買到。我自己是跟熊老闆買的，那時候購入有送購書金。

HyRead 官網 (會送閱讀支架，有時候有推閱讀器＋套書組合)
https://joymall.co/2qmuf?uid1=web

MOMO (送貨時間超迅速，可以看自己的信用卡在上面有沒有優惠)
https://product.mchannles.com/2qm_j?u...

HyRead 的蝦皮商城 (蝦皮有活動的時候通常商城也會要跟著打折，這時候就會有折扣優
惠)
https://greenmall.info/2qm_u?uid1=web

熊老闆的蝦皮商城 (HyRead的合作店家，因為是蝦皮賣場，同上有活動時會有折扣。熊老
闆這邊有時候會加送HyRead購書金跟閱讀支架)
https://greenmall.info/2qm_u?uid1=web

想看更完整的照片影片介紹，可以到下面網頁版文章：
https://www.chocye.com/post/hyread-gaze-pocket-6

#hyread #HyRead #hyreadgaze #hyreadgazepocket #電子閱讀器 #電子閱讀器心得

摩爾定律放緩　靠啥提升AI晶片運算力？

作者 : 黃燁鋒，EE Times China
2021-07-26

對於電子科技革命的即將終結的說法，一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續，也就意味著資訊技術的整棟大樓建造都將出現停滯，那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有的，但這波革命始終也沒有結束。AI技術本質上仍然是第三次科技革命的延續……

人工智慧(AI)的技術發展，被很多人形容為第四次科技革命。前三次科技革命，分別是蒸汽、電氣、資訊技術(電子科技)革命。彷彿這“第四次”有很多種說辭，比如有人說第四次科技革命是生物技術革命，還有人說是量子技術革命。但既然AI也是第四次科技革命之一的候選技術，而且作為資訊技術的組成部分，卻又獨立於資訊技術，即表示它有獨到之處。

電子科技革命的即將終結，一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續，也就意味著資訊技術的整棟大樓建造都將出現停滯，那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有，但這波革命始終也沒有結束。

AI技術本質上仍然是第三次科技革命的延續，它的發展也依託於幾十年來半導體科技的進步。這些年出現了不少專門的AI晶片——而且市場參與者相眾多。當某一個類別的技術發展到出現一種專門的處理器為之服務的程度，那麼這個領域自然就不可小覷，就像當年GPU出現專門為圖形運算服務一樣。

所以AI晶片被形容為CPU、GPU之後的第三大類電腦處理器。AI專用處理器的出現，很大程度上也是因為摩爾定律的發展進入緩慢期：電晶體的尺寸縮減速度，已經無法滿足需求，所以就必須有某種專用架構(DSA)出現，以快速提升晶片效率，也才有了專門的AI晶片。

另一方面，摩爾定律的延緩也成為AI晶片發展的桎梏。在摩爾定律和登納德縮放比例定律(Dennard Scaling)發展的前期，電晶體製程進步為晶片帶來了相當大的助益，那是「happy scaling down」的時代——CPU、GPU都是這個時代受益，不過Dennard Scaling早在45nm時期就失效了。

AI晶片作為第三大類處理器，在這波發展中沒有趕上happy scaling down的好時機。與此同時，AI應用對運算力的需求越來越貪婪。今年WAIC晶片論壇圓桌討論環節，燧原科技創始人暨CEO趙立東說：「現在訓練的GPT-3模型有1750億參數，接近人腦神經元數量，我以為這是最大的模型了，要千張Nvidia的GPU卡才能做。談到AI運算力需求、模型大小的問題，說最大模型超過萬億參數，又是10倍。」

英特爾(Intel)研究院副總裁、中國研究院院長宋繼強說：「前兩年用GPU訓練一個大規模的深度學習模型，其碳排放量相當於5台美式車整個生命週期產生的碳排量。」這也說明了AI運算力需求的貪婪，以及提供運算力的AI晶片不夠高效。

不過作為產業的底層驅動力，半導體製造技術仍源源不斷地為AI發展提供推力。本文將討論WAIC晶片論壇上聽到，針對這個問題的一些前瞻性解決方案——有些已經實現，有些則可能有待時代驗證。

XPU、摩爾定律和異質整合

「電腦產業中的貝爾定律，是說能效每提高1,000倍，就會衍生出一種新的運算形態。」中科院院士劉明在論壇上說，「若每瓦功耗只能支撐1KOPS的運算，當時的這種運算形態是超算；到了智慧型手機時代，能效就提高到每瓦1TOPS；未來的智慧終端我們要達到每瓦1POPS。 這對IC提出了非常高的要求，如果依然沿著CMOS這條路去走，當然可以，但會比較艱辛。」

針對性能和效率提升，除了尺寸微縮，半導體產業比較常見的思路是電晶體結構、晶片結構、材料等方面的最佳化，以及處理架構的革新。

(1)AI晶片本身其實就是對處理器架構的革新，從運算架構的層面來看，針對不同的應用方向造不同架構的處理器是常規，更專用的處理器能促成效率和性能的成倍增長，而不需要依賴於電晶體尺寸的微縮。比如GPU、神經網路處理器(NPU，即AI處理器)，乃至更專用的ASIC出現，都是這類思路。

CPU、GPU、NPU、FPGA等不同類型的晶片各司其職，Intel這兩年一直在推行所謂的「XPU」策略就是用不同類型的處理器去做不同的事情，「整合起來各取所需，用組合拳會好過用一種武器去解決所有問題。」宋繼強說。Intel的晶片產品就涵蓋了幾個大類，Core CPU、Xe GPU，以及透過收購獲得的AI晶片Habana等。

另外針對不同類型的晶片，可能還有更具體的最佳化方案。如當代CPU普遍加入AVX512指令，本質上是特別針對深度學習做加強。「專用」的不一定是處理器，也可以是處理器內的某些特定單元，甚至固定功能單元，就好像GPU中加入專用的光線追蹤單元一樣，這是當代處理器普遍都在做的一件事。

(2)從電晶體、晶片結構層面來看，電晶體的尺寸現在仍然在縮減過程中，只不過縮減幅度相比過去變小了——而且為緩解電晶體性能的下降，需要有各種不同的技術來輔助尺寸變小。比如說在22nm節點之後，電晶體變為FinFET結構，在3nm之後，電晶體即將演變為Gate All Around FET結構。最終會演化為互補FET (CFET)，其本質都是電晶體本身充分利用Z軸，來實現微縮性能的提升。

劉明認為，「除了基礎元件的變革，IC現在的發展還是比較多元化，包括新材料的引進、元件結構革新，也包括微影技術。長期賴以微縮的基本手段，現在也在發生巨大的變化，特別是未來3D的異質整合。這些多元技術的協同發展，都為晶片整體性能提升帶來了很好的增益。」

他並指出，「從電晶體級、到晶圓級，再到晶片堆疊、引線接合(lead bonding)，精準度從毫米向奈米演進，互連密度大大提升。」從晶圓/裸晶的層面來看，則是眾所周知的朝more than moore’s law這樣的路線發展，比如把兩片裸晶疊起來。現在很熱門的chiplet技術就是比較典型的並不依賴於傳統電晶體尺寸微縮，來彈性擴展性能的方案。

台積電和Intel這兩年都在大推將不同類型的裸晶，異質整合的技術。2.5D封裝方案典型如台積電的CoWoS，Intel的EMIB，而在3D堆疊上，Intel的Core LakeField晶片就是用3D Foveros方案，將不同的裸晶疊在一起，甚至可以實現兩片運算裸晶的堆疊、互連。

之前的文章也提到過AMD剛發佈的3D V-Cache，將CPU的L3 cache裸晶疊在運算裸晶上方，將處理器的L3 cache大小增大至192MB，對儲存敏感延遲應用的性能提升。相比Intel，台積電這項技術的獨特之處在於裸晶間是以混合接合(hybrid bonding)的方式互連，而不是micro-bump，做到更小的打線間距，以及晶片之間數十倍通訊性能和效率提升。

這些方案也不直接依賴傳統的電晶體微縮方案。這裡實際上還有一個方面，即新材料的導入專家們沒有在論壇上多說，本文也略過不談。

1,000倍的性能提升

劉明談到，當電晶體微縮的空間沒有那麼大的時候，產業界傾向於採用新的策略來評價技術——「PPACt」——即Powe r(功耗)、Performance (性能)、Cost/Area-Time (成本/面積-時間)。t指的具體是time-to-market，理論上應該也屬於成本的一部分。

電晶體微縮方案失效以後，「多元化的技術變革，依然會讓IC性能得到進一步的提升。」劉明說，「根據預測，這些技術即使不再做尺寸微縮，也會讓IC的晶片性能做到500~1,000倍的提升，到2035年實現Zetta Flops的系統性能水準。且超算的發展還可以一如既往地前進；單裸晶儲存容量變得越來越大，IC依然會為產業發展提供基礎。」

500~1,000倍的預測來自DARPA，感覺有些過於樂觀。因為其中的不少技術存在比較大的邊際遞減效應，而且有更實際的工程問題待解決，比如運算裸晶疊層的散熱問題——即便業界對於這類工程問題的探討也始終在持續。

不過1,000倍的性能提升，的確說明摩爾定律的終結並不能代表第三次科技革命的終結，而且還有相當大的發展空間。尤其本文談的主要是AI晶片，而不是更具通用性的CPU。

矽光、記憶體內運算和神經型態運算

在非傳統發展路線上(以上內容都屬於半導體製造的常規思路)，WAIC晶片論壇上宋繼強和劉明都提到了一些頗具代表性的技術方向(雖然這可能與他們自己的業務方向或研究方向有很大的關係)。這些技術可能尚未大規模推廣，或者仍在商業化的極早期。

(1)近記憶體運算和記憶體內運算：處理器性能和效率如今面臨的瓶頸，很大程度並不在單純的運算階段，而在資料傳輸和儲存方面——這也是共識。所以提升資料的傳輸和存取效率，可能是提升整體系統性能時，一個非常靠譜的思路。

這兩年市場上的處理器產品用「近記憶體運算」(near-memory computing)思路的，應該不在少數。所謂的近記憶體運算，就是讓儲存(如cache、memory)單元更靠近運算單元。CPU的多層cache結構(L1、L2、L3)，以及電腦處理器cache、記憶體、硬碟這種多層儲存結構是常規。而「近記憶體運算」主要在於究竟有多「近」，cache記憶體有利於隱藏當代電腦架構中延遲和頻寬的局限性。

這兩年在近記憶體運算方面比較有代表性的，一是AMD——比如前文提到3D V-cache增大處理器的cache容量，還有其GPU不僅在裸晶內導入了Infinity Cache這種類似L3 cache的結構，也更早應用了HBM2記憶體方案。這些實踐都表明，儲存方面的革新的確能帶來性能的提升。

另外一個例子則是Graphcore的IPU處理器：IPU的特點之一是在裸晶內堆了相當多的cache資源，cache容量遠大於一般的GPU和AI晶片——也就避免了頻繁的訪問外部儲存資源的操作，極大提升頻寬、降低延遲和功耗。

近記憶體運算的本質仍然是馮紐曼架構(Von Neumann architecture)的延續。「在做處理的過程中，多層級的儲存結構，資料的搬運不僅僅在處理和儲存之間，還在不同的儲存層級之間。這樣頻繁的資料搬運帶來了頻寬延遲、功耗的問題。也就有了我們經常說的運算體系內的儲存牆的問題。」劉明說。

構建非馮(non-von Neumann)架構，把傳統的、以運算為中心的馮氏架構，變換一種新的運算範式。把部分運算力下推到儲存。這便是記憶體內運算(in-memory computing)的概念。

記憶體內運算的就現在看來還是比較新，也有稱其為「存算一體」。通常理解為在記憶體中嵌入演算法，儲存單元本身就有運算能力，理論上消除資料存取的延遲和功耗。記憶體內運算這個概念似乎這在資料爆炸時代格外醒目，畢竟可極大減少海量資料的移動操作。

其實記憶體內運算的概念都還沒有非常明確的定義。現階段它可能的內涵至少涉及到在儲記憶體內部，部分執行資料處理工作；主要應用於神經網路(因為非常契合神經網路的工作方式)，以及這類晶片具體的工作方法上，可能更傾向於神經型態運算(neuromorphic computing)。

對於AI晶片而言，記憶體內運算的確是很好的思路。一般的GPU和AI晶片執行AI負載時，有比較頻繁的資料存取操作，這對性能和功耗都有影響。不過記憶體內運算的具體實施方案，在市場上也是五花八門，早期比較具有代表性的Mythic導入了一種矩陣乘的儲存架構，用40nm嵌入式NOR，在儲記憶體內部執行運算，不過替換掉了數位週邊電路，改用類比的方式。在陣列內部進行模擬運算。這家公司之前得到過美國國防部的資金支援。

劉明列舉了近記憶體運算和記憶體內運算兩種方案的例子。其中，近記憶體運算的這個方案應該和AMD的3D V-cache比較類似，把儲存裸晶和運算裸晶疊起來。

劉明指出，「這是我們最近的一個工作，採用hybrid bonding的技術，與矽通孔(TSV)做比較，hybrid bonding功耗是0.8pJ/bit，而TSV是4pJ/bit。延遲方面，hybrid bonding只有0.5ns，而TSV方案是3ns。」台積電在3D堆疊方面的領先優勢其實也體現在hybrid bonding混合鍵合上，前文也提到了它具備更高的互連密度和效率。

另外這套方案還將DRAM刷新頻率提高了一倍，從64ms提高至128ms，以降低功耗。「應對刷新率變慢出現拖尾bit，我們引入RRAM TCAM索引這些tail bits」劉明說。

記憶體內運算方面，「傳統運算是用布林邏輯，一個4位元的乘法需要用到幾百個電晶體，這個過程中需要進行資料來回的移動。記憶體內運算是利用單一元件的歐姆定律來完成一次乘法，然後利用基爾霍夫定律完成列的累加。」劉明表示，「這對於今天深度學習的矩陣乘非常有利。它是原位的運算和儲存，沒有資料搬運。」這是記憶體內運算的常規思路。

「無論是基於SRAM，還是基於新型記憶體，相比近記憶體運算都有明顯優勢，」劉明認為。下圖是記憶體內運算和近記憶體運算，精準度、能效等方面的對比，記憶體內運算架構對於低精準度運算有價值。

下圖則總結了業內主要的一些記憶體內運算研究，在精確度和能效方面的對應關係。劉明表示，「需要高精確度、高運算力的情況下，近記憶體運算目前還是有優勢。不過記憶體內運算是更新的技術，這幾年的進步也非常快。」

去年阿里達摩院發佈2020年十大科技趨勢中，有一個就是存算一體突破AI算力瓶頸。不過記憶體內運算面臨的商用挑戰也一點都不小。記憶體內運算的通常思路都是類比電路的運算方式，這對記憶體、運算單元設計都需要做工程上的考量。與此同時這樣的晶片究竟由誰來造也是個問題：是記憶體廠商，還是數文書處理器廠商？(三星推過記憶體內運算晶片，三星、Intel垂直整合型企業似乎很適合做記憶體內運算…)

(2)神經型態運算：神經型態運算和記憶體內運算一樣，也是新興技術的熱門話題，這項技術有時也叫作compute in memory，可以認為它是記憶體內運算的某種發展方向。神經型態和一般神經網路AI晶片的差異是，這種結構更偏「類人腦」。

進行神經型態研究的企業現在也逐漸變得多起來，劉明也提到了AI晶片「最終的理想是在結構層次模仿腦，元件層次逼近腦，功能層次超越人腦」的「類腦運算」。Intel是比較早關注神經型態運算研究的企業之一。

傳說中的Intel Loihi就是比較典型存算一體的架構，「這片裸晶裡面包含128個小核心，每個核心用於模擬1,024個神經元的運算結構。」宋繼強說，「這樣一塊晶片大概可以類比13萬個神經元。我們做到的是把768個晶片再連起來，構成接近1億神經元的系統，讓學術界的夥伴去試用。」

「它和深度學習加速器相比，沒有任何浮點運算——就像人腦裡面沒有乘加器。所以其學習和訓練方法是採用一種名為spike neutral network的路線，功耗很低，也可以訓練出做視覺辨識、語言辨識和其他種類的模型。」宋繼強認為，不採用同步時脈，「刺激的時候就是一個非同步電動勢，只有工作部分耗電，功耗是現在深度學習加速晶片的千分之一。」

「而且未來我們可以對不同區域做劃分，比如這兒是視覺區、那兒是語言區、那兒是觸覺區，同時進行多模態訓練，互相之間產生關聯。這是現在的深度學習模型無法比擬的。」宋繼強說。這種神經型態運算晶片，似乎也是Intel在XPU方向上探索不同架構運算的方向之一。

(2)微型化矽光：這個技術方向可能在層級上更偏高了一些，不再晶片架構層級，不過仍然值得一提。去年Intel在Labs Day上特別談到了自己在矽光(Silicon Photonics)的一些技術進展。其實矽光技術在連接資料中心的交換機方面，已有應用了，發出資料時，連接埠處會有個收發器把電訊號轉為光訊號，透過光纖來傳輸資料，另一端光訊號再轉為電訊號。不過傳統的光收發器成本都比較高，內部元件數量大，尺寸也就比較大。

Intel在整合化的矽光(IIIV族monolithic的光學整合化方案)方面應該是商業化走在比較前列的，就是把光和電子相關的組成部分高度整合到晶片上，用IC製造技術。未來的光通訊不只是資料中心機架到機架之間，也可以下沉到板級——就跟現在傳統的電I/O一樣。電互連的主要問題是功耗太大，也就是所謂的I/O功耗牆，這是這類微型化矽光元件存在的重要價值。

這其中存在的技術挑戰還是比較多，如做資料的光訊號調變的調變器調變器，據說Intel的技術使其實現了1,000倍的縮小；還有在接收端需要有個探測器(detector)轉換光訊號，用所謂的全矽微環(micro-ring)結構，實現矽對光的檢測能力；波分複用技術實現頻寬倍增，以及把矽光和CMOS晶片做整合等。

Intel認為，把矽光模組與運算資源整合，就能打破必須帶更多I/O接腳做更大尺寸處理器的這種趨勢。矽光能夠實現的是更低的功耗、更大的頻寬、更小的接腳數量和尺寸。在跨處理器、跨伺服器節點之間的資料互動上，這類技術還是頗具前景，Intel此前說目標是實現每根光纖1Tbps的速率，並且能效在1pJ/bit，最遠距離1km，這在非本地傳輸上是很理想的數字。

還有軟體…

除了AI晶片本身，從整個生態的角度，包括AI感知到運算的整個鏈條上的其他組成部分，都有促成性能和效率提升的餘地。比如這兩年Nvidia從軟體層面，針對AI運算的中間層、庫做了大量最佳化。相同的底層硬體，透過軟體最佳化就能實現幾倍的性能提升。

宋繼強說，「我們發現軟體最佳化與否，在同一個硬體上可以達到百倍的性能差距。」這其中的餘量還是比較大。

在AI開發生態上，雖然Nvidia是最具發言權的；但從戰略角度來看，像Intel這種研發CPU、GPU、FPGA、ASIC，甚至還有神經型態運算處理器的企業而言，不同處理器統一開發生態可能更具前瞻性。Intel有個稱oneAPI的軟體平台，用一套API實現不同硬體性能埠的對接。這類策略對廠商的軟體框架構建能力是非常大的考驗——也極大程度關乎底層晶片的執行效率。

在摩爾定律放緩、電晶體尺寸微縮變慢甚至不縮小的前提下，處理器架構革新、異質整合與2.5D/3D封裝技術依然可以達成1,000倍的性能提升；而一些新的技術方向，包括近記憶體運算、記憶體內運算和微型矽光，能夠在資料訪存、傳輸方面產生新的價值；神經型態運算這種類腦運算方式，是實現AI運算的目標；軟體層面的最佳化，也能夠帶動AI性能的成倍增長。所以即便摩爾定律嚴重放緩，AI晶片的性能、效率提升在上面提到的這麼多方案加持下，終將在未來很長一段時間內持續飛越。這第三(四)次科技革命恐怕還很難停歇。

資料來源：https://www.eettaiwan.com/20210726nt61-ai-computing/?fbclid=IwAR3BaorLm9rL2s1ff6cNkL6Z7dK8Q96XulQPzuMQ_Yky9H_EmLsBpjBOsWg

心動不如行動，手刀下單： https://bit.ly/3AieEZm
▼ 開箱商品
－D-Link R15 AX1500 Wi-Fi 6 雙頻無線路由器

★ R15｜必買 AI 智慧路由器 ★
➊ 新一代 Wi-Fi 6 技術
➋ 不中斷地監控及優化，自動連上最佳頻道
➌ 強化 Mesh 連線訊號，訊號無死角
➍ QoS 智慧分配頻寬，順暢不延遲
➎ AI 智慧家長監控，主動通知異常
➏ 專屬 AI 智慧助理，每週網路使用報告
➐ 自由搭配隨意擴充，輕鬆打造全屋無縫連網

❊ EAGLE PRO AI 系列為 MIT 台灣設計製造，高品質更安全
❊ R15 可與同系列自由搭配、串聯，隨意 Mesh 擴充訊號
❊ 使用市場最新 WPA3 加密技術，連網更安心

#dlink #R15 #EAGLE_PRO_AI #讓WiFi變聰明

－－－－－－－－－－－－－－－－－－－－－－－－

「訂閱我的Youtube頻道」：https://ppt.cc/fe0hGx
「按讚我的Facebook專頁」：https://ppt.cc/f5d45x
「追蹤我的IG」：https://ppt.cc/fyn2Fx

－－－－－－－－－－－－－－－－－－－－－－－－

更多影片：

小羊菌Life：https://ppt.cc/fZbZ8x
小羊菌小開箱：https://goo.gl/RXuYf2
小羊菌電腦教室：https://goo.gl/qFR4sp

－－－－－－－－－－－－－－－－－－－－－－－－

有任何合作提案都歡迎寄信到我的信箱：
pijun67@gmail.com
或私訊粉專：https://www.facebook.com/pijun67/
ig：https://www.instagram.com/pijun67/

拍攝器材：Canon 77D、GoPro Hero 7 Black
收音器材：SHURE VP83
剪輯軟體：Apple Final Cut Pro X

要交易黃金CFD或原油CFD就選群益外匯王!
24小時多空雙向交易、最新手機電腦MT5介面，
現在開戶還提供高勝率EA讓您做使用，
不只能做趨勢的單、也能做波段的單 !
手刀洽詢蕙寧，提供一對一教學服務唷~

————————————
楊蕙寧
群益期貨槓桿交易部 - 業務經理
LINE : https://line.me/R/ti/p/%40011opskv
————————————

群益期貨股份有限公司 109年金管期總字號003號
（上市期貨商-股票代號6024）
台北市大安區敦化南路二段97號B1
連絡電話：(02)2700-2888
槓桿交易部專線：(02)2700-1518

任何系統參數需由投資人自行設定。 在交易極為活絡的情況下，撮合之價格上下變動可能會相當迅速，系統可能無法立即判別執行或延遲執行，交易人需自行負責其風險。 群益外匯王所提供之即時報價資訊，不代表勸誘投資人進行交易，且不保證此資料之正確性及完整性。 使用群益外匯王委託買賣，仍可能而面臨斷線、斷電或網路壅塞等阻礙，致使委託買賣無法傳送或接收或時間延遲。 所有投資風險及影響市場行情之因素無法逐一詳述，交易人應依自身之財務狀況、經驗及其他相關情況審慎評估此類交易是否合宜，交易人應確認完全瞭解交易風險及商品特性為之，本公司將不負責工具或交易所產生的任何損失。槓桿保證金交易具有一定風險，交易人應先評估本身資金及所能擔負之風險，過去績效或未來預期的表現不可作為日後績效之保證。


#外匯EA #順勢通道EA #群益外匯王 #群益 #貨幣兌 #點差 #程式交易 #外匯教學 #外匯保證金 #美股 #奈米油 #奈米金 #原油cfd #黃金cfd #MT5
#拒絕外匯詐騙 #外匯美人魚 #奈米銀 #奈米指 #奈米股

宅經濟正夯，利用手機電腦賺更快
疫情肆虐，待在家很安全但別讓收入跟著縮水
來找蕙寧開外匯交易帳戶，小資小白也可以!
快來詢問蕙寧:
https://lin.ee/fI5JyLr

#群益楊蕙寧 期貨市場6年經歷
服務過上千位客戶
讓您在投資理財的道路上
資金安全安心交易
從0開始以最速方法學習外匯交易
每日重點整理報告
提供限時免費半自動高勝率程式交易
學會用最少的資金，打造另一份收入
來找外匯美人魚楊蕙寧 開通 #群益外匯王
全台第一家合法外匯保證金上市期貨商
————————————
楊蕙寧
群益期貨槓桿交易部 - 業務經理
LINE : https://lin.ee/fI5JyLr
————————————

群益期貨股份有限公司 109年金管期總字號003號
（上市期貨商-股票代號6024）
台北市大安區敦化南路二段97號B1
連絡電話：(02)2700-2888
槓桿交易部專線：(02)2700-1518

任何系統參數需由投資人自行設定。 在交易極為活絡的情況下，撮合之價格上下變動可能會相當迅速，系統可能無法立即判別執行或延遲執行，交易人需自行負責其風險。 群益外匯王所提供之即時報價資訊，不代表勸誘投資人進行交易，且不保證此資料之正確性及完整性。 使用群益外匯王委託買賣，仍可能而面臨斷線、斷電或網路壅塞等阻礙，致使委託買賣無法傳送或接收或時間延遲。 所有投資風險及影響市場行情之因素無法逐一詳述，交易人應依自身之財務狀況、經驗及其他相關情況審慎評估此類交易是否合宜，交易人應確認完全瞭解交易風險及商品特性為之，本公司將不負責工具或交易所產生的任何損失。槓桿保證金交易具有一定風險，交易人應先評估本身資金及所能擔負之風險，過去績效或未來預期的表現不可作為日後績效之保證。


#外匯EA #順勢通道EA #群益外匯王 #群益 #貨幣兌 #點差 #程式交易 #外匯教學 #外匯保證金 #美股 #奈米油 #奈米金 #原油cfd #黃金cfd #MT5
#拒絕外匯詐騙 #外匯美人魚楊蕙寧 #奈米銀 #奈米指 #奈米股