雖然這篇類比訊號例子鄉民發文沒有被收入到精華區:在類比訊號例子這個話題中,我們另外找到其它相關的精選爆讚文章
在 類比訊號例子產品中有5篇Facebook貼文,粉絲數超過3,992的網紅台灣物聯網實驗室 IOT Labs,也在其Facebook貼文中提到, 摩爾定律放緩 靠啥提升AI晶片運算力? 作者 : 黃燁鋒,EE Times China 2021-07-26 對於電子科技革命的即將終結的說法,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎...
同時也有1部Youtube影片,追蹤數超過24萬的網紅啟點文化,也在其Youtube影片中提到,【線上課程】《時間駕訓班》~ 學會提升效率,擺脫瞎忙人生,做自己時間的主人 課程連結:https://pse.is/DDDHB 第一講免費試聽:https://youtu.be/flfm52T6lE8 【人際維基】桌遊體驗會~讓你一玩就懂別人的在乎~05/04(六)或 06/16(日)14:00 ...
-
類比訊號例子 在 啟點文化 Youtube 的最讚貼文
2019-03-25 19:00:03【線上課程】《時間駕訓班》~
學會提升效率,擺脫瞎忙人生,做自己時間的主人
課程連結:https://pse.is/DDDHB
第一講免費試聽:https://youtu.be/flfm52T6lE8
【人際維基】桌遊體驗會~讓你一玩就懂別人的在乎~05/04(六)或 06/16(日)14:00
活動資訊課程:https://www.koob.com.tw/contents/3072
【哈克工作坊】~讓你的存在,成為別人想親近的禮物~06/29(六) & 06/30(日)
課程資訊:https://www.koob.com.tw/contents/3897
【7/4 開課!】《學「問」~高難度對話的望聞問切》~第16期
掌握達成共識的關鍵能力!(僅剩三位名額)
課程資訊:http://www.koob.com.tw/contents/232
更多學員心得分享:http://goo.gl/A07zZ0
在專屬於你的天地裡,持續陪伴著你~
啟點xLine@:https://line.me/R/ti/p/%40teb0498p
線上課程【不用開口,就讓你擁有人際好感】
啟動人際溝通的關鍵影響力 https://goo.gl/v3ojdo
=============================
以下為本段內容文稿:
歡迎來到「一天聽一點」,今天要跟大家分享的主題是「恢復力」。
從小到大呢,你一定有「遭遇挫折」的經驗。比如說,你曾經在學校運動會裡,大隊接力的時候跌倒了,結果害班上的第一名飛了;從此以後,成了班上的罪人,很多年都不敢參加同學會。
或者是呢,你在談戀愛的時候,因為說錯了一句話、做錯了一件事,讓對方跟你提出分手,一直情傷到了現在,不想再談戀愛,也不敢再談戀愛。
又或者是呢,在職場上面,你曾經得罪過客戶、搞砸了專案、賠了一大筆錢這些事情。這些工作的挫敗,讓你從此以後可能停留在原地,再也不敢接受任何新的挑戰,或者是重新創業。
我相信每個人遇到這樣的事情的時候,在短時間之內,心情都很難再度的恢復美麗。
但是你會不會很好奇,為什麼有些人遇到挫折的時候,他可以很快的恢復,而且還越挫越勇、屹立不搖。
你一定從小就聽過,國父孫中山先生的故事吧?這比較有時代感喔!但是,比較現代的例子就是什麼?「地才」啊~蔡依林嘛!
她一出道的時候是少男殺手,但發生和經紀公司的合約風波,她甚至於被指控忘恩負義,演藝事業還一度中斷;然後又被專業的音樂人,評選為年度十大爛歌手。
在這些風雨底下,她仍然充滿韌性的站起來,不斷的充實自己,還奪下了金曲獎最佳女歌手、最佳專輯…這些獎項;她再造了自己的事業顛峰。
所以無論是歷史人物,或者是每個領域的成功人士,他們成功的原因,多數人會歸因為他們「成功的條件」。但是在我看來喔,他們的成功,來自於他們的「恢復力」特別好。
其實人生不如意事,十常八九。你多花一分鐘的時間,取暖討拍、舔傷口,你就少了一分鐘,能夠創造自己更多的可能性。那些活得好的人,不一定是機會比你多,但肯定是「恢復得比你快」。
然而,你可能會覺得喔,他們之所以比較容易從逆境當中爬起來,可能是因為運氣好、有貴人幫忙、他老子有錢。或者是他血液裡面的DNA太強,天生就是那種不服輸的個性…這些因素。
所以呢,他們的「恢復力」才會這麼的棒。如果喔,你確實就是這樣想,那不好意思,今天會顛覆你的想法。
我從身心科學的角度來看,其實「恢復力」是可以有效操作、可以學習的,而且一點都還不困難!
那到底什麼是「恢復力」呢?我相信每個人都有受傷的經驗,以一般的常識來說,身體某個部位,一旦有了創傷、傷口。
雖然呢都會流血,但血液裡面的白血球,也會馬上啟動,去阻止這些傷口的細菌進到身體裡面,對人體造成更大的危害,這一般來說,就是我們的「免疫力」。
而當我們受到挫折跟打擊的時候,雖然身體的外表並沒有受傷,但心靈受傷了,儘管表面上可能看不出來。
可是呢,有時候看不出來的傷,才需要好好的處理,因為這樣的「內傷」啊,會影響得更深、更遠。所以呢,在遭受挫折之後,能不能恢復對自己的信心?能不能從挫敗裡面走出來?
這樣的「恢復力」其實就是一種在心靈上面的「白血球」,你也可以把它說成
是「心靈的免疫力」。
如果你想要擁有更好的「心靈免疫力」,更好的「心靈白血球」。你只需要有意識的多練習,接下來我跟你分享的五個具體方法。
我相信你的「心靈病毒」來襲的時候,你就能夠輕鬆的擊敗它們,再度擁有明亮的好心情。
所以呢,這五個的第一個,叫做你要先「好好的呼吸」。是的,你沒有聽錯,想要啟動「恢復力」的第一個步驟,就是「好好呼吸」這麼簡單!
我想你一定很好奇喔,這個簡單的「好好呼吸」,和「恢復力」到底有什麼關係呢?
我來舉兩個身心連動的例子,你可能會比較容易明白。
一般來說喔,我們都知道喝咖啡能夠提神,但你一定也知道,喝太多的咖啡因,反而會讓人感覺到焦慮;這就是過多的生理刺激,去改變我們情緒狀況的一個現象。
那另外一個例子,你可能一定也發生過。就是當你肚子餓的時候,其實你只是想吃東西,可是在你沒有吃飽之前,你對任何事情都沒有興趣,甚至於不耐煩,還會發脾氣。
也就是說喔,肚子餓造成的生理反應,是全面癱瘓你的情緒控制,讓你的心情低落,或者是煩躁誒。
其實有太多的例子可以證明,我們生理的狀況,的確會影響到心理狀況;所以我們可以按照這樣的途徑,反向控制我們的情緒,讓它朝向正面的方式發展。
如果你不相信的話,你可以試著想想看,當你做完Spa,或者是泡過熱水澡之後,你的情緒通常會是什麼樣的感受?
你是不是會覺得很舒暢、很自在,而且呢身心感覺到非常的放鬆。那難道是「熱水」有跟你進行心理諮商?「熱水」跟你好好聊一聊嗎?
其實不是嘛!也就是說啊,我們身體狀況跟情緒之間,是絕對的正相關。身體狀況好,情緒自然就好。
甚至於當我們情緒低潮的時候,直接採用身體的途徑來幫助自己調整,效果反而會更快、更好!
只是當我們在遇到挫折的時候,不太可能馬上就經由泡澡,或者是按摩來得到情緒上的舒緩。那這個時候,最快速又最有效的身體途徑,去調整自己心理狀態,那就是透過「呼吸」。
在科學上呢,已經有研究發現喔,刻意進行呼吸的練習,可以減少我們的可體松的分泌;而可體松就是「壓力荷爾蒙」。
可以讓我們把身體,調整到一種更平靜的狀態,去幫助我們身體快速的從壓力當中復原;甚至於,會緩解你面對挑戰的時候的緊張程度。
所以,當你想要啟動「恢復力」,簡單的入口就是養成「好好呼吸」的習慣。
「好好呼吸」的基本的方法,其實就是每天花幾分鐘的時間,閉上你的眼睛,全神關注你的呼吸裡面,注意自己呼吸的速度、節奏、頻率。
那漸漸的,你會開始注意到,這看似很普通的呼吸,其實是可以調整自己的情緒。
打個比方喔!當你感覺到恐懼的時候,可能你會發現,自己的呼吸變得越來越快、越來越淺、越來越急促。
而這個時候呢,你可以有意識的放慢自己的呼吸,利用那種比較深而且緩慢的吸氣,你的心跳就能夠透過這個途徑,慢慢的放慢下來,進而讓自己的身體也跟著放鬆。
當你能夠越來越察覺自己呼吸的方法,你就能夠越來越掌握,自己每個當下的情緒。那麼無論在任何的困境,你都可以透過呼吸讓自己穩定下來,也穩住情緒,你這樣子才能夠好好面對所有的挑戰,並且想到解決問題的方法。
其實在我所開的課程裡面,尤其是像「CIA通達力」,這樣的結合個別指導的課程。第一門課,我就會教所有的學員,調整呼吸的方法,覺察自己的呼吸模式。
進而讓你能夠一步步的探索、發現自己的外在慣性和內在的信念,並且找到適合自己的調整,活出你自己想要的人生。
我很歡迎你可以把握這學習機會,這會是你改變人生的起點,相關的課程,在我們的影片說明裡面都有。
而接下來,我要跟你分享,第二個啟動「恢復力」的方法,那就是「走路」。
有研究告訴我們,在大自然裡短時間的散步,就可以顯著的降低焦慮感,讓我們保持正面的心情,甚至於還可以提升記憶力。
更有研究告訴我們,多和大自然的景色接觸。比如說,走在行道樹的步道上面、到河濱公園散步,就能夠帶給人幸福的感受,而且減低壓力感。
所以呢,當你遇到挫折,一直待在原地、原位,要自己好起來;還不如呢「好好呼吸」,然後「出去走一走」會來得更有效果。
第三個方法,叫做「關注自己的身心反應」。
我們忙亂的生活作息,經常會讓我們為了追求快速;所以呢,去吃一些方便但不健康的食物。那也會因為這樣子熬夜、忘記運動,或者是過度運動。
讓我們失去對自己身體的敏感度,然後放任自己的身體狀況走下坡,進一步的還影響到我們的情緒,造成精神上面的一個不安寧。
然而你有沒有發現,所有生命裡面的「不順」,幾乎在那同時,都跟你的身體出了一些狀況,會是同步、同時發生的?
所以如果你發現喔,自己已經忽略自己身體狀況一段時間了,我會非常建議你,開始從一些小地方調整自己的生活習慣、生活步調;我說喔這叫做「建立一些小習慣」。
哪怕只是每天做「五下深蹲」,這麼小的開始,你的潛意識都會收到一個正面的訊號,讓你開始感覺到自己的身體狀況;進而開始為自己的健康負責,而這樣子身心互動的正向循環就會開始。
所以說到這裡,你可能會想,到底要怎麼「建立小習慣」?那關於這方面的實際操作,在我的線上課程「時間駕訓班」裡面,有清楚具體的引導。
我們已經有很多朋友加入這門課,得到很大的幫助;我也在這邊歡迎你,一起加入、一起學習!
那麼接下來呢,啟動「恢復力」的第四個方法,那就是「相反邊的運動」。
什麼是「相反邊的運動」呢?簡單來說,就是去做一些,和你平常習慣相反的運動。
如果你平常的運動習慣是偏向比較「動態」的,像是跑步啊;那這個時候,你可以試著做瑜珈、打太極,這一類比較「靜」的活動。
那如果你原本的運動習慣就是「靜的、靜態的」,那我很建議你,你可以刻意的去打羽毛球、去游泳,這種比較「動態」的運動。
這樣刻意的操作,其實讓你在快跟慢這之間喔,好好的感受自己身體的變化,好好跟自己真正的在一起。
在此同時呢,也會因為運動模式的不同,你的大腦不同的區域也會得到適度的刺激,去產生更多的彈性跟創意。
更重要的是喔,在快跟慢之間,來回感受自己的「呼吸」、感受自己的肢體、感受自己當下的心情。它能夠讓你重新建立起對身體的敏感度,能夠更有效的調節生活步調和情緒。
最後呢,啟動「恢復力」的第五個方法,就是去「擁抱你愛的人」。
每個人在遭遇挫折的時候,往往會因為一時的失落,感覺到孤單、寂寞。那這個時候呢,你身邊有個愛你的、支持你的、願意對你展開雙手的人。
他就能夠讓你感覺到溫暖,讓你的身心都能夠得到充分的休息,重新聚集你的內在能量。
更重要的是喔,有研究告訴我們,「擁抱」會讓人心情愉快、舒解壓力,甚至於可以緩解疼痛。
擁抱的鎮痛效果,比嗎啡還要高出6.5倍。所以呢,能夠幫助人,更快的從挫敗裡面站起來。
我想這也是很多單身男女,會想方設法一定要交到男女朋友的原因之一喔。因為「被人擁抱」的感覺實在太棒了,彷彿回到母親的懷抱,讓人感覺到無比的安全。
其實說到這裡,人生難免會碰到一些低潮,但是呢有壓力、有失敗、有挫折,不必然就代表「結果」會很糟喔!
只要你能夠記得這五個方法:第一個「好好呼吸」、第二個「出去散步」、第三個「關心自己的身體健康」、第四個「刻意練習相反邊的運動」,最後一個,第五個「擁抱你愛的人」。
其實這五個方法,就可以幫助你啟動自己內在的「恢復力」,幫助你度過一切的難關。
其實圓滿的人生,不是奢求一帆風順,而是具備風雨過後的「恢復力」!
希望今天的分享,能夠帶給你一些啟發與幫助,我是凱宇。
如果你喜歡我製作的內容,請在影片裡按個喜歡,並訂閱我們的頻道,別忘了訂閱旁邊的小鈴鐺,按下去,這樣子你就不會錯過,我們所製作的內容。
然而如果你對於啟點文化的商品,或課程有興趣的話,我們在每一段影片的說明裡,都有相關的連結。
無論是我們的線上課程,還是實體課程,我都很期待,能夠跟你一起前進、一起學習,讓我們陪伴你圓滿自己的人生,謝謝你的收看,我們再會。
類比訊號例子 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳解答
摩爾定律放緩 靠啥提升AI晶片運算力?
作者 : 黃燁鋒,EE Times China
2021-07-26
對於電子科技革命的即將終結的說法,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有的,但這波革命始終也沒有結束。AI技術本質上仍然是第三次科技革命的延續……
人工智慧(AI)的技術發展,被很多人形容為第四次科技革命。前三次科技革命,分別是蒸汽、電氣、資訊技術(電子科技)革命。彷彿這“第四次”有很多種說辭,比如有人說第四次科技革命是生物技術革命,還有人說是量子技術革命。但既然AI也是第四次科技革命之一的候選技術,而且作為資訊技術的組成部分,卻又獨立於資訊技術,即表示它有獨到之處。
電子科技革命的即將終結,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有,但這波革命始終也沒有結束。
AI技術本質上仍然是第三次科技革命的延續,它的發展也依託於幾十年來半導體科技的進步。這些年出現了不少專門的AI晶片——而且市場參與者相眾多。當某一個類別的技術發展到出現一種專門的處理器為之服務的程度,那麼這個領域自然就不可小覷,就像當年GPU出現專門為圖形運算服務一樣。
所以AI晶片被形容為CPU、GPU之後的第三大類電腦處理器。AI專用處理器的出現,很大程度上也是因為摩爾定律的發展進入緩慢期:電晶體的尺寸縮減速度,已經無法滿足需求,所以就必須有某種專用架構(DSA)出現,以快速提升晶片效率,也才有了專門的AI晶片。
另一方面,摩爾定律的延緩也成為AI晶片發展的桎梏。在摩爾定律和登納德縮放比例定律(Dennard Scaling)發展的前期,電晶體製程進步為晶片帶來了相當大的助益,那是「happy scaling down」的時代——CPU、GPU都是這個時代受益,不過Dennard Scaling早在45nm時期就失效了。
AI晶片作為第三大類處理器,在這波發展中沒有趕上happy scaling down的好時機。與此同時,AI應用對運算力的需求越來越貪婪。今年WAIC晶片論壇圓桌討論環節,燧原科技創始人暨CEO趙立東說:「現在訓練的GPT-3模型有1750億參數,接近人腦神經元數量,我以為這是最大的模型了,要千張Nvidia的GPU卡才能做。談到AI運算力需求、模型大小的問題,說最大模型超過萬億參數,又是10倍。」
英特爾(Intel)研究院副總裁、中國研究院院長宋繼強說:「前兩年用GPU訓練一個大規模的深度學習模型,其碳排放量相當於5台美式車整個生命週期產生的碳排量。」這也說明了AI運算力需求的貪婪,以及提供運算力的AI晶片不夠高效。
不過作為產業的底層驅動力,半導體製造技術仍源源不斷地為AI發展提供推力。本文將討論WAIC晶片論壇上聽到,針對這個問題的一些前瞻性解決方案——有些已經實現,有些則可能有待時代驗證。
XPU、摩爾定律和異質整合
「電腦產業中的貝爾定律,是說能效每提高1,000倍,就會衍生出一種新的運算形態。」中科院院士劉明在論壇上說,「若每瓦功耗只能支撐1KOPS的運算,當時的這種運算形態是超算;到了智慧型手機時代,能效就提高到每瓦1TOPS;未來的智慧終端我們要達到每瓦1POPS。 這對IC提出了非常高的要求,如果依然沿著CMOS這條路去走,當然可以,但會比較艱辛。」
針對性能和效率提升,除了尺寸微縮,半導體產業比較常見的思路是電晶體結構、晶片結構、材料等方面的最佳化,以及處理架構的革新。
(1)AI晶片本身其實就是對處理器架構的革新,從運算架構的層面來看,針對不同的應用方向造不同架構的處理器是常規,更專用的處理器能促成效率和性能的成倍增長,而不需要依賴於電晶體尺寸的微縮。比如GPU、神經網路處理器(NPU,即AI處理器),乃至更專用的ASIC出現,都是這類思路。
CPU、GPU、NPU、FPGA等不同類型的晶片各司其職,Intel這兩年一直在推行所謂的「XPU」策略就是用不同類型的處理器去做不同的事情,「整合起來各取所需,用組合拳會好過用一種武器去解決所有問題。」宋繼強說。Intel的晶片產品就涵蓋了幾個大類,Core CPU、Xe GPU,以及透過收購獲得的AI晶片Habana等。
另外針對不同類型的晶片,可能還有更具體的最佳化方案。如當代CPU普遍加入AVX512指令,本質上是特別針對深度學習做加強。「專用」的不一定是處理器,也可以是處理器內的某些特定單元,甚至固定功能單元,就好像GPU中加入專用的光線追蹤單元一樣,這是當代處理器普遍都在做的一件事。
(2)從電晶體、晶片結構層面來看,電晶體的尺寸現在仍然在縮減過程中,只不過縮減幅度相比過去變小了——而且為緩解電晶體性能的下降,需要有各種不同的技術來輔助尺寸變小。比如說在22nm節點之後,電晶體變為FinFET結構,在3nm之後,電晶體即將演變為Gate All Around FET結構。最終會演化為互補FET (CFET),其本質都是電晶體本身充分利用Z軸,來實現微縮性能的提升。
劉明認為,「除了基礎元件的變革,IC現在的發展還是比較多元化,包括新材料的引進、元件結構革新,也包括微影技術。長期賴以微縮的基本手段,現在也在發生巨大的變化,特別是未來3D的異質整合。這些多元技術的協同發展,都為晶片整體性能提升帶來了很好的增益。」
他並指出,「從電晶體級、到晶圓級,再到晶片堆疊、引線接合(lead bonding),精準度從毫米向奈米演進,互連密度大大提升。」從晶圓/裸晶的層面來看,則是眾所周知的朝more than moore’s law這樣的路線發展,比如把兩片裸晶疊起來。現在很熱門的chiplet技術就是比較典型的並不依賴於傳統電晶體尺寸微縮,來彈性擴展性能的方案。
台積電和Intel這兩年都在大推將不同類型的裸晶,異質整合的技術。2.5D封裝方案典型如台積電的CoWoS,Intel的EMIB,而在3D堆疊上,Intel的Core LakeField晶片就是用3D Foveros方案,將不同的裸晶疊在一起,甚至可以實現兩片運算裸晶的堆疊、互連。
之前的文章也提到過AMD剛發佈的3D V-Cache,將CPU的L3 cache裸晶疊在運算裸晶上方,將處理器的L3 cache大小增大至192MB,對儲存敏感延遲應用的性能提升。相比Intel,台積電這項技術的獨特之處在於裸晶間是以混合接合(hybrid bonding)的方式互連,而不是micro-bump,做到更小的打線間距,以及晶片之間數十倍通訊性能和效率提升。
這些方案也不直接依賴傳統的電晶體微縮方案。這裡實際上還有一個方面,即新材料的導入專家們沒有在論壇上多說,本文也略過不談。
1,000倍的性能提升
劉明談到,當電晶體微縮的空間沒有那麼大的時候,產業界傾向於採用新的策略來評價技術——「PPACt」——即Powe r(功耗)、Performance (性能)、Cost/Area-Time (成本/面積-時間)。t指的具體是time-to-market,理論上應該也屬於成本的一部分。
電晶體微縮方案失效以後,「多元化的技術變革,依然會讓IC性能得到進一步的提升。」劉明說,「根據預測,這些技術即使不再做尺寸微縮,也會讓IC的晶片性能做到500~1,000倍的提升,到2035年實現Zetta Flops的系統性能水準。且超算的發展還可以一如既往地前進;單裸晶儲存容量變得越來越大,IC依然會為產業發展提供基礎。」
500~1,000倍的預測來自DARPA,感覺有些過於樂觀。因為其中的不少技術存在比較大的邊際遞減效應,而且有更實際的工程問題待解決,比如運算裸晶疊層的散熱問題——即便業界對於這類工程問題的探討也始終在持續。
不過1,000倍的性能提升,的確說明摩爾定律的終結並不能代表第三次科技革命的終結,而且還有相當大的發展空間。尤其本文談的主要是AI晶片,而不是更具通用性的CPU。
矽光、記憶體內運算和神經型態運算
在非傳統發展路線上(以上內容都屬於半導體製造的常規思路),WAIC晶片論壇上宋繼強和劉明都提到了一些頗具代表性的技術方向(雖然這可能與他們自己的業務方向或研究方向有很大的關係)。這些技術可能尚未大規模推廣,或者仍在商業化的極早期。
(1)近記憶體運算和記憶體內運算:處理器性能和效率如今面臨的瓶頸,很大程度並不在單純的運算階段,而在資料傳輸和儲存方面——這也是共識。所以提升資料的傳輸和存取效率,可能是提升整體系統性能時,一個非常靠譜的思路。
這兩年市場上的處理器產品用「近記憶體運算」(near-memory computing)思路的,應該不在少數。所謂的近記憶體運算,就是讓儲存(如cache、memory)單元更靠近運算單元。CPU的多層cache結構(L1、L2、L3),以及電腦處理器cache、記憶體、硬碟這種多層儲存結構是常規。而「近記憶體運算」主要在於究竟有多「近」,cache記憶體有利於隱藏當代電腦架構中延遲和頻寬的局限性。
這兩年在近記憶體運算方面比較有代表性的,一是AMD——比如前文提到3D V-cache增大處理器的cache容量,還有其GPU不僅在裸晶內導入了Infinity Cache這種類似L3 cache的結構,也更早應用了HBM2記憶體方案。這些實踐都表明,儲存方面的革新的確能帶來性能的提升。
另外一個例子則是Graphcore的IPU處理器:IPU的特點之一是在裸晶內堆了相當多的cache資源,cache容量遠大於一般的GPU和AI晶片——也就避免了頻繁的訪問外部儲存資源的操作,極大提升頻寬、降低延遲和功耗。
近記憶體運算的本質仍然是馮紐曼架構(Von Neumann architecture)的延續。「在做處理的過程中,多層級的儲存結構,資料的搬運不僅僅在處理和儲存之間,還在不同的儲存層級之間。這樣頻繁的資料搬運帶來了頻寬延遲、功耗的問題。也就有了我們經常說的運算體系內的儲存牆的問題。」劉明說。
構建非馮(non-von Neumann)架構,把傳統的、以運算為中心的馮氏架構,變換一種新的運算範式。把部分運算力下推到儲存。這便是記憶體內運算(in-memory computing)的概念。
記憶體內運算的就現在看來還是比較新,也有稱其為「存算一體」。通常理解為在記憶體中嵌入演算法,儲存單元本身就有運算能力,理論上消除資料存取的延遲和功耗。記憶體內運算這個概念似乎這在資料爆炸時代格外醒目,畢竟可極大減少海量資料的移動操作。
其實記憶體內運算的概念都還沒有非常明確的定義。現階段它可能的內涵至少涉及到在儲記憶體內部,部分執行資料處理工作;主要應用於神經網路(因為非常契合神經網路的工作方式),以及這類晶片具體的工作方法上,可能更傾向於神經型態運算(neuromorphic computing)。
對於AI晶片而言,記憶體內運算的確是很好的思路。一般的GPU和AI晶片執行AI負載時,有比較頻繁的資料存取操作,這對性能和功耗都有影響。不過記憶體內運算的具體實施方案,在市場上也是五花八門,早期比較具有代表性的Mythic導入了一種矩陣乘的儲存架構,用40nm嵌入式NOR,在儲記憶體內部執行運算,不過替換掉了數位週邊電路,改用類比的方式。在陣列內部進行模擬運算。這家公司之前得到過美國國防部的資金支援。
劉明列舉了近記憶體運算和記憶體內運算兩種方案的例子。其中,近記憶體運算的這個方案應該和AMD的3D V-cache比較類似,把儲存裸晶和運算裸晶疊起來。
劉明指出,「這是我們最近的一個工作,採用hybrid bonding的技術,與矽通孔(TSV)做比較,hybrid bonding功耗是0.8pJ/bit,而TSV是4pJ/bit。延遲方面,hybrid bonding只有0.5ns,而TSV方案是3ns。」台積電在3D堆疊方面的領先優勢其實也體現在hybrid bonding混合鍵合上,前文也提到了它具備更高的互連密度和效率。
另外這套方案還將DRAM刷新頻率提高了一倍,從64ms提高至128ms,以降低功耗。「應對刷新率變慢出現拖尾bit,我們引入RRAM TCAM索引這些tail bits」劉明說。
記憶體內運算方面,「傳統運算是用布林邏輯,一個4位元的乘法需要用到幾百個電晶體,這個過程中需要進行資料來回的移動。記憶體內運算是利用單一元件的歐姆定律來完成一次乘法,然後利用基爾霍夫定律完成列的累加。」劉明表示,「這對於今天深度學習的矩陣乘非常有利。它是原位的運算和儲存,沒有資料搬運。」這是記憶體內運算的常規思路。
「無論是基於SRAM,還是基於新型記憶體,相比近記憶體運算都有明顯優勢,」劉明認為。下圖是記憶體內運算和近記憶體運算,精準度、能效等方面的對比,記憶體內運算架構對於低精準度運算有價值。
下圖則總結了業內主要的一些記憶體內運算研究,在精確度和能效方面的對應關係。劉明表示,「需要高精確度、高運算力的情況下,近記憶體運算目前還是有優勢。不過記憶體內運算是更新的技術,這幾年的進步也非常快。」
去年阿里達摩院發佈2020年十大科技趨勢中,有一個就是存算一體突破AI算力瓶頸。不過記憶體內運算面臨的商用挑戰也一點都不小。記憶體內運算的通常思路都是類比電路的運算方式,這對記憶體、運算單元設計都需要做工程上的考量。與此同時這樣的晶片究竟由誰來造也是個問題:是記憶體廠商,還是數文書處理器廠商?(三星推過記憶體內運算晶片,三星、Intel垂直整合型企業似乎很適合做記憶體內運算…)
(2)神經型態運算:神經型態運算和記憶體內運算一樣,也是新興技術的熱門話題,這項技術有時也叫作compute in memory,可以認為它是記憶體內運算的某種發展方向。神經型態和一般神經網路AI晶片的差異是,這種結構更偏「類人腦」。
進行神經型態研究的企業現在也逐漸變得多起來,劉明也提到了AI晶片「最終的理想是在結構層次模仿腦,元件層次逼近腦,功能層次超越人腦」的「類腦運算」。Intel是比較早關注神經型態運算研究的企業之一。
傳說中的Intel Loihi就是比較典型存算一體的架構,「這片裸晶裡面包含128個小核心,每個核心用於模擬1,024個神經元的運算結構。」宋繼強說,「這樣一塊晶片大概可以類比13萬個神經元。我們做到的是把768個晶片再連起來,構成接近1億神經元的系統,讓學術界的夥伴去試用。」
「它和深度學習加速器相比,沒有任何浮點運算——就像人腦裡面沒有乘加器。所以其學習和訓練方法是採用一種名為spike neutral network的路線,功耗很低,也可以訓練出做視覺辨識、語言辨識和其他種類的模型。」宋繼強認為,不採用同步時脈,「刺激的時候就是一個非同步電動勢,只有工作部分耗電,功耗是現在深度學習加速晶片的千分之一。」
「而且未來我們可以對不同區域做劃分,比如這兒是視覺區、那兒是語言區、那兒是觸覺區,同時進行多模態訓練,互相之間產生關聯。這是現在的深度學習模型無法比擬的。」宋繼強說。這種神經型態運算晶片,似乎也是Intel在XPU方向上探索不同架構運算的方向之一。
(2)微型化矽光:這個技術方向可能在層級上更偏高了一些,不再晶片架構層級,不過仍然值得一提。去年Intel在Labs Day上特別談到了自己在矽光(Silicon Photonics)的一些技術進展。其實矽光技術在連接資料中心的交換機方面,已有應用了,發出資料時,連接埠處會有個收發器把電訊號轉為光訊號,透過光纖來傳輸資料,另一端光訊號再轉為電訊號。不過傳統的光收發器成本都比較高,內部元件數量大,尺寸也就比較大。
Intel在整合化的矽光(IIIV族monolithic的光學整合化方案)方面應該是商業化走在比較前列的,就是把光和電子相關的組成部分高度整合到晶片上,用IC製造技術。未來的光通訊不只是資料中心機架到機架之間,也可以下沉到板級——就跟現在傳統的電I/O一樣。電互連的主要問題是功耗太大,也就是所謂的I/O功耗牆,這是這類微型化矽光元件存在的重要價值。
這其中存在的技術挑戰還是比較多,如做資料的光訊號調變的調變器調變器,據說Intel的技術使其實現了1,000倍的縮小;還有在接收端需要有個探測器(detector)轉換光訊號,用所謂的全矽微環(micro-ring)結構,實現矽對光的檢測能力;波分複用技術實現頻寬倍增,以及把矽光和CMOS晶片做整合等。
Intel認為,把矽光模組與運算資源整合,就能打破必須帶更多I/O接腳做更大尺寸處理器的這種趨勢。矽光能夠實現的是更低的功耗、更大的頻寬、更小的接腳數量和尺寸。在跨處理器、跨伺服器節點之間的資料互動上,這類技術還是頗具前景,Intel此前說目標是實現每根光纖1Tbps的速率,並且能效在1pJ/bit,最遠距離1km,這在非本地傳輸上是很理想的數字。
還有軟體…
除了AI晶片本身,從整個生態的角度,包括AI感知到運算的整個鏈條上的其他組成部分,都有促成性能和效率提升的餘地。比如這兩年Nvidia從軟體層面,針對AI運算的中間層、庫做了大量最佳化。相同的底層硬體,透過軟體最佳化就能實現幾倍的性能提升。
宋繼強說,「我們發現軟體最佳化與否,在同一個硬體上可以達到百倍的性能差距。」這其中的餘量還是比較大。
在AI開發生態上,雖然Nvidia是最具發言權的;但從戰略角度來看,像Intel這種研發CPU、GPU、FPGA、ASIC,甚至還有神經型態運算處理器的企業而言,不同處理器統一開發生態可能更具前瞻性。Intel有個稱oneAPI的軟體平台,用一套API實現不同硬體性能埠的對接。這類策略對廠商的軟體框架構建能力是非常大的考驗——也極大程度關乎底層晶片的執行效率。
在摩爾定律放緩、電晶體尺寸微縮變慢甚至不縮小的前提下,處理器架構革新、異質整合與2.5D/3D封裝技術依然可以達成1,000倍的性能提升;而一些新的技術方向,包括近記憶體運算、記憶體內運算和微型矽光,能夠在資料訪存、傳輸方面產生新的價值;神經型態運算這種類腦運算方式,是實現AI運算的目標;軟體層面的最佳化,也能夠帶動AI性能的成倍增長。所以即便摩爾定律嚴重放緩,AI晶片的性能、效率提升在上面提到的這麼多方案加持下,終將在未來很長一段時間內持續飛越。這第三(四)次科技革命恐怕還很難停歇。
資料來源:https://www.eettaiwan.com/20210726nt61-ai-computing/?fbclid=IwAR3BaorLm9rL2s1ff6cNkL6Z7dK8Q96XulQPzuMQ_Yky9H_EmLsBpjBOsWg
類比訊號例子 在 白袍旅人-兒科楊為傑醫師 Facebook 的精選貼文
關於發燒的一部分迷思
1. 發燒都是不好的?發燒代表病情嚴重?
其實這樣的感受是很直覺但並非全部正確。
人會發燒,是因為我們的身體判斷「需要」發燒。發燒是疾病的結果,而不是原因。
例如:得到流感或其他感染性疾病,身體的免疫系統釋放出細胞激素,刺激我們腦部中管理體溫的中樞(在下視丘),然後我們的腦部放出訊號,透過肌肉顫動、周邊血管收縮等機制增加我們的體溫。
一句話:絕大多數狀況下,發燒是腦部的命令,並不直接來自病原體。
也有很多研究證明,發燒可以幫助我們的身體抵抗病原,發燒並非壞事。
身體需要抵抗病原,所以讓人發燒,雖然發燒可能會不舒服,但那未必是壞事。舉其他了例子,肚子餓也會不舒服,但是人會感到饑餓,也是因為腦部判定我們的身體需要進食,所以讓我有飢餓感。
缺乏能量時,我們「需要」肚子餓的感覺
需要抵抗病原時,我們「需要發燒」
大概可以這樣類比。
===================
發燒未必是壞事的另一個角度
以前照顧許多重症患者時,許多極其嚴重的患者,是「燒不起來的」。有的病人已經嚴重敗血症,甚至瀕臨死亡時,卻不會發燒。因為已經「燒不起來」了。
還「燒得起來」,未必是壞事.....。
表示腦部、免疫系統、肌肉骨骼系統、心血管系統都還OK
最近很多發高燒的孩子。
發高燒絕對要密切注意,但發高燒不等於病情嚴重。
一點觀念,跟大家分享^^
同時祝福大家,在歲末年終時,平安又健康
在這個 2020,健康就是福啊~~~~
類比訊號例子 在 麻的法課 - 邱豑慶醫師 Facebook 的精選貼文
之前寫過一篇關於索命麻醉的文章
有興趣的讀友可以翻出來再看一次
https://www.facebook.com/309451919769378/posts/316504692397434?sfns=mo
今天來談談 【肌肉鬆弛劑】
肌肉鬆弛劑,又是一個『中文誤我』的故事。
本文這裡講得肌肉鬆弛劑,指的是【阻斷肌肉神經傳導的藥物。】#Neuromuscular #blockade
也就是上一篇文章裡面講到,讓病人 #不動 的藥物。
跟你腰酸背痛,醫師開給你吃的【肌肉鬆弛劑】完全是兩回事。
#skeletal #muscle #relaxants
跟醫美診所打在你臉上,說是讓你臉部的肌肉放鬆,然後消除你原本可以夾死蒼蠅的皺紋的【肉毒桿菌】也是兩回事。
#botulinum #toxin
以英文來看,你完全不會弄錯。
但中文都翻譯成『肌肉鬆弛劑』,是不是就很容易被不知情的人混淆了呢?
不知道各位讀友是否還有人記得,2002年的新聞:
北城婦幼醫院的護士黃xx,因為將肌肉鬆弛劑當成B型肝炎疫苗,為新生兒施打,因此造成六女一男共七名新生兒生命垂危的不幸事件。
事實上,此類的肌肉鬆弛劑就是作用在神經與肌肉相交接處,讓要求肌肉收縮的神經訊號無法傳遞,達成讓全身的骨骼肌都無法收縮的藥理效果。(#如手繪圖一)
此類藥物起源於南美洲土著的 #箭毒(curare),最初的作用是塗在箭尖,中箭者意識清醒,也能感受到痛苦,但全身肌肉無力,全身都不能動麻痺而死!因為中了箭毒,你連呼吸的肌肉都不能收縮,所以你會活活不能呼吸窒息而死,後來這類藥物被廣泛用在手術上,也就是現今我們手術中會使用的 #肌肉鬆弛劑 (由英文來看,稱之為神經肌肉阻斷劑更合適)
(小編按:所以每個麻醉醫師都是 #用毒高手?)
至於口服的肌肉鬆弛劑呢?
阿婆腰痠背痛,抱小孩的媽媽手臂痠痛,運動員運動傷害肌肉拉傷,醫師很常開的口服的肌肉鬆弛劑,大概都歸類於這一類。
比如說 #Baclofen 是抑制腦和脊髓突觸的傳導,減少肌肉過度的收縮。常用在中風病人的肢體攣縮,可能會有一點輕微的嗜睡。
#Mephenoxalone 是最常見口服的肌肉鬆弛劑,可以抑制神經衝動的傳導,而達到緩解骨骼肌筋攣造成的肌肉疼痛,經由神經系統作用來產生肌肉鬆弛的效果。可以用來治療腰痛,落枕的脖子痛,過度使用造成的肌肉痛,肌肉僵硬。
以上這些口服的藥物是用來緩解肌肉收縮,或是減少肌肉的收縮,使肌肉放鬆。而針劑的箭毒類的肌肉神經阻斷劑,是造成肌肉的麻痺,而讓肌肉完全不能收縮,以便手術。 這是完全不同的藥物
但...但...但... 別懷疑~
真的會有 強克!崔西!卡比琪!的垃圾醫生,分不清楚這兩類藥的差別。
註:#junk #trash #garbage
醫師執照也不知道是去 #波蘭 買的,還是拿雞腿去換的。
這樣都敢學人家當醫生,也不知道勇氣是不是梁靜茹給的。
講兩個恐怖故事好了~
故事一:
有個診所的醫師,因為診所護理師腰痠背痛,因為診所沒有口服的肌肉鬆弛劑,所以好心的拿手術用的“肌肉鬆弛劑”幫護理師來一針~
然後呢?
護理師就沒有然後了~嗯,中了箭毒麻痺而死的故事,寫出來大概不是PG13,已經分類為R級了。
崔西卡比琪醫師呢?和解就把事件壓下來了~所以 #沒上新聞。
#不自殺聲明
#不要查我水表
故事二:
某個中部很鄉下的小醫院。
骨科手術,病患下肢骨折,被施打半身麻醉。
(有在發漏粉專的各位麻的法課友應該就知道,半身麻醉是從脊椎骨縫打針,只有麻醉下半身。而病人的上半身是清醒的,還會講話會聊天會呼吸~)
骨科醫:病人腳還在用力,還會踢我。
麻醫:心裏OS(蛤?都從脊椎阻斷傳導了...怎麼可能用力)
骨科醫:你技術這麼爛,有麻跟沒麻差不多!
麻醫:心裏OS(沒麻病人早就哇哇大叫痛了,阿婆醒著卻什麼話都沒說,就你話最多,可以不要尿不準怪馬桶歪嗎?)
骨科醫:不管啦,你給我打 #肌肉鬆弛劑。
麻醫:心裏OS(!!!要病人中箭毒清醒著麻痺而死???!!!)
你以為故事結束嗎?
麻醫拿出一支空針,從點滴裡抽了一點生理食鹽水,再加回去點滴。
麻醫:我幫你的病人加了肌肉鬆弛劑了~
骨科醫:就你嘴硬,早點加不就好了嗎?你看病人現在都鬆了,讓我好開多了!叫你早點加就不加,浪費大家時間....(以下省略一萬字)
嗯,據說那個骨科醫師到現在還依此為要求,要麻到他的手術的麻醉醫師都要幫他半身麻醉的病人打肌肉鬆弛劑。
#你以為我會承認那個麻醫是我嗎?
最後來聊聊下面的新聞,『術中清醒』
#麻,就是不痛。要給予病人適當的止痛藥物。(讓病人不痛)
#醉,就是不醒。要給予病人足量的鎮靜藥物。(讓病人睡著)
再加上 #肌肉鬆弛劑, 讓病人不動。
【不痛、不醒、不動,就是全身麻醉】
請參見《手繪圖二》
全身麻醉,麻的是你的腦,所以會讓你失去意識。如果讓你失去意識 #不醒 的藥物不夠,但 又給了你 #不動 的肌肉鬆弛劑,那索命麻醉的劇情,就會在你身上活活上演了。
下面的新聞就是個例子。
新聞:
意識清楚的狀態下「肚皮被醫師割開」病婦麻醉失敗,小手術變終生夢魘
https://www.ettoday.net/dalemon/post/42308
#本文歡迎轉載
#轉載請保留出處