雖然這篇底層邏輯線上看鄉民發文沒有被收入到精華區:在底層邏輯線上看這個話題中,我們另外找到其它相關的精選爆讚文章
在 底層邏輯線上看產品中有30篇Facebook貼文,粉絲數超過3,992的網紅台灣物聯網實驗室 IOT Labs,也在其Facebook貼文中提到, 摩爾定律放緩 靠啥提升AI晶片運算力? 作者 : 黃燁鋒,EE Times China 2021-07-26 對於電子科技革命的即將終結的說法,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎...
同時也有1部Youtube影片,追蹤數超過24萬的網紅啟點文化,也在其Youtube影片中提到,【線上課程】《過好人生學》~除了熱情,你更需要知道的事 讓你建立迎向未來的思維與能力! 課程連結:https://pse.is/H8JXH 第一講免費試聽:https://youtu.be/-EHOn0UxMys 【哈克獨門心法工作坊】~穿越迷霧,懂一個人真正的樣子~2019/10/19開課 課程...
底層邏輯線上看 在 BIG Student Instagram 的精選貼文
2021-08-03 08:38:57
【強化優勢,內向者在職場上也能發光】 #大學生聊職涯 不知道大家覺得自己個性是外向還是內向呢? 雖然目前時代推崇著外向的性格, 有想法就該舉手發言,不該錯過任何表現自己的機會🙋🏻♀️ 但 #侯智薰(Raymond)認為: 其實保守穩健才是人類原始的本性; 順勢分享給內向工作者的 3 個職場行動方...
底層邏輯線上看 在 Yvonne 希希 Instagram 的精選貼文
2021-09-16 10:28:31
你不需要假裝很努力 因為結果不會陪你演戲 - 在網路上充斥著正能量 心靈雞湯的現在 「努力」「認真」這樣的字眼被廣泛使用 可是真正把這樣的字眼變成氣質和態度的人少之又少 很多人慣性使用字眼的後果是 高估自己的努力程度 曾經我也是這類人 做到60分 講得像80分 就以為自己真的有80分 然...
底層邏輯線上看 在 林嘉宏 Dr.Win Instagram 的最佳解答
2020-05-02 15:35:44
Hi 台北的天氣開始變得陰陰的,不知道是不是跟石油價格波動有關... 昨天半夜真的很刺激,不同群組都有人在討論石油的價格, 當然一夕之間有很多專家都不再是專家了 油市猶如在平行宇宙一般,賣家一度願意倒貼40美元一桶的價錢,只求有人能把石油帶走...... 畢竟投資有賺有賠、不是沒有風險的 就像賭博...
-
底層邏輯線上看 在 啟點文化 Youtube 的精選貼文
2019-07-26 19:00:09【線上課程】《過好人生學》~除了熱情,你更需要知道的事
讓你建立迎向未來的思維與能力!
課程連結:https://pse.is/H8JXH
第一講免費試聽:https://youtu.be/-EHOn0UxMys
【哈克獨門心法工作坊】~穿越迷霧,懂一個人真正的樣子~2019/10/19開課
課程連結:https://www.koob.com.tw/contents/4022
【人際維基】桌遊體驗會~讓你一玩就懂別人的在乎~8/3(六)14:00
活動資訊課程:https://www.koob.com.tw/contents/3072
【線上課程】《時間駕訓班》~
學會提升效率,擺脫瞎忙人生,做自己時間的主人
課程連結:https://pse.is/DDDHB
第一講免費試聽:https://youtu.be/flfm52T6lE8
【線上課程】《人際斷捨離》~
讓你留下怦然心動的關係,活出輕盈自在的人生!
課程連結:https://pse.is/E5MW5
第一講免費試聽:https://youtu.be/YyLvd1cNcDw
線上課程【不用開口,就讓你擁有人際好感】
啟動人際溝通的關鍵影響力 https://goo.gl/v3ojdo
桌遊【人際維基】~一玩就懂得別人的在乎:https://goo.gl/Ej4hjQ
到蝦皮購買【人際維基】:https://goo.gl/ASruqR
=============================
以下為本段內容文稿:
前一陣子跟大家分享過一本書,他是一位日本的社會學家,他的作品叫做《朋友這種幻想》。
那我還記得呢,我透過這本書,跟大家分享一些深得我心,而且跟我一直以來的想法,很能夠呼應的人際觀點。
那今天呢,我又從這一本書裡面,看到了第二個很有趣的主題,叫做「幸福」。
作者在這本書裡面,提到「幸福」有兩個關鍵,第一個關鍵是「自我充實」,而第二個是「與他人的交流」。
那今天呢,我就跟你分享一下,關於「自我充實」的這個部分。自我充實的另外一種說法,也可以說是「自我實現」。
它的意思就是說喔,只要能夠獲得發揮自身能力的機會,做到自己想做的事情,就能夠掌握莫大的「幸福感」。
在英文裡面有個詞彙,叫做「Calling」。而我們的翻譯,會稱作是「召喚」或者是「天職」。
它的意思就是喔,上天呼叫我,要我從事的工作;或許也可以解釋為,上天所賜予的天賦資質吧!
你可以想想看哦,當一個人在工作上,能夠完全發揮天賜的能力的時候,那是一件多麼幸福的事情!
而我們在想到,有哪些人活出自己的calling,或者是活得很能夠自我實現、自我充實,往往我們會想到一些典型的成功案例。比如說,知名的運動選手,或者是那些藝術家,擁有一些特殊能力的人。
可是這裡的問題就發生了,當我每次想到召喚,或calling的時候,我們都想到那些在平均分配裡面,所謂的「極端值的成功人士」。
那你會不會因為這樣子,反觀自照,你會覺得自己永遠找不到自己的召喚;又或者是會懷疑那些,自己可能「很適合做的事」,而且「做起來很開心的」的那些部分,到底是不是自己的天職?
因為它相對於那些「典型的成功」,比較起來好像微不足道。不是嗎?
雖然這一本書,這一位作者,他沒有針對這個部分,再多做著墨;但是呢,我就特別想要分享這個部分。
因為在我多年的個案教練,跟生命的實踐裡喔,我常發現很多人喔,總是用那些「極端值的成功典型」來對比於現在的自己。
第一個,你這樣子對比,你一定不會快樂;而第二個,當你這樣子對比的時候,其實搞不好你有很好的條件跟潛能。
但是因為你一下子把比較的標準,放在「太極端值」的部分,以導致於你的此刻當下,你連起步都不想起步,你連開始都不想開始。
所以呢,如果你要問我:「要能夠活出自我實現、要能夠活出自己的召喚跟calling」?
它的核心仍然是不變的,叫做只要你覺得自己很適合做某件事,而且這件事情做起來很開心,而且同時還能夠發揮自己的能力。
基本上,就已經很靠近了自我充實、自我實現;你基本上就已經活出了,自己的天職跟calling。
我聽過一句話喔,叫做「他人是地獄」。
你想想看,當我們把自己那些自己很適合做這件事,做起來很開心,而且能夠發揮自己的能力的那些部分,開始跟別人「比較」。
你相信我,十有八九的人一旦開始比較,就會開始懷疑,這到底是不是我真的想做的?這到底是不是我的天職?這到底是不是我的calling?
好!如果我們順著這個邏輯再去推理,當你因為「比較」,而脫離了自己符合前面說的那些條件的事情的時候,日子一久,就算你取得了成功,你可能還是會對自己很失望,你會有一種生命底層的不快樂。
好!那另外一個狀況是什麼?如果你不成功呢,那是不是叫做雙重挫折?因為你已經遠離了,那個你會快樂的事,然而你的客觀現象,仍然不成功啊!
所以呢,如果你問我:「要怎麼樣在自己的人生,跟生涯裡活得更好,活出自己想要的樣子,過上一個自己想要的好人生」?
我說喔,有一些理論都是對的。比如說,你要找到自己適合做的哪些事情,和做起來很開心的事,同時還能夠發揮自己的能力。
但是啊,千萬不要「比較」!
尤其是你剛開始在進入這個領域,你還只是個「學徒」的時候,千萬千萬記得,這個時候你需要的是認識這個領域、熟悉這個領域,去培養那些必要的基礎;而不是去做「比較」。
可是當你能夠在學徒階段,創造出一些必要的結果的時候,這個時候,你因為有一個成熟的技術、能力跟態度。
這時候開始的比較,它的用意也不在於爭高下;而是透過「比較」,你能夠自我精進,這才是關鍵!
因為只有你把動機放回自己身上,透過自我精進的過程當中,你在面對很多岔路、很多出口的選擇,你才會一次一次的選回「自己生命的召喚」。
並且在透過這個實踐的過程當中,重新定義你正在做的事情,並且找到你做這件事情的「核心意義」。
所以談到這裡,如果你期許自己的生命,就是要活出自己想要的樣子、活出自己要的自我充實,或自我實現。
那麼我要問你的是,到底你自己適合做什麼事?哪些事情你會做起來開心,而且能夠發揮自己的能力呢?
如果你已經有答案,記得一件事,在剛開始的時候,你最不需要的就是「比較」;然而如果你沒有答案的話,也沒有關係。
其實你只要具備有,在每個生命階段當中,在你的當下裡,都能夠創造出一些必要的結果。
我常常說喔:「幸福,並不是找到一件最對的事情來做,而是透過做對你眼前手邊正在做的事,去引發出下一件更對的事」。
然而這一切的觀念、思維,跟能力、做法,如果你有更大的好奇,並且渴望讓自己的人生活得更好的話;那麼我很鼓勵你,我近期推出的線上課程,叫做【過好人生學】,它會帶給你決定性的幫助。
我將跟你分享的,不只是思維跟想法,更有扎實的做法跟選擇的智慧。而且透過線上學習,你可以擺脫時間跟空間的限制,隨時隨地的開始進行學習與實踐。
生命是你的,選擇也在你手上。現在的關鍵問題就在於,你想要活出一個更好的人生嗎?如果你想要的話,歡迎你的加入。
希望今天的分享,能夠帶給你一些啓發與幫助,我是凱宇。
如果你喜歡我製作的內容,請在影片裡按個喜歡,並且訂閱我們的頻道。別忘了訂閱旁邊的小鈴鐺,按下去;這樣子你就不會錯過我們所製作的內容。
然而如果你對於啟點文化的商品,或課程有興趣的話,如同今天分享的【過好人生學】。
在我們每一段影片的說明裡,都有相關的連結;我很期待在線上,跟你一起學習、一起前進。
謝謝你的收聽,我們再會。
底層邏輯線上看 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文
摩爾定律放緩 靠啥提升AI晶片運算力?
作者 : 黃燁鋒,EE Times China
2021-07-26
對於電子科技革命的即將終結的說法,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有的,但這波革命始終也沒有結束。AI技術本質上仍然是第三次科技革命的延續……
人工智慧(AI)的技術發展,被很多人形容為第四次科技革命。前三次科技革命,分別是蒸汽、電氣、資訊技術(電子科技)革命。彷彿這“第四次”有很多種說辭,比如有人說第四次科技革命是生物技術革命,還有人說是量子技術革命。但既然AI也是第四次科技革命之一的候選技術,而且作為資訊技術的組成部分,卻又獨立於資訊技術,即表示它有獨到之處。
電子科技革命的即將終結,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有,但這波革命始終也沒有結束。
AI技術本質上仍然是第三次科技革命的延續,它的發展也依託於幾十年來半導體科技的進步。這些年出現了不少專門的AI晶片——而且市場參與者相眾多。當某一個類別的技術發展到出現一種專門的處理器為之服務的程度,那麼這個領域自然就不可小覷,就像當年GPU出現專門為圖形運算服務一樣。
所以AI晶片被形容為CPU、GPU之後的第三大類電腦處理器。AI專用處理器的出現,很大程度上也是因為摩爾定律的發展進入緩慢期:電晶體的尺寸縮減速度,已經無法滿足需求,所以就必須有某種專用架構(DSA)出現,以快速提升晶片效率,也才有了專門的AI晶片。
另一方面,摩爾定律的延緩也成為AI晶片發展的桎梏。在摩爾定律和登納德縮放比例定律(Dennard Scaling)發展的前期,電晶體製程進步為晶片帶來了相當大的助益,那是「happy scaling down」的時代——CPU、GPU都是這個時代受益,不過Dennard Scaling早在45nm時期就失效了。
AI晶片作為第三大類處理器,在這波發展中沒有趕上happy scaling down的好時機。與此同時,AI應用對運算力的需求越來越貪婪。今年WAIC晶片論壇圓桌討論環節,燧原科技創始人暨CEO趙立東說:「現在訓練的GPT-3模型有1750億參數,接近人腦神經元數量,我以為這是最大的模型了,要千張Nvidia的GPU卡才能做。談到AI運算力需求、模型大小的問題,說最大模型超過萬億參數,又是10倍。」
英特爾(Intel)研究院副總裁、中國研究院院長宋繼強說:「前兩年用GPU訓練一個大規模的深度學習模型,其碳排放量相當於5台美式車整個生命週期產生的碳排量。」這也說明了AI運算力需求的貪婪,以及提供運算力的AI晶片不夠高效。
不過作為產業的底層驅動力,半導體製造技術仍源源不斷地為AI發展提供推力。本文將討論WAIC晶片論壇上聽到,針對這個問題的一些前瞻性解決方案——有些已經實現,有些則可能有待時代驗證。
XPU、摩爾定律和異質整合
「電腦產業中的貝爾定律,是說能效每提高1,000倍,就會衍生出一種新的運算形態。」中科院院士劉明在論壇上說,「若每瓦功耗只能支撐1KOPS的運算,當時的這種運算形態是超算;到了智慧型手機時代,能效就提高到每瓦1TOPS;未來的智慧終端我們要達到每瓦1POPS。 這對IC提出了非常高的要求,如果依然沿著CMOS這條路去走,當然可以,但會比較艱辛。」
針對性能和效率提升,除了尺寸微縮,半導體產業比較常見的思路是電晶體結構、晶片結構、材料等方面的最佳化,以及處理架構的革新。
(1)AI晶片本身其實就是對處理器架構的革新,從運算架構的層面來看,針對不同的應用方向造不同架構的處理器是常規,更專用的處理器能促成效率和性能的成倍增長,而不需要依賴於電晶體尺寸的微縮。比如GPU、神經網路處理器(NPU,即AI處理器),乃至更專用的ASIC出現,都是這類思路。
CPU、GPU、NPU、FPGA等不同類型的晶片各司其職,Intel這兩年一直在推行所謂的「XPU」策略就是用不同類型的處理器去做不同的事情,「整合起來各取所需,用組合拳會好過用一種武器去解決所有問題。」宋繼強說。Intel的晶片產品就涵蓋了幾個大類,Core CPU、Xe GPU,以及透過收購獲得的AI晶片Habana等。
另外針對不同類型的晶片,可能還有更具體的最佳化方案。如當代CPU普遍加入AVX512指令,本質上是特別針對深度學習做加強。「專用」的不一定是處理器,也可以是處理器內的某些特定單元,甚至固定功能單元,就好像GPU中加入專用的光線追蹤單元一樣,這是當代處理器普遍都在做的一件事。
(2)從電晶體、晶片結構層面來看,電晶體的尺寸現在仍然在縮減過程中,只不過縮減幅度相比過去變小了——而且為緩解電晶體性能的下降,需要有各種不同的技術來輔助尺寸變小。比如說在22nm節點之後,電晶體變為FinFET結構,在3nm之後,電晶體即將演變為Gate All Around FET結構。最終會演化為互補FET (CFET),其本質都是電晶體本身充分利用Z軸,來實現微縮性能的提升。
劉明認為,「除了基礎元件的變革,IC現在的發展還是比較多元化,包括新材料的引進、元件結構革新,也包括微影技術。長期賴以微縮的基本手段,現在也在發生巨大的變化,特別是未來3D的異質整合。這些多元技術的協同發展,都為晶片整體性能提升帶來了很好的增益。」
他並指出,「從電晶體級、到晶圓級,再到晶片堆疊、引線接合(lead bonding),精準度從毫米向奈米演進,互連密度大大提升。」從晶圓/裸晶的層面來看,則是眾所周知的朝more than moore’s law這樣的路線發展,比如把兩片裸晶疊起來。現在很熱門的chiplet技術就是比較典型的並不依賴於傳統電晶體尺寸微縮,來彈性擴展性能的方案。
台積電和Intel這兩年都在大推將不同類型的裸晶,異質整合的技術。2.5D封裝方案典型如台積電的CoWoS,Intel的EMIB,而在3D堆疊上,Intel的Core LakeField晶片就是用3D Foveros方案,將不同的裸晶疊在一起,甚至可以實現兩片運算裸晶的堆疊、互連。
之前的文章也提到過AMD剛發佈的3D V-Cache,將CPU的L3 cache裸晶疊在運算裸晶上方,將處理器的L3 cache大小增大至192MB,對儲存敏感延遲應用的性能提升。相比Intel,台積電這項技術的獨特之處在於裸晶間是以混合接合(hybrid bonding)的方式互連,而不是micro-bump,做到更小的打線間距,以及晶片之間數十倍通訊性能和效率提升。
這些方案也不直接依賴傳統的電晶體微縮方案。這裡實際上還有一個方面,即新材料的導入專家們沒有在論壇上多說,本文也略過不談。
1,000倍的性能提升
劉明談到,當電晶體微縮的空間沒有那麼大的時候,產業界傾向於採用新的策略來評價技術——「PPACt」——即Powe r(功耗)、Performance (性能)、Cost/Area-Time (成本/面積-時間)。t指的具體是time-to-market,理論上應該也屬於成本的一部分。
電晶體微縮方案失效以後,「多元化的技術變革,依然會讓IC性能得到進一步的提升。」劉明說,「根據預測,這些技術即使不再做尺寸微縮,也會讓IC的晶片性能做到500~1,000倍的提升,到2035年實現Zetta Flops的系統性能水準。且超算的發展還可以一如既往地前進;單裸晶儲存容量變得越來越大,IC依然會為產業發展提供基礎。」
500~1,000倍的預測來自DARPA,感覺有些過於樂觀。因為其中的不少技術存在比較大的邊際遞減效應,而且有更實際的工程問題待解決,比如運算裸晶疊層的散熱問題——即便業界對於這類工程問題的探討也始終在持續。
不過1,000倍的性能提升,的確說明摩爾定律的終結並不能代表第三次科技革命的終結,而且還有相當大的發展空間。尤其本文談的主要是AI晶片,而不是更具通用性的CPU。
矽光、記憶體內運算和神經型態運算
在非傳統發展路線上(以上內容都屬於半導體製造的常規思路),WAIC晶片論壇上宋繼強和劉明都提到了一些頗具代表性的技術方向(雖然這可能與他們自己的業務方向或研究方向有很大的關係)。這些技術可能尚未大規模推廣,或者仍在商業化的極早期。
(1)近記憶體運算和記憶體內運算:處理器性能和效率如今面臨的瓶頸,很大程度並不在單純的運算階段,而在資料傳輸和儲存方面——這也是共識。所以提升資料的傳輸和存取效率,可能是提升整體系統性能時,一個非常靠譜的思路。
這兩年市場上的處理器產品用「近記憶體運算」(near-memory computing)思路的,應該不在少數。所謂的近記憶體運算,就是讓儲存(如cache、memory)單元更靠近運算單元。CPU的多層cache結構(L1、L2、L3),以及電腦處理器cache、記憶體、硬碟這種多層儲存結構是常規。而「近記憶體運算」主要在於究竟有多「近」,cache記憶體有利於隱藏當代電腦架構中延遲和頻寬的局限性。
這兩年在近記憶體運算方面比較有代表性的,一是AMD——比如前文提到3D V-cache增大處理器的cache容量,還有其GPU不僅在裸晶內導入了Infinity Cache這種類似L3 cache的結構,也更早應用了HBM2記憶體方案。這些實踐都表明,儲存方面的革新的確能帶來性能的提升。
另外一個例子則是Graphcore的IPU處理器:IPU的特點之一是在裸晶內堆了相當多的cache資源,cache容量遠大於一般的GPU和AI晶片——也就避免了頻繁的訪問外部儲存資源的操作,極大提升頻寬、降低延遲和功耗。
近記憶體運算的本質仍然是馮紐曼架構(Von Neumann architecture)的延續。「在做處理的過程中,多層級的儲存結構,資料的搬運不僅僅在處理和儲存之間,還在不同的儲存層級之間。這樣頻繁的資料搬運帶來了頻寬延遲、功耗的問題。也就有了我們經常說的運算體系內的儲存牆的問題。」劉明說。
構建非馮(non-von Neumann)架構,把傳統的、以運算為中心的馮氏架構,變換一種新的運算範式。把部分運算力下推到儲存。這便是記憶體內運算(in-memory computing)的概念。
記憶體內運算的就現在看來還是比較新,也有稱其為「存算一體」。通常理解為在記憶體中嵌入演算法,儲存單元本身就有運算能力,理論上消除資料存取的延遲和功耗。記憶體內運算這個概念似乎這在資料爆炸時代格外醒目,畢竟可極大減少海量資料的移動操作。
其實記憶體內運算的概念都還沒有非常明確的定義。現階段它可能的內涵至少涉及到在儲記憶體內部,部分執行資料處理工作;主要應用於神經網路(因為非常契合神經網路的工作方式),以及這類晶片具體的工作方法上,可能更傾向於神經型態運算(neuromorphic computing)。
對於AI晶片而言,記憶體內運算的確是很好的思路。一般的GPU和AI晶片執行AI負載時,有比較頻繁的資料存取操作,這對性能和功耗都有影響。不過記憶體內運算的具體實施方案,在市場上也是五花八門,早期比較具有代表性的Mythic導入了一種矩陣乘的儲存架構,用40nm嵌入式NOR,在儲記憶體內部執行運算,不過替換掉了數位週邊電路,改用類比的方式。在陣列內部進行模擬運算。這家公司之前得到過美國國防部的資金支援。
劉明列舉了近記憶體運算和記憶體內運算兩種方案的例子。其中,近記憶體運算的這個方案應該和AMD的3D V-cache比較類似,把儲存裸晶和運算裸晶疊起來。
劉明指出,「這是我們最近的一個工作,採用hybrid bonding的技術,與矽通孔(TSV)做比較,hybrid bonding功耗是0.8pJ/bit,而TSV是4pJ/bit。延遲方面,hybrid bonding只有0.5ns,而TSV方案是3ns。」台積電在3D堆疊方面的領先優勢其實也體現在hybrid bonding混合鍵合上,前文也提到了它具備更高的互連密度和效率。
另外這套方案還將DRAM刷新頻率提高了一倍,從64ms提高至128ms,以降低功耗。「應對刷新率變慢出現拖尾bit,我們引入RRAM TCAM索引這些tail bits」劉明說。
記憶體內運算方面,「傳統運算是用布林邏輯,一個4位元的乘法需要用到幾百個電晶體,這個過程中需要進行資料來回的移動。記憶體內運算是利用單一元件的歐姆定律來完成一次乘法,然後利用基爾霍夫定律完成列的累加。」劉明表示,「這對於今天深度學習的矩陣乘非常有利。它是原位的運算和儲存,沒有資料搬運。」這是記憶體內運算的常規思路。
「無論是基於SRAM,還是基於新型記憶體,相比近記憶體運算都有明顯優勢,」劉明認為。下圖是記憶體內運算和近記憶體運算,精準度、能效等方面的對比,記憶體內運算架構對於低精準度運算有價值。
下圖則總結了業內主要的一些記憶體內運算研究,在精確度和能效方面的對應關係。劉明表示,「需要高精確度、高運算力的情況下,近記憶體運算目前還是有優勢。不過記憶體內運算是更新的技術,這幾年的進步也非常快。」
去年阿里達摩院發佈2020年十大科技趨勢中,有一個就是存算一體突破AI算力瓶頸。不過記憶體內運算面臨的商用挑戰也一點都不小。記憶體內運算的通常思路都是類比電路的運算方式,這對記憶體、運算單元設計都需要做工程上的考量。與此同時這樣的晶片究竟由誰來造也是個問題:是記憶體廠商,還是數文書處理器廠商?(三星推過記憶體內運算晶片,三星、Intel垂直整合型企業似乎很適合做記憶體內運算…)
(2)神經型態運算:神經型態運算和記憶體內運算一樣,也是新興技術的熱門話題,這項技術有時也叫作compute in memory,可以認為它是記憶體內運算的某種發展方向。神經型態和一般神經網路AI晶片的差異是,這種結構更偏「類人腦」。
進行神經型態研究的企業現在也逐漸變得多起來,劉明也提到了AI晶片「最終的理想是在結構層次模仿腦,元件層次逼近腦,功能層次超越人腦」的「類腦運算」。Intel是比較早關注神經型態運算研究的企業之一。
傳說中的Intel Loihi就是比較典型存算一體的架構,「這片裸晶裡面包含128個小核心,每個核心用於模擬1,024個神經元的運算結構。」宋繼強說,「這樣一塊晶片大概可以類比13萬個神經元。我們做到的是把768個晶片再連起來,構成接近1億神經元的系統,讓學術界的夥伴去試用。」
「它和深度學習加速器相比,沒有任何浮點運算——就像人腦裡面沒有乘加器。所以其學習和訓練方法是採用一種名為spike neutral network的路線,功耗很低,也可以訓練出做視覺辨識、語言辨識和其他種類的模型。」宋繼強認為,不採用同步時脈,「刺激的時候就是一個非同步電動勢,只有工作部分耗電,功耗是現在深度學習加速晶片的千分之一。」
「而且未來我們可以對不同區域做劃分,比如這兒是視覺區、那兒是語言區、那兒是觸覺區,同時進行多模態訓練,互相之間產生關聯。這是現在的深度學習模型無法比擬的。」宋繼強說。這種神經型態運算晶片,似乎也是Intel在XPU方向上探索不同架構運算的方向之一。
(2)微型化矽光:這個技術方向可能在層級上更偏高了一些,不再晶片架構層級,不過仍然值得一提。去年Intel在Labs Day上特別談到了自己在矽光(Silicon Photonics)的一些技術進展。其實矽光技術在連接資料中心的交換機方面,已有應用了,發出資料時,連接埠處會有個收發器把電訊號轉為光訊號,透過光纖來傳輸資料,另一端光訊號再轉為電訊號。不過傳統的光收發器成本都比較高,內部元件數量大,尺寸也就比較大。
Intel在整合化的矽光(IIIV族monolithic的光學整合化方案)方面應該是商業化走在比較前列的,就是把光和電子相關的組成部分高度整合到晶片上,用IC製造技術。未來的光通訊不只是資料中心機架到機架之間,也可以下沉到板級——就跟現在傳統的電I/O一樣。電互連的主要問題是功耗太大,也就是所謂的I/O功耗牆,這是這類微型化矽光元件存在的重要價值。
這其中存在的技術挑戰還是比較多,如做資料的光訊號調變的調變器調變器,據說Intel的技術使其實現了1,000倍的縮小;還有在接收端需要有個探測器(detector)轉換光訊號,用所謂的全矽微環(micro-ring)結構,實現矽對光的檢測能力;波分複用技術實現頻寬倍增,以及把矽光和CMOS晶片做整合等。
Intel認為,把矽光模組與運算資源整合,就能打破必須帶更多I/O接腳做更大尺寸處理器的這種趨勢。矽光能夠實現的是更低的功耗、更大的頻寬、更小的接腳數量和尺寸。在跨處理器、跨伺服器節點之間的資料互動上,這類技術還是頗具前景,Intel此前說目標是實現每根光纖1Tbps的速率,並且能效在1pJ/bit,最遠距離1km,這在非本地傳輸上是很理想的數字。
還有軟體…
除了AI晶片本身,從整個生態的角度,包括AI感知到運算的整個鏈條上的其他組成部分,都有促成性能和效率提升的餘地。比如這兩年Nvidia從軟體層面,針對AI運算的中間層、庫做了大量最佳化。相同的底層硬體,透過軟體最佳化就能實現幾倍的性能提升。
宋繼強說,「我們發現軟體最佳化與否,在同一個硬體上可以達到百倍的性能差距。」這其中的餘量還是比較大。
在AI開發生態上,雖然Nvidia是最具發言權的;但從戰略角度來看,像Intel這種研發CPU、GPU、FPGA、ASIC,甚至還有神經型態運算處理器的企業而言,不同處理器統一開發生態可能更具前瞻性。Intel有個稱oneAPI的軟體平台,用一套API實現不同硬體性能埠的對接。這類策略對廠商的軟體框架構建能力是非常大的考驗——也極大程度關乎底層晶片的執行效率。
在摩爾定律放緩、電晶體尺寸微縮變慢甚至不縮小的前提下,處理器架構革新、異質整合與2.5D/3D封裝技術依然可以達成1,000倍的性能提升;而一些新的技術方向,包括近記憶體運算、記憶體內運算和微型矽光,能夠在資料訪存、傳輸方面產生新的價值;神經型態運算這種類腦運算方式,是實現AI運算的目標;軟體層面的最佳化,也能夠帶動AI性能的成倍增長。所以即便摩爾定律嚴重放緩,AI晶片的性能、效率提升在上面提到的這麼多方案加持下,終將在未來很長一段時間內持續飛越。這第三(四)次科技革命恐怕還很難停歇。
資料來源:https://www.eettaiwan.com/20210726nt61-ai-computing/?fbclid=IwAR3BaorLm9rL2s1ff6cNkL6Z7dK8Q96XulQPzuMQ_Yky9H_EmLsBpjBOsWg
底層邏輯線上看 在 心靈僻靜花園 Facebook 的精選貼文
💜 小布老師塔羅占卜:七月運勢?
靜心閉眼深呼吸,依直覺選取一張牌。答案為連結天使的牌義,並非完全遵照塔羅牌義。
#下期線上天使塔羅課
#報名登記中
#有興趣學習如何占卜解牌歡迎報名
#也提供一對一線上課程
1)選到這組牌的,七月開始即將邁入一個新的旅程。所有卡關的、執拗的、困囿的,讓你感到沉溺的、錯置的以及停滯不前的,都將有所轉變。你之前所經歷的,都有靈魂層次上的安排,你將開始運用之前的資源滋養自己,開創出一條屬於自己的道途。工作職場上,會有新變動,尤其是之前被困滯許多的事,會開始動起來。相對來說一股新生的力量,正在促使你走向更寬闊的格局。如果你一直以來都有持續進修自己的身心靈,那麼想必即將看見你的舞台了。感情上那種令人感到被背叛(不一定是真實被某人背叛)的感受,以及對於選擇錯誤的感覺,都到了要明朗化的階段了。如果你還沉溺在其中不願意選擇出走來,那麼至少心境上的抽離我想你多少受到指引了,也許是事件或他人起了變化。
#建議:這是個強化內心之家格局的時期,你的遠見除了能啓發他人,帶給他人新的洞見之外,也能穩定自己內在的安全感,並且更明白在更精微的層次上,你一直是在蛻變的。多充實你的內在視野,相信真理是在追尋靈魂體驗的人生上的。
2)選到這組牌的,命運與機會正交織在你的人生十字路口上。你要相信「上帝為你關上一扇門,會再為你開一扇窗」,還是「命運掌握在自己手裡,你才是自己人生的創造者」是一個算是試煉的考驗。這個月你有可能經驗事件的變動,把那些你之前深埋在地窖不想去面對的人事物,都翻攪上台面上逼你面視。如果把上述的前者比擬成「潛意識」,那麼後者就是「意識」,也就是一個「高我-小我」之爭。那麼以往順利在意識層次決定的事件,有可能會出現潛意識層推動的意外結果。也就是說,如果事情不如預期,你不必太驚訝於所謂的「意外」,因為它在看不見的潛意識層中,是有進程安排的,並不是憑空意外發生的。你能做的是調整好心態,試著敞開心去接納。這是一個能深度成長的契機,會使你更明白除了意識頭腦之外,有更廣大浩瀚的宇宙及心靈。這個月多留意訴訟、合約及法律問題。如果你要做任何決定,請記得依照你的心,也就是你的熱情所在去做,而不是因恐懼或害怕失去而做。兩者所架構出的結果會截然不同。在感情上,你的伴侶(或會遇到的對象)是你的一面鏡子,你愛上的他/她,其實是你心裡理想中的另一個自己。因此切勿過於理想化對方,否則真實與對方接觸後,容易帶出對於幻滅的憤怒。
#建議:這時期的任何思維或溝通,都有著潛意識的驅動。深度觀察自己的每個起心動念,你會更明白你的需求及他人的渴望是什麼,而不是表面上所說的那些話。
3)選到這組牌的,這個月會有令人興奮的行動與結果,如果你長期努力下來,事情即將成功。在工作職場上會交出漂亮的成綪單,獲得贊賞及肯定;在團體中也會表現亮眼,受到重用,得到相對應的權力。總之這是你有所努力就會獲得成果的月份,然而這個月的挑戰在於人際疏離,及情感的舊傷會被引動。如果你自知是個疏離依附型的人,以往你都與人在外/內在保持距離,那麼這個月會更明顯。而這種疏離感在能力認可上雖說沒有問題,但在與人相處的過程中,會無法敞開心與他人互動。因此容易戴著面具表現自己,但心中其實渴望他人能真正看見你。這股矛盾會在情感或人際上顯現,比如你所創造出來的疏離是你不在乎他人怎麼想,於是伴侶會在長期冷漠的模式下尋找其他出路,而逼迫你不得不再一次面對失去的傷痛,而更證實疏離有其必要。或是人際上疏離也許是怕麻煩,但久而久之他人也會對你關閉心房,而後孤立感又會更讓你認為曲高和寡,因此更疏離。
#建議:清明的意識與獨特的思維用在拓展個人事業上,很是加分。但是它多少會造成人際孤寂感,建議多滋養自己內在的需求。有時候必須看清不去碰觸某些事,是因為挪出心力去做更有意義的事,還是避免觸及挫敗感。
4)選到這組牌的,你擁有強大的直覺力及創意,這個月必須把你強大的直覺及靈感落實。你不能永遠只是想,要有行動及做為。收集資訊、評估、計劃及討論都是有必要的,但若是沒有付諸實行,一切都不會成真。但若是你是做與人交流互動有關的工作,比如人資部、公關、祕書、行銷等,那麼「與人交流」本身就是你的執行度,那麼想必這個月你的表現會很出色。簡單說就是,你目前的能量很能收取到別人心中的感受,如果你依循這個方向去規劃或執行,結果會是令人滿意的。唯一是,若是你收取到他人的感受會勾起自己的黑洞時,那麼你可能會因為恐懼而錯過良機。比如你明明「感覺」到他人需要你強烈推銷,但這並不是自己的強項且你害怕被拒絕的情況下,就可能錯失機運。這個月你適合去參加身心靈工作坊、課程或相關書籍,你會找到適合自己的心靈棲所。感情上會有吝於付出的恐懼議題出現,這通常會包裹在對方沒有如我預期滿足我的需求表面之下。也就是說如果你抱怨的是對方沒有做到某些事時,很可能是你渴望獲得卻又自覺給不了自己,而依賴於他人的嬰兒狀態。當然也有可能是相反,對於他人的付出你感到有壓迫性,那麼這也和你底層的需求是否被自己滿足有關。
#建議:講道理的議題,通常不在「邏輯」上,而是道理之下,你在「要」什麼。這會出現在你與團隊領導上,也會出現在生活中的細節要求裡,更會是工作上與同事或上司的表現裡。那個有「強迫性」傾向的紀律或規矩,真正在索取什麼?或是在避免什麼呢?
✅ 天使塔羅諮詢師證書班
課程結束你會學習到:
• 如何和自己的能量氣場調頻
• 如何開啓超感官能力
• 如何接收天使訊息
• 如何得知身體病痛所傳達的訊息
• 西方神祕學元素及應用
• 色彩象徽符號及意義
• 數字代表意涵及象徵、靈性數字、古希伯來文數字
• 星座三態宮、四象宮及元素性質
• 78張塔羅牌牌義及相關神祕學及神話元素
• 牌陣解牌及應用
• 天使塔羅諮詢師結業證書
➡️課程時間:預計8或9月四個星期日
➡️地點:線上google meet
➡️費用:$30,000
完成匯款後通知我後五碼才算報名成功
戶名:邱俞璇
銀行:台北富邦(012)
帳號:757-168-003670
底層邏輯線上看 在 圈圈媽咪玩人類圖教養 Facebook 的最佳貼文
【 相愛不相殺-線上關係工作坊 】
#人類圖居家防疫充電站之解心不解圖諮詢 活動中,除了親子問題,另一個大重點就是與伴侶/家人之間的愛恨情仇困頓糾結🙈🙉🙊
從人類圖的脈絡中,看見彼此底層的需求/本質,願意開始嘗試調整互動模式,讓彼此都回到最舒服的狀態,不再需要為難彼此,也許會發現,人人都可以是神隊友❤️
很開心和 Repeat的人類圖計程車 一路從clubhouse 的雲端合作,終於進階到這次的關係工作坊🥳
非常邏輯人Repeat +非常感知人的我,看看文案就知道,這次的工作坊肯定精彩有趣!😌
#你準備好要跟我們一起練習跳一支迷人舒服的雙人舞了咩?(背景音樂已下🎵🎶🎵🎶)
-
相愛不相殺-關係工作坊(週日,13:30-15:00)
🔸7/11共譜和諧的樂章:類型之間的互動模式
🔸7/18不踩腳的探戈:能量中心的交互影響
🔸7/25你愛上的是誰:人生角色的行為側寫
🔸8/1:神隊友養成密技:整合分享彩蛋限定場
單場報名 $2,000、任選兩場 $3,500、三場合報$5,000(加購彩蛋場共$6000)
曾參與兩位講師讀書會/一階/解讀的學員75折。
更多詳情請見報名網址:https://forms.gle/g25F8WzYcKM1DjEG8