[爆卦]神經網路優勢是什麼?優點缺點精華區懶人包

雖然這篇神經網路優勢鄉民發文沒有被收入到精華區:在神經網路優勢這個話題中,我們另外找到其它相關的精選爆讚文章

在 神經網路優勢產品中有137篇Facebook貼文,粉絲數超過1萬的網紅竹科大小事,也在其Facebook貼文中提到, 科技部政風主管一行蒞臨新竹生醫園區參訪 竹科管理局邀請筑波、旺北、及萊鎂等三家廠商展示其特色產品 第二家旺北科技黃董事長親自蒞臨會場簡介該公司重要的醫療器材產品,諸如「多參數生理訊號監視器」、「心電圖監視器」、「血氧濃度監視器」等,這些產品均已銷售至國內各大醫院提供臨床使用。該公司的多參數生理訊號...

 同時也有4部Youtube影片,追蹤數超過8萬的網紅范琪斐,也在其Youtube影片中提到,美國總統大選已經進入最後倒數100日衝刺階段了,雖然我人在台灣,但是一定會郵寄投票,投票是公民的義務,其實不是,是因為我很賭爛。好啦,這裡還是強調一下好了,投賭爛票是不好的行為,我們要選賢與能,OK?這不過,這個川貴人一定是知道我有這種想法,先前已經好幾次批評郵寄投票,說這樣會造成選舉舞弊啦、選票會...

神經網路優勢 在 ?I’m脆餅? 美食•旅遊•美妝保養•穿搭•日常分享 Instagram 的最佳貼文

2021-08-18 09:20:51

_ 我有一位皮膚超級好的朋友 每次問她到底怎麼保養的,她都回答她就是每天敷面膜而已🤔🤔🤔 雖然先前有專家建議面膜一個禮拜敷兩~三次就好了 但有敷面膜有保養真的有差🥸🥸🥸 透過網路推薦看到 @skinumber 推出的 #全面修護組 和其他面膜廠牌不同的是 #SKINUMBER 選用有實驗研究數據的...

神經網路優勢 在 瑞塔????♡女神心機高階核心領導 Instagram 的精選貼文

2021-09-10 22:32:38

美妍日記膠原蛋白熱銷的秘密🍒 成分: 德國水解專利膠原蛋白(分子小易吸收) 日本圓酵母專利穀胱甘肽 頂級牛乳萃取賽洛美(又稱神經醯胺) 滿滿維生素C (不需再額外補充) 適合族群: 超過20歲以上 工作壓力大 常曬太陽者 愛吃油炸 經常熬夜 注重保養 優勢: 台灣製造 小資價格 獨立包裝 攜帶...

  • 神經網路優勢 在 竹科大小事 Facebook 的精選貼文

    2021-09-16 15:10:09
    有 35 人按讚

    科技部政風主管一行蒞臨新竹生醫園區參訪
    竹科管理局邀請筑波、旺北、及萊鎂等三家廠商展示其特色產品

    第二家旺北科技黃董事長親自蒞臨會場簡介該公司重要的醫療器材產品,諸如「多參數生理訊號監視器」、「心電圖監視器」、「血氧濃度監視器」等,這些產品均已銷售至國內各大醫院提供臨床使用。該公司的多參數生理訊號監視器不僅獲得台灣的醫療許可字號,並且也獲得歐盟CE以及美國FDA 510K的認證,可於歐洲及美國地區以第二類醫療器材販售。此外,該公司的產品不只可以顯示常規的生理數據,如心電圖(ECG)、血氧濃度(SpO2)、血壓(NIBP)等參數,更可以AI的人工智能計算顯示HRV相關參數,含交感及副交感神經拮抗等資訊,這在預防醫學上具有重要意義,可以讓心血管疾病防範於未然,這是其他各大廠牌生理監視器都還沒有的功能。另外,旺北科技的腕式脈搏血氧濃度計Wrist-100具備了長時間監測及記錄功能,並且提供了藍芽傳輸,這是睡眠呼吸中止症患者的佳音,可以做為睡眠呼吸中止症的初篩工具,不用苦等睡眠中心的床位,安心地在家自我檢測,該產品也提供相關檢測報告,如: 睡眠呼吸中止重要的參數ODI(每小時血氧下降次數)等。上述都是旺北科技產品的重要特性。該公司也不以此自滿,亟思結合現代疾病醫療與預防醫學的應用,增加產品的多用性,使多重參數合併分析,並利用現今快速的網路雲端技術,使累積的臨床資訊進行統計、分析、歸納出重要的醫病關係,以加值現役產品,一直都是未來重要的研發方向。

    另外,該公司近期也推出純水電解氫氧機,這是未來十分看好的一項新產品,依據現代醫學研究,氫氣在人體中具備良好的抗發炎及還原效果,日本厚生省已於2016年底,將氫氣正式納入醫療產品及健保給付中;在這波新冠肺炎期間,中國也將氫氧氣設備納入第3類醫療器材,使用在新冠肺炎患者身上,獲得良好效果,在台灣,也有多項氫氣臨床試驗研究正在進行中,旺北科技也著手規劃相關的臨床試驗,包含與台灣大學動物性臨床試驗及人體臨床試驗等計畫,希望以自身GMP工廠的優勢,使氫氧機真正成為醫療器材產品。

  • 神經網路優勢 在 Minny0413脆餅 Facebook 的最讚貼文

    2021-08-11 00:17:25
    有 8 人按讚

    _
    我有一位皮膚超級好的朋友
    每次問她到底怎麼保養的,她都回答她就是每天敷面膜而已
    雖然先前有專家建議面膜一個禮拜敷兩~三次就好了
    但有敷面膜有在保養真的有差

    透過網路推薦看到 Skinumber 顏質學 推出的全面修護組
    和其他面膜廠牌不同的是SKINUMBER選用有實驗研究數據的成分
    肌膚保養科學中藏著各種的數字密碼
    skinumber深度鑽研每個數據背後的意義,一一解答肌膚常見的四種問題
    皮膚失衡與5α還原酶的相關性、角質層含水35%是肌膚的理想狀態、黑色素與肌膚色澤的14天代謝週期、肌膚彈性與R7參數之間的緊密關係
    不特別追求植萃、天然、有機,添加足量濃度,有效才是最基本的堅持
    兼顧安全、質感、品質,歷經無數次打樣、試驗
    再砍掉重練的循環,提供最滿意的產品給大家

    #skinumber 5α 淨透平衡面膜
    面膜上的5代表的就是5α 還原酶
    透過研究得知 5α 還原酶會促使皮脂腺大量產生皮脂,
    因此抑制 5α 還原酶活性,可幫助解決肌膚油水分泌失調的情況
    5α 淨透平衡面膜使用 6 大科研成分、3 大主軸 :
    平衡 5α 還原酶的 AC.NET 和紅苜蓿芽萃取,穩定肌膚狀態的益生源,
    與調理肌質的柳蘭萃取、金盞花萃取和仙人掌花萃取,使皮脂分泌恢復平衡,穩定膚況
    一盒面膜有5片,讓人意外的是面膜摸起來超柔軟

    看了官網介紹才知道他們的面膜是採用100%純棉面膜布,
    通過美國棉、日本紡績協會純棉認證,
    擁有高保水、柔軟親膚與環境友善等優勢,包覆每一滴精華
    敷在臉上也很服貼,適量的精華不會有過於黏膩感


    敷完臉後的臉呈現自然透亮的光澤感,本來因為夏天戴口罩臉很常出油



    使用skinumber 5α 淨透平衡面膜後出油的情況改善滿多的


    #skinumber 14D 光淨煥顏面膜
    面膜上的14代表著14 天的代謝週期,
    經過研究發現黑色素從肌底層浮上角質層需要經過 14 天的代謝週,
    skinumber 從肌膚密碼中尋找解決方案,透過有效成分加強亮白、均勻膚色,為你的透亮光采加把勁!
    夏天紫外線係數高最怕被曬黑了
    除了使用防曬產品,日曬後的保養也是很重要的
    14D 光淨煥顏面膜使用的 8 大科研成分、4 大主軸 :
    提升膚色亮度的沒黑素、榖胱甘肽、熊果苷,修護肌膚的皮脂仿生神經醯胺,穩定肌膚狀態的益生源,
    保濕提亮的牡丹花萃取、虎耳草提取物、黃芩根萃取,達到淨白肌膚、修護膚質的效果
    敷在臉上也是很服貼,敷完後可以感覺到肌膚吸滿水分
    而且非常透亮,讓原本的暗沉和膚色不均改善很多

    保養最輕鬆的方式就是敷面膜啦!!!
    而且夏天敷冰冰涼涼的超享受
    如果你也想要有讓人羨慕的好膚質
    最簡單的方式就是從面膜開始~

    🛒 @skinumber

    👉🏻skinumber 官網:https://www.skinumber.com/
    👉🏻skinumber FB粉絲頁:https://www.facebook.com/skinumber
    👉🏻skinumber 銷售頁面:�5α淨透平衡面膜:https://skinumber.tw/5a淨透平衡面膜�14D光淨煥顏面膜:https://skinumber.tw/14D光淨煥顏面膜�35%漾澤保濕面膜:https://skinumber.tw/35漾澤保濕面膜�R7彈潤修護面膜:https://skinumber.tw/R7彈潤修護面膜�全面修護組:https://skinumber.tw/全面修護組合
    _
    _
    _
    #純棉面膜 #顏質學 #益生菌保養 #skinumber
    #面膜 #面膜推薦 #面膜代購 #面膜分享 #保養 #保養分享 #臉部保養 #保濕 #保濕面霜 #保濕產品 #控油面膜 #14d光淨煥顏面膜

  • 神經網路優勢 在 台灣物聯網實驗室 IOT Labs Facebook 的精選貼文

    2021-07-27 11:56:34
    有 1 人按讚

    摩爾定律放緩 靠啥提升AI晶片運算力?

    作者 : 黃燁鋒,EE Times China
    2021-07-26

    對於電子科技革命的即將終結的說法,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有的,但這波革命始終也沒有結束。AI技術本質上仍然是第三次科技革命的延續……

    人工智慧(AI)的技術發展,被很多人形容為第四次科技革命。前三次科技革命,分別是蒸汽、電氣、資訊技術(電子科技)革命。彷彿這“第四次”有很多種說辭,比如有人說第四次科技革命是生物技術革命,還有人說是量子技術革命。但既然AI也是第四次科技革命之一的候選技術,而且作為資訊技術的組成部分,卻又獨立於資訊技術,即表示它有獨到之處。

    電子科技革命的即將終結,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有,但這波革命始終也沒有結束。

    AI技術本質上仍然是第三次科技革命的延續,它的發展也依託於幾十年來半導體科技的進步。這些年出現了不少專門的AI晶片——而且市場參與者相眾多。當某一個類別的技術發展到出現一種專門的處理器為之服務的程度,那麼這個領域自然就不可小覷,就像當年GPU出現專門為圖形運算服務一樣。

    所以AI晶片被形容為CPU、GPU之後的第三大類電腦處理器。AI專用處理器的出現,很大程度上也是因為摩爾定律的發展進入緩慢期:電晶體的尺寸縮減速度,已經無法滿足需求,所以就必須有某種專用架構(DSA)出現,以快速提升晶片效率,也才有了專門的AI晶片。

    另一方面,摩爾定律的延緩也成為AI晶片發展的桎梏。在摩爾定律和登納德縮放比例定律(Dennard Scaling)發展的前期,電晶體製程進步為晶片帶來了相當大的助益,那是「happy scaling down」的時代——CPU、GPU都是這個時代受益,不過Dennard Scaling早在45nm時期就失效了。

    AI晶片作為第三大類處理器,在這波發展中沒有趕上happy scaling down的好時機。與此同時,AI應用對運算力的需求越來越貪婪。今年WAIC晶片論壇圓桌討論環節,燧原科技創始人暨CEO趙立東說:「現在訓練的GPT-3模型有1750億參數,接近人腦神經元數量,我以為這是最大的模型了,要千張Nvidia的GPU卡才能做。談到AI運算力需求、模型大小的問題,說最大模型超過萬億參數,又是10倍。」

    英特爾(Intel)研究院副總裁、中國研究院院長宋繼強說:「前兩年用GPU訓練一個大規模的深度學習模型,其碳排放量相當於5台美式車整個生命週期產生的碳排量。」這也說明了AI運算力需求的貪婪,以及提供運算力的AI晶片不夠高效。

    不過作為產業的底層驅動力,半導體製造技術仍源源不斷地為AI發展提供推力。本文將討論WAIC晶片論壇上聽到,針對這個問題的一些前瞻性解決方案——有些已經實現,有些則可能有待時代驗證。

    XPU、摩爾定律和異質整合

    「電腦產業中的貝爾定律,是說能效每提高1,000倍,就會衍生出一種新的運算形態。」中科院院士劉明在論壇上說,「若每瓦功耗只能支撐1KOPS的運算,當時的這種運算形態是超算;到了智慧型手機時代,能效就提高到每瓦1TOPS;未來的智慧終端我們要達到每瓦1POPS。 這對IC提出了非常高的要求,如果依然沿著CMOS這條路去走,當然可以,但會比較艱辛。」

    針對性能和效率提升,除了尺寸微縮,半導體產業比較常見的思路是電晶體結構、晶片結構、材料等方面的最佳化,以及處理架構的革新。

    (1)AI晶片本身其實就是對處理器架構的革新,從運算架構的層面來看,針對不同的應用方向造不同架構的處理器是常規,更專用的處理器能促成效率和性能的成倍增長,而不需要依賴於電晶體尺寸的微縮。比如GPU、神經網路處理器(NPU,即AI處理器),乃至更專用的ASIC出現,都是這類思路。

    CPU、GPU、NPU、FPGA等不同類型的晶片各司其職,Intel這兩年一直在推行所謂的「XPU」策略就是用不同類型的處理器去做不同的事情,「整合起來各取所需,用組合拳會好過用一種武器去解決所有問題。」宋繼強說。Intel的晶片產品就涵蓋了幾個大類,Core CPU、Xe GPU,以及透過收購獲得的AI晶片Habana等。

    另外針對不同類型的晶片,可能還有更具體的最佳化方案。如當代CPU普遍加入AVX512指令,本質上是特別針對深度學習做加強。「專用」的不一定是處理器,也可以是處理器內的某些特定單元,甚至固定功能單元,就好像GPU中加入專用的光線追蹤單元一樣,這是當代處理器普遍都在做的一件事。

    (2)從電晶體、晶片結構層面來看,電晶體的尺寸現在仍然在縮減過程中,只不過縮減幅度相比過去變小了——而且為緩解電晶體性能的下降,需要有各種不同的技術來輔助尺寸變小。比如說在22nm節點之後,電晶體變為FinFET結構,在3nm之後,電晶體即將演變為Gate All Around FET結構。最終會演化為互補FET (CFET),其本質都是電晶體本身充分利用Z軸,來實現微縮性能的提升。

    劉明認為,「除了基礎元件的變革,IC現在的發展還是比較多元化,包括新材料的引進、元件結構革新,也包括微影技術。長期賴以微縮的基本手段,現在也在發生巨大的變化,特別是未來3D的異質整合。這些多元技術的協同發展,都為晶片整體性能提升帶來了很好的增益。」

    他並指出,「從電晶體級、到晶圓級,再到晶片堆疊、引線接合(lead bonding),精準度從毫米向奈米演進,互連密度大大提升。」從晶圓/裸晶的層面來看,則是眾所周知的朝more than moore’s law這樣的路線發展,比如把兩片裸晶疊起來。現在很熱門的chiplet技術就是比較典型的並不依賴於傳統電晶體尺寸微縮,來彈性擴展性能的方案。

    台積電和Intel這兩年都在大推將不同類型的裸晶,異質整合的技術。2.5D封裝方案典型如台積電的CoWoS,Intel的EMIB,而在3D堆疊上,Intel的Core LakeField晶片就是用3D Foveros方案,將不同的裸晶疊在一起,甚至可以實現兩片運算裸晶的堆疊、互連。

    之前的文章也提到過AMD剛發佈的3D V-Cache,將CPU的L3 cache裸晶疊在運算裸晶上方,將處理器的L3 cache大小增大至192MB,對儲存敏感延遲應用的性能提升。相比Intel,台積電這項技術的獨特之處在於裸晶間是以混合接合(hybrid bonding)的方式互連,而不是micro-bump,做到更小的打線間距,以及晶片之間數十倍通訊性能和效率提升。

    這些方案也不直接依賴傳統的電晶體微縮方案。這裡實際上還有一個方面,即新材料的導入專家們沒有在論壇上多說,本文也略過不談。

    1,000倍的性能提升

    劉明談到,當電晶體微縮的空間沒有那麼大的時候,產業界傾向於採用新的策略來評價技術——「PPACt」——即Powe r(功耗)、Performance (性能)、Cost/Area-Time (成本/面積-時間)。t指的具體是time-to-market,理論上應該也屬於成本的一部分。

    電晶體微縮方案失效以後,「多元化的技術變革,依然會讓IC性能得到進一步的提升。」劉明說,「根據預測,這些技術即使不再做尺寸微縮,也會讓IC的晶片性能做到500~1,000倍的提升,到2035年實現Zetta Flops的系統性能水準。且超算的發展還可以一如既往地前進;單裸晶儲存容量變得越來越大,IC依然會為產業發展提供基礎。」

    500~1,000倍的預測來自DARPA,感覺有些過於樂觀。因為其中的不少技術存在比較大的邊際遞減效應,而且有更實際的工程問題待解決,比如運算裸晶疊層的散熱問題——即便業界對於這類工程問題的探討也始終在持續。

    不過1,000倍的性能提升,的確說明摩爾定律的終結並不能代表第三次科技革命的終結,而且還有相當大的發展空間。尤其本文談的主要是AI晶片,而不是更具通用性的CPU。

    矽光、記憶體內運算和神經型態運算

    在非傳統發展路線上(以上內容都屬於半導體製造的常規思路),WAIC晶片論壇上宋繼強和劉明都提到了一些頗具代表性的技術方向(雖然這可能與他們自己的業務方向或研究方向有很大的關係)。這些技術可能尚未大規模推廣,或者仍在商業化的極早期。

    (1)近記憶體運算和記憶體內運算:處理器性能和效率如今面臨的瓶頸,很大程度並不在單純的運算階段,而在資料傳輸和儲存方面——這也是共識。所以提升資料的傳輸和存取效率,可能是提升整體系統性能時,一個非常靠譜的思路。

    這兩年市場上的處理器產品用「近記憶體運算」(near-memory computing)思路的,應該不在少數。所謂的近記憶體運算,就是讓儲存(如cache、memory)單元更靠近運算單元。CPU的多層cache結構(L1、L2、L3),以及電腦處理器cache、記憶體、硬碟這種多層儲存結構是常規。而「近記憶體運算」主要在於究竟有多「近」,cache記憶體有利於隱藏當代電腦架構中延遲和頻寬的局限性。

    這兩年在近記憶體運算方面比較有代表性的,一是AMD——比如前文提到3D V-cache增大處理器的cache容量,還有其GPU不僅在裸晶內導入了Infinity Cache這種類似L3 cache的結構,也更早應用了HBM2記憶體方案。這些實踐都表明,儲存方面的革新的確能帶來性能的提升。

    另外一個例子則是Graphcore的IPU處理器:IPU的特點之一是在裸晶內堆了相當多的cache資源,cache容量遠大於一般的GPU和AI晶片——也就避免了頻繁的訪問外部儲存資源的操作,極大提升頻寬、降低延遲和功耗。

    近記憶體運算的本質仍然是馮紐曼架構(Von Neumann architecture)的延續。「在做處理的過程中,多層級的儲存結構,資料的搬運不僅僅在處理和儲存之間,還在不同的儲存層級之間。這樣頻繁的資料搬運帶來了頻寬延遲、功耗的問題。也就有了我們經常說的運算體系內的儲存牆的問題。」劉明說。

    構建非馮(non-von Neumann)架構,把傳統的、以運算為中心的馮氏架構,變換一種新的運算範式。把部分運算力下推到儲存。這便是記憶體內運算(in-memory computing)的概念。

    記憶體內運算的就現在看來還是比較新,也有稱其為「存算一體」。通常理解為在記憶體中嵌入演算法,儲存單元本身就有運算能力,理論上消除資料存取的延遲和功耗。記憶體內運算這個概念似乎這在資料爆炸時代格外醒目,畢竟可極大減少海量資料的移動操作。

    其實記憶體內運算的概念都還沒有非常明確的定義。現階段它可能的內涵至少涉及到在儲記憶體內部,部分執行資料處理工作;主要應用於神經網路(因為非常契合神經網路的工作方式),以及這類晶片具體的工作方法上,可能更傾向於神經型態運算(neuromorphic computing)。

    對於AI晶片而言,記憶體內運算的確是很好的思路。一般的GPU和AI晶片執行AI負載時,有比較頻繁的資料存取操作,這對性能和功耗都有影響。不過記憶體內運算的具體實施方案,在市場上也是五花八門,早期比較具有代表性的Mythic導入了一種矩陣乘的儲存架構,用40nm嵌入式NOR,在儲記憶體內部執行運算,不過替換掉了數位週邊電路,改用類比的方式。在陣列內部進行模擬運算。這家公司之前得到過美國國防部的資金支援。

    劉明列舉了近記憶體運算和記憶體內運算兩種方案的例子。其中,近記憶體運算的這個方案應該和AMD的3D V-cache比較類似,把儲存裸晶和運算裸晶疊起來。

    劉明指出,「這是我們最近的一個工作,採用hybrid bonding的技術,與矽通孔(TSV)做比較,hybrid bonding功耗是0.8pJ/bit,而TSV是4pJ/bit。延遲方面,hybrid bonding只有0.5ns,而TSV方案是3ns。」台積電在3D堆疊方面的領先優勢其實也體現在hybrid bonding混合鍵合上,前文也提到了它具備更高的互連密度和效率。

    另外這套方案還將DRAM刷新頻率提高了一倍,從64ms提高至128ms,以降低功耗。「應對刷新率變慢出現拖尾bit,我們引入RRAM TCAM索引這些tail bits」劉明說。

    記憶體內運算方面,「傳統運算是用布林邏輯,一個4位元的乘法需要用到幾百個電晶體,這個過程中需要進行資料來回的移動。記憶體內運算是利用單一元件的歐姆定律來完成一次乘法,然後利用基爾霍夫定律完成列的累加。」劉明表示,「這對於今天深度學習的矩陣乘非常有利。它是原位的運算和儲存,沒有資料搬運。」這是記憶體內運算的常規思路。

    「無論是基於SRAM,還是基於新型記憶體,相比近記憶體運算都有明顯優勢,」劉明認為。下圖是記憶體內運算和近記憶體運算,精準度、能效等方面的對比,記憶體內運算架構對於低精準度運算有價值。

    下圖則總結了業內主要的一些記憶體內運算研究,在精確度和能效方面的對應關係。劉明表示,「需要高精確度、高運算力的情況下,近記憶體運算目前還是有優勢。不過記憶體內運算是更新的技術,這幾年的進步也非常快。」

    去年阿里達摩院發佈2020年十大科技趨勢中,有一個就是存算一體突破AI算力瓶頸。不過記憶體內運算面臨的商用挑戰也一點都不小。記憶體內運算的通常思路都是類比電路的運算方式,這對記憶體、運算單元設計都需要做工程上的考量。與此同時這樣的晶片究竟由誰來造也是個問題:是記憶體廠商,還是數文書處理器廠商?(三星推過記憶體內運算晶片,三星、Intel垂直整合型企業似乎很適合做記憶體內運算…)

    (2)神經型態運算:神經型態運算和記憶體內運算一樣,也是新興技術的熱門話題,這項技術有時也叫作compute in memory,可以認為它是記憶體內運算的某種發展方向。神經型態和一般神經網路AI晶片的差異是,這種結構更偏「類人腦」。

    進行神經型態研究的企業現在也逐漸變得多起來,劉明也提到了AI晶片「最終的理想是在結構層次模仿腦,元件層次逼近腦,功能層次超越人腦」的「類腦運算」。Intel是比較早關注神經型態運算研究的企業之一。

    傳說中的Intel Loihi就是比較典型存算一體的架構,「這片裸晶裡面包含128個小核心,每個核心用於模擬1,024個神經元的運算結構。」宋繼強說,「這樣一塊晶片大概可以類比13萬個神經元。我們做到的是把768個晶片再連起來,構成接近1億神經元的系統,讓學術界的夥伴去試用。」

    「它和深度學習加速器相比,沒有任何浮點運算——就像人腦裡面沒有乘加器。所以其學習和訓練方法是採用一種名為spike neutral network的路線,功耗很低,也可以訓練出做視覺辨識、語言辨識和其他種類的模型。」宋繼強認為,不採用同步時脈,「刺激的時候就是一個非同步電動勢,只有工作部分耗電,功耗是現在深度學習加速晶片的千分之一。」

    「而且未來我們可以對不同區域做劃分,比如這兒是視覺區、那兒是語言區、那兒是觸覺區,同時進行多模態訓練,互相之間產生關聯。這是現在的深度學習模型無法比擬的。」宋繼強說。這種神經型態運算晶片,似乎也是Intel在XPU方向上探索不同架構運算的方向之一。

    (2)微型化矽光:這個技術方向可能在層級上更偏高了一些,不再晶片架構層級,不過仍然值得一提。去年Intel在Labs Day上特別談到了自己在矽光(Silicon Photonics)的一些技術進展。其實矽光技術在連接資料中心的交換機方面,已有應用了,發出資料時,連接埠處會有個收發器把電訊號轉為光訊號,透過光纖來傳輸資料,另一端光訊號再轉為電訊號。不過傳統的光收發器成本都比較高,內部元件數量大,尺寸也就比較大。

    Intel在整合化的矽光(IIIV族monolithic的光學整合化方案)方面應該是商業化走在比較前列的,就是把光和電子相關的組成部分高度整合到晶片上,用IC製造技術。未來的光通訊不只是資料中心機架到機架之間,也可以下沉到板級——就跟現在傳統的電I/O一樣。電互連的主要問題是功耗太大,也就是所謂的I/O功耗牆,這是這類微型化矽光元件存在的重要價值。

    這其中存在的技術挑戰還是比較多,如做資料的光訊號調變的調變器調變器,據說Intel的技術使其實現了1,000倍的縮小;還有在接收端需要有個探測器(detector)轉換光訊號,用所謂的全矽微環(micro-ring)結構,實現矽對光的檢測能力;波分複用技術實現頻寬倍增,以及把矽光和CMOS晶片做整合等。

    Intel認為,把矽光模組與運算資源整合,就能打破必須帶更多I/O接腳做更大尺寸處理器的這種趨勢。矽光能夠實現的是更低的功耗、更大的頻寬、更小的接腳數量和尺寸。在跨處理器、跨伺服器節點之間的資料互動上,這類技術還是頗具前景,Intel此前說目標是實現每根光纖1Tbps的速率,並且能效在1pJ/bit,最遠距離1km,這在非本地傳輸上是很理想的數字。

    還有軟體…

    除了AI晶片本身,從整個生態的角度,包括AI感知到運算的整個鏈條上的其他組成部分,都有促成性能和效率提升的餘地。比如這兩年Nvidia從軟體層面,針對AI運算的中間層、庫做了大量最佳化。相同的底層硬體,透過軟體最佳化就能實現幾倍的性能提升。

    宋繼強說,「我們發現軟體最佳化與否,在同一個硬體上可以達到百倍的性能差距。」這其中的餘量還是比較大。

    在AI開發生態上,雖然Nvidia是最具發言權的;但從戰略角度來看,像Intel這種研發CPU、GPU、FPGA、ASIC,甚至還有神經型態運算處理器的企業而言,不同處理器統一開發生態可能更具前瞻性。Intel有個稱oneAPI的軟體平台,用一套API實現不同硬體性能埠的對接。這類策略對廠商的軟體框架構建能力是非常大的考驗——也極大程度關乎底層晶片的執行效率。

    在摩爾定律放緩、電晶體尺寸微縮變慢甚至不縮小的前提下,處理器架構革新、異質整合與2.5D/3D封裝技術依然可以達成1,000倍的性能提升;而一些新的技術方向,包括近記憶體運算、記憶體內運算和微型矽光,能夠在資料訪存、傳輸方面產生新的價值;神經型態運算這種類腦運算方式,是實現AI運算的目標;軟體層面的最佳化,也能夠帶動AI性能的成倍增長。所以即便摩爾定律嚴重放緩,AI晶片的性能、效率提升在上面提到的這麼多方案加持下,終將在未來很長一段時間內持續飛越。這第三(四)次科技革命恐怕還很難停歇。

    資料來源:https://www.eettaiwan.com/20210726nt61-ai-computing/?fbclid=IwAR3BaorLm9rL2s1ff6cNkL6Z7dK8Q96XulQPzuMQ_Yky9H_EmLsBpjBOsWg

  • 神經網路優勢 在 范琪斐 Youtube 的最佳貼文

    2020-08-07 22:00:12

    美國總統大選已經進入最後倒數100日衝刺階段了,雖然我人在台灣,但是一定會郵寄投票,投票是公民的義務,其實不是,是因為我很賭爛。好啦,這裡還是強調一下好了,投賭爛票是不好的行為,我們要選賢與能,OK?這不過,這個川貴人一定是知道我有這種想法,先前已經好幾次批評郵寄投票,說這樣會造成選舉舞弊啦、選票會被搞丟啦,真的嗎?

    美國時間7月30日晚間,川普乾脆直接在推特上呼籲,延後總統大選!他推文說:「在全國實施郵寄投票,將使2020總統選舉,成為史上最不精確且最多弊端的一場選舉,將給美國帶來極大尷尬,不如延後總統大選,直到民眾可以正常、安全的投票?」,哇聽起來好貼心,擔心選民因為疫情而無法好好投票,你當我們是白痴啊?你現在民調落後那麼多,是擔心自己選不上吧?還是擔心選輸了,要賴皮不承認選舉結果鋪路啊?消息一出當然是幾億人都驚呆了,哇靠!還有這一招?

    眾議院議長裴洛西,直接搬出憲法打臉川普,說只有美國國會有權決定大選日期,甚至連共和黨自家人都與這個不知道哪邊冒出來的創意保持社交距離,朝野兩黨異口同聲反對,逼得川貴人沒多久就改口。隨便川普怎麼說,反正美國總統的權力沒有大到可以延後選舉。根據現有制度,就算川普祭出他最愛用的行政命令,也沒辦法取消或延後選舉。美國《憲法第二條》說得很清楚,美國大選的時間日期,由國會決定;而1845年制定的聯邦法律,確定了大選每4年在11月的第一個星期二舉行,例如今年就是11月3日,如果要更改大選日期,就等於要修改聯邦法律,整個過程曠日費時!目前不論由民主黨佔優勢的眾議院,或是共和黨多數的參議院,兩黨都沒打算給自己找這種等級的麻煩。

    就算真的大家都願意配合川普,按照規矩延後大選,但延到哪一天其實也沒多少彈性,因為美國憲法規定新國會必須在1月3日宣誓就職,新總統的任期必須在1月20日開始,這些也都不是能透過常規立法就輕易更改的。也就是說,就算要延也得在11月3日後的兩個月內挑一天,美國疫情被你搞得那麼嚴重,難道再給兩個月,病毒就會自動消失嗎?這個提議雖然馬上被制度擋了下來,但還是引發輿論抨擊,痛批川普「法西斯」!

    過去「白人至上」的川普,從四年前初次參選時,就有一堆專家在分析他的言行,根本就是法西斯代表墨索里尼的化身,川普甚至引述過墨索里尼的名言,這一次延後大選事件,也讓法西斯再度成為熱門關鍵字。其實不是只有川普被罵是法西斯,網路上動不動就能看到網友拿法西斯來罵人,連小英總統都曾經被罵過搞獨裁,根本是法西斯、希特勒,但法西斯到底是什麼呢?有這麼萬用嗎?我們今天就來看看什麼是法西斯。

    法西斯是義大利獨裁者「墨索里尼」,在1919年發明的概念。我們可以引述紐約大學歷史學家(Ruth Ben-Ghiat)的定義:法西斯政府只有一個政黨,由獨裁者領導,該獨裁者透過暴力消除所有反對派,包括司法、新聞界和「國家的敵人」。很多國家其實都有法西斯的影子,我們可以從法西斯的特徵,看看川普到底是不是個法西斯主義者。

    法西斯第一個特徵就是「種族主義」,以民族團結、復興、強大和擴張為目標,重返昔日榮耀,看看川普一直掛在嘴邊的競選口號。這根本是跟中國外交部比賽複製貼上吧?口號喊了四年,一路走來始終如一,具體做法不知道,但真的一堆選民買帳。

    第二法西斯領袖通常自命不凡,會幫自己塑造一個父權強人形象,強調自己就是超人,這世界沒有他的話,整個系統整個體制會崩潰瓦解。

    第三:法西斯主義者永遠需要一個敵人,非常擅長製造對立,很喜歡說「我們」怎樣怎樣,跟他們怎樣怎樣。「我們」最正統,他們都是邪門歪道。「我們」的所有問題和苦難,統統都是「他們」造成的,人民一旦被分化,就比較容易受到操控。例如納粹vs.猶太人,印度人vs.穆斯林,羅興亞人被緬甸視為強暴犯和罪犯,這個描述墨西哥人應該聽到想吐了。川普四年前的主要政見就是蓋長城「抵禦」墨西哥偷渡客,上任後又頒布行政命令,把來自七個穆斯林國家的人擋在門外,甚至連國內的非洲裔美國人都被他批評為愚笨。當然他現在的眼中釘中國人也有事,聽過功夫病毒吧?

    第四:法西斯主義者反對民主自由,所以特別愛攻擊真相,因為「真相」是自由民主的核心,川普一天到晚抨擊反對他的媒體,說那些都是假新聞,只有他說的才是真的。這幾年在川普支持者中,還會看到「Q」標語,這是個在網路上走紅的陰謀論標誌,代表deep state深層政府(暗勢力)正努力要把川普拉下台,還會衍生出懷疑知識的「反智主義」(anti-intellectualism),欸,不要笑,看看美國一堆人認為戴口罩會害死人就知道。最後在真相被攻擊,謊言、陰謀論滿天飛的情況下,就沒有人敢肯定什麼是真相了。

    第五:法西斯主義者熱衷控制社會、鎮壓異己、剝奪人民的自由,對暴力和流血手段無比尊崇,經常赤裸裸地宣揚暴力行為。美國5月底爆發「佛洛伊德事件」引發各地爭平權示威潮,但川普頻頻放話要鎮壓群眾,甚至直接在推特上說:「當搶劫開始,槍擊就會開始。」(When the looting starts, the shooting starts.)後來又發生「白宮暴力清場聖經擺拍事件」,而最近在波特蘭「黑人的命也是命」抗議活動,演變成警民衝突,結果川普竟然擅自派遣「美國國土安全部」(DHS),與「美國海軍陸戰隊」的混合特遣隊,在未經地方政府的邀請下進駐波特蘭市,波特蘭的地方首長當然氣炸,譴責川普侵犯自治權,而且這群重裝上陣的「川普聯邦特工」,不但沒有配帶識別證,還以無牌警車抓捕示威者,跟黑警沒兩樣!

    我們回過頭來看看法西斯政府的定義:美國目前兩黨互相制衡,不只一個政黨;川普是獨裁者嗎?他想得美!美國的國父們早就想到,會有這種人出現,所以在制度裡就設計了很多制衡機制,像我們剛剛講的延後選舉就一定要國會同意才行。但川普正在全力消除與他為敵的人民、媒體和政敵。雖然距離真正的法西斯還有一段距離,但是專家仍警告,民眾必須對這些訊號有所警覺,萬一法西斯的意識形態蔓延,人民恐怕會像溫水煮青蛙一樣,不知不覺掉入法西斯陷阱中。

    今天琪斐大放送的關鍵字是:
    #川普法西斯
    --------------------------------------
    《#范琪斐的寰宇漫遊》每周四晚間8點55分在 #寰宇新聞台 播出,沒跟上的也沒關係,歡迎訂閱我們的 YouTube 頻道 🔔#范琪斐的寰宇漫遊 🔔https://reurl.cc/ZvKM3 1000pm準時上傳完整版!

  • 神經網路優勢 在 范琪斐 Youtube 的精選貼文

    2019-12-08 22:00:01

    唯一戰勝 Google 旗下 Deep Mind 公司開發的人工智慧 AlphaGo 的南韓棋王李世乭,宣布將要退休,因為他認為人類永遠沒辦法擊敗人工智慧。

    不過演算法不是只會越來越強大,為什麼 AlphaGo 會錯判輸給李世乭呢?

    因為AlphaGo 有個叫『隨機森林』的算法,可以預測對手可能會下哪一步,但李世乭這一步下在 AlphaGo 認為對方不可能會去下的那一步,李世乭當時下完這步棋,Alphago 還認為自己的贏面超過八成,繼續往後下了十手之後,Alphago 自己有一個勝率的表,突然開始下降,發現自己處於弱勢了,開始慌張了,於是 Alphago 就開始亂下險棋,出現了連業餘選手都不會犯的錯,想賭李世乭會出錯,最後就輸了。

    但 AlphaGo 也從敗給李世乭找到自身弱點,再次強化學習能力。像 AlphaGo 的孿生兄弟 AlphaGo Zero,就是完全不靠任何人類經驗訓練的神經網路,它就是不斷跟自己對戰學習,結果在自學 3 天後,就以 100:0 打敗了舊版 AlphaGo ,自學 40 天後,就擊敗了曾經戰勝中國棋手柯潔的 AlphaGo Master,成為世界上最強的圍棋程式!

    雖然未來人類可能再也贏不過AI,不過AI 的加入反而讓圍棋有了更多玩法,這時候 AI 的功能,是在擴展人類棋手的思路,和人類合作一起探索圍棋還未被發掘的領域。

    因為圍棋是世界上最複雜的遊戲!是看哪個顏色的棋子,圈出的空間最多,誰就獲勝。聽起來規則很簡單,但實際上卻複雜到不行。

    圍棋的棋盤是 19X19,通常一步會有 200 種下法,圍棋變化位置的排列組合一共有10 的 170 次方種可能性,比整個宇宙的原子數ㄅ10 的 80 次方還要多更多!人類通常都只能憑經驗跟感覺判斷,但判斷才是最困難的。剛有說嘛,圍棋的勝負是由最終局時,雙方控制地盤的多寡決定,但棋局進行到一半,雙方的地盤都還沒封閉,怎麽判斷形勢呢?很多職業棋手之間微妙的差異,就是體現在這個判斷能力上。

    但就連開發 AlphaGo 的團隊都坦言,AlphaGo 面前的最大問題,和人類棋手是一樣的,就是圍棋太難了,還有規則中的規則,例如優勢、虧損、打劫,雖然 AlphaGo 的勝利或失敗,完全取決於這些機率的估計是否準確,但計算力還遠遠達不到『最優解』的程度。目前AlphaGo 團隊的做法是,讓AlphaGo學習像人類棋手一樣,去選點和判斷。

    當機器把一件事情做得比人類好時,我們還能做什麼?
    你對棋王退休有什麼看法?快和我們一起分享!

    ---------
    《#范琪斐ㄉ寰宇漫遊》每週四晚間十點在寰宇新聞播出,沒跟上的也沒關係,歡迎訂閱我們的 YouTube 頻道 🔔#范琪斐ㄉ寰宇漫遊 🔔https://reurl.cc/ZvKM3 十點半準時上傳完整版!

  • 神經網路優勢 在 超級歪 SuperY Youtube 的精選貼文

    2019-11-13 22:03:34

    立刻加入頻道會員,實際行動支持超級歪:https://www.youtube.com/channel/UCAM7yIYvZGYLJR6z6RqLlNw/join

    https://www.facebook.com/Mr.SuperY/posts/1475373129283017
    📣留言加分享本影片貼文,就有機會抽中 《社交天性》 一本。
    參加抽獎活動時間為期一週:2019.11.13 - 2019.11.20
    👏感謝 大牌出版 提供3⃣️本實體書、3⃣️本電子書!
    -
    ►本集語錄:「無論他們怎麼說、怎麼想他們的自我主義,絕大多數人卻是終生不曾為他們的自我做過什麼:他們的作為是為了自我的幽靈,那個幽靈是在眾人腦中自行形成,然後再傳達給它們的自我幻象。」 - 尼采《朝霞:道德偏見之反思》
    ►本集重點節錄:
    1.人類大腦經歷了哺乳類、靈長類、人類三階段的神經適應
    2.社會連結:社會痛苦的與生理痛苦的神經重疊
    3.心智解讀:讀心時的心智化系統是人類大腦的預設系統
    4.社會和諧:自我意識是大腦演化出的社會接收器
    -
    ►本集關鍵字:
    #腦化 #神經科學 #JaakPanksepp #前扣帶回 #鴉片類藥物 #分離焦慮 #虛擬擲球 #社會痛苦 #賽局理論 #囚徒困境 #腹側紋狀體 #獎賞網路 #社會腦假說 #鄧巴數字 #鏡像神經元 #DanielDennett #意向立場 #錯誤信念實驗 #GordonGallup #鏡子測驗 #自我意識 #內側前額葉皮質 #邊沁 #全景廠視 #自我控制 #AdamGrant #JohnBargh #法國大革命 #尼采

    本集推薦書目:
    Michael Tomasello《人類溝通的起源》
    Robin Dunbar《哈啦與抓虱的語言》
    Michael Arbib《人如何學會語言?》

你可能也想看看

搜尋相關網站