[爆卦]資料倉儲模型是什麼?優點缺點精華區懶人包

雖然這篇資料倉儲模型鄉民發文沒有被收入到精華區:在資料倉儲模型這個話題中,我們另外找到其它相關的精選爆讚文章

在 資料倉儲模型產品中有23篇Facebook貼文,粉絲數超過28萬的網紅TechOrange 科技報橘,也在其Facebook貼文中提到, 數據力量無窮,唯找到資料背後的洞察,才能發揮綜效,為企業推動業務革新。 如何善用數據,拓展業務新視野? ▶ AWS Data & Analytics Web Day Taiwan 數據與分析研討會 針對企業常見基礎資料分析架構需求,設計系列精華演說,從雲端數據湖與數據倉儲、資訊擷取,到關...

 同時也有3部Youtube影片,追蹤數超過3萬的網紅孫在陽,也在其Youtube影片中提到,「孫在陽」直播-國立陽明交通大學-數據科學之視覺化分析 大數據利用時間的特性,以統計圖表呈現分析結果,以然成為一種企業尋找管理策略的方法。商業智慧的成功,當然也可以促成醫學智慧的成功。 孫在陽老師主講,[email protected] 範例、講義下載:https://goo.gl/...

  • 資料倉儲模型 在 TechOrange 科技報橘 Facebook 的最佳貼文

    2021-09-22 20:40:01
    有 278 人按讚

    數據力量無窮,唯找到資料背後的洞察,才能發揮綜效,為企業推動業務革新。

    如何善用數據,拓展業務新視野?

    ▶ AWS Data & Analytics Web Day Taiwan 數據與分析研討會

    針對企業常見基礎資料分析架構需求,設計系列精華演說,從雲端數據湖與數據倉儲、資訊擷取,到關鍵的 AI 模型效益,讓您用 3 小時的時間,快速了解 AWS 雲端數據分析工具,提取關鍵商業洞察 💼
    ***
    舉辦時間:9 / 29 (三)
    會議時長:14:00~17:00
    舉辦地點:線上

    立即報名 >> https://supr.link/0nu7M 獲得最實用的雲端數據分析應用

  • 資料倉儲模型 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文

    2021-08-19 16:31:09
    有 0 人按讚

    從火星探測系統到輔助工業製程,美國工業用 AI 新創 Beyond Limits 如何在台灣做到技術在地化應用?

    李佳樺 2021/08/13

    從2012 年美國太空總署成功將探測車「好奇號」送上火星至今,已經過了3000多個「火星日」,肩負著火星探測的重要任務,8年來好奇號傳回許多對火星的重要觀察與發現。背後更不為人知的,則是好奇號的 AI 運算系統,其實是由美國新創 Beyond Limits 的團隊建立的,公司發展至今也將觸角伸到能源、先進製造等產業,建立 SaaS 服務,為產業提供 AI 輔助平台,2020 年更獲得 1.3 億美元的投資,拓點到台灣、日本、新加坡、香港等地。

    Beyond Limits 將 AI 應用到產業製程的契機,源自於當時跨國石油集團 BP 在墨西哥灣發生的漏油事件,企業希望導入 AI 優化決策過程,合作中也發現了石化能源產業的痛點,研發出石油配方建議系統、石油製程操作檢引系統等 SaaS 產品,不僅受到美國石油公司歡迎,日本市場也買單。

    有了日本的先例,這套美國研發出的產品,照理說要拓展到亞洲市場應該不成問題,不料到了台灣卻窒礙難行,甚至需要重新開發不同的產品。

    Beyond Limits 的台灣團隊究竟面臨了什麼挑戰?

    台灣市場與美國差異大,Beyond Limits 台灣團隊必須如創業般從頭研發產品

    台灣分公司總經理張中宜說明,台灣產業的先天特性,讓美國母公司已開發的產品都面臨市場可行性低落的問題,以石油產業的產品舉例,在台灣只有中油、台塑兩個客戶,且台灣的石油公司並不做研發工作,多半直接向國外公司購買配方,因此團隊必須在美國 SaaS 模式 的技術基礎下,研發出符合台灣市場、針對不同產業需求的商品。

    「Beyond Limits 在台灣設立公司時的處境,跟重新創業差不多。」張中宜表示,AI 應用產品的開發不僅需要能夠從零開始寫演算法的工程師,也要有懂產業製程的專家團隊,龐大的研發費用與對產業專家的需求,讓每一次產品開發都像募資活動,團隊必須透過產業訪談做足市場研究找到痛點,說服製造公司與他們合作開發能解決產業問題的軟體。

    然而開發全新市場對張中宜來說並不陌生。

    她曾經在孟加拉創立幫助偏遠地區孩童課輔的非營利組織 e-Education ,第一年就讓偏鄉學子考上孟國最高學府卡達大學,更順勢搭上鼓勵企業與 NPO 合作的開放式創新風潮,讓卡西歐、 AI 新創、安永都找她擔任顧問,執行戰略布局或開發新通路的工作,面對 Beyond Limits 在台灣的難題,團隊選擇了電動車電池研發、面板機器手臂維修與人流異常預警系統等三個產業切入。

    延伸既有美國產品技術,尋找合適的台灣在地產業切入開發產品
    選擇電動車電池產業與 Beyond Limits 在美國石油產業的經驗有關,研發電池的過程與石油廠研發機油的邏輯相似,痛點都在於漫長的研發過程,就像做菜時要多次嘗試才會知道多少的鹽與油才是最佳的調配一樣,電池配方更要經歷至少半年的實驗,且實驗設計也要在無數次團隊與客戶的交鋒後才能成型,溝通成本相當高昂。

    使用 Beyond Limits 導入認知 AI 架構的電池配方建議系統,研發人員只要以自然語言輸入期望的電池規格、價格與電車轉速,系統即可在 43 分鐘內提供數百種配方與實驗方式供選擇,縮短約 2 千倍的研發時間。

    Beyond Limits 也在 7 月 29 日宣布與日本的三井物產公司進行策略結盟,以其認知 AI 的核心技術,協助三井投資的液化天然氣廠進行巨量資料分析,並整合作業人員專業知識與數位化作業模式,制定出精簡有效率的解決方案。日本三井整合數位策略部部長常務董事真野雄司氏說,透過與 Beyond Limits 的合作可以改善與再造營運流程,更有效率執行現有事業群的高附加價值項目。

    另外,Beyond Limits基於公司在美國既有的輔助風電機維修平台,投入面板機器手臂維修建議系統的開發,「雖然也想在台灣用同一套產品幫助風電產業,也與風電廠陸續接洽,但台灣的風電仍在建設階段,缺乏營運經驗,目前的維修需求也不高。」張中宜談到,市場開發的大方向是要在台灣尋找具備預測維修需求,且市場密集、成熟的產業,公司在與投資人仁寶電腦的合作中,發現光電面板產線中機器手臂的維修概念與風機維修類似,而且痛點也類似:包含高昂的維修成本、未經標準化的維修流程,以及依賴經驗的維修決策。

    目前輔助維修系統正與日本機器手臂原廠合作開發,由廠商提供維修資料與產業專家, Beyond Limits 透過 AI 分析維修數據,建立資料背後的邏輯推演,系統最終能判斷機器損壞的原因,並建議耗材種類與維修方式。從管理者的角度能降低維修、備料倉儲成本,對維修人員來說也有可依循的維修建議,長遠更能累積產業知識 ( domain know-how ) ,促進升級。

    以邊緣運算技術,與北捷合作開發人流異常預警系統

    而將技術從太空拉回到地面,Beyond Limits 也能在大眾運輸犯罪預警上有所發揮。他們與北捷合作,使用等同於在火星探測時、消弭與地球時差的邊緣運算技術,原理是透過分散式的運算提升效率,達成在監控系統的邊緣節點就進行異常人流的辨別,降低反應時間落差。

    張中宜舉例,正常的人流像是乘客擠進車廂內的固定位置,開始滑手機,異常的人流可能是人群往四面八方散去,產生快速移動的樣態,異常訊息可以在 10 秒內將送到中控室,大幅縮減以往需要 4 分鐘以上的訊號傳輸時間,也能避免踩到人臉辨識的紅線,未來希望擴張應用到大樓監控,或是銷往他國的大眾運輸系統。

    源自NASA,認知型AI成為技術優勢與門檻

    與其他單純使用機器學習技術分類數據並預測結果的數值 AI 系統不同,Beyond Limits 的 AI 服務融合了數值 AI 與符號 AI ,前者的數值 AI 是透過大量數據讓模型認知「此為何物」,而符號 AI 則是藉由邏輯定義數值 AI 判斷的結果是好還是壞,並加以做出決策與判斷,以電池配方為例,將實驗室過去的實驗數據導入數值 AI 系統後,會得出樹種配方組合,再藉由符號 AI 判斷個配方辦法的優劣,並給予客戶回饋與建議。藉由結合數值 AI 與符號 AI 兩大系統的結合,讓人工智慧的每項建議都能以人類可理解的思路解釋,輔助人類做最後決策,也使人機協作的製程模式成為可能。

    對於這項技術,張中宜表示這其實是源自於 NASA 將探測器「好奇號」送上火星後,由於火星與地球之間的數值傳遞有時間差,人類基本上不可能遙控好奇號,而且火星上的數據在這之前是 0,所以數值 AI 也無法運作,為了能夠讓好奇號自行在火星上探測與行動,勢必須要模擬人類大腦的認知型 AI 系統,當時才會開發出符號 AI。

    根據研究報告,2025 年工業用 AI 規模將達 160 億美元,其應用開發仍具高度可能性,Beyond Limits 在台灣也希望更全面地研發產品打進該市場。除了正在培養市場的風電產業外,未來也希望協助優化晶圓半導體產業的製程,團隊更積極與社會、產業溝通,讓社會了解 AI 進入產業能讓人類更有餘力進行創意發想與決策,也讓產業正視轉型需求,近期將與台灣新創基地合作舉辦 AI 科普講座,持續促進製造業的人機共榮合作。

    創業快問快答

    Q:服務的創意來源,是因為發生甚麼事情而有這樣的想法?

    A:台灣數位轉型瓶頸

    Q:創業至今,做得最好的三件事為何?

    A:用國際薪資招聘頂尖人才、台灣市場國際定位清楚、客戶分潤共創模式的商業模式

    Q:要達到下一步目標,團隊目前缺乏的資源是?

    A:能見度

    附圖:BeyondLimits 台灣總經理 張中宜
    Beyond Limits 以數值AI及符號AI兩大關鍵技術,達到人機互補智能
    圖片來源 : Beyond Limits
    擠捷運
    圖片來源 : diGital Sennin on Unsplash
    圖說:BeyondLimits Hybrid AI導入流程說明
    BeyondLimits Hybrid AI導入流程說明
    圖片來源 : BeyondLimits

    資料來源:https://meet.bnext.com.tw/articles/view/47993?fbclid=IwAR2HbB5FrPIBoV9kDL27OnhNF-JDNzfYdsoLoVKn85yAA7GUjzDzI3y5Lw0

  • 資料倉儲模型 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文

    2021-07-14 13:08:14
    有 0 人按讚

    從新創企業現狀觀察AI發展熱度

    作者 : 黃燁鋒,EE Times China
    2021-07-12

    從人工智慧(AI)新創企業市場,以及類似Nvidia新創加速計畫(NVIDIA Inception)的專案,都可觀察AI技術或產業如今的發展熱度...

    現在的很多生態締造者對於潛在生態的開發都十分在意:比如說及早深入教育市場,生態建設「從娃娃抓起」(編按:指從小開始);再或者對新創企業的扶持或孵化計畫。這裡所謂的「生態締造者」的範圍可以很廣,比如雲端供應商、作業系統供應商、針對應用開發解決方案的供應商,以及各種硬體廠商等。

    這些其實是吸引更多開發者,潛移默化中造成開發習慣、黏性的關鍵。《電子工程專輯》中國版(EE Times China)先前拜訪過微軟(Microsoft) Azure一批又一批的孵化企業;還有華為HarmonyOS當下對眾多新創企業的扶持……這類新創企業扶持項目都有著相當易於理解的商業邏輯,亦屬常規操作手段。

    而在AI生態建構上頗具代表性的應該就是Nvidia,畢竟筆者之前也一直在提Nvidia在AI生態打造上的完備程度多高,這種生態對新創企業的扶持當然也是必不可少的。Nvidia新創加速計畫(NVIDIA Inception)進入中國是在2016年,這個計畫本身就在加速AI創業公司發展。從AI新創企業市場,以及類似Nvidia新創加速計畫這樣的專案,都可觀察AI技術或產業如今的發展熱度。

    AI市場這兩年的新機遇

    截至去年底,這項計畫在全球範圍內覆蓋了超過7,000家AI新創公司,去年一年加入Nvidia新創加速計畫的公司數量較上一年多出了25%。從Nvidia的總結來看,新冠肺炎疫情可能很大程度推動了該計畫。之前Nvidia業務開發VP Jeff Herbst曾提過:「2020年一場全球性質的瘟疫攪動了經濟發展。但新創生態系統卻在此期間一度繁榮,這很可能不是巧合。」

    這些AI新創企業,依照類別來看主要包括了IT服務、醫療健康、媒體與娛樂。看起來是完全符合預期,就如同疫情期間全球的PC和資料中心市場發展受到刺激一樣,這恰好也是Nvidia業務發展的重點。可以說,疫情雖然短時間內造成了停工停產,但Nvidia可能是這波行情下獲得最大發展機會的企業之一。

    數位生活方式的轉變促成了很多領域的快速發展,包括在家辦公、遠端醫療、家庭娛樂等。隨Nvidia大趨勢本身的利多,以及大環境的影響,去年加入Nvidia新創加速計畫的新創企業的一大部分都在這些類別中。

    在中國市場上,該計畫去年扶持的企業超過800家。這個數字也極大程度說明了AI在中國發展的繁榮。換句話說,全球25%的成長量也可間接表現出,新冠疫情的蔓延客觀上也推動了AI的發展,而且不止於醫療健康。

    AI新創投資市場現狀

    Nvidia新創加速計畫可認為是觀察AI新創企業,乃至整個AI產業發展的冰山一角。CB Insights先前公佈了一份AI 100榜單,列出100家AI新創企業——而且據說是從超過6,000家企業中選出來的。這份榜單涵蓋了跨18個核心產業的各種解決方案,這個數字其實已蠻驚人。這份榜單總結了這些年來AI新創公司獲得的融資金額、最具代表性的產業類別,以及有不少企業處在A輪融資階段。其中12家是獨角獸,而在地理位置分佈中,64%位於美國,8家位於英國,6家在中國和以色列等。

    針對這個市場有一些更細緻的資料可以列舉。以前不久微軟豪擲197億美元收購Nuance為代表,目前美國最大的5家科技公司中,有4家大量收購了AI新創企業。其中蘋果(Apple)最多,收購次數達到了29次——這也是CB Insights前不久才更新的資料。僅今年一季,全球與AI新創企業相關的交易(如收購、兼併等)次數就達到了626次,交易金額大約是177億美元。與去年相比,2020年整年的資料是354億,這其中的增量還是相當可觀的。有投資機構認為,預期今年針對AI相關的企業交易量會是去年的2~3倍,這種持續活躍和加速的趨勢仍相當明確。

    很多機構針對企業所作的統計也顯示,企業對於AI產品的採用計畫正在增加,或者說更多的企業在數位化轉型過程中準備應用AI。Signal AI針對1,000位C級高層的統計顯示,92%認為自家企業需要依靠AI技術來提升決策制定流程。GTC 2021上,Nvidia共同創辦人暨執行長黃仁勳針對Nvidia發佈的AI for Enterprise特別提到:「我們將AI擴展到企業的邊緣。我們相信企業產業邊緣將會是AI產生巨大影響的地方,包括醫療健康、倉儲物流、生產製造、零售、農業、交通。AI還沒有觸達這些產業,但現在不同了。」

    所以從投資方和需求方兩個方面來看,AI新創企業相關的投資都在持續擴大。不過這一現象可能與其他熱門領域的發展具有極高的相關性。比如推行SaaS的企業如今受到格外的關注——而這些企業普遍將AI作為企業產品的一部分。所以AI成為某些正在快速成長中的市場的組成部分受到追捧,本身也是AI成長的原因。達成全球AI交易金額的新記錄,可能會在今年持續發生;今年截至目前交易輪次也仍然表現出了熱度。

    這其中有一點轉變,是近一年才發生。亦即去年很多企業對於AI的接受度仍然不高——AI之前的存在更像是一種行銷手法:即告訴客戶和投資人,產品中有AI技術才能獲得青睞;而現階段逐漸在轉變至用AI來更實際地解決現實問題的階段發展,或者不需要再去反覆解釋究竟為什麼要接受AI。AI也變得越來越平常,這也是大部分技術走向成熟的必由之路。雖然從投資風向來看,這個市場遠未及成熟,Nvidia在此時持續做針對AI新創企業的新創加速計畫投入,還是相當好的時機。

    兩個新創加速計畫示例

    與此同時,Nvidia新創加速計畫在客觀上也是降低產業進入門檻的一種方式,所以該計畫本身又在推動AI產業發展。從這個層面來看,這一市場行為與Nvidia本身在技術上進行生態建構還是一脈相承。

    對於加入計畫的AI新創企業而言,該計畫提供的支援主要包括幾點:Nvidia的部分產品折扣、AI技術支援(包括Nvidia深度學習學院DLI線上自主培訓課程免費兌換200次)、Nvidia管道的市場推廣(如在GTC大會上給予展示、演講等的機會)、融資服務、業務推薦等,也就是從技術和市場兩方面提供一些基礎支援。除了免費加入的新創企業,計畫中另設有高階會員(設定要求包括至少完成A輪融資或已產生業務收入等)有更多的支援,比如開發者關係支持、更多市場推廣等。

    這些服務和支援,基本也顯示了當代新創企業扶持計畫的常規,大方向上也符合AI新創風向的趨勢。這裡列舉兩個加入Nvidia新創加速計畫的新創企業的例子,大致可從中體會此類新創扶持計畫的價值。

    中國有家名為心咚科技的企業,主要業務方向是將AI技術融入到時尚、服飾產業。這家公司產品的核心,包括了物理引擎和數位面料中心:設計師藉由心咚科技的產品,可以將現實中的實物面料和服飾,虛擬地呈現出來。這其實很類似於「原型產品」、「設計驗證」,虛擬產品因此能做到「零廢棄物製造」。市面上大多數現有的3D服裝設計軟體都只是視覺模擬,而沒有工業級高精準度物理模擬所需的運算結果。

    所以心咚科技採用Nvidia的GPU及互連等方案,實現了高效能運算(HPC)應用,完成對複雜光線追蹤、視覺化運算工作負載的處理,以虛擬的方式完成從選擇面料、成衣設計、審稿、打版到生產過程。心咚科技本身是Nvidia新創加速計畫會員,這個例子也顯示AI相關技術新創企業借助Nvidia的資源、支援和平台,能夠加速應用實踐和延展。

    再舉個例子,美國有家新創企業Zippin,他們的產品針對零售店購物可實現自動結帳,這個過程主要是對消費者購買的零食、飲料等進行影像辨識。顧客在支援Zippin系統的店內買東西之後就可以離開,app會保留收據,追蹤消費記錄後收費(app或信用卡支付)。這個專案的市場契機,主要來自國外很多體育館、娛樂場所重開,Zippin自動結帳無人商店不需要排隊就能買東西。

    Zippin如今的業務擴展似乎還頗順利,其商店數量在穩步增加,包括一些大型體育場館和零售連鎖店;而且擴展到了美國以外,包括巴西、俄羅斯、日本。這套「自動結帳」系統相關AI的核心部分,應該是商品的影像辨識,並且結合更多感測器實現位置、重量辨識等。不僅是顧客買了什麼,也在於商店本身的庫存管理自動化,Zippin用的是Nvidia Jetson在終端進行模型推理。

    Zippin聯合創始人兼首席科學家Motilal Agrawal在談加入新創加速計畫時提到,「Nvidia新創加速計畫團隊與我們見面、借給Zippin第一個NVIDIA GPU並針對我們的應用提供關於Nvidia SDK的指導。」
    這兩個例子都是在Nvidia新創加速計畫扶持下,業務得以擴大影響力或開展落地的典型。Nvidia在其官網列舉的實例還有不少,本身也算是對這些企業的市場宣傳途徑之一,可能不同參與者受惠於新創加速計畫的體驗是不同的:Nvidia自己列舉的案例中,有家AI醫療影像手術導航機器人相關新創企業,相當推崇Nvidia深度學習學院DLI 的培訓課程,包括部分課程後Nvidia頒發的一些認證證書。如前面所述,Nvidia深度學習學院DLI線上自主培訓課程也是Nvidia新創加速計畫的重要組成部分,這類課程對於AI新創企業的養成具備相當的價值。

    無論是免費的自主培訓課程,還是Nvidia GPU產品折扣、AI技術支援、市場推廣、融資服務、業務推薦,這些Nvidia新創加速計畫的組成部分。對AI新創企業快速入門和進階AI開發、加速產品上市,以及對於Nvidia本身培養AI生態有其價值。

    正如本文一開頭所述,這種潛在開發生態與習慣的培養,是大部分生態締造者佈局生態時的必要行為。AI新創企業市場如此火熱,是Nvidia開展新創加速計畫的契機。與此同時,這類計畫本身又在促進AI整個產業往前發展,也是推動AI產業現階段百花齊放、迸發AI創意的起點。

    資料來源:https://www.eettaiwan.com/20210712nt61-ai-development-from-the-dynamics-of-new-venture/?fbclid=IwAR1AVhpCZaFFqeTnmgvW7ZoTBBv48gtKEMsxZa4u4i_BDryyVfKnQcYLQ40

  • 資料倉儲模型 在 孫在陽 Youtube 的最佳解答

    2021-05-18 17:45:15

    「孫在陽」直播-國立陽明交通大學-數據科學之視覺化分析
    大數據利用時間的特性,以統計圖表呈現分析結果,以然成為一種企業尋找管理策略的方法。商業智慧的成功,當然也可以促成醫學智慧的成功。
    孫在陽老師主講,[email protected]
    範例、講義下載:https://goo.gl/ytzRxT

    時間軸
    00:00:00 PPT簡報實務應用簡介
    00:03:09 建立模型
    00:03:54 依統計目的的圖表設計
    00:10:40 ICD 9:434.90 屬於 TIA
    00:14:32 依疾病碼做腦中分疾病分類
    00:20:50 建立標題
    00:21:23 01.ICD比例統計
    00:26:20 02.ICD次數統計
    00:28:30 視覺化
    00:32:16 加入時間特性做連續型分析
    00:49:20 自動分析
    00:54:35 知識
    01:01:14 關鍵影響因數
    01:50:01 分解樹

  • 資料倉儲模型 在 孫在陽 Youtube 的最佳解答

    2021-05-12 12:51:27

    「孫在陽」直播-長榮大學-視覺化分析-2.自動分析
    大數據分析中的數據清理,關乎於大數據分析成敗關鍵。轉置、樞紐、文字清理、數字清理、日期清理等,遺漏值、異常值、雜訊等數據清理。讓數據不是垃圾,就必需做好數據清理。商業智慧的自動化分析,讓數據背後的意義,直接呈現。
    孫在陽老師主講,[email protected]
    範例、講義下載:https://goo.gl/ytzRxT

    時間軸
    00:00 複習資料清理
    01:00 地區國家資料清理
    03:09 日期資料清理
    20:53 建立模型

  • 資料倉儲模型 在 孫在陽 Youtube 的精選貼文

    2021-05-09 01:27:00

    「孫在陽」直播-致理科大-外貿數據應用分析-視覺化分析
    中華民國貿易順差還是逆差,讓我們來看近十年進出口的比較與分析。大數據分析中的數據清理,關乎於大數據分析成敗關鍵。轉置、樞紐、文字清理、數字清理、日期清理等,遺漏值、異常值、雜訊等數據清理。讓數據不是垃圾,就必需做好數據清理。
    孫在陽老師主講,[email protected]
    範例、講義下載:https://goo.gl/ytzRxT

    時間軸
    00:00 複習資料清理
    01:00 地區國家資料清理
    03:09 日期資料清理
    20:53 建立模型

你可能也想看看

搜尋相關網站