打造智慧數據湖，Google Cloud 今天推出三項新服務讓資料在雲更聰明

2021/05/27 INSIDE 硬塞的網路趨勢觀察

Google Cloud 在今天舉辦的 Google Data Cloud Summit 上，發布三項全新解決方案：Dataplex、Datastream 和 Analytics Hub Beta 版，將涵蓋旗下的資料庫和資料分析產品組合，為企業提供一個整合式資料平台，協助企業打破資料孤島。

評論

Google Cloud 在今天舉辦的 Google Data Cloud Summit 上，發布三項全新解決方案：Dataplex、Datastream 和 Analytics Hub Beta 版，將涵蓋旗下的資料庫和資料分析產品組合，為企業提供一個整合式資料平台，協助企業打破資料孤島，安全地預測業務成果並賦予使用者能力，在現今不斷變化的數位環境中即時制定明智的決策。

「Gartner 近期的問卷調查結果顯示，企業預估每年在品質不甚理想的資料上平均花費 $1,280 萬美元。」 因為資料散布在多個雲端和地端部署環境中的資料庫、資料湖泊、資料倉儲和資料市集內，企業除了要設法集中控管及管理應用程式，更需要即時整合資料來改善決策，加快創新腳步及提升客戶體驗。

Google Cloud 資料庫、資料分析及 Looker 商業智慧平台總經理暨副總裁 Gerrit Kazmaier 說明，企業須把資料視為具備將所有相關業務面向整合為一的能力。如今所有產業紛紛轉換為以數位化為主的業務型態，因為他們明白資料不但是創造價值的要素，同時也是推動數位轉型的關鍵。

透過運用 Google Cloud 的資料平台，客戶現在將能採用全方位且涵蓋完整資料生命週期的資料雲端方案，從業務執行系統到可進行未來預測和自動化作業的 AI 與機器學習工具等均包含在內。

Datastream-為客戶提供即時資料複製功能：目前提供 Beta 版體驗的 Datastream 提供全新的無伺服器異動資料擷取 (CDC) 和複製服務，讓客戶可以從 Oracle 和 MySQL 資料庫將資料串流即時擷取至 Google Cloud 服務，例如 BigQuery、可於 PostgreSQL 上執行的 Cloud SQL、Google Cloud Storage 和 Cloud Spanner。

企業可運用這項解決方案強化即時性數據分析功能、資料庫的複製速度以及事件驅動架構等。率先採用此方案的客戶 Schnuck Markets, Inc.運用 Datastream 簡化了架構，而將 Oracle 資料複製到 BigQuery 和 Cloud SQL 也不再會延遲數小時之久。

Analytics Hub-提高資料共用安全與易用性：Analytics Hub 可為企業創造安全且即時的資料交換服務，借助 Analytics Hub，企業可以在不論組織的內外部，安全地共享數據和洞察，包括動態儀表板和機器學習模型。

Analytics Hub 協助企業整合其數據資產，如將 Google 獨有數據、產業數據和公開數據整合一起。Analytics Hub 建立於 BigQuery 現行且普及的共享功能基礎上，目前已經使數千家企業透過數據分析進行革新，並透過不僅是單純共享數據的方法，來加快洞察的取得。

Dataplex-協助企業簡化資料管理作業：目前提供 Beta 版體驗的 Dataplex 是一種智慧資料網路架構，可提供單一整合式的分析體驗，能將 Google Cloud 和開放原始碼結合在一起，使企業能夠快速整理、保護、整合及分析其數據。

自動化的資料品質可讓數據資料學家和分析師利用自選工具確保資料的一致性，不須移動或複製資料即可統整並管理資料。Google 提供傑出的 AI 和機器學習功能，讓企業能夠利用內建的智慧資料來縮短處理繁複基礎架構的時間，並將更多心力轉而投入於發掘資料價值，以帶來更多業務成果。身為 Dataplex 早期客戶，Equifax 與 Google 合作致力將 Dataplex 納入自己的核心分析平台，不但簡化了工作負載，還建立了所有內部分析資料都適用的單一指令控管及管理平台。

在資料雲端高峰會舉辦期間，Google Cloud 也發表了資料庫和數據分析產品組合方面的其他最新消息：

基於對多雲端的策略性承諾，Google 陸續推出分別適用於 Microsoft Azure 的 BigQuery Omni Beta 版和 Looker 商業智慧平台正式版，藉此協助客戶取得跨雲端環境的關鍵資料深入分析結果。繼去年發表適用於 AWS 的 BigQuery Omni 後，這次發表的最新消息更延續了市場對此技術的展望。

BigQuery ML 異常偵測 可協助客戶透過使用 BigQuery 的內建機器學習功能，以更輕鬆的方式檢測異常資料模式。目前許多客戶將這項技術運用於多種用途，包括銀行詐欺偵測和生產製造不良原因分析。

Dataflow 為客戶提供了具備成本效益的快速串流分析解決方案。而預計於第三季推出的 Dataflow Prime 將提供業界領先的自動垂直擴充和數據管道正確配置技術，為客戶最大幅度地降低整體擁有成本。此外，Dataflow Prime 更內建了 AI 和機器學習技術，可以為客戶提供串流預測功能，例如時間序列分析、可主動識別瓶頸的智慧診斷功能，以及可提高使用率的自動微調功能。

Google 也將全代管關聯資料庫 Cloud Spanner 的入門價格降低 90%，連同即將推出的精細個體規模調整功能 (granular instance sizing) ，將同樣提供無限制的空間規模與99.999％的可用性，用以支援要求最苛刻的應用程式運作。BigQuery 與 Spanner 的整合功能也即將推出，可讓使用者透過 BigQuery 查詢 Spanner 中的交易資料，以便提供更豐富且即時的深入分析結果。而 Spanner 新增的 Key Visualizer 功能(目前為 Beta 版本)，可提供互動式監控功能，方便開發人員迅速識別使用模式。此外，Cloud Bigtable 更具備可達 99.999%(5 9s) SLA 的讀取和寫入可用性。

資料來源：https://www.inside.com.tw/article/23648-google-data-cloud-summit

新一代網站伺服器架構：MEAN
（加贈 MEAN 免費電子書）

最近國外科技網站頻頻出現一個新名詞：「MEAN」。而且該名詞只會出現與「網站開發（Web Site Development）」相關的論壇。看著大家「卑鄙」來「卑鄙」去的（Mean 在英文是「卑鄙、小氣」的意思），彷彿這個名詞技客（Geeker）們都已經熟到不用解釋到底在卑鄙個什麼。擁有嚴重資訊焦慮症（笑）的我，眼睛怎能容忍一個不知道全名的縮寫，動不動就從畫面「立體突出」來恥笑我呢！... :-D 稍微用點技巧查了 Google，並且把結果分享給大家。

原來 MEAN 講的是架設網站時，所使用的四套軟體：MongoDB、Express、AngularJS、Node.js。早個十年，那時開發網站流行使用 LAMP (Linux, Apache, MySQL, PHP) 這四套軟體。近年來，由於「大數據（Big Data）」、「分散式架構（Distributed Architecture）」、「非同步函數呼叫（Asynchronous Calls）」流行，傳統的 LAMP 已經無法應付上述三個需求，因此，網站開發環境就從「檯燈（LAMP）」換成「卑鄙（MEAN）」了... :-D 。皆下來我就一一介紹「卑鄙會的會員們」有哪些特色。

MongoDB 是一款以「檔案」做為儲存媒介的資料庫（Database）。有別於用傳統資料庫伺服器儲存資料、得把資料集中在後端單一機器上，使用檔案來存資料，不必硬是把資料集中在後台的一部機器上。你可以把一筆資料「碎屍萬段」，人名與電話的基本資料放在一台機器內的檔案，學經歷資料放在另一台機器內的檔案，達到「分散儲存，平行存取」的效果。這類用檔案做為儲存媒介的資料庫，我們通常稱為 NoSQL Database。近來 Facebook、Google...等網站，都積極使用 NoSQL Database 來做為後端儲存媒介。不但能「分散儲存」資料來預防一台機器掛點、整個網站就不能動的窘境，還能藉由「平行存取」位於數十台機器上分散儲存的資料，達到「秒取」所需的數據。關於 NoSQL 的介紹，可以看這篇「NoSQL 入門指引」： http://www.openfoundry.org/tw/news/9040

接下來我會介紹 Node.js，因為它比 Express 或 AngularJS 都來得基本。什麼是 Node.js 呢？簡單來說，就是執行於伺服器端的 JavaScript。拿 LAMP 時代的成員來比喻，Node.js 的地位就與 PHP 相同，只不過它採用 JavaScript 來當成語言而已。當然，Node.js 不是只有把 JavaScript 從客戶端搬到伺服端那麼簡單而已，還添加了不少功能。最著名的，當屬「非同步呼叫（Asynchronous Calls）」機制了。想瞭解「非同步呼叫」，得先瞭解什麼是「同步呼叫」。當主程式呼叫副程式時，在副程式還沒執行完前，主程式會「卡住」，等待副程式完成返回後，主程式才會繼續下一列程式碼的執行。這種函數呼叫方法稱為「同步呼叫」。但若副程式執行時間長，主程式在等待時就會因螢幕凍結、讓使用者體驗到類似「當掉」的情況。所以另外一種作法，就是主程式呼叫副程式、副程式開始運作後，主程式不等待副程式完成，逕行執行下一道指令。此時主副程式處於「平行運作」的狀況。等待副程式完成，就會「通知」主程式說：「我做完了」，主程式再予以反應即可。這種函數的呼叫方法，就稱為「非同步呼叫」。Node.js 並非三言兩語可以講完，有興趣的朋友，可以參考這本免費的 Node.js 電子書「Node 入門」： http://www.nodebeginner.org/index-zh-tw.html

再來是 AngularJS。它是 JavaScript 的「函式庫（Library）」，地位比較偏「前端」，負責 UI 的建置。如果說 JavaScript 是「無敵鐵金剛」，那 AngularJS 就類似「金剛飛翼」。與無敵鐵金剛結合後，就能讓本來不會飛的鐵金剛，遨翔在天際。AngularJS 有兩大特色：「單一網頁」與「MVC 模式」。「單一網頁」就類似你查詢「Google 圖片」時的感覺相同。網站一開始只提供一部份資料，隨著你往下捲，網站會動態載入剩下的部分。所有內容只要一直捲動，就會完整呈現，不必按「下一頁」，這就叫「單一網頁」。至於「MVC 模式」比較難懂，完全不瞭解它是什麼的版友，就等您實際研讀 AngularJS 再去學吧！Facebook 這邊實在不適合我長篇大論地講「何謂 MVC」。真的求知若渴的朋友，或可參考這篇「MVC 淺談」： http://luvit.me/1GzNxqN。最後，對 AngularJS 有興趣的朋友，可以參考這篇「我的前端 AngularJS 初體驗」： http://upvot.es/1C6W9qd

Express，一稱 ExpressJS，是一款 JavaScript 的「框架（Framework）」。所謂框架，就是協助你快一點寫出你想要的程式碼的工具。如果 JavaScript 是無敵鐵金剛，Express 就是幫忙你快速產生一架無敵鐵金剛的工具（以便讓你快去跟 AngularJS 這個金剛飛翼結合）。如果你是 PHP 的老手，我說 Express 就像是 PHP 內的 PEAR，不知道您是否能更有體會呢？關於 Express 的簡單介紹，中文的不多，不過我還是勉強找到這一篇 OK 的：「使用Node.js + Express建構一個簡單的微博網站」（ http://upvot.es/1E4MGQT ）。

不知這樣介紹，大家知道怎麼「卑鄙」（MEAN）地建構一個網站了嗎？最後送大家一本「卑鄙入門 XD」免費電子書。點擊後，找尋「eBook」這個關鍵字就能免費下載囉：
"MEAN Web Development", Packt Publishing, 2014
http://www.it-ebooks.info/book/4849/

期待大家也開始在網站開發這一塊，越來越「卑鄙」....

參考資料：
MongoDB（維基百科）： http://zh.wikipedia.org/wiki/MongoDB
用 Express 和 MongoDB 寫一個 todo list： http://upvot.es/17ER5vU
AngularJS（維基百科）： http://zh.wikipedia.org/wiki/AngularJS
使用 Node.js、Express、AngularJS 和 MongoDB 构建一个实时问卷调查应用程序： http://upvot.es/187BAwj
精通 MEAN: 当 MEAN 遇到 Meetup.com 和微数据： http://upvot.es/1E4Mili

EXCEL VBA與資料庫(進階112)第3單元ACCESS資料庫並寫入資料&刪除資料表與資料庫位置與欄位變數&讀取到工作表與用網路方式存取&MYSQL與VBA連結資料&用Range的Copy方法將一到三月複製到第一季

上課內容：
01_重點回顧與將資料寫入到資料庫
02_建立ACCESS資料庫並寫入資料
03_刪除資料表與資料庫位置與欄位變數
04_讀取到工作表與用網路方式存取
05_將資料改為問題02
06_MYSQL與VBA連結資料說明
07_用Range的Copy方法將一到三月複製到第一季
08_將日期資料正規化程式說明

完整影音
http://goo.gl/aQTMFS

教學論壇：
https://groups.google.com/forum/#!forum/scu_excel_vba2_112

與前幾期的課程雖然用的是相同的範例，但最大的不同在：
1.除了解說建函數公式，並將之轉成自訂函數，把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕，按下按鈕就自動完成工作。

內容主要分成：
單元01_資料拆解相關(VBA基礎)
單元02_表單設計
單元03_輸入自動化與表單與資料庫
單元04_工作表合併
單元05_資料查詢(篩選與分割工作表)
單元06_批次查詢
單元07_從雲端硬碟下載資料
單元08_下載網路資料
單元09_工作表相關
單元10_活頁簿與檔案處理(工作表分割與合併活頁簿)
單元11_表格與圖表處理(自動繪製圖表)
單元12_圖案處理(快速匯入圖片到EXCEL)

有講義與範例和完成的畫面公式與程式碼，
只要按照每周的順序學習，學會EXCEL VBA自動化絕非難事，
優點：
1.可非線性學習：可按照自己最不熟的部分多次學習。
2.可反覆學習：有疑問可以多次聽講，保證學的會。
3.可攜帶學習：只要有瀏覽器就可以播放SWF檔，MAC電腦也沒問題。

上課參考用書：
看！就是比你早下班－50個ExcelVBA高手問題解決法
作者：楊玉文 出版社：松崗
Excel VBA一點都不難：一鍵搞定所有報表
作者：?Excel Home
出版社：博碩

課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！ 2.進而解說EXCEL與資料庫的結合，將EXCEL當成資料庫來使用，結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

更多EXCEL VBA連結：
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

吳老師 2020/10/8

EXCEL,VBA,函數東吳進修推廣部,EXCEL,VBA,函數,程式設計,線上教學,excel,vba,教學,excel,vba指令教學,vba範例教學excel,,excel,vba教學視頻,excel函數教學,excel函數說明,excel函數應用

EXCEL VBA與資料庫(進階112)第3單元ACCESS資料庫並寫入資料&刪除資料表與資料庫位置與欄位變數&讀取到工作表與用網路方式存取&MYSQL與VBA連結資料&用Range的Copy方法將一到三月複製到第一季

上課內容：
01_重點回顧與將資料寫入到資料庫
02_建立ACCESS資料庫並寫入資料
03_刪除資料表與資料庫位置與欄位變數
04_讀取到工作表與用網路方式存取
05_將資料改為問題02
06_MYSQL與VBA連結資料說明
07_用Range的Copy方法將一到三月複製到第一季
08_將日期資料正規化程式說明

完整影音
http://goo.gl/aQTMFS

教學論壇：
https://groups.google.com/forum/#!forum/scu_excel_vba2_112

與前幾期的課程雖然用的是相同的範例，但最大的不同在：
1.除了解說建函數公式，並將之轉成自訂函數，把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕，按下按鈕就自動完成工作。

內容主要分成：
單元01_資料拆解相關(VBA基礎)
單元02_表單設計
單元03_輸入自動化與表單與資料庫
單元04_工作表合併
單元05_資料查詢(篩選與分割工作表)
單元06_批次查詢
單元07_從雲端硬碟下載資料
單元08_下載網路資料
單元09_工作表相關
單元10_活頁簿與檔案處理(工作表分割與合併活頁簿)
單元11_表格與圖表處理(自動繪製圖表)
單元12_圖案處理(快速匯入圖片到EXCEL)

有講義與範例和完成的畫面公式與程式碼，
只要按照每周的順序學習，學會EXCEL VBA自動化絕非難事，
優點：
1.可非線性學習：可按照自己最不熟的部分多次學習。
2.可反覆學習：有疑問可以多次聽講，保證學的會。
3.可攜帶學習：只要有瀏覽器就可以播放SWF檔，MAC電腦也沒問題。

上課參考用書：
看！就是比你早下班－50個ExcelVBA高手問題解決法
作者：楊玉文 出版社：松崗
Excel VBA一點都不難：一鍵搞定所有報表
作者：?Excel Home
出版社：博碩

課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！ 2.進而解說EXCEL與資料庫的結合，將EXCEL當成資料庫來使用，結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

更多EXCEL VBA連結：
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

吳老師 2020/10/8

EXCEL,VBA,函數東吳進修推廣部,EXCEL,VBA,函數,程式設計,線上教學,excel,vba,教學,excel,vba指令教學,vba範例教學excel,,excel,vba教學視頻,excel函數教學,excel函數說明,excel函數應用

EXCEL VBA與資料庫(進階112)第3單元ACCESS資料庫並寫入資料&刪除資料表與資料庫位置與欄位變數&讀取到工作表與用網路方式存取&MYSQL與VBA連結資料&用Range的Copy方法將一到三月複製到第一季

上課內容：
01_重點回顧與將資料寫入到資料庫
02_建立ACCESS資料庫並寫入資料
03_刪除資料表與資料庫位置與欄位變數
04_讀取到工作表與用網路方式存取
05_將資料改為問題02
06_MYSQL與VBA連結資料說明
07_用Range的Copy方法將一到三月複製到第一季
08_將日期資料正規化程式說明

完整影音
http://goo.gl/aQTMFS

教學論壇：
https://groups.google.com/forum/#!forum/scu_excel_vba2_112

與前幾期的課程雖然用的是相同的範例，但最大的不同在：
1.除了解說建函數公式，並將之轉成自訂函數，把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕，按下按鈕就自動完成工作。

內容主要分成：
單元01_資料拆解相關(VBA基礎)
單元02_表單設計
單元03_輸入自動化與表單與資料庫
單元04_工作表合併
單元05_資料查詢(篩選與分割工作表)
單元06_批次查詢
單元07_從雲端硬碟下載資料
單元08_下載網路資料
單元09_工作表相關
單元10_活頁簿與檔案處理(工作表分割與合併活頁簿)
單元11_表格與圖表處理(自動繪製圖表)
單元12_圖案處理(快速匯入圖片到EXCEL)

有講義與範例和完成的畫面公式與程式碼，
只要按照每周的順序學習，學會EXCEL VBA自動化絕非難事，
優點：
1.可非線性學習：可按照自己最不熟的部分多次學習。
2.可反覆學習：有疑問可以多次聽講，保證學的會。
3.可攜帶學習：只要有瀏覽器就可以播放SWF檔，MAC電腦也沒問題。

上課參考用書：
看！就是比你早下班－50個ExcelVBA高手問題解決法
作者：楊玉文 出版社：松崗
Excel VBA一點都不難：一鍵搞定所有報表
作者：?Excel Home
出版社：博碩

課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！ 2.進而解說EXCEL與資料庫的結合，將EXCEL當成資料庫來使用，結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

更多EXCEL VBA連結：
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

吳老師 2020/10/8

EXCEL,VBA,函數東吳進修推廣部,EXCEL,VBA,函數,程式設計,線上教學,excel,vba,教學,excel,vba指令教學,vba範例教學excel,,excel,vba教學視頻,excel函數教學,excel函數說明,excel函數應用