打造智慧數據湖，Google Cloud 今天推出三項新服務讓資料在雲更聰明

2021/05/27 INSIDE 硬塞的網路趨勢觀察

Google Cloud 在今天舉辦的 Google Data Cloud Summit 上，發布三項全新解決方案：Dataplex、Datastream 和 Analytics Hub Beta 版，將涵蓋旗下的資料庫和資料分析產品組合，為企業提供一個整合式資料平台，協助企業打破資料孤島。

評論

Google Cloud 在今天舉辦的 Google Data Cloud Summit 上，發布三項全新解決方案：Dataplex、Datastream 和 Analytics Hub Beta 版，將涵蓋旗下的資料庫和資料分析產品組合，為企業提供一個整合式資料平台，協助企業打破資料孤島，安全地預測業務成果並賦予使用者能力，在現今不斷變化的數位環境中即時制定明智的決策。

「Gartner 近期的問卷調查結果顯示，企業預估每年在品質不甚理想的資料上平均花費 $1,280 萬美元。」 因為資料散布在多個雲端和地端部署環境中的資料庫、資料湖泊、資料倉儲和資料市集內，企業除了要設法集中控管及管理應用程式，更需要即時整合資料來改善決策，加快創新腳步及提升客戶體驗。

Google Cloud 資料庫、資料分析及 Looker 商業智慧平台總經理暨副總裁 Gerrit Kazmaier 說明，企業須把資料視為具備將所有相關業務面向整合為一的能力。如今所有產業紛紛轉換為以數位化為主的業務型態，因為他們明白資料不但是創造價值的要素，同時也是推動數位轉型的關鍵。

透過運用 Google Cloud 的資料平台，客戶現在將能採用全方位且涵蓋完整資料生命週期的資料雲端方案，從業務執行系統到可進行未來預測和自動化作業的 AI 與機器學習工具等均包含在內。

Datastream-為客戶提供即時資料複製功能：目前提供 Beta 版體驗的 Datastream 提供全新的無伺服器異動資料擷取 (CDC) 和複製服務，讓客戶可以從 Oracle 和 MySQL 資料庫將資料串流即時擷取至 Google Cloud 服務，例如 BigQuery、可於 PostgreSQL 上執行的 Cloud SQL、Google Cloud Storage 和 Cloud Spanner。

企業可運用這項解決方案強化即時性數據分析功能、資料庫的複製速度以及事件驅動架構等。率先採用此方案的客戶 Schnuck Markets, Inc.運用 Datastream 簡化了架構，而將 Oracle 資料複製到 BigQuery 和 Cloud SQL 也不再會延遲數小時之久。

Analytics Hub-提高資料共用安全與易用性：Analytics Hub 可為企業創造安全且即時的資料交換服務，借助 Analytics Hub，企業可以在不論組織的內外部，安全地共享數據和洞察，包括動態儀表板和機器學習模型。

Analytics Hub 協助企業整合其數據資產，如將 Google 獨有數據、產業數據和公開數據整合一起。Analytics Hub 建立於 BigQuery 現行且普及的共享功能基礎上，目前已經使數千家企業透過數據分析進行革新，並透過不僅是單純共享數據的方法，來加快洞察的取得。

Dataplex-協助企業簡化資料管理作業：目前提供 Beta 版體驗的 Dataplex 是一種智慧資料網路架構，可提供單一整合式的分析體驗，能將 Google Cloud 和開放原始碼結合在一起，使企業能夠快速整理、保護、整合及分析其數據。

自動化的資料品質可讓數據資料學家和分析師利用自選工具確保資料的一致性，不須移動或複製資料即可統整並管理資料。Google 提供傑出的 AI 和機器學習功能，讓企業能夠利用內建的智慧資料來縮短處理繁複基礎架構的時間，並將更多心力轉而投入於發掘資料價值，以帶來更多業務成果。身為 Dataplex 早期客戶，Equifax 與 Google 合作致力將 Dataplex 納入自己的核心分析平台，不但簡化了工作負載，還建立了所有內部分析資料都適用的單一指令控管及管理平台。

在資料雲端高峰會舉辦期間，Google Cloud 也發表了資料庫和數據分析產品組合方面的其他最新消息：

基於對多雲端的策略性承諾，Google 陸續推出分別適用於 Microsoft Azure 的 BigQuery Omni Beta 版和 Looker 商業智慧平台正式版，藉此協助客戶取得跨雲端環境的關鍵資料深入分析結果。繼去年發表適用於 AWS 的 BigQuery Omni 後，這次發表的最新消息更延續了市場對此技術的展望。

BigQuery ML 異常偵測 可協助客戶透過使用 BigQuery 的內建機器學習功能，以更輕鬆的方式檢測異常資料模式。目前許多客戶將這項技術運用於多種用途，包括銀行詐欺偵測和生產製造不良原因分析。

Dataflow 為客戶提供了具備成本效益的快速串流分析解決方案。而預計於第三季推出的 Dataflow Prime 將提供業界領先的自動垂直擴充和數據管道正確配置技術，為客戶最大幅度地降低整體擁有成本。此外，Dataflow Prime 更內建了 AI 和機器學習技術，可以為客戶提供串流預測功能，例如時間序列分析、可主動識別瓶頸的智慧診斷功能，以及可提高使用率的自動微調功能。

Google 也將全代管關聯資料庫 Cloud Spanner 的入門價格降低 90%，連同即將推出的精細個體規模調整功能 (granular instance sizing) ，將同樣提供無限制的空間規模與99.999％的可用性，用以支援要求最苛刻的應用程式運作。BigQuery 與 Spanner 的整合功能也即將推出，可讓使用者透過 BigQuery 查詢 Spanner 中的交易資料，以便提供更豐富且即時的深入分析結果。而 Spanner 新增的 Key Visualizer 功能(目前為 Beta 版本)，可提供互動式監控功能，方便開發人員迅速識別使用模式。此外，Cloud Bigtable 更具備可達 99.999%(5 9s) SLA 的讀取和寫入可用性。

資料來源：https://www.inside.com.tw/article/23648-google-data-cloud-summit

主要工作內容

1. 集團專案開發、API 維護
2. 新功能開發
3. 活動網站開發
4. 第三方程式串接

職缺條件

1. PHP、MySQL 開發經驗
2. 了解 HTML 概念
3. 勇於溝通，樂於表達自己的想法
4. 喜歡主動學習新技術

加分條件

1. 接觸過 Laravel 框架
2. 接觸過 Git 版本控制
3. 團隊開發經驗
4. 寫註解的習慣

你會學到

1. Laravel 實戰經驗傳授
2. 大流量網站開發經驗
3. 專案規劃及合作開發經驗
4. 網站 SEO 調校

＊欲應徵者，請務必將履歷寄到：job@thenewslens.com
＊更多關鍵評論網媒體集團其他職缺：https://bit.ly/2vkUAZn

在這門課程中將涵蓋 Go 測試功能的各個方面:

1 基本單元測試
2 測試驅動開發( Test Driven Development )
3 單元測試應用程式的單一層
4 TestMain 函數如何工作以及如何使用它
5 Mock 和單元測試外部 REST API 呼叫
6 Mock 和整合測試 REST API 呼叫形成應用程式的內部層
7 如何執行功能測試
8 如何定義和編寫基準以比較同一解決方案的兩個版本的品質
9 Mock 和單元測試 MySQL 資料庫連線和查詢
10 Mock 框架已經出現了
11 Go 的 Asserts : 為什麼沒有它們？ 如何以安全的方式實現它們
https://softnshare.com/unit-integration-and-functional-testing-in-golang-go/

VBA到Python程式2019開發3班第2次上課(計算BMI與輸出到小數點第二位&用For迴圈輸出1加總到99&用continue與step2&九九乘法表先輸出單個與一列&多列敘述&證照考試題補充與改為VBA版本&星號輸出三角形)

01_重點回顧與範例BMI
02_計算BMI與輸出到小數點第二位
03_BMI評語與格式設定
04_用For迴圈輸出1加總到99
05_加總奇數用continue與step2
06_九九乘法表先輸出單個與一列
07_九九乘法表再加上多列敘述
08_證照考試題補充與改為VBA版本
09_證照考題308與星號輸出三角形
10_正向加空白

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2019_3

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰? 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 108/7/9

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

VBA到Python程式2019開發3班第2次上課(計算BMI與輸出到小數點第二位&用For迴圈輸出1加總到99&用continue與step2&九九乘法表先輸出單個與一列&多列敘述&證照考試題補充與改為VBA版本&星號輸出三角形)

01_重點回顧與範例BMI
02_計算BMI與輸出到小數點第二位
03_BMI評語與格式設定
04_用For迴圈輸出1加總到99
05_加總奇數用continue與step2
06_九九乘法表先輸出單個與一列
07_九九乘法表再加上多列敘述
08_證照考試題補充與改為VBA版本
09_證照考題308與星號輸出三角形
10_正向加空白

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2019_3

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰? 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 108/7/9

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

VBA到Python程式2019開發3班第2次上課(計算BMI與輸出到小數點第二位&用For迴圈輸出1加總到99&用continue與step2&九九乘法表先輸出單個與一列&多列敘述&證照考試題補充與改為VBA版本&星號輸出三角形)

01_重點回顧與範例BMI
02_計算BMI與輸出到小數點第二位
03_BMI評語與格式設定
04_用For迴圈輸出1加總到99
05_加總奇數用continue與step2
06_九九乘法表先輸出單個與一列
07_九九乘法表再加上多列敘述
08_證照考試題補充與改為VBA版本
09_證照考題308與星號輸出三角形
10_正向加空白

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2019_3

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰? 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 108/7/9

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境