【從 teradata 到 BigQuery】美國職棒大聯盟資料倉儲搬遷實錄

#搬遷背景
美國職棒大聯盟 (MLB) 過去打造的 data pipeline 在建置時並沒有要做大數據分析的預期，所以多數對模型而言並不適用。存放於 teradata 中的資料也無法直接讓 30 支球隊存取，必須將資料複製到雲端上的 30 個獨立資料夾，讓球隊各自存取，球隊亦無法雙向向聯盟回饋數據，下述種種阻礙迫使 MLB 必須改變：

1⃣ 購退票、轉賣票券等行為導致已備份的歷史資料仍頻繁異動，需不斷再更新。
2⃣ 若分享的資料要新增欄位或改變格式，歷史資料需重新複製。
3⃣ 球隊須設定資料更新的通知，否則不會發現。
4⃣ 無法及時分享資料，頂多每五分鐘更新一次。
5⃣ 目標是提供具商業價值的分析給 MLB 跟球隊，但花費大量時間處理備份事宜。
6⃣ 當 MLB 開始尋找新的 BI 平台，發現既有倉儲和第三方工具整合有限。

#搬遷Tips
💡 新專案直接在 BigQuery 上開案。
💡 在 dependency graph 中找出 table 與 ETL jobs 間的關連，從關聯較少的開始搬遷。
💡 搬遷過程中，在 BigQuery 即時產生 teradata ETL 的副本，資料即時程度在 1 分鐘內，讓數據團隊可及早在 BigQuery 上使用資料。
💡 可在 GCP Marketplace 使用 #第三方轉譯器工具 CompilerWorks：自動化且正確地將 teradata SQL 轉換成 BigQuery SQL。
💡 ETL 搬遷的邏輯驗證可在 BigQuery 中完成。

#BigQuery解放MLB技術能量
✅ 球隊、聯盟員工存取同一份資料，MLB 無需處理歷史資料異動時，備份更新的問題。
✅ 性能與效率：大型查詢時間減少 50％。
✅ 完善資安功能：G Suite 提供身份驗證功能，Google Cloud IAM 負責處理權限控管。
✅ 友善體驗：Console 和 BigQuery API 極易上手，入門門檻低。
✅ 靈活性、降低成本：允許按需求量收費，不必承諾使用量，以便逐步上線。支援自動備份、自動擴展。

▎報名收看 Google 官方中文演講場次：https://bit.ly/2ZMYzv5
▎Next OnAir Week 1 精華整理：https://bit.ly/3jpSwnU
#GoogleCloud #NextOnAir #NextRecap
#iKalaCloud #數位轉型就找iKala

VBA到Python程式開發202101第7次上課

01_重點回顧與判斷檔案是否存在
02_判斷all存在與刪除與刪除all以外檔案
03_合併細節說明與檔案分割與取得檔名
04_新增SQLite資料庫資料表與欄位
05_SQL資料庫與建立資料表與欄位並新增資料
06_用Select語法查詢結果

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2021_1

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰? 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 110/4/6

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

[初階]從VBA的自動化到PYTHON網路爬蟲應用5(全省郵局地址合併&用os的walk方法巡覽檔名&將

all再分割回25個檔案&字典型態處理與學生成績&SQLite新增資料庫與資料表與紀錄)

01_重點回顧與會員資料寫入資料庫
02_會員資料讀取並切割為串列
03_將資料寫入資料庫(建資料表與欄位)
04_SQL刪除資料表與查詢資料
05_編號查詢與關鍵字查詢
06_日期查詢與SQL相關語法
07_將全省郵局地址三重寫入到資料庫
08_全省郵局全部寫入到資料庫

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2020_3

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

[初階]從VBA的自動化到PYTHON網路爬蟲應用
01 建置Python開發環境 3
02 基本語法與結構控制 3
03 迴圈敘述演示與資料結構及函式 3
04 檔案處理與SQLite資料庫處理 6
05 TQC+Python證照第1、2、3類：
基本程式設計與選擇敘述與迴圈敘述 12
06 TQC+Python證照第4、5類：
進階控制流程與函式(Function) 9

[進階]網頁資料擷取、分析與資料視覺化能力
07 網頁資料擷取與分析 3
09 實戰：處理 CSV 檔和 JSON 資料 3
10 實戰：PM2.5即時監測顯示器轉存資料庫 3
11 實戰：下載台銀外匯、下載YAHOO股市類股 3
12 實戰：下載威力彩開獎結果 3
13 TQC+Python 3網頁資料擷取與分析第1類：資料處理能力 3
14 TQC+Python 3第2類：網頁資料擷取與轉換 6
15 TQC+Python 3第3類：資料分析能力 6
16 TQC+Python 3第4類：資料視覺化能力 6

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著
出版社：碁峰 出版日期：2016/11/29

吳老師 109/7/24

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境,資料視覺化

[初階]從VBA的自動化到PYTHON網路爬蟲應用5(全省郵局地址合併&用os的walk方法巡覽檔名&將

all再分割回25個檔案&字典型態處理與學生成績&SQLite新增資料庫與資料表與紀錄)

01_重點回顧與會員資料寫入資料庫
02_會員資料讀取並切割為串列
03_將資料寫入資料庫(建資料表與欄位)
04_SQL刪除資料表與查詢資料
05_編號查詢與關鍵字查詢
06_日期查詢與SQL相關語法
07_將全省郵局地址三重寫入到資料庫
08_全省郵局全部寫入到資料庫

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2020_3

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

[初階]從VBA的自動化到PYTHON網路爬蟲應用
01 建置Python開發環境 3
02 基本語法與結構控制 3
03 迴圈敘述演示與資料結構及函式 3
04 檔案處理與SQLite資料庫處理 6
05 TQC+Python證照第1、2、3類：
基本程式設計與選擇敘述與迴圈敘述 12
06 TQC+Python證照第4、5類：
進階控制流程與函式(Function) 9

[進階]網頁資料擷取、分析與資料視覺化能力
07 網頁資料擷取與分析 3
09 實戰：處理 CSV 檔和 JSON 資料 3
10 實戰：PM2.5即時監測顯示器轉存資料庫 3
11 實戰：下載台銀外匯、下載YAHOO股市類股 3
12 實戰：下載威力彩開獎結果 3
13 TQC+Python 3網頁資料擷取與分析第1類：資料處理能力 3
14 TQC+Python 3第2類：網頁資料擷取與轉換 6
15 TQC+Python 3第3類：資料分析能力 6
16 TQC+Python 3第4類：資料視覺化能力 6

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著
出版社：碁峰 出版日期：2016/11/29

吳老師 109/7/24

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境,資料視覺化