[數據分析] ETL一個基本又很重要的數據工程概念✅

這一年來的工作，常常需要把數據搬來搬去，像在搬磚頭一樣

實際到底怎麼搬？為什麼搬？就先來提這個ETL的基本概念吧

✅ETL就是Extract - Transform - Load

簡單說
Extract ▶️把數字撈出來 - 做需要的整合、
Transform ▶️clean整理、
Transform ▶️format格式排版化 - 最後將整理好的數字，
Load ▶️送到最後的用途處

這本來是個很IT的概念，處理大規模的data warehouse的應用

但就現在大數據、雲端跟data accessibility 越來越普及，就會用ETL的工具將數據搬來搬去

以前可能是手動：
從系統A跟系統B，手動下載報告
在Excel內整合，無論是數字排版或是篩選等等
最後劃表格，在Excel或是Power Point呈現圖表

現在就變成了一切自動化且大規模的ETL

例如我從IT管理的大資料庫裡，ETL出我需要的部分欄位，丟到雲端環境，再整合從別處ETL的數據，就可以資料連連看，做更進一步的分析

或是load資料去視覺化的呈現報告

像常用的API, data transfer這些，大多是屬於ETL的概念跟運用

那哪個ETL工具好用？

就看使用用途、目的性跟預算了，因為各式各樣的ETL工具實在是太多了，自己搜尋😉

👉🏼👉🏼我的書【大英國小職員職場奮鬥記：拒絕壓榨!大膽出走海外就業去】👈🏼👈🏼
博客來購書網址：https://goo.gl/V5Vm7y
誠品購書網址：https://goo.gl/fEFNDP
樂天電子書：https://goo.gl/KStfuT
👉🏼香港：三聯、中華、商務書局
👉🏼英國郵寄購書請私訊

Power BI 大數據分析基礎應用08.重新整理.ETL工具.Dataprep
面對大數據，如何整合大數據，可能發生的問題，資料擷取、資料轉換、資料讀入（ETL），資料清理完畢，進資料倉儲；選擇資料倉儲資料產生的資料市集，進行大數據分析。大數據分析得到的資料行為模式是什麼，如何形成作為與政策管理應用，都是這個課程的重點。
各階段可能產生問題的描述，與面對大數據如何處理的實務，都將會在課程中呈現。
孫在陽 [email protected]

AI 資料清理 DataPrep - ETL 工具
在做視覺化分析前，遇到最大的挑戰，就是資料清理。資料清理:資料有沒有遺失、資料正確嗎、資料剖析、資料合併、資料轉換等都是資料清理範疇。

用Power BI做大數據分析與政策管理應用-05.dataprep ETL 工具,資料整理,每十萬人口發生率
資料整理需要花費大量時間、又是吃力不討好的工作，但沒有做好資料整理，很有可能造成垃圾進、垃圾出的結果。因此介紹一套很簡單操作的Dataprep工具，讓大家簡易做一些資料整理的工作。但這只能做部份工作，但還有更多的ETL工作要使用撰寫程式完成。
大數據分析其實早就存在，只是因為數據越來越大，需要更好的計算方法、更快的設備、更強的呈現結果方式，形成另一種視覺化分析。