Big Data資料加值應用研習班課程分享(105/2/16)

Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
 開放資料範例
 內政部實價登錄、YAHOO股市資料
GOOGLE表單
 範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
 EXCLE統計函數
 範例：黑名單篩選、樂透彩中獎機率
 樞紐分析表
 範例：銷貨系統分析
 開放資料加值應用實例
 範例：實價登錄、用EXCEL一鍵批次下載股市資料
 EXCLE VBA(與R語言比較)
 PowerPivot增益集
 海量資料的分析工具-PowerPivot實作演練
 視覺化數位儀表與報表–PowerView資料地圖實作

上課影音內容：
01_課程說明與參考書籍
02_問卷結果與檔案下載
03_大數據的定義與成功範例
04_範例_樂透彩機率統計函數說明
05_格式化前七名與VBA設定
06_前七名的VBA程式撰寫說明
07_樂透彩VBA程式說明
08_GOOGLE表單與複選結果切割
09_複選結果切割VBA程式說明
10_複選結果切割註解與按鈕相關
11_黑名單篩選查詢資料說明
12_黑名單篩選查詢VBA程式與進度列
13_台北市實價登錄範例VBA程式解說
14_批次下載股市資料程式說明與結尾

完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK

與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。

Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因

維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。

巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前

吳老師 105/2/15

EXCEL VBA與資料庫(進階112)第5單元產生網址陣列與迴圈下載所有資料&刪除日期列與樞紐分析品名&樞紐分析表分割資料與匯入XML&錄製XML匯入巨集與修改&下載JSON格式與單個項目分割資料

上課內容：
01_重點回顧與下載開放資料
02_錄製巨集與修改VBA說明
03_產生網址陣列與迴圈下載所有資料
04_刪除日期列與樞紐分析品名
05_樞紐分析表分割資料與匯入XML
06_錄製XML匯入巨集與修改
07_下載JSON格式與單個項目分割資料

完整影音
https://www.youtube.com/playlist?list=PLYDN7SApJ3PilJeKaX8c88QBAdK8Hwx_M

教學論壇：
https://groups.google.com/forum/#!forum/scu_excel_vba2_112

與前幾期的課程雖然用的是相同的範例，但最大的不同在：
1.除了解說建函數公式，並將之轉成自訂函數，把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕，按下按鈕就自動完成工作。

內容主要分成：
單元01_資料拆解相關(VBA基礎)
單元02_表單設計
單元03_輸入自動化與表單與資料庫
單元04_工作表合併
單元05_資料查詢(篩選與分割工作表)
單元06_批次查詢
單元07_從雲端硬碟下載資料
單元08_下載網路資料
單元09_工作表相關
單元10_活頁簿與檔案處理(工作表分割與合併活頁簿)
單元11_表格與圖表處理(自動繪製圖表)
單元12_圖案處理(快速匯入圖片到EXCEL)

上課參考用書：
看！就是比你早下班－50個ExcelVBA高手問題解決法
作者：楊玉文 出版社：松崗
Excel VBA一點都不難：一鍵搞定所有報表
作者：?Excel Home
出版社：博碩

課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！ 2.進而解說EXCEL與資料庫的結合，將EXCEL當成資料庫來使用，結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

更多EXCEL VBA連結：
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

吳老師 2020/10/21

EXCEL,VBA,函數東吳進修推廣部,EXCEL,VBA,函數,程式設計,線上教學,excel,vba,教學,excel,vba指令教學,vba範例教學excel,,excel,vba教學視頻,excel函數教學,excel函數說明,excel函數應用

EXCEL VBA與資料庫(進階112)第5單元產生網址陣列與迴圈下載所有資料&刪除日期列與樞紐分析品名&樞紐分析表分割資料與匯入XML&錄製XML匯入巨集與修改&下載JSON格式與單個項目分割資料

上課內容：
01_重點回顧與下載開放資料
02_錄製巨集與修改VBA說明
03_產生網址陣列與迴圈下載所有資料
04_刪除日期列與樞紐分析品名
05_樞紐分析表分割資料與匯入XML
06_錄製XML匯入巨集與修改
07_下載JSON格式與單個項目分割資料

完整影音
https://www.youtube.com/playlist?list=PLYDN7SApJ3PilJeKaX8c88QBAdK8Hwx_M

教學論壇：
https://groups.google.com/forum/#!forum/scu_excel_vba2_112

與前幾期的課程雖然用的是相同的範例，但最大的不同在：
1.除了解說建函數公式，並將之轉成自訂函數，把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕，按下按鈕就自動完成工作。

內容主要分成：
單元01_資料拆解相關(VBA基礎)
單元02_表單設計
單元03_輸入自動化與表單與資料庫
單元04_工作表合併
單元05_資料查詢(篩選與分割工作表)
單元06_批次查詢
單元07_從雲端硬碟下載資料
單元08_下載網路資料
單元09_工作表相關
單元10_活頁簿與檔案處理(工作表分割與合併活頁簿)
單元11_表格與圖表處理(自動繪製圖表)
單元12_圖案處理(快速匯入圖片到EXCEL)

上課參考用書：
看！就是比你早下班－50個ExcelVBA高手問題解決法
作者：楊玉文 出版社：松崗
Excel VBA一點都不難：一鍵搞定所有報表
作者：?Excel Home
出版社：博碩

課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！ 2.進而解說EXCEL與資料庫的結合，將EXCEL當成資料庫來使用，結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

更多EXCEL VBA連結：
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

吳老師 2020/10/21

EXCEL,VBA,函數東吳進修推廣部,EXCEL,VBA,函數,程式設計,線上教學,excel,vba,教學,excel,vba指令教學,vba範例教學excel,,excel,vba教學視頻,excel函數教學,excel函數說明,excel函數應用

EXCEL VBA與資料庫(進階112)第5單元產生網址陣列與迴圈下載所有資料&刪除日期列與樞紐分析品名&樞紐分析表分割資料與匯入XML&錄製XML匯入巨集與修改&下載JSON格式與單個項目分割資料

上課內容：
01_重點回顧與下載開放資料
02_錄製巨集與修改VBA說明
03_產生網址陣列與迴圈下載所有資料
04_刪除日期列與樞紐分析品名
05_樞紐分析表分割資料與匯入XML
06_錄製XML匯入巨集與修改
07_下載JSON格式與單個項目分割資料

完整影音
https://www.youtube.com/playlist?list=PLYDN7SApJ3PilJeKaX8c88QBAdK8Hwx_M

教學論壇：
https://groups.google.com/forum/#!forum/scu_excel_vba2_112

與前幾期的課程雖然用的是相同的範例，但最大的不同在：
1.除了解說建函數公式，並將之轉成自訂函數，把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕，按下按鈕就自動完成工作。

內容主要分成：
單元01_資料拆解相關(VBA基礎)
單元02_表單設計
單元03_輸入自動化與表單與資料庫
單元04_工作表合併
單元05_資料查詢(篩選與分割工作表)
單元06_批次查詢
單元07_從雲端硬碟下載資料
單元08_下載網路資料
單元09_工作表相關
單元10_活頁簿與檔案處理(工作表分割與合併活頁簿)
單元11_表格與圖表處理(自動繪製圖表)
單元12_圖案處理(快速匯入圖片到EXCEL)

上課參考用書：
看！就是比你早下班－50個ExcelVBA高手問題解決法
作者：楊玉文 出版社：松崗
Excel VBA一點都不難：一鍵搞定所有報表
作者：?Excel Home
出版社：博碩

課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！ 2.進而解說EXCEL與資料庫的結合，將EXCEL當成資料庫來使用，結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

更多EXCEL VBA連結：
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

吳老師 2020/10/21

EXCEL,VBA,函數東吳進修推廣部,EXCEL,VBA,函數,程式設計,線上教學,excel,vba,教學,excel,vba指令教學,vba範例教學excel,,excel,vba教學視頻,excel函數教學,excel函數說明,excel函數應用