Big Data資料加值應用研習班課程分享(105/2/16)

Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
 開放資料範例
 內政部實價登錄、YAHOO股市資料
GOOGLE表單
 範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
 EXCLE統計函數
 範例：黑名單篩選、樂透彩中獎機率
 樞紐分析表
 範例：銷貨系統分析
 開放資料加值應用實例
 範例：實價登錄、用EXCEL一鍵批次下載股市資料
 EXCLE VBA(與R語言比較)
 PowerPivot增益集
 海量資料的分析工具-PowerPivot實作演練
 視覺化數位儀表與報表–PowerView資料地圖實作

上課影音內容：
01_課程說明與參考書籍
02_問卷結果與檔案下載
03_大數據的定義與成功範例
04_範例_樂透彩機率統計函數說明
05_格式化前七名與VBA設定
06_前七名的VBA程式撰寫說明
07_樂透彩VBA程式說明
08_GOOGLE表單與複選結果切割
09_複選結果切割VBA程式說明
10_複選結果切割註解與按鈕相關
11_黑名單篩選查詢資料說明
12_黑名單篩選查詢VBA程式與進度列
13_台北市實價登錄範例VBA程式解說
14_批次下載股市資料程式說明與結尾

完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK

與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。

Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因

維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。

巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前

吳老師 105/2/15

如何快速在EXCEL中建立查詢系統(免資料庫)之1(01_如何將資料分離(查詢系統建立))

以往要查詢資料時通常需要將資料匯出到資料庫中，
再利用ADO與SQL的SELECT語法來查詢資料，
但這樣的方法技術難度很高，並不適合一般性的辦公室應用，
因此如何不用資料庫，也能在EXCEL中查詢變得很重要。

為什麼以前在EXCEL中查詢很困難，
主要是EXCEL2003以前的版本一個工作表最多只能容納65536筆資料，
加上如果資料倆一多就很容易白畫面，接下來就是EXCEL程式當掉。
EXCEL2007筆數提高到1048576筆，
此外，現在電腦記憶體也從早期的64MB，提高到4GB以上，增加了六十幾倍，
因此大大提高EXCEL的可用性，把它拿來當資料庫應該也沒什麼不可，
加上EXCEL本身提供VBA開發環境，對EXCEL的自動化有如虎添翼的功效，
事實上，VBA無須安裝，所以很容易取得，又跨WINDOWS與MAC電腦，
加上只要有EXCEL電腦就有VBA，
讓VBA的執行更容易，不向其他開發工具，如VB.NET，光安裝就是大問題，
更別說執行與設計的複雜度，非一般人可及。

以下用很簡單的方式教大家快速建立EXCEL版的查詢系統，會先錄製巨集，
再來修改，其後就可以當成範本，快速修改成自己所需，
這樣彈性也大，也省去大筆軟體開發的經費。

1.完成畫面：

2.錄製巨集並註解修改程式

EXCEL VBA處理股票分析自動最佳化範例

最近上EXCEL入門班的學生問了個還蠻不錯的問題，
雖然股票分析對我而言很外行，但他很認真的仔細跟我解說他的問題，
也很認真的寫出的VBA程式，
但由於他程式有部分是從別的書中的程式參考而來，
所以有很多地方不能理解，
於是我就逐步的說明，主要要能真掌握VBA程式，
還是要把成是拆解成幾個部分看，
參考來的程式碼由於作者把好幾個部分程式寫入，
讓原本功力不深的同學不容易理解。
其次，寫程式沒有一定的規則，最重要的自己熟悉的邏輯，
不然要懂別人的邏輯不如自己重寫來的快。
再者，
養成程式撰寫的好習慣一定是必要的，
沒有註解，沒有縮排習慣的人，雖急就章寫好程式，
但將來除錯或是更複雜的程是將是頭痛問題，
更別說要別人理解你的程式了。

以下是程式畫面，分成3部分，
1.長短均線差列表程序
2.取用EXCEL內建函數與加入顏色
3.如何清除顏色與最佳化結果

東吳EXCEL VBA與資料庫雲端設計116第3次

上課內容：
01_重點回顧與住宅竊盜統計
02_用FIND函數與IFERROR函數抓取位置
03_取得頭尾位置與MID切割資料
04_建立路街道樞紐分析表與圖與VBA說明
05_用VBA輸出公式
06_直接用VBA輸出結果與多重邏輯判斷
07_改為自訂函數與簡易爬蟲
08_多行註解與邏輯函數
09_VBA裡的邏輯判斷

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/?hl=zh-TW#!forum/excel-vba-116

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介
五大類函數與自訂函數
一、文字和資料函數
二、邏輯函數
三、日期和時間函數
四、數學和三角函數
五、檢視和參照函數
其他綜合範例

上課用書：
Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元

超圖解 Excel VBA 基礎講座
作者： 亮亨/譯 出版社：旗標
出版日期：2006/05/15 定價：420元
日本Amazon網站同類書籍銷售No.1

吳老師 110/7/19

函數,東吳進修推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻

東吳EXCEL VBA與資料庫雲端設計116第3次

上課內容：
01_重點回顧與住宅竊盜統計
02_用FIND函數與IFERROR函數抓取位置
03_取得頭尾位置與MID切割資料
04_建立路街道樞紐分析表與圖與VBA說明
05_用VBA輸出公式
06_直接用VBA輸出結果與多重邏輯判斷
07_改為自訂函數與簡易爬蟲
08_多行註解與邏輯函數
09_VBA裡的邏輯判斷

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/?hl=zh-TW#!forum/excel-vba-116

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介
五大類函數與自訂函數
一、文字和資料函數
二、邏輯函數
三、日期和時間函數
四、數學和三角函數
五、檢視和參照函數
其他綜合範例

上課用書：
Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元

超圖解 Excel VBA 基礎講座
作者： 亮亨/譯 出版社：旗標
出版日期：2006/05/15 定價：420元
日本Amazon網站同類書籍銷售No.1

吳老師 110/7/19

函數,東吳進修推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻

東吳EXCEL VBA與資料庫雲端設計116第3次

上課內容：
01_重點回顧與住宅竊盜統計
02_用FIND函數與IFERROR函數抓取位置
03_取得頭尾位置與MID切割資料
04_建立路街道樞紐分析表與圖與VBA說明
05_用VBA輸出公式
06_直接用VBA輸出結果與多重邏輯判斷
07_改為自訂函數與簡易爬蟲
08_多行註解與邏輯函數
09_VBA裡的邏輯判斷

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/?hl=zh-TW#!forum/excel-vba-116

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介
五大類函數與自訂函數
一、文字和資料函數
二、邏輯函數
三、日期和時間函數
四、數學和三角函數
五、檢視和參照函數
其他綜合範例

上課用書：
Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元

超圖解 Excel VBA 基礎講座
作者： 亮亨/譯 出版社：旗標
出版日期：2006/05/15 定價：420元
日本Amazon網站同類書籍銷售No.1

吳老師 110/7/19

函數,東吳進修推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻