Big Data資料加值應用研習班課程分享(105/2/16)

Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
 開放資料範例
 內政部實價登錄、YAHOO股市資料
GOOGLE表單
 範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
 EXCLE統計函數
 範例：黑名單篩選、樂透彩中獎機率
 樞紐分析表
 範例：銷貨系統分析
 開放資料加值應用實例
 範例：實價登錄、用EXCEL一鍵批次下載股市資料
 EXCLE VBA(與R語言比較)
 PowerPivot增益集
 海量資料的分析工具-PowerPivot實作演練
 視覺化數位儀表與報表–PowerView資料地圖實作

上課影音內容：
01_課程說明與參考書籍
02_問卷結果與檔案下載
03_大數據的定義與成功範例
04_範例_樂透彩機率統計函數說明
05_格式化前七名與VBA設定
06_前七名的VBA程式撰寫說明
07_樂透彩VBA程式說明
08_GOOGLE表單與複選結果切割
09_複選結果切割VBA程式說明
10_複選結果切割註解與按鈕相關
11_黑名單篩選查詢資料說明
12_黑名單篩選查詢VBA程式與進度列
13_台北市實價登錄範例VBA程式解說
14_批次下載股市資料程式說明與結尾

完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK

與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。

Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因

維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。

巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前

吳老師 105/2/15

昨天在東吳進修推廣部講到數學函數單元，最重要的用到COUNTIF函數，
並舉到樂透彩中獎機率範例，
分享幾個好用的EXCEL應用技巧，
1.定義名稱範圍
2.自訂格式化
3.用公式設定格式化條件
這個範例可以用再只要需要統計機率，
就可以用COUNTIF函數快速的統計出機率，
當然這些資料來自網路上的開放資料，
也可以配合VBA自動下載網路資料。

上課畫面：
01_完成結果畫面

02_定義名稱所有的101年號碼

03_用COUNTIF與COUNT算出機率

04_格式化成1000分之多少

05_算出排名

06_前7名格式化

請先看之前的課程：
如何將數學函數轉EXCEL VBA設計之一
http://terry55wu.blogspot.tw/2014/09/excel-vba_19.html
如何將數學函數轉EXCEL VBA設計之二
http://terry55wu.blogspot.tw/2015/01/excel-vba.html
提高工作效率_黑名單篩選範例分享
http://terry55wu.blogspot.tw/2015/06/blog-post.html
雲端問卷調查及EXCEL統計分析研習分享
http://terry55wu.blogspot.tw/2014/11/excel.html

完整的教學影片：

其他相關學習：
如何設計VBA表單與EXCEL當資料庫用(85期)
提高效率VBA入門班第1次上課心得分享
EXCEL VBA處理股票分析自動最佳化範例
如何在EXCEL VBA中快速刪除空白列
定存範例轉VBA與只能輸入數字的InputBox
如何學會EXCEL VBA資料庫系列之一
EXCEL VBA入門：如何撰寫自動格式化的VBA程式
EXCEL VBA入門之一：如何函數轉VBA
VB.NET設計(九九乘法表&小狗動畫&撲克牌&字幕)
回覆Excel VBA入門與進階課的差異？
如何批次下載股市資料到EXCEL中之2
如何用VBA快速取得期貨交易資料(開收高低量)
如何在EXCEL VBA隱藏與顯示工作表
如何移動工作表與排序之1
如何批次下載股市資料到EXCEL中之1
如何批次下載股市資料到EXCEL中
如何建立表單與將EXCEL當成資料庫
如何讓用ACCESS將EXCEL的資料
如何排序工作表
如何將單次查詢改為批次查詢(EXCEL VBA自動化)
如何在EXCEL VBA的工作表隨機上顏色
如何快速在EXCEL中建立查詢系統(免資料庫)之2
如何精簡VBA程式與傳遞引數
如何快速在EXCEL中建立查詢系統(免資料庫)之1
如何將大量工作表整合在一個工作表
如何在EXCEL VBA新增沒有重複名稱工作表
如何自動下載YAHOO股市資料到EXCEL中
如何建立表單與將EXCEL當成資料庫使用
如何在EXCE VBA中複製工作表
如何在EXCEL VBA如何保護工作表
如何在EXCEL VBA新增沒有重複名稱工作表
如何在EXCEL工作表中移動
EXCEL VBA辦公自動化_如何建立查詢系統
如何當下拉清單改變時自動抓取資料之一
如何將數學函數轉EXCEL VBA設計之二
如何增加EXCEL VBA按鈕
如何設定EXCEL VBA開發環境設定說明
如何將EXCEL函數轉成VBA
如何再VBA中建立EXCEL的自訂函數讓公式變簡單
論壇(請上課學員自行申請加入，不對外開放)：
https://groups.google.com/forum/?hl=zh-TW#!forum/scu_excel_vba_83

與前幾期的課程雖然用的是相同的範例，但最大的不同在：
1.除了解說內建函數公式，並將之轉成自訂函數，把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕，按下按鈕就自動完成工作。

內容主要分成：
1.常用函數
2.進階函數應用
3.從函數到VBA設計
4.如何自訂函數
5.VBA程式設計入門
6.如何錄製巨集與修改
7.如何將大量資料轉存到資料庫
8.如何讀取資料庫資料
詳細目錄：http://goo.gl/eQptxx

有講義與範例和完成的畫面公式與程式碼，
只要按照每周的順序學習，學會EXCEL VBA自動化絕非難事，
優點：
1.可非線性學習：可按照自己最不熟的部分多次學習。
2.可反覆學習：有疑問可以多次聽講，保證學的會。
3.可攜帶學習：只要有瀏覽器就可以播放SWF檔，MAC電腦也沒問題。

上課參考用書：

超圖解 Excel VBA 基礎講座
作者： 亮亨/譯 出版社：旗標
出版日期：2006/05/15 定價：420元
日本Amazon網站同類書籍銷售No.1

課程特色：
1.如何將函數轉成VBA
2.VBA與資料庫快速結合

EXCEL函數、 VBA程式與資料庫是分別屬於三個領域的知識，
但卻是目前大家都需要的一項專業技能，要把三者融合的很好實在非常不容易，
剛好我有近20年的VB程式設計與資料庫設計的經驗，
教EXCEL函數與相關課程也有多年，因此清楚如何把最重要的知識教給大家，
ADO資料庫設計的知識非常多，但根據我多年的設計實務經驗，
覺得最重要的是掌握SQL語言，就可以輕易的完成查詢、新增、修改與刪除等功能，
就可以輕易的完成自己想處理的大量資料，大大提高工作效率了!

更多EXCEL VBA連結：
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

吳老師 2015/7/21

TQC+Python基礎程式語言應用班第1次上課(環境設定與基本語法)

01_問卷結果與懶人包
02_課程內容說明
03_建置Python開發環境與spyder設定
04_變數型態與轉型說明
05_存檔與邏輯判斷
06_邏輯判斷改為多重邏輯

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2020_2

TQC+基礎程式語言 (Python 3)證照
Python 第1類：基本程式設計
技能內容：變數與常數、指定敘述、標準輸入輸出、運算式、算術運算子、數學函式的應用、格式化的輸出Python 第2類：選擇敘述
技能內容：if、if...else、if…elifPython 第3類：迴圈敘述
技能內容：while、for…inPython 第4類：進階控制流程
技能內容：常用的控制結構、條件判斷、迴圈Python 第5類：函式(Function)
技能內容：函式使用、傳遞參數、回傳資料、內建函式、區域變數與全域變數

上課用書：
Python 3.x 程式語言特訓教材（第二版）
作者： 蔡明志, 財團法人中華民國電腦技能基金會
出版社：全華
出版日期：2018/12/20
定價：490元

吳老師 110/8/3

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

TQC+Python基礎程式語言應用班第1次上課(環境設定與基本語法)

01_問卷結果與懶人包
02_課程內容說明
03_建置Python開發環境與spyder設定
04_變數型態與轉型說明
05_存檔與邏輯判斷
06_邏輯判斷改為多重邏輯

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2020_2

TQC+基礎程式語言 (Python 3)證照
Python 第1類：基本程式設計
技能內容：變數與常數、指定敘述、標準輸入輸出、運算式、算術運算子、數學函式的應用、格式化的輸出Python 第2類：選擇敘述
技能內容：if、if...else、if…elifPython 第3類：迴圈敘述
技能內容：while、for…inPython 第4類：進階控制流程
技能內容：常用的控制結構、條件判斷、迴圈Python 第5類：函式(Function)
技能內容：函式使用、傳遞參數、回傳資料、內建函式、區域變數與全域變數

上課用書：
Python 3.x 程式語言特訓教材（第二版）
作者： 蔡明志, 財團法人中華民國電腦技能基金會
出版社：全華
出版日期：2018/12/20
定價：490元

吳老師 110/8/3

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

TQC+Python基礎程式語言應用班第1次上課(環境設定與基本語法)

01_問卷結果與懶人包
02_課程內容說明
03_建置Python開發環境與spyder設定
04_變數型態與轉型說明
05_存檔與邏輯判斷
06_邏輯判斷改為多重邏輯

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2020_2

TQC+基礎程式語言 (Python 3)證照
Python 第1類：基本程式設計
技能內容：變數與常數、指定敘述、標準輸入輸出、運算式、算術運算子、數學函式的應用、格式化的輸出Python 第2類：選擇敘述
技能內容：if、if...else、if…elifPython 第3類：迴圈敘述
技能內容：while、for…inPython 第4類：進階控制流程
技能內容：常用的控制結構、條件判斷、迴圈Python 第5類：函式(Function)
技能內容：函式使用、傳遞參數、回傳資料、內建函式、區域變數與全域變數

上課用書：
Python 3.x 程式語言特訓教材（第二版）
作者： 蔡明志, 財團法人中華民國電腦技能基金會
出版社：全華
出版日期：2018/12/20
定價：490元

吳老師 110/8/3

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境