Big Data資料加值應用研習班課程分享(105/2/16)

Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
 開放資料範例
 內政部實價登錄、YAHOO股市資料
GOOGLE表單
 範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
 EXCLE統計函數
 範例：黑名單篩選、樂透彩中獎機率
 樞紐分析表
 範例：銷貨系統分析
 開放資料加值應用實例
 範例：實價登錄、用EXCEL一鍵批次下載股市資料
 EXCLE VBA(與R語言比較)
 PowerPivot增益集
 海量資料的分析工具-PowerPivot實作演練
 視覺化數位儀表與報表–PowerView資料地圖實作

上課影音內容：
01_課程說明與參考書籍
02_問卷結果與檔案下載
03_大數據的定義與成功範例
04_範例_樂透彩機率統計函數說明
05_格式化前七名與VBA設定
06_前七名的VBA程式撰寫說明
07_樂透彩VBA程式說明
08_GOOGLE表單與複選結果切割
09_複選結果切割VBA程式說明
10_複選結果切割註解與按鈕相關
11_黑名單篩選查詢資料說明
12_黑名單篩選查詢VBA程式與進度列
13_台北市實價登錄範例VBA程式解說
14_批次下載股市資料程式說明與結尾

完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK

與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。

Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因

維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。

巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前

吳老師 105/2/15

美國人教你這樣用Google，你真的會變特務！ 作者: 夜狸
看了才感嘆原來這麼多年的GOOGLE是白用了~這就是yahoo永遠無法超越G的原因吧

前提：Google→www.google.com

第一篇

在搜索框上輸入：「indexof/」inurl:lib

再按搜索你將進入許多圖書館，並且一定能下載自己喜歡的書籍。

在搜索框上輸入：「indexof/」cnki

再按搜索你就可以找到許多圖書館的CNKI、VIP、超星等入口！

在搜索框上輸入：「indexof/」ppt

再按搜索你就可以突破網站入口下載powerpint作品！

在搜索框上輸入：「indexof/」mp3

再按搜索你就可以突破網站入口下載mp3、rm等影視作品！

在搜索框上輸入：「indexof/」swf

再按搜索你就可以突破網站入口下載flash作品！

在搜索框上輸入：「indexof/」要下載的軟件名

再按搜索你就可以突破網站入口下載軟件！

注意引號應是英文的！

再透露一下，如果你輸入：

「indexof/」AVI

另補上第二篇

用GOOgle看世界!!!只要你在GOOGLE裡輸入特殊的關鍵字,就可以搜到數千個攝像頭的IP地址!通過他你就可以看到其所攝的實時影像!!

在google裡輸入

inurl:"viewerframe?mode="

隨便打開一個,然後按提示裝一個插件,就可以看到了!!!

再補上第三篇

三則駭客的Google搜索技巧簡介

大家都知道，Google毫無疑問是當今世界上最強大的搜索引擎。然而，在駭客手中，它也是一個秘密武器，它能搜索到一些你意想不到的信息。賽迪編者把他們進行了簡單的總結不是希望您利用他去攻擊別人的網站，而是利用這些技巧去在浩如煙海的網絡信息中，來個大海撈針，尋找到對您有用的信息。

如果您是一名普通網民，您可以使用駭客的技巧擴大自己的視野，提高自己的檢索效率；如果您是一名網管，請您趕快看看您的網站是否做好了對下面駭客探測手 段的防範措施，如果沒有就趕快來個亡羊補牢，畢竟隱患勝於明火，防範勝於救災；如果您是一名駭客，相信您早以在別的駭客站點上見過類似的方法，這篇文章對 您沒什麼用處，這裡的技巧對您是小兒科，菜鳥級！您可以節省寶貴的時間做更有意義的事情，這篇文章您不用看了，到別處去吧！

基於上面的考慮我編發了這篇文章。

搜索URL

比如我們提交這種形式：passwd.txtsite:virtualave.net

看到了什麼？是不是覺得太不可思議了！有很多基於CGI/PHP/ASP類型的留言板存在這種問題。有時我們得到密碼甚至還是明碼的！管理員或許太不負 責了，或許安全防範的意識太差了，如果你是網絡管理員，趕快檢查一下不要讓惡意攻擊者撿了便宜。不要太相信DES加密，即使我們的密碼經過DES加密的密 碼，駭客們還是可以通過許多破解軟件來搞定。

這次我們能得到包含密碼的文件。「site:virtualave.net」意思是只搜索virutalave.net的URL。virutalave.net是一個網絡服務器提供商。

同樣，我們可以搜索一些頂級域名，比如：.net.org.jp.in.gr

config.txtsite:.jp

admin.txtsite:.tw

搜索首頁的目錄

首頁是非常有用的，它會提供給你許多有用的信息。

我們提交如下的形式：

"Indexof/admin"

"Indexof/secret"

"Indexof/cgi-bin"site:.edu

你可以自己定義搜索的首頁字符。這樣就可以獲得許多信息。

搜索特定的文件類型

比如你想指定一種文件的類型，可以提交如下形式：

filetype:.docsite:.milclassified

這個就是搜索軍方的資料，你可以自定義搜索。

再提供一個第四篇

Google的特殊功能

1、查詢電話號碼

Google的搜索欄中最新加入了電話號碼和美國街區地址的查詢信息。

個人如想查找這些列表，只要填寫姓名，城市和省份。

如果該信息為眾人所知，你就會在搜索結果頁面的最上方看到搜索的電話和街區地址

你還可以通過以下任何一種方法找到該列表：

名字（或首位大寫字母），姓，電話地區號

名字（或首位大寫字母），姓，郵遞區號

名字（或首位大寫字母），姓，城市（可寫州）

名字（或首位大寫字母），姓，州

電話號碼，包括區號

名字，城市，州

名字，郵遞區號

2、查找PDF文件

現在GOOGLE的搜索結果中包括了PDF文件。儘管PDF文件不如HTML文件那麼多，但他們經常具備一些其他文件不具備的高質量信息

為了顯示一個搜索結果是PDF文件而不是網頁，PDF文件的標題開頭顯示藍色文本。

這就是讓你知道ACRTOBATREADER程序會啟動來閱讀文件

如果你的計算機沒裝有該程序，計算機會指導你去能免費下載該程序的網頁。

使用PDF文件時，相關的網頁快照會由「TEXTVERSION」代替，它是PDF文檔的複製文件，該文件除去了所有格式化命令。

如果你在沒有PDF鏈接的情況下想看一系列搜索結果，只要在搜索欄中打上-inurldf加上你的搜索條件。

3、股票報價

用Google查找股票和共有基金信息，只要輸入一個或多個NYSE，NASDAQ，AMEX或

共有基金的股票行情自動收錄機的代碼，也可以輸入在股市開戶的公司名字。

如果Google識別出你查詢的是股票或者共有基金，它回覆的鏈接會直接連到高質量的金融信息提供者提供的股票和共有基金信息。

在你搜索結果的開頭顯示的是你查詢的股市行情自動收錄器的代碼。如果你要查找一家公司的名字（比如，INTEL），請查看「股票報價」在Google搜索結果的金融欄裡會有那個公司的主頁的鏈接（比如， www. INTEL. COM）。

Google是以質量為基礎來選擇和決定金融信息提供者的，包括的因素有下載速度，用戶界面及其功能。

4、找找誰和你鏈接

有些單詞如果帶有冒號就會有特殊的意思。比如link：操作員。查詢link:siteURL，就會顯示所有指向那個URL的網頁。舉例來說，鏈接 www. Google. com會向你顯示所有指向GOOGLE主頁的網頁。但這種方法不能與關鍵字查詢聯合使用。

5、查找站點

單詞site後面如果接上冒號就能夠將你的搜索限定到某個網站。具體做法是：在c搜索欄中使用site:sampledomain.com這個語法結構。比如，在斯坦福找申請信息，輸入：

admissionsite: www. stanford. edu

6、查找字典釋意

查找字典釋意的方法是在搜索欄中輸入你要查詢的內容。在我們根據要求找到所有的字典釋意都會標有下劃線，位於搜索結果的上面，點擊鏈接你會找到字典提供者根據要求給出的相關定義。

7、用GOOLGE查找地圖

想用Google查找街區地圖，在Google搜索欄中輸入美國街區地址，包括郵遞區號或城市/州（比如165大學大街PALOALTOCA）。通常情況下，街區地址和城市的名字就足夠了。

當Google識別你的要求是查找地圖，它會反饋給你有高質量地圖提供者提供的鏈接，使你直接找到相關地圖。

Big Data資料加值應用研習班課程分享(105/2/16)

Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
 開放資料範例
 內政部實價登錄、YAHOO股市資料
GOOGLE表單
 範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
 EXCLE統計函數
 範例：黑名單篩選、樂透彩中獎機率
 樞紐分析表
 範例：銷貨系統分析
 開放資料加值應用實例
 範例：實價登錄、用EXCEL一鍵批次下載股市資料
 EXCLE VBA(與R語言比較)
 PowerPivot增益集
 海量資料的分析工具-PowerPivot實作演練
 視覺化數位儀表與報表–PowerView資料地圖實作

上課影音內容：
01_課程說明與參考書籍
02_問卷結果與檔案下載
03_大數據的定義與成功範例
04_範例_樂透彩機率統計函數說明
05_格式化前七名與VBA設定
06_前七名的VBA程式撰寫說明
07_樂透彩VBA程式說明
08_GOOGLE表單與複選結果切割
09_複選結果切割VBA程式說明
10_複選結果切割註解與按鈕相關
11_黑名單篩選查詢資料說明
12_黑名單篩選查詢VBA程式與進度列
13_台北市實價登錄範例VBA程式解說
14_批次下載股市資料程式說明與結尾

完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK

與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。

Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因

維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。

巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前

吳老師 105/2/15

台北市公務人員訓練處,big data應用,big data定義,big data是什麼,大數據分析教學,excel數據分析,excel數據圖表,大數據應用實例,大數據應用案例,開放資料應用,open data應用

Big Data資料加值應用研習班課程分享(105/2/16)

Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
 開放資料範例
 內政部實價登錄、YAHOO股市資料
GOOGLE表單
 範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
 EXCLE統計函數
 範例：黑名單篩選、樂透彩中獎機率
 樞紐分析表
 範例：銷貨系統分析
 開放資料加值應用實例
 範例：實價登錄、用EXCEL一鍵批次下載股市資料
 EXCLE VBA(與R語言比較)
 PowerPivot增益集
 海量資料的分析工具-PowerPivot實作演練
 視覺化數位儀表與報表–PowerView資料地圖實作

上課影音內容：
01_課程說明與參考書籍
02_問卷結果與檔案下載
03_大數據的定義與成功範例
04_範例_樂透彩機率統計函數說明
05_格式化前七名與VBA設定
06_前七名的VBA程式撰寫說明
07_樂透彩VBA程式說明
08_GOOGLE表單與複選結果切割
09_複選結果切割VBA程式說明
10_複選結果切割註解與按鈕相關
11_黑名單篩選查詢資料說明
12_黑名單篩選查詢VBA程式與進度列
13_台北市實價登錄範例VBA程式解說
14_批次下載股市資料程式說明與結尾

完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK

與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。

Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因

維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。

巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前

吳老師 105/2/15

台北市公務人員訓練處,big data應用,big data定義,big data是什麼,大數據分析教學,excel數據分析,excel數據圖表,大數據應用實例,大數據應用案例,開放資料應用,open data應用

Big Data資料加值應用研習班課程分享(105/2/16)

Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
 開放資料範例
 內政部實價登錄、YAHOO股市資料
GOOGLE表單
 範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
 EXCLE統計函數
 範例：黑名單篩選、樂透彩中獎機率
 樞紐分析表
 範例：銷貨系統分析
 開放資料加值應用實例
 範例：實價登錄、用EXCEL一鍵批次下載股市資料
 EXCLE VBA(與R語言比較)
 PowerPivot增益集
 海量資料的分析工具-PowerPivot實作演練
 視覺化數位儀表與報表–PowerView資料地圖實作

上課影音內容：
01_課程說明與參考書籍
02_問卷結果與檔案下載
03_大數據的定義與成功範例
04_範例_樂透彩機率統計函數說明
05_格式化前七名與VBA設定
06_前七名的VBA程式撰寫說明
07_樂透彩VBA程式說明
08_GOOGLE表單與複選結果切割
09_複選結果切割VBA程式說明
10_複選結果切割註解與按鈕相關
11_黑名單篩選查詢資料說明
12_黑名單篩選查詢VBA程式與進度列
13_台北市實價登錄範例VBA程式解說
14_批次下載股市資料程式說明與結尾

完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK

與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。

Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因

維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。

巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前

吳老師 105/2/15

台北市公務人員訓練處,big data應用,big data定義,big data是什麼,大數據分析教學,excel數據分析,excel數據圖表,大數據應用實例,大數據應用案例,開放資料應用,open data應用