小弟這幾年也剛好在做BI相關工作，也可以分享一下心得．

BI廣義來看其實包括了 資料儲存，ETL，資料呈現這幾個階段．

每一個階段都有很多不同的工具以及技術可以學習深究．

A. 資料儲存：
這部分包含了各種資料庫，結構資料庫，非結構資料庫，MPP資料倉儲或Hadoop等等
每種資料庫又有好幾種選擇，光挑選合適公司以及業務的資料庫就是個學問．
何況資料庫又不是放在那邊就好，還需要管理跟維護．


B. ETL
ETL我個人覺得是最繁雜的部分．
當公司業務越來越多時，業務邏輯和報表需求也會呈等比級數增加．
這時候如何安排適當的資料流就相當重要，如何避免重複的表格佔空間，
優化各種排程，避免job互相卡資源，如何寫出有效正確又快的SQL都相當考驗
開發者對於資料表格以及業務的了解． SQL寫得好要飯要到老不是亂說的．

管理ETL的工具也很麻煩，我曾經用過商業軟體以及 Open source來處理ETL，
使用上需要兼顧彈性（好不好增加job或連結的資料庫類型），
管理方便（容不容易管理以及呈現job之間的dependency），
以及錯誤處理（當壞了該怎麼辦，能不能重run和寄出告警）．
管理工具本身好不好維護或是有回溯機制也都相當重要．

另外一方面，當資料進到資料庫之前也需要做資料清洗，甚至資料重新整理，
也是很常見的事情．如果需要做機器學習，也需要在這個階段將原始資料整成
機器學習要用的欄位．這些東西說難不難，但是相當繁雜．

當熟習業務之後，也需要協調開發人員以及業務需求者，
讓開發人員知道要搜集哪些訊息，才能有效滿足業務需求．

C. 視覺化
為了幫助人類理解資料，近來資料視覺化也變成很重要的一塊．
開發視覺化工具，和開發視覺化報表是兩種完全不同的取向．
一般的BI開發者會需要理解業務需求，從資料中拉出適當的欄位轉化為報表．
不同的資料類型有不同的呈現方式．
當熟悉之後，還可以加入自己對業務以及資料的理解，從中找出所謂的Insight．
在這個位置上，業務的人沒你懂資料，前面處理資料的人沒你懂業務，
所以是有機會提出自己的想法以及洞見．

總之BI這一塊，目前每個強調資料的公司都需要用到，
其中能搞的東西也非常非常多，雖然職位名稱可能沒有什麼資料科學家那麼飛遜，
但是其實很多掛資料科學家的大部分時間也是在處理上述這些事情．
而且BI這個位置有機會同時結合技術與商業實務，會讓你對公司業務有更多了解．
公司業績不好或客戶流失你也會商務端還要早知道（遠目）


※ 引述《pelicanper (派立肯)》之銘言：
: 小弟剛好在國外銀行做BI,以下是一些心得
: 首先甚麼是Business Intelligence
: https://en.wikipedia.org/wiki/Business_intelligence
: BI並不是特定的項目或是軟體,嚴格來說應該是企業的一個特定的部門
: 這個部門專注在處理資訊,從彙集資料,分析到呈現都是BI的工作
: 又尤其是中大型企業因為資料的複雜和巨量,BI在近十年來佔的地位就越來越重要
: 以我們銀行來說,BI服務的客戶就是所有銀行的員工
: 每天深夜我們的程序會從各個不同系統彙集資料到BI的Data Warehouse
: 來源可能是DB2, Mainframe SAS, Oracle, MS Sql, Hadoop...等等
: BI有ETL Developer專門處理這個部分,我們有ActiveBatch這種自動化的軟體
: 去排程各種不同軟體的程序,通常每天有約一萬個程序在跑
: 分析的部分在BI就是根據客戶的需求寫Report,有的客戶對於資料有一定的認識
: 這個時候BI會提供整理好的資料讓客戶透過Presentation Layer的軟體自行運用,
: 像是Business Object, Tableau, Power BI,甚至是Excel,
: 有的比較單純的BI會有SAS EG, SAS VA的工程師去寫例行性的報表
: 當然也有用Web開發作Portal去整合以上所有的東西在銀行內部讓所有人都到
: 同一個地方來取資料看報表等等
: 這幾年因為Big Data,像我們銀行前兩年也花一大筆錢做了Hadoop平台
: 很多Predictive Model都要用到很大量的資料去跑,傳統的Data Warehouse
: 在這個上面就比較吃虧...
: 這就是我身處的BI環境,所以嚴格來說BI包含的範圍很廣,不過我個人的感覺
: SQL, SAS, EXCEL, R這些主流資料庫或是分析語言還是很重要
: 像是BO, Tableau這種現在雖然很多人用但是被取代性相對也高
: Web的話就是Data Visualisation和連接後端的能力要夠
: 當然還有相關的PM,BA等等
: 其他像是GIS/Spatial, Data Mining等等就要看企業的需求
: 有的公司把BI當後端比較多,有的都是做Reports
: 我到覺得待到好的公司東西學不完,像我的工作內容是整合很多不同BI領域的程序
: 50%都跟SAS有關,30%是傳統ETL,10%是WEB,另外10%是分析
: 工作內容非常的充實也很有挑戰性
: 至於轉職,至少我現在這邊看到的都是工作在找人,不是人在找工作
: 以上...
: ※ 引述《da7230 (都可以)》之銘言：
: : HI大家,
: : 小弟寫了幾年系統，覺得對寫程式沒什麼熱情
: : 最近有個BI的工作機會，想挑戰看看
: : 但從寫系統轉成BI有點惶恐
: : 版上有從事這方面工作的人，可以聊聊工作上的心得嗎?
: : 擔心的點在於
: : 1. 一日BI終身BI
: : 2. 很吃domain knowhow 跳槽轉職困難

--
(C)lass 【 分組討論區 】
11 卡漫夢工廠 卡通, 漫畫, 動畫 [Ckmike]
4 C_J_Artist 作家 Σ日本漫畫家專區 [Ckmike]
10 TakahasiShin 作家 ◎****高橋真作品討論版**** kenshin528
http://bryannotes.blogspot.tw/ 行銷研究與資料分析筆記


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 117.28.233.114
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1493313139.A.316.html