繼之前分享如何實作「窮人版 ELK」之後，再來分享一下這個服務裡面的 DSL 是如何實作的。會想到要為這個服務做 DSL，主要是小編雖然已經把 Impala 產生的資料利用一些工具轉成 PNG 圖檔，但動作太繁雜，所以想把這些過程用 DSL 來表示，工程師只要會下 SQL 就能把資料轉成 PNG 圖檔了。

其實對於 DSL，有在 follow 粉絲頁的朋友應該有注意到，小編很久以前就有一個屬意的方案了，那就是 MSON。它結合了 Markdown 以及 JSON，所以不只人類易讀，機器也易讀。只不過 MSON Parser 一直都是殘缺不全，所以沒辦法讓小編完整的實作 DSL，這個方案就被捨棄了。

另一個也很適合拿來做 DSL 的就是 YAML 了，個人覺得跟 MSON 比起來易讀性稍低一點，但已經是目前還不錯的實作方式，所以就以這個來做為「窮人版 ELK」的 DSL 實作方案。

DSL 已經把所有轉換的細節都隱藏起來了，工程師只要先自己在 Impala 上撰寫正確的 SQL 指令，其他動作只要把必要欄位填完就可以了。下面是必要欄位的說明：

* SQL：要在 Impala 裡面執行的 SQL 指令，其中有用 ":VAR" 包起來的變數名稱，表示是從 INPUT 欄位取得
* CHART：highcharts 的圖表格式，DSL 目前支援 column (長條圖)、pie (圓餅圖)
* INPUT：這是一個陣列，表示這個變數名稱是從外部操作時取得，另外後面的 "date" 為資料型態，目前支援的類型為 HTML 的 input[type]
* OUTPUT：產生 PNG 圖檔時的欄位資訊，如 X 軸是從 Impala 的哪個欄位取得，顯示在圖表上的名稱要叫什麼

至於轉換細節又是另一件麻煩事，將 DSL 轉成最後的圖檔又經過了不少步驟：

1. js-yaml：雖然說 YAML 很適合拿來做 DSL，但 JSON 還是目前大家最常用的格式。所以當然要先把 YAML 轉成 JSON 這樣才好操作 XD
2. jq：轉換過程中 jq 幫了小編很大的忙，官網寫著這是一套輕量且靈活的命令列 JSON 處理工具。無論要對 JSON 取 key、取 value、取 length、做 group by、做 sort by、if-else、while-loop 都可以，就是很強大。所以小編就拿這個將 YAML 轉換完的 JSON，用一堆奇怪的語法把資料轉換成功。

其實在轉換過程最麻煩的不是操作 JSON，最麻煩的在小編不太會寫 bash script 啊！！！尤其是一堆變數轉換的過程，一下子用 ${}，一下子用 $()，還有 ${[$k]} 的這種寫法，看了頭好痛 Orz

最後把 jq 轉完的資料丟給前一篇提到的那些工具，就可以完美把 PNG 圖檔產生出來了，第二篇的「窮人版 ELK」文章到此也就結束了。其實這個專案還有另一個跟圖表無關的功能，那就是即時觀看 API 發送歷程，如果有第三篇的話再來分享一下好了。

* 如何實作「窮人版 ELK」：https://www.facebook.com/kewang.information/posts/2085843121692051
* 如何使用 MSON 的幾個方向：https://www.facebook.com/kewang.information/posts/1940647046211660
* jq：https://stedolan.github.io/jq

#mson #dsl #yaml #json #jq

Excel VBA辦公室提升效率自動化實務班第10次

上課內容：
01_重點回顧表單設計與資料庫
02_XAMPP解壓縮到D碟與執行setup_xampp
03_設定XAMPP與MQSQL的安全性
04_新增MQSQL資料庫與資料表與欄位
05_在MYSQL中執行新增資料的SQL語法
06_在EXCEL中執行ADO傳遞SQL語法
07_在EXCEL中新增全部到資料庫中
08_從MYSQL全部匯入與刪除

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_excel_vba2_2017

吳老師excel函數與vba大數據教學
https://www.facebook.com/scuexcelvba

新課程EXCEL VBA辦公自動化順利在自強基金會開始第一次上課，
主要目標能延續入門課程，進一步延續前課程，把函數變成VBA，
VBA設計自動化與VBA與資料庫當成重要課程目標。

課程理念：
1.以循序漸進的方式, 透過詳細的說明和實用的50個Excel VBA範例,
帶領您輕鬆進入 Excel VBA 設計的領域, 並逐步了解整個 VBA 的架構與輪廓,
進而學習 VBA 變數、常數、函式及邏輯的觀念, 即使沒有任何程式設計基礎,
也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！
2.進而解說EXCEL與資料庫的結合，甚至將EXCEL當成資料庫來使用，
結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。
3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

上課用書：
參考用書：
—Excel職場函數468招：超完整！新人工作就要用到的計算函數+公式範例集
—作者： 羅剛君
—出版社：PCuSER電腦人文化
—出版日期：2016/01/30 —定價：450元

Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元

吳老師 105/3/9

函數,東吳進修推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻

Excel VBA辦公室提升效率自動化實務班第10次

上課內容：
01_重點回顧表單設計與資料庫
02_XAMPP解壓縮到D碟與執行setup_xampp
03_設定XAMPP與MQSQL的安全性
04_新增MQSQL資料庫與資料表與欄位
05_在MYSQL中執行新增資料的SQL語法
06_在EXCEL中執行ADO傳遞SQL語法
07_在EXCEL中新增全部到資料庫中
08_從MYSQL全部匯入與刪除

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_excel_vba2_2017

吳老師excel函數與vba大數據教學
https://www.facebook.com/scuexcelvba

新課程EXCEL VBA辦公自動化順利在自強基金會開始第一次上課，
主要目標能延續入門課程，進一步延續前課程，把函數變成VBA，
VBA設計自動化與VBA與資料庫當成重要課程目標。

課程理念：
1.以循序漸進的方式, 透過詳細的說明和實用的50個Excel VBA範例,
帶領您輕鬆進入 Excel VBA 設計的領域, 並逐步了解整個 VBA 的架構與輪廓,
進而學習 VBA 變數、常數、函式及邏輯的觀念, 即使沒有任何程式設計基礎,
也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！
2.進而解說EXCEL與資料庫的結合，甚至將EXCEL當成資料庫來使用，
結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。
3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

上課用書：
參考用書：
—Excel職場函數468招：超完整！新人工作就要用到的計算函數+公式範例集
—作者： 羅剛君
—出版社：PCuSER電腦人文化
—出版日期：2016/01/30 —定價：450元

Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元

吳老師 105/3/9

函數,東吳進修推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻

Excel VBA辦公室提升效率自動化實務班第10次

上課內容：
01_重點回顧表單設計與資料庫
02_XAMPP解壓縮到D碟與執行setup_xampp
03_設定XAMPP與MQSQL的安全性
04_新增MQSQL資料庫與資料表與欄位
05_在MYSQL中執行新增資料的SQL語法
06_在EXCEL中執行ADO傳遞SQL語法
07_在EXCEL中新增全部到資料庫中
08_從MYSQL全部匯入與刪除

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_excel_vba2_2017

吳老師excel函數與vba大數據教學
https://www.facebook.com/scuexcelvba

新課程EXCEL VBA辦公自動化順利在自強基金會開始第一次上課，
主要目標能延續入門課程，進一步延續前課程，把函數變成VBA，
VBA設計自動化與VBA與資料庫當成重要課程目標。

課程理念：
1.以循序漸進的方式, 透過詳細的說明和實用的50個Excel VBA範例,
帶領您輕鬆進入 Excel VBA 設計的領域, 並逐步了解整個 VBA 的架構與輪廓,
進而學習 VBA 變數、常數、函式及邏輯的觀念, 即使沒有任何程式設計基礎,
也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！
2.進而解說EXCEL與資料庫的結合，甚至將EXCEL當成資料庫來使用，
結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。
3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

上課用書：
參考用書：
—Excel職場函數468招：超完整！新人工作就要用到的計算函數+公式範例集
—作者： 羅剛君
—出版社：PCuSER電腦人文化
—出版日期：2016/01/30 —定價：450元

Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元

吳老師 105/3/9

函數,東吳進修推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻