本篇文章是個經驗分享系列文，作者探討 Kubernetes 內 15 種不被建議的部署策略與模式。
作者之前曾經撰寫過 Contianer 架構底下的部署模式探討，而本系列文(三篇)則是著重於如何將這些 containers 透過 Kubernetes 給部署到生產環境，總共會探討十五種不推薦的模式，接下來的三篇文章將會介紹各五種不好的模式。

Using containers with the latest tag in Kubernetes deployments
任何 container 的 image 都不應該使用 latest，因為 latest 本身沒有任何意義，這會使得維運人員沒有辦法掌握到底當前部署的版本是什麼，更嚴重的情況適當 latest 搭配 PullPolicy:Always 時會產生更為嚴重的問題。因為 Always 的策略導致每次 Pod 部署時都會重新抓取 image，所以一個 deployment 中，多個使用 latest tag 的 Pod 但是其實使用的 image hash 是不同的。

作者認為比較好的做法有
1. 所有 container image 都是不可修改的，一旦建立就禁止覆蓋，有任何改動就進版
2. 部署用的 image tag 使用有意義的版本名稱

補充: 實際上 pull image 也可以使用 sha256，譬如 "docker pull hwchiu/kubectl-tools@sha256:acfb56059e6d60bf4a57946663d16dda89e12bfb1f8d7556f277e2818680e4c8"

Baking the configuration inside container images
任何 contaienr image 建置的時候應該都要往通用的方向去設計，而不是參雜各種設定在裡面。著名的 12-factor app 裡面也有提到類似個概念，建置好的 image 應該要可以 build once, run everywhere，動態的方式傳入不同的設定檔案，而不是把任何跟環境有關的資訊都寫死
舉例來說，如果 image 內包含了下列設定(舉例，包含不限於)
1. 任何 IP 地址
2. 任何帳號密碼
3. 任何寫死的 URL

作者認為比較好的做法有
1. 透過動態載入的方式來設定運行時的設定，譬如Kubernetes configmaps, Hashicorp Consul, Apache Zookeeper 等
2. 根據不同程式語言與框架甚至可以做到不需要重啟容器就可以載入新的設定

Coupling applications with Kubernetes features/services for no reason
作者認為除了很明確專門針對 Kubernetes 使用，或是用來控制 Kubernetes 的應用程式外，大部分的 應用程式包裝成 Container 時就不應該假設只能運行在 Kubernetes 內。作者列舉了幾個常見的使用範例，譬如

1. 從 K8s label/annotation 取得資訊
2. 查詢當前 Pod 運行的資訊
3. 呼叫其他 Kubernetes 服務(舉例，假設環境已經存在 Vault，因此直接呼叫 vault API 來取得資訊)

作者認為這類型的綁定都會使得該應用程式無法於沒有 Kubernetes 的環境運行，譬如就沒有辦法使用 Docker-compose 來進行本地開發與測試，這樣就沒有辦法滿足 12-factor 中的精神。
對於大部分的應用程式測試，除非其中有任何依賴性的服務是跟外部 Kubernetes 綁定，否則這些測試應該都要可以用 docker-compose 來叫起整個服務進行測試與處理。
服務需要使用的資訊應該是運行期間透過設定檔案，環境變數等塞入到 Container 內，這樣也呼應上述的不要將與環境有關的任何資訊都放入 image 內。

Mixing application deployment with infrastructure deployment (e.g. having
Terraform deploying apps with the Helm provider)
作者認為近年來伴隨者 IaC 概念的熱門，愈來愈多的團隊透過 Terraform/Pulumi 這類型的工具來部署架構，作者認為將部署架構與部署應用程式放到相同一個 Pipeline 則是一個非常不好的做法。

將基礎架構與應用程式同時放在相同 pipeline 可以降低彼此傳遞資訊的困難性，能夠一次部署就搞定全部，然而這種架構帶來的壞處有
1. 通常應用程式改動的頻率是遠大於基礎架構的改變，因此兩者綁在一起會浪費許多時間在架構上
假如部署基礎架構需要 25 分鐘而應用

https://codefresh.io/kubernete.../kubernetes-antipatterns-1/

【#滿載而歸】​
｜07 遺物整理-遺物是悲傷的形狀
​
處理掉無感物品後，可以怎麼根據自己的狀況，​
一一整理盤點物品呢?​
​
你可以跟著下列步驟做：​
​
▍個人衣物​
​
挑出喜歡的，其餘堪穿的可以捐贈或送到二手回收箱。​
喜歡的衣服可以：​
✅直接穿​
✅不用怕退流行，復古流行會再重來。​
✅再改造，比如旗袍改成短版旗袍。​
✅把你珍愛的物品，重新利用改造成有意義的東西。​
比如：把衣服改造成隨身背的包包。​
​
​
▍資訊類​
📌照片：將散落在各處的照片集中保管。​
📌底片：放防潮箱保存，建議盡速處理，送到相館沖洗。​
（之前曾遇過客戶因保存不當，底片發霉，只好忍痛丟棄。）​
📌錄影帶類：建議送去轉成電子檔案，上傳雲端保存。​
📌電子檔案：歸檔雲端處理。​
​
PS.別忘了找找手機內的錄音檔、影片檔或是語音留言，​
想念的時候可以打開來聽聽他的聲音​
​
▍財務類​
​
相較物品，處理親人名下動產不動產較容易。​
可至國稅局「單一窗口查詢金融遺產專區」，​
查詢親人名下的動產、不動產狀態。​
​
記得，任何東西丟掉前，都要好好檢查。​
尤其是長輩喜歡把東西藏起來，​
若有錢財或重要文件，一定要小心仔細搜索。​
​
▍文件書籍類​
整理文件是最耗心力的，建議分類後一一檢視。​
最好不要一天內同時處理其他物品又處理文件，​
會過於勞累。可以分批處理，避免心力交瘁。​
​
書籍類物品如果不需要可以​
​
二手販售： TAAZE讀冊生活、二手拍賣平台，如 蝦皮購物(Shopee
​
FB社團 ：​
​
二手書交流網
教科書版-二手書的拍賣與交換
二手書的拍賣與交換
捐贈：各縣市圖書館​
贈送 : Taiwan Give

▍回憶物品​
​
這裡將面臨許多情緒湧上來的階段，​
你可以拆解成三個小步驟：​
​
1️⃣將所有相同類型的物品集中，​
你可能會發現很想留下某些東西。​
可能是他常用的手錶、他常穿的衣服，​
會讓你忍不住撫一撫，好像他還在這世上一樣。​
任何會給你帶來安慰的東西，別吝嗇都留吧！​
​
2️⃣心痛心酸時，停下來好好宣洩思念​
味道是帶著強烈回憶的負載體，​
富含對逝者深深的回憶。​
如果真的很想念他．​
可以試著讓自己被記憶中的味道環繞、擁抱。​
你會很有安全感。​
​
你不需要忍住悲傷，盡情的擁抱這些物品，​
讓它替代他，與你對話。​
​
3️⃣準備一個小盒子，把想留的東西放在裡頭珍藏，​
想他時就來摸摸盒子裡的東西。​
我們不需要強迫自己放下，​
只是將想念暫時保留在這個盒子裡頭。​
選擇有意義的繼續生活。​
​
圖：我留下了一個阿嬤很喜歡的復古小抽屜，可以裝滿很多她留下的飾品和回憶​
​
滿載而歸是紀念阿嬤的遺物整理系列文，每周二更新。​
​
阿嬤的名字有個「滿」，正如照片的她，願每個永別都能滿載而歸
#movetoheaven

現在大家使用 Funliday-旅遊規劃 在「景點瀏覽」輸入城市，或者是移動地圖出現的推薦景點，應該都是即時出現，也是最近花了一些時間的成果。下面先筆記一下推薦景點開發的歷程，之後如果有機會應該可以到 PostgreSQL.TW 分享一下完整的內容。

簡單來說，就是一個從 70000ms 的 response time，提升到 200ms 的 response time 過程。

---

## 2019/02 推薦景點第一版

https://www.facebook.com/kewang.information/posts/2268138753462486

## 2019/09 late 加上使用者查詢的 poi history 到推薦景點

1. 如果該 city 最近 30 天的 poi history 景點超過 10 個，則直接使用
2. 如果該 city 最近 30 天的 poi history 景點小於等於 10 個，則加上 KNN+rating 算法所取出的 poi 一起回傳給使用者
3. 使用網路上找到的 uniq，將 poi history 的景點及 KNN+rating 算法的景點去除重覆資料
4. 會將計算後取出的 poi id 存入 Redis，TTL 為 1 天

## 2020/06 late 加快查詢速度

1. 將原本要從 poi_data (超過 2500 萬筆的 POI) 取得 city 的 bbox，改從 city_data (約 200 萬筆的 city) 取得，加快查詢速度

## 2020/07 late 刪除不正確的 poi

1. 刪除該 city 經過 poi history 計算後 count 為 0 的 poi
2. 刪除部分不該出現在推薦景點上的景點類型，如：飲水機、球場、停車場...等
3. 將 KNN+rating 的景點 TTL 設定為 14 天，而從 poi history 計算出來的景點 TTL 一樣為 1 天

## 2020/09 late 重構推薦景點功能，並加上 L2, L3 cache

### 2020/09/22 late 重構推薦景點功能

1. 先從 Redis 取出確認該 city 是否有 cache，有的話就直接回傳，沒有的話寫入 refresh = true 的 flag 到 city_data table，表示該 city 資料必須更新
2. 從 DB 取出確認該 city 是否有 cache，有的話就直接回傳，沒有的話就必須即時計算該 city 的推薦景點
3. 推薦景點的算法與之前相同，包括了 poi history 及 KNN+rating，但移除 uniq，改用 Set 的寫法去除重覆資料
4. 計算完該 city 的推薦景點之後，直接將資料存回 Redis 及 DB，並且回傳計算完的推薦景點
5. 期望這樣跑下來後，之後使用者就算在 Redis 找不到 cache (因為過期)，也可以從 DB 找到 cache (因為不會消失)
6. 每天固定跑 scheduler，掃出 refresh flag 為 true 的 city，在 background job 將最新的推薦景點寫回 Redis 及 DB，並將 refresh flag 設定為 false

### 2020/09/23 early 加快預熱 cache 到 DB 的速度

1. 因為目前在 Redis 還有部分 city 的 cache，如果要等一天 (TTL) 之後這些 cache 失效後才能啟動 L2 cache 機制會有點浪費
2. 所以增加若在 Redis 確認該 city 有 cache 且 DB 沒 cache 的話，就將該 cache 寫回 DB，並且回傳

### 2020/09/23 middle 確認是否有最佳化空間

1. 延長 city Redis cache 的 TTL 從 1 天增加到 14 天，避免部分活動過於熱門，導致該區域的推薦景點都被該活動洗掉

### 2020/09/24 early 加上 new relic

1. 加上 new relic 的 custom attributes，記錄該 city 的 IO 相關讀取時間

### 2020/09/24 middle 加上 local cache

1. 因為從 Redis 或 DB 取回來的 id 要再經過一次 DB 查詢，才能組合完整的 response 回傳
2. 所以加上 city id 及使用者語言做為 local cache key，加快同 city id 且同語言的資料回傳速度
3. 如果 city id 或使用者語言在該 cache 找不到，再回 DB 查詢
4. 加上 new relic 的 custom segment，方便判讀 request 的瓶頸是在哪一段

### 2020/09/24 late 調整 poi history 的執行速度

1. 將原本使用 where + group 取得最近 30 的 poi history 語法，改為先做 where，再做 group，將原本放在同一個 CTE 的 query 拆成兩個 CTE 執行
2. 速度從原本的 40 ~ 50 秒，甚至到 70 秒，下降到約 10 秒左右

### 2020/09/25 early 移除不必要的 middleware

1. 在整整一年前將 poi recommend 及 search 拆開成不同檔案的時候，沒有仔細確認，所以每次 request 都要到 Redis 做兩次的 auth check
2. 所以將其中一個 auth check 拿掉，加快約 1ms

### 2020/09/27 early 再次檢視 poi history 計算方式是否有最佳化空間

1. 原本在使用經緯度計算是哪個 city 時，查詢速度大約都 400ms 左右，加上 GiST index 之後，查詢速度提升 1000x，變成只要 0.4ms 就能算出來
2. 整整一年前導入 poi history 到推薦景點時，資料量還沒這麼大，所以在計算時速度都蠻快的
3. 但 poi history 現在資料筆數已經超過 2500 萬筆，都變成 Seq Scan，雖然 planner 會判斷成 Parallel Seq Scan，但速度還是很慢
4. 因為是使用近 30 天的資料做計算，所以將 created_at 加入 index，速度從 10 秒左右降到 1 秒左右

#postgresql #newrelic #redis

Excel數據編輯與視覺化分析-以觀光統計資料為例，資料分析目的，瞭解資料轉置與樞紐的差別。轉置的使用時機，使用功能操作，不用寫複雜函數，相信人人都可以理解。

孫在陽老師主講，[email protected]
範例、講義下載：https://goo.gl/ytzRxT

00:00:00 取得資料
00:10:00 資料轉置
00:45:00 分析

國立陽明交通大學-數據科學與雲端運算- Advanced visualization-機器學習
大數據利用時間的特性，以統計圖表呈現分析結果，以然成為一種企業尋找管理策略的方法。商業智慧的成功，當然也可以促成醫學智慧的成功。
孫在陽老師主講，[email protected]
範例、講義下載：https://goo.gl/ytzRxT

時間軸
00:00:00 E3下載範例
00:09:40 進階視覺化分析
01:28:00 機器學習-線性回歸做預測
01:40:00 機器學習-分群

國立陽明交通大學-數據科學與雲端運算- Advanced visualization-機器學習
大數據利用時間的特性，以統計圖表呈現分析結果，以然成為一種企業尋找管理策略的方法。商業智慧的成功，當然也可以促成醫學智慧的成功。
孫在陽老師主講，[email protected]
範例、講義下載：https://goo.gl/ytzRxT

時間軸
00:00 PPT簡報實務應用簡介
06:10 尋找證基會文件
14:00 開啟下載文件
16:30 傳送到 Power Point
27:35 設計標題投影片
00:41:19 微軟的簡報模板
00:45:40 瘋簡報的模板
01:05:00 時程模板應用
01:21:23 項目清單模板應用1
02:00:00 項目清單模板應用2