關鍵字: KIAM, DNS, AWS IAM, latency
影響: 存取服務會花上高達十倍的延遲時間

這篇文章準確的說，問題其實跟 Kubernetes 本身關係不大，反而是遷移 Kubernetes 到系統中常見的溝通問題。作者的標題是真真實實來自 Dev Team 的回饋，當應用程式搬移到 kubernetes 後得到的效果不如預期，也許最後不是 kubernetes 的問題，但是 SRE/DevOps 還是得必須針對這些質疑去探討，找出最後真正的原因。

作者團隊當初要將一個微服務從 EC2 上給整合到 Kubernetes內，卻發現存取該服務的延遲性相對於直接部署到 EC2 上大幅度上升十倍。根據團隊的調查，EC2 的應用程式只需要 20ms 左右回覆請求，而 kubernetes 版本則需要 200ms 左右。

最後來來回回除錯找到問題根源，主要是 AWS Jave SDK 裏面的用法於不同的情境下會有不同的效果。其於 Kubernetes 下會發生每個 request 都強迫去刷新當前的 certificate 資訊，因此每個 request 都還會額外發送一個新的 request 去取得 certificate。

基本上整個問題都跟 Kubernetes 的架構無關，單純是 AWS 架構的用法，如果你有使用 KIAM 相關的服務，同時也有使用 AWS Java SDK，可以參考本篇的問題

https://srvaroa.github.io/kubernetes/migration/latency/dns/java/aws/microservices/2019/10/22/kubernetes-added-a-0-to-my-latency.html

Kubernetes 維運經驗分享篇
主題: 解除 CPU 來提升服務效能
關鍵字: CPU Limit, CPU throtting, 高延遲性

本篇文章是探討的是使用 CPU Limit 的經驗，熟悉這個機制的讀者應該都知道能夠這個設定來確保每個 Container 能夠使用的 CPU 數量，同時也可以透過這個機制去確保每個節點上都有足夠的 CPU 資源供原生服務，譬如 kubelet, kubeproxy 來使用。

本篇作者團隊要分享的是設定 CPU Limit 卻導致效能更差的故事，當 CPU 設定為 800ms 的時候，卻發現實際運行的效能最高只有 200ms，反覆查找卻得到是 Linux Kernel 的臭蟲導致。

一個直接的做法就是針對那些本來就沒有過高 CPU 使用量服務取消其 CPU Limit，作者於文章中也探討了一些機制要如何保護與應對這些被移除 CPU 限制的服務。

這個臭蟲於 Linux Kernel 4.19 後已經修復，但是要注意你使用的發行版本是否有有包含這個修復，作者也於文章中列出一些已知的發行版本修復狀況

原文: https://erickhun.com/posts/kubernetes-faster-services-no-cpu-limits/

現在大家使用 Funliday-旅遊規劃 在「景點瀏覽」輸入城市，或者是移動地圖出現的推薦景點，應該都是即時出現，也是最近花了一些時間的成果。下面先筆記一下推薦景點開發的歷程，之後如果有機會應該可以到 PostgreSQL.TW 分享一下完整的內容。

簡單來說，就是一個從 70000ms 的 response time，提升到 200ms 的 response time 過程。

---

## 2019/02 推薦景點第一版

https://www.facebook.com/kewang.information/posts/2268138753462486

## 2019/09 late 加上使用者查詢的 poi history 到推薦景點

1. 如果該 city 最近 30 天的 poi history 景點超過 10 個，則直接使用
2. 如果該 city 最近 30 天的 poi history 景點小於等於 10 個，則加上 KNN+rating 算法所取出的 poi 一起回傳給使用者
3. 使用網路上找到的 uniq，將 poi history 的景點及 KNN+rating 算法的景點去除重覆資料
4. 會將計算後取出的 poi id 存入 Redis，TTL 為 1 天

## 2020/06 late 加快查詢速度

1. 將原本要從 poi_data (超過 2500 萬筆的 POI) 取得 city 的 bbox，改從 city_data (約 200 萬筆的 city) 取得，加快查詢速度

## 2020/07 late 刪除不正確的 poi

1. 刪除該 city 經過 poi history 計算後 count 為 0 的 poi
2. 刪除部分不該出現在推薦景點上的景點類型，如：飲水機、球場、停車場...等
3. 將 KNN+rating 的景點 TTL 設定為 14 天，而從 poi history 計算出來的景點 TTL 一樣為 1 天

## 2020/09 late 重構推薦景點功能，並加上 L2, L3 cache

### 2020/09/22 late 重構推薦景點功能

1. 先從 Redis 取出確認該 city 是否有 cache，有的話就直接回傳，沒有的話寫入 refresh = true 的 flag 到 city_data table，表示該 city 資料必須更新
2. 從 DB 取出確認該 city 是否有 cache，有的話就直接回傳，沒有的話就必須即時計算該 city 的推薦景點
3. 推薦景點的算法與之前相同，包括了 poi history 及 KNN+rating，但移除 uniq，改用 Set 的寫法去除重覆資料
4. 計算完該 city 的推薦景點之後，直接將資料存回 Redis 及 DB，並且回傳計算完的推薦景點
5. 期望這樣跑下來後，之後使用者就算在 Redis 找不到 cache (因為過期)，也可以從 DB 找到 cache (因為不會消失)
6. 每天固定跑 scheduler，掃出 refresh flag 為 true 的 city，在 background job 將最新的推薦景點寫回 Redis 及 DB，並將 refresh flag 設定為 false

### 2020/09/23 early 加快預熱 cache 到 DB 的速度

1. 因為目前在 Redis 還有部分 city 的 cache，如果要等一天 (TTL) 之後這些 cache 失效後才能啟動 L2 cache 機制會有點浪費
2. 所以增加若在 Redis 確認該 city 有 cache 且 DB 沒 cache 的話，就將該 cache 寫回 DB，並且回傳

### 2020/09/23 middle 確認是否有最佳化空間

1. 延長 city Redis cache 的 TTL 從 1 天增加到 14 天，避免部分活動過於熱門，導致該區域的推薦景點都被該活動洗掉

### 2020/09/24 early 加上 new relic

1. 加上 new relic 的 custom attributes，記錄該 city 的 IO 相關讀取時間

### 2020/09/24 middle 加上 local cache

1. 因為從 Redis 或 DB 取回來的 id 要再經過一次 DB 查詢，才能組合完整的 response 回傳
2. 所以加上 city id 及使用者語言做為 local cache key，加快同 city id 且同語言的資料回傳速度
3. 如果 city id 或使用者語言在該 cache 找不到，再回 DB 查詢
4. 加上 new relic 的 custom segment，方便判讀 request 的瓶頸是在哪一段

### 2020/09/24 late 調整 poi history 的執行速度

1. 將原本使用 where + group 取得最近 30 的 poi history 語法，改為先做 where，再做 group，將原本放在同一個 CTE 的 query 拆成兩個 CTE 執行
2. 速度從原本的 40 ~ 50 秒，甚至到 70 秒，下降到約 10 秒左右

### 2020/09/25 early 移除不必要的 middleware

1. 在整整一年前將 poi recommend 及 search 拆開成不同檔案的時候，沒有仔細確認，所以每次 request 都要到 Redis 做兩次的 auth check
2. 所以將其中一個 auth check 拿掉，加快約 1ms

### 2020/09/27 early 再次檢視 poi history 計算方式是否有最佳化空間

1. 原本在使用經緯度計算是哪個 city 時，查詢速度大約都 400ms 左右，加上 GiST index 之後，查詢速度提升 1000x，變成只要 0.4ms 就能算出來
2. 整整一年前導入 poi history 到推薦景點時，資料量還沒這麼大，所以在計算時速度都蠻快的
3. 但 poi history 現在資料筆數已經超過 2500 萬筆，都變成 Seq Scan，雖然 planner 會判斷成 Parallel Seq Scan，但速度還是很慢
4. 因為是使用近 30 天的資料做計算，所以將 created_at 加入 index，速度從 10 秒左右降到 1 秒左右

#postgresql #newrelic #redis

Watch me live: https://www.twitch.tv/midone
Dota Pit official stream: https://www.twitch.tv/ogadotapit
Check Dota Pit site for more info: http://www.dotapit.com/
Follow Dota Pit on FB: https://www.facebook.com/OGADotaPIT
I Like to read comments so leave yours bellow!
Subscribe! Don't forget to turn off ad-block to support me!

Hello my name is Yeik "MidOne" Nai Zheng, a Malaysian professional Dota 2 player currently in team OG.

Social media:
https://www.twitch.tv/midone
https://twitter.com/midonedota2
https://facebook.com/miduandota2

Channel Manager & Editor: http://dota2rapier.com/

我是JC老師
電腦相關課程授課超過6000小時的一位 Revit 課程講師
由於實在太多同學向JC老師反映，希望可以有線上課程學習，所以就決定錄製一系列的 Revit 線上影片教學
而且不加密、不設限、不販售，就是純分享，希望可以幫助到有需要的朋友們
如果這部 3ds Max 教學影片對你有幫助的話，請幫我按個讚，給我點鼓勵，也多分享給需要的朋友們喔~

---------------------------------------------------------------------------------------------------------
暫時標註
● 建立或選取幾何圖形時，Revit 會在元素附近顯示暫時標註。
● 使用暫時標註以在模型中動態地控制元素的放置。
● 永久標註是文件在模型中測量的視圖特有元素。
● 暫時標註是相對於最鄰近元素的標註，因此您所看到的標註可能與原始的暫時標註有所不同。若要隨時顯示標註，請建立永久標註。
● 如果 Revit 花費太多時間 (小於 200ms) 尋找受影響的元素，這會有負面影響使用者體驗，以使暫時標註將不會自動顯示。「 啟用標註」按鈕將會顯示在狀態列中功能區的下方，使用者可以將暫時標註，請按一下此按鈕
● 使用暫時性標註
　◆ 暫時性標註最初是以藍色或黑色粗體文字顯示。
　◆ 通常會指定線性標註，例如，線的長度、弦桿的長度 (繪製三點畫弧的第二個點時) 或半徑的長度 (繪製弧、圓或多邊形時)。
　◆ 滑鼠拉方向，鍵盤給距離
　◆ 如果沒有線性標註，則可以輸入角度標註 (如果情況允許)。
　◆ 有些元素無法使用暫時性標註，例如雲形線和矩形。
● 選取多個元素時顯示暫時標註
　◆ 選取 Revit 中的多個元素時，將不會顯示暫時標註和約束。(不顯示暫時標註和約束，系統效能將會大幅度提高。)
　◆ 選項列上按一下「啟用標註」後才會顯示暫時標註。
● 移動輔助線來修改暫時標註，參考所需的元素。
　◆ 將輔助線的控制 (影像中展示的藍色點) 拖曳至不同的參考。
　◆ 在輔助線控制上按一下右鍵，然後按一下「移動輔助線」。然後將輔助線移到新參考點上。
● 暫時標註變更為永久標註
　◆ 在繪圖區域中選取元素。
　◆ 按一下在暫時標註附近出現的標註符號 。
　◆ 即可修改新參數標註的性質並變更其類型。
● 變更暫時標註的外觀
　◆ 檔案 /「選項 /「圖形」頁籤 /「暫時標註文字外觀」
　◆ 指定字體大小和背景 (透明或不透明)
● 注意事項
　◆ 長度：可直接透過暫時標註輸入
　◆ 角度：物件繪製後，選取，出現暫時標註後修改值
　◆ 如沒有出現適合的暫時標註，就直接標註，再選取物件，再修改標註值

---------------------------------------------------------------------------------------------------------

Revit 2016 線上教學影片目錄：http://bit.ly/2vR6fgW
Revit 2016 線上教學影片範例下載：http://bit.ly/2vR0b7X
3ds Max 2015 線上教學影片目錄：http://bitly.com/2dUGqn3
AutoCAD 2015 2D 線上教學影片目錄：http://bitly.com/2dUGm6Y
TQC AutoCAD 2008 2D 線上教學影片目錄：http://bitly.com/2dUGQtB
JC-Design網站：http://jc-d.net/
JC-Design粉絲團：https://www.facebook.com/jcdesigntw/
JC-Design LINE ID：@umd7274k
JC電子信箱：[email protected]

Nocturne Siêu Gánh Server Hàn Quốc (Ping 200ms Siêu Lag) - Trâu Best Udyr
➤http://goo.gl/TfAvbo Mục tiêu 200k Sub mong anh em Click đăng ký kênh thanks anh em
➤Donate Trâu : http://unghotoi.com/traucaythue
➤Facebook: http://www.fb.com/trautv
➤Live stream: http://talktv.vn/best.udyr.vn
➤Cày thuê liên hệ:http://www.traucaythue.net