本篇文章是個經驗談，作者想要聊聊是如何將一個 4vCPU 的VM給調整到可以達到每秒處理 1.2M(120萬)個 JSON Reuqest，本篇文章非常的長，所以會分多天來介紹。

整篇文章探討的是各種 turning 的步驟，來聊聊如何從最初每秒 224k(22萬四千) 給調整到每秒 1.2M 的處理能力。

整個過程分成九大步驟，後面同時標示每個過程後的每秒請求能力
1. Application Optimizations (347k)
2. Speculative Execution Migtigations (446k)
3. Syscall Auditing/Blocking (495k)
4. Disabling iptables/netfilter (603k)
5. Perfect Locality (834k)
6. Interrypt Optimizations (1.06M)
7. The Case of the Nosy Neighbor (1.12M)
8. The Battle Against the Spin Lock (1.15M)
9. This Gost to Twelv (1.20M)

作者強調，上述的過程不一定適合你的應用程式，但是透過這些步驟能夠讓你更佳瞭解應用程式的運作行為，同時也有機會發現一些潛在的瓶頸問題。

環境介紹
1. 團隊使用 Techempower 來進行 JSON Serialization 的測試
2. 使用 libreactor(event-driven框架) 來搭建一個簡單的 API Server
3. HTTP 的解析使用 picohttpparser，同時使用 libclo 來處理 JSON 的編碼
4. 硬體環境
- Server: 4 vCPU, c5n.xlarge AWS VM
- Client: 16 vCPU, c5n.4xlarge AWS VM (clinet太弱會變成瓶頸)
- Network: Server/Client 屬於同一個可用區域(AZ)
5. 軟體環境
- 作業系統: Amazon Linux2 (Kernel 4.14)
- Server: 使用 libreactor (使用不同版本，分別是 Round18 以及 Round20)
- Client: 修改 wrk 這個知名的工具並重新命名為 twrk，詳細差異自己看文章內部，主要都跟顯示有關
6. 實驗方式
- 每個測試跑三次，取中間值
- 256 連線，16 threads，同時每個 thread 都會 pin 到一個固定的 CPU
- 每個實驗都有兩秒的暖機時間來建立連線


Ground Zero
第一個要探討的就是什麼最佳化都還沒有使用前，到底當前應用程式可能的瓶頸在哪裏
首先團隊將該應用程式與其他常見的應用程式或是開發框架比較，譬如 Netty, Nginx, Actix, aspcore 等， libreactor 的效能不錯，有中上水準。

接者作者使用火焰圖(Flame Graphs)來 Profile 該伺服器，作者很好心地將文章中所有的火焰圖都調整了一下，讓所有的 user-space 相關的 function call 都轉成藍色，而剩下跟 kernel 相關都維持紅色。
1. 大部分的時間都在 Kernel 處理
2. 主要是花費在收封包與送封包
3. 應用程式本身主要是分兩大部分，解析 HTTP 的封包以及處理請求與回應。
從上述兩點來看，作者認為目前的應用程式寫得算不錯，因為瓶頸很明顯是卡在 Kernel 端

接下來就正式進入到各種 Turning 的章節探討

Application Optimizations

長話短說:
- 作者基於 libreactor Round18 的框架進行修改，並且所有的修改都已經被合併到 Round20 的版本中，而這些修改主要是實作方面的強化以及整個框架的最佳化。

1. 作者首先透過 htop 觀察運行過程，發現 Server 只有使用 2vCPU 而已(系統有 4vCPU)，因此這是作者進行的第一個修改，讓 Server 使用了 4vCPU，這個簡單調整就讓效能提升 25%

註: 作者特別強調，不要覺得從 2vCPU 變成 4vCPU 效能就可以變成兩倍，主要是1) 沒有使用的 vCPU 還有很多其他的工作要處理，因此不是完全都送給你應用程式處理。2)基於 hypter-thread vCPU 的架構，環境只有兩個真正的 CPU 而是透過邏輯的方式產生四個抽象的 CPU，所以全用一定會變快，但是基於很多資源還是要競爭與共用，數字不是單純翻倍

2. 作者自己的應用程式本身使用 gcc 建置時有使用 "-o3" 的方式來最佳化處理，然而框架本身卻沒有使用 "-o3" 的方式來弄，因此作者也針對這個部分來處理，讓建制框架時能夠使用 -o3
3. 從實作方面來看，作者觀察到 libreactor 1.0 版本使用的是 read/write 這兩個常見的方式來處理封包的送收，作者將其修改成 recv/send 整個效能就提升了將近 10%。

註: write(針對 FD，更全面廣泛的用法) 與 send(針對 Socket，更針對的用法) 使用上差異不大，但是 write 於底層 Kernel 最終還是會呼叫到 send 來處理，所以基本上可以理解就是在沒有特別參數需求時，可以直接跳過幾個 kernel function 來達到加速的效果。

write kernel 內的走向: sys_write -> vfs_write -> __vfs_write -> sock_write_iter -> sock_sendmsg

send kernel 內的走向: sendto -> sock_sendmsg

4. 作者觀察到火焰圖中有一些 pthread 相關的資料，進而發現 libreactor 會創造一個 thread pool 來處理非同步的 DNS 名稱解析問題。對於一個 HTTP Client 來說，如果今天要發送請求到多個不同的 domain，而每個 domain 都會需要進行一個 blocking 的解析過程，透過這種方式可以減少 DNS 解析造成的 blocking 問題。然而對於 HTTP Server 來說，這個使用情境帶來的效益似乎就稍微低了些，畢竟 Server 只有 Bind Socket 之前可能會需要去解析一次 DNS 而已。
大部分的情境下， thread pool 都是應用程式初期會去創造而接者就不太會管她，但是對於錙銖必較的效能除錯人來說，任何能夠調整的部分都可能是個值得探討的地方。
作者透過修改 Server 端(準確來說是 libreactor 框架內的程式碼)關於 Thread Pool 的一些用法，成長的讓整個效能提升了 2~3%

結論來說，透過上述四個概念來提升的程式碼效能。
1. vCPU 盡量使用: 25%-27%
2. 使用 gcc -O3 來建置框架的程式碼: 5%-10%
3. 使用 march=native 等參數來建置最後的 server 應用程式: 5%-10%
4. 使用 send/recv 而非 write/read: 5%-10%
5. 修改 pthread 的用法: 2%-3%

註: 作者強調每個最佳化的結果並非是單純累積的概念，反而還會有互補的效果。
可能前述的操作實際上也會讓後續的操作達到更好的效果，
譬如如果先跑 vCPU 的調整，效能大概提升 25%，但是如果先執行別的最佳化過程，最後再來調整 vCPU，就可以達到 40% 的效果，主要是 CPU 可以共有效率的去執行程式。

最後，這個部分讓整個處理封包能力從 224k 提升了 55% 到 347k (req/s)。
從火焰圖來看，整個 user-space 的範圍縮小許多，同時 send/recv 的處理也有使得整體的高度下降一點點(大概四格..)

為了避免文章過長，本篇文章就探討第一個最佳化的過程，剩下的就敬請期待後續!

https://talawah.io/blog/extreme-http-performance-tuning-one-point-two-million/

[時事英文] Alzheimer’s Prediction May Be Found in Writing Tests

沒想到英文寫作可以用來預測阿爾茨海默症。

受試者當中應該沒有第二語言學習者吧。

音檔: https://bit.ly/3lcBTxr

★★★★★★★★★★★★

Alzheimer’s Prediction May Be Found in Writing Tests
阿爾茨海默症可以預測嗎？寫作測試也許提供了答案

Is it possible to predict who will develop Alzheimer’s disease simply by looking at writing patterns years before there are symptoms? According to a new study by IBM researchers, the answer is yes. And, they and others say that Alzheimer’s is just the beginning. People with a wide variety of neurological illnesses have distinctive language patterns that, investigators suspect, may serve as early warning signs of their diseases.

• Alzheimer’s disease 阿爾茨海默症
• symptoms 癥狀、症狀
• according to a new study 根據一個新研究
• a wide variety of 多種～的
• neurological illnesses 神經系統疾病
• distinctive language patterns 獨特的語言模式
• an early warning sign of ～的早期預警訊號

有沒有可能在出現癥狀之前的幾年裡，僅僅通過觀察書寫模式來預測誰會患上阿爾茨海默症？ 根據IBM研究人員的一項新研究，答案是肯定的。而且，他們和其他一些研究人員表示，阿爾茨海默症的預測只是開始。研究人員懷疑，患有多種神經系統疾病的人都有著獨特的語言模式，可能是他們疾病的早期預警信號。

★★★★★★★★★★★★

The researchers examined the subjects’ word usage with an artificial intelligence program that looked for subtle differences in language. It identified one group of subjects who were more repetitive in their word usage at that earlier time when all of them were cognitively normal. These subjects also made errors, such as spelling words wrongly or inappropriately capitalizing them, and they used telegraphic language, meaning language that has a simple grammatical structure and is missing subjects and words like “the,” “is” and “are.”

• word usage 詞彙使用情況
• subtle differences 細微差別
• artificial intelligence 人工智慧
• repetitive 重複的
• telegraphic language* 電報式語言
• simple grammatical structure 簡單的語法結構

研究人員利用一個人工智慧程序，檢查受試者的詞彙使用情況，尋找語言上的細微差別。他們鑒定出一組受試者，在早期所有人的認知能力都正常的情況下，他們的用詞重複情況更為嚴重。這些測試對象還會犯一些錯誤，比如拼寫錯誤或者大寫使用不當，而且會使用電報式語言——語法結構簡單，漏掉主語以及「the」、「is」和「are」這樣的詞。

*telegraphic language is speech during the two-word stage of language acquisition in children, which is laconic and efficient but lack of function words, tense and plural endings on nouns.

★★★★★★★★★★★★

The members of that group turned out to be the people who developed Alzheimer’s disease. The A.I. program predicted, with 75 percent accuracy, who would get Alzheimer’s disease, according to results published recently in The Lancet journal EClinicalMedicine. “We had no prior assumption that word usage would show anything,” said Ajay Royyuru, vice president of health care and life sciences research at IBM Thomas J. Watson Research Center in Yorktown Heights, N.Y., where the A.I. analysis was done.

• develop a disease 患上疾病
• with % accuracy 準確率達～％
• no prior assumption 沒有先想到、先假設到
• usage （詞語或語言的）用法
• A.I. analysis 人工智慧分析

這群人後來都患上了阿爾茨海默症。根據《柳葉刀》(The Lancet)子刊《臨床醫學》(EClinicalMedicine)最近發表的研究結果，該人工智慧能夠預測誰將患上阿爾茨海默症，準確率達75%。「我們之前沒有想到用詞情況還有這個用途，」紐約州約克敦高地的IBM托馬斯·沃森研究中心(IBM Thomas J. Watson Research Center)醫療保健和生命科學研究副總裁阿賈伊·羅伊尤魯(Ajay Royyuru)說。人工智慧分析就是在該中心進行的。

★★★★★★★★★★★★

文章來自《紐約時報》: https://nyti.ms/3pXsI5l

圖片來源: http://bit.ly/3qsX3sb

🤩Kirkland Signature 科克蘭 磷蝦油 500毫克 160顆 軟膠囊 🦐南極磷蝦油 (美國限定款)
🉐️現貨特價 : 990 (免運費)

📌建議用法：每天食用一粒軟膠囊
🦐磷蝦油被推薦的實證功效(好處)有哪些？
１．改善膝關節疼痛（knee pain）
２．改善運動後的免疫抑制狀態
３．有益調節血脂狀態（Hyperlipidemia）
４．有益認知功能（cognitive function）
５．有益經前症候群（premenstrual syndrome）
➡️包含Omega-3脂肪酸，磷脂和蝦青素
100％磷蝦油 / USP認證

💥磷蝦油（krill oil）是近年來非常火紅的omega-3保健食品，主要萃取自南極海域的一種小型紅色磷蝦，由於位居食物鏈下層，較不易有重金屬汙染殘留的問題，因而受到矚目

💥磷蝦油特別之處在於其特殊的脂肪酸結構，約有30%至65%是以磷脂質形式存在（主要為phosphatidylcholine，也就是俗稱的卵磷脂），而魚油中的脂肪則主要為三酸甘油脂（triglycerides）形式

📍與三酸甘油脂不同的是，磷脂質是細胞膜主要結構，也是一種具有乳化劑功能的兩親分子（amphiphile），因此普遍認為人體利用率會較高

📌保健品不是葯，在西方國家，保健品的標籤是Maintain Healthy（保持健康），能調節人體機能，但不以治療疾病為目的；由於人身體的礦物質並不平衡，所以在某些方面保健品比一般食品佔有更大優勢。每種保健品都有適宜的人群，選購的時候應該按照個人的差異，認真選擇

從Excel函數到VBA雲端巨量資料庫應用班06(表單設計重點與修正問題&按ENTER直接新增與重劃框線&動態取消保護與保護工作表與VBA專案加密碼&日期與時間格式設定&分割用日期與文字函數&DATEDIF函數用法&計算精確年齡與輸出VBA&年曆範例&用IF與MONTH判斷與IFERROR過濾)

上課內容：
01_表單設計重點與修正問題
02_按ENTER直接新增與重劃框線
03_動態取消保護與保護工作表與VBA專案加密碼
04_日期與時間格式設定說明
05_日期分割用日期與文字函數
06_DATE函數與DATEDIF函數用法
07_DATEDIF計算精確年齡與輸出VBA
08_用EDATE產生相差幾月日期與年曆範例
09_用IF與MONTH判斷與IFERROR過濾

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_excel_vba2019

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

新課程EXCEL VBA辦公自動化順利在自強基金會開始第一次上課，
主要目標能延續入門課程，進一步延續前課程，把函數變成VBA，
VBA設計自動化與VBA與資料庫當成重要課程目標。

課程理念：
1.熟悉EXCEL內建各類別250幾個函數(理解代替死背)
2.從函數到VBA設計(Sub)與自訂函數(Function)
3.錄製巨集與編修VBA程式
4.學會VBA的重要使用技巧(變數、迴圈與邏輯)
5.學會VBA表單設計與將EXCEL當資料庫
6.學會快速下載網頁資料(巨集錄製、迴圈、邏輯)
7.用EXCEL做銷貨單
8.EXCEL建立查詢系統(地址合併)
9.延伸進階課程資料庫、多工作表、工作簿、網路爬蟲等應用
10.與Python程式協同應用

上課用書：
Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元

超圖解 Excel VBA 基礎講座
作者： 亮亨/譯 出版社：旗標
出版日期：2006/05/15 定價：420元
日本Amazon網站同類書籍銷售No.1

吳老師 108/10/2

函數,東吳進修推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻

從Excel函數到VBA雲端巨量資料庫應用班06(表單設計重點與修正問題&按ENTER直接新增與重劃框線&動態取消保護與保護工作表與VBA專案加密碼&日期與時間格式設定&分割用日期與文字函數&DATEDIF函數用法&計算精確年齡與輸出VBA&年曆範例&用IF與MONTH判斷與IFERROR過濾)

上課內容：
01_表單設計重點與修正問題
02_按ENTER直接新增與重劃框線
03_動態取消保護與保護工作表與VBA專案加密碼
04_日期與時間格式設定說明
05_日期分割用日期與文字函數
06_DATE函數與DATEDIF函數用法
07_DATEDIF計算精確年齡與輸出VBA
08_用EDATE產生相差幾月日期與年曆範例
09_用IF與MONTH判斷與IFERROR過濾

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_excel_vba2019

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

新課程EXCEL VBA辦公自動化順利在自強基金會開始第一次上課，
主要目標能延續入門課程，進一步延續前課程，把函數變成VBA，
VBA設計自動化與VBA與資料庫當成重要課程目標。

課程理念：
1.熟悉EXCEL內建各類別250幾個函數(理解代替死背)
2.從函數到VBA設計(Sub)與自訂函數(Function)
3.錄製巨集與編修VBA程式
4.學會VBA的重要使用技巧(變數、迴圈與邏輯)
5.學會VBA表單設計與將EXCEL當資料庫
6.學會快速下載網頁資料(巨集錄製、迴圈、邏輯)
7.用EXCEL做銷貨單
8.EXCEL建立查詢系統(地址合併)
9.延伸進階課程資料庫、多工作表、工作簿、網路爬蟲等應用
10.與Python程式協同應用

上課用書：
Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元

超圖解 Excel VBA 基礎講座
作者： 亮亨/譯 出版社：旗標
出版日期：2006/05/15 定價：420元
日本Amazon網站同類書籍銷售No.1

吳老師 108/10/2

函數,東吳進修推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻

從Excel函數到VBA雲端巨量資料庫應用班06(表單設計重點與修正問題&按ENTER直接新增與重劃框線&動態取消保護與保護工作表與VBA專案加密碼&日期與時間格式設定&分割用日期與文字函數&DATEDIF函數用法&計算精確年齡與輸出VBA&年曆範例&用IF與MONTH判斷與IFERROR過濾)

上課內容：
01_表單設計重點與修正問題
02_按ENTER直接新增與重劃框線
03_動態取消保護與保護工作表與VBA專案加密碼
04_日期與時間格式設定說明
05_日期分割用日期與文字函數
06_DATE函數與DATEDIF函數用法
07_DATEDIF計算精確年齡與輸出VBA
08_用EDATE產生相差幾月日期與年曆範例
09_用IF與MONTH判斷與IFERROR過濾

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_excel_vba2019

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

新課程EXCEL VBA辦公自動化順利在自強基金會開始第一次上課，
主要目標能延續入門課程，進一步延續前課程，把函數變成VBA，
VBA設計自動化與VBA與資料庫當成重要課程目標。

課程理念：
1.熟悉EXCEL內建各類別250幾個函數(理解代替死背)
2.從函數到VBA設計(Sub)與自訂函數(Function)
3.錄製巨集與編修VBA程式
4.學會VBA的重要使用技巧(變數、迴圈與邏輯)
5.學會VBA表單設計與將EXCEL當資料庫
6.學會快速下載網頁資料(巨集錄製、迴圈、邏輯)
7.用EXCEL做銷貨單
8.EXCEL建立查詢系統(地址合併)
9.延伸進階課程資料庫、多工作表、工作簿、網路爬蟲等應用
10.與Python程式協同應用

上課用書：
Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元

超圖解 Excel VBA 基礎講座
作者： 亮亨/譯 出版社：旗標
出版日期：2006/05/15 定價：420元
日本Amazon網站同類書籍銷售No.1

吳老師 108/10/2

函數,東吳進修推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻