#純靠北工程師573
----------
雖然已經離開程式設計師的日子很長一段時間，目前都是在拍照/修照片/錄影/剪影片，但是這次發生的事，就想到以前程式被測到 bug 時的感覺...

---------------------------

最近正在剪輯一些影片，部分影片交出去後，老師指出有幾個地方底噪特別大，要我再檢查看看。反覆檢查了幾次，除了一些小小的雜音沒刪掉外，呃... 所以是這個問題嗎？可是好像又不是這個，有些段落很乾淨啊！

正在整理要怎麼回覆的時候，老師傳訊息來說：眼花了，寫錯檔案編號。
（有沒有收過測試報告跟你說哪裡有 bug，結果你找了半天找不到問題時，才知道原來測報寫錯了？）

不過後來老師有說出一句 "關鍵句"：感覺是在沒講話時，底噪突然變大聲。

雖然出問題的段落的確都是沒說話的段落，但這句話讓我往另一個方向思考！
（測報中每一個操作細節都是很重要的關鍵，雖然詳細的測報內容看起來很煩...）

上網 google 了一下，有沒有關於 windows 音量突然變大變小的問題？這個問題有人提，可是解答的做法並不是我要的。但是既然有人提出這個問題，就表示也有人遇到相同的情況，我並不孤單吧？

雖然那個做法不是我要的，但是也指出一個方向，在系統的設定裡可能有答案！找一下自己目前這台電腦的設定，在喇叭的設定中有找到一個叫 "均衡響度" 的選項，提供的廠商是 Microsoft，所以這應該是系統內有的。測試了一下，這個選項果然會直接影響電腦在播放時的輸出音量！再次播放那些有問題的片段，當有勾選這個選項時，音量就會被放大，雜訊也就被放大了。

但是這個選項在預設時並沒有被勾起，所以很難斷定問題一定就是它，但還是先請老師去 check 看看？果然，老師的電腦並沒有設定這個。所以問題又回到原點。
（好像抓到 bug 的解法，但結果又不是...）

不過老師說如果他用 mac 去聽，雖然還是有雜訊，但是就沒麼誇張也不會變更大！因為我們都是 win/mac 兩個系統都得用，所以這個線索表示檔案應該是沒問題，系統設定 "大概" 也沒問題。

這時老師有提供他使用的播放軟體名稱，於是快快去下載並安裝，然後把有問題的影片拉進去一聽，果然有問題！然後找了一下軟體的設定，就找到一個可能是問題所在的設定：音訊標準化，因為它預設是被勾起來的！拿掉勾勾後，聲音就沒有被放大的感覺。把這個問題回報給老師，請他測試一下，果然是這個設定在作怪！
（有時你抓不到 bug，是因為你的環境和實際在執行的環境不同...）

---------------------------

雖然不是寫程式，但是怎麼和以前寫程式發生的情況好像？

----------
💖 純靠北官方 Discord 歡迎在這找到你的同溫層！
👉 https://discord.gg/tPhnrs2

----------
💖 全平台留言、文章詳細內容
👉 https://init.engineer/cards/show/6735

ref: https://medium.com/devopscurry/securing-your-ci-cd-pipelines-with-devsecops-in-2021-1a6a6e34f2e7

本篇文章作者想要探討的是如何透過 DevSecOps 的概念來強化你的 CI/CD 流程。

文章開頭探討了些關於 DevOps 文化以及對團隊帶來的改變，如何將 Dev, Ops 的工作流程給帶入到一個不同的領域，這部分想必大家都熟識了，所以這邊就不敘述太多。

接者作者開始思考，CI/CD 這種自動化的過程中，如果我們想要檢查資安與安全性相關，那到底有什麼樣的資訊市值得我們去檢查與研究的?

假設今天採用的是市面上 SaaS 服務的所提供的 Pipeline 平台，這些平台本身的資安問題並不是使用者可以去處理的，這方面只能仰賴這些服務提供商能夠有效且安全的去防護系統。因此作者認為我們應該要將注意力放在我們自行設計的 pipeline 過程中。

作者接者列舉了幾個議題，譬如

1. Source Code Vulnerabilities
這個議題要檢查的是軟體本身是否有相關的漏洞

2. OSS Library Vulnerabilities
所有使用到的 OSS Library 也都可能有漏洞需要注意，所以平常也要多注意 CVE 相關的資訊，有任何可以修復的機會時，團隊一定要評估是需要升級相關的 OSS

3. OSS Version
OSS 的社群也是會不停的開發與迭代，某些版本可能多年後就不被該社群團隊給維護，所以如果目前使用的 OSS 版本已經被標示為 deprecated，那意味就算有任何漏洞可能都不會有相關維護者去補修。因此團隊也要審慎評估是否要趕緊升級到一個有被維護的版本

4. Identifying Compromising Credentials
CI/CD 系統中不免都會有一些跟機密資訊有關的資料，這些資料是有可能當初處理時沒有被妥善管理，譬如不小心被 commit 到 source code 之類的，這部分的錯誤也都要避免。

檢查方面，作者提出不同的方式來檢查，譬如
1. Static Application System Testing(SAT)
程式編譯前的靜態掃描，該方法會嘗試分析程式碼本身是否有安全性漏洞，也是俗稱的白箱測試。

2. Active and Passive penetration t est (Dynamic Analysis)
3. Infrastructure Analysis
該方法包含了檢查環境中用到的設定檔案，伺服器狀態等，透過這些資訊來了解當前是否有什麼潛在的問題

最後，作者列舉出一些相關的工具，譬如
1. Checkmarx
2. IMMUNIO
3. Aqua Security
4. OWASP Zed Attack Proxy
5. Twistlock
6. CyberArk
7. WhiteSource
8. CHef InSpec
9. Fortify Webinspect

本文延續前篇效能校正的經驗談，上篇文章探討了關於應用程式本身可以最佳化的部分，包含了應用程式以及框架兩個部分。本篇文章將繼續剩下最佳化步驟的探討。

Speculative Execution Mitigations
接下來探討這個最佳化步驟對於效能有顯著的提升，但是本身卻是一個非常具有爭議性的步驟，因為其涉及到整個系統的安全性問題。
如果大家對前幾年非常著名的安全性漏洞 Spectre/Meltdown 還有印象的話，本次這個最佳化要做的就是關閉這類型安全性漏洞的處理方法。
標題的名稱 Speculative Execution Migitations 主要跟這漏洞的執行概念與 Pipeline 有關，有興趣理解這兩種漏洞的可以自行研究。

作者提到，大部分情況下這類型的防護能力都應該打開，不應該關閉。不過作者認為開關與否應該是一個可以討論的空間，特別是如果已經確認某些特別情境下，關閉防護能力帶來的效能如果更好，其實也是一個可以考慮的方向。

舉例來說，假設今天你運行了基於 Linux 使用者權限控管與 namespaces 等機制來建立安全防護的多使用者系統，那這類型的防護能力就不能關閉，必須要打開來防護確保整體的 Security Boundary 是完整的。 但是如果今天透過 AWS EC2 運行一個單純的 API Server，假設整個機器不會運行任何不被信任的程式碼，同時使用 AWS Nitro Enclaves 來保護任何的機密資訊，那這種情況下是否有機會可以關閉這類型的檢查?

作者根據 AWS 對於安全性的一系列說明認為 AWS 本身針對記憶體的部分有很強烈的保護，包含使用者之間沒有辦法存取 Hyperviosr 或是彼此 instance 的 Memory。
總之針對這個議題，有很多的空間去討論是否要關閉，以下就單純針對關閉防護能力帶來的效能提升。

作者總共關閉針對四種攻擊相關的處理能力，分別是

Spectre V1 + SWAPGS
Spectre V2
Spectre V3/Meltdown
MDS/Zombieload, TSX Anynchronous Abort
與此同時也保留剩下四個，如 iTLB multihit, SRBDS 等
這種設定下，整體的運作效能再次提升了 28% 左右，從 347k req/s 提升到 446k req/s。

註: 任何安全性的問題都不要盲從亂遵循，都一定要評估判斷過

Syscall Auditing/Blocking
大部分的情況下，Linux/Docker 處理關於系統呼叫 Auditing/Blocking 兩方面所帶來的效能影響幾乎微乎其微，不過當系統每秒執行數百萬個系統呼叫時，這些額外的效能負擔則不能忽視，如果仔細觀看前述的火焰圖的話就會發線 audit/seccomp 等數量也不少。

Linux Kernel Audit 子系統提供了一個機制來收集與紀錄任何跟安全性有關的事件，譬如存取敏感的機密檔案或是呼叫系統呼叫。透過這些內容可以幫助使用者去除錯任何不被預期的行為。
Audit 子系統於 Amazon Linux2 的環境下預設是開啟，但是本身並沒有被設定會去紀錄系統呼叫的資訊。

即使 Audit 子系統沒有真的去紀錄系統呼叫的資訊，該子系統還是會對每次的系統呼叫產生一點點的額外處理，所以作者透過 auditctl -a never,task 這個方式來將整體關閉。

註: 根據 Redhat bugzilla issue #1117953, Fedora 預設是關閉這個行為的

Docker/Container 透過一連串 Linux Kernel 的機制來隔離與控管 Container 的執行權限，譬如 namespace, Linux capabilities., cgroups 以及 seccomp。
Seccomp 則是用來限制這些 Container 能夠執行的系統呼叫類型

大部分的容器化應用程式即使沒有開啟 Seccomp 都能夠順利的執行，執行 docker 的時候可以透過 --security-opt seccomp=unconfined 這些參數告訴系統運行 Container 的時候不要套用任何 seccomp 的 profile.

將這兩個機制關閉後，系統帶來的效能提升了 11%，從 446k req/s 提升到 495k req/s。

從火焰圖來看，關閉這兩個設定後，syscall_trace_enter 以及 syscall_slow_exit_work 這兩個系統呼叫也從火焰圖中消失，此外作者發現 Amazon Linux2 預設似乎沒有啟動 Apparmor 的防護，因為不論有沒有關閉效能都沒有特別影響。

Disabling iptables/netfilter
再來的最佳化則是跟網路有關，大名鼎鼎的 netfilter 子系統，其中非常著名的應用 iptables 可以提供如防火牆與 NAT 相關功能。根據前述的火焰圖可以觀察到，netfilter 的進入 function nf_hook_slow 佔據了大概 18% 的時間。

將 iptables 關閉相較於安全性來說比較沒有爭議，反而是功能面會不會有應用程式因為 iptables 關閉而不能使用。預設情況下 docker 會透過 iptables 來執行 SNAT與 DNAT(有-p的話)。
作者認為現在環境大部分都將 Firewall 的功能移到外部 Cloud 來處理，譬如 AWS Security Group 了，所以 Firewall 的需求已經減少，至於 SNAT/DNAT 這類型的處理可以讓容器與節點共享網路來處理，也就是運行的時候給予 “–network=host” 的模式來避免需要 SNAT/DNAT 的情境。

作者透過修改腳本讓開機不會去預設載入相關的 Kernel Module 來達到移除的效果，測試起來整體的效能提升了 22%，從 495k req/s 提升到 603k req/s

註: 這個議題需要想清楚是否真的不需要，否則可能很多應用都會壞掉

作者還特別測試了一下如果使用 iptables 的下一代框架 nftables 的效能，發現 nftables 的效能好非常多。載入 nftables 的kernel module 並且沒有規則的情況下，效能幾乎不被影響(iptables 則相反，沒有規則也是會影響速度)。作者認為採用 nftables 似乎是個更好的選擇，能夠有效能的提升同時也保有能力的處理。

不過 nftables 的支援相較於 iptables 來說還是比較差，不論是從 OS 本身的支援到相關第三方工具的支援都還沒有這麼完善。就作者目前的認知， Debian 10, Fedora 32 以及 RHEL 8 都已經轉換到使用 nftables 做為預設的處理機制，同時使用 iptables-nft 這一個中介層的轉換者，讓所有 user-space 的規則都會偷偷的轉換為底層的 nftables。
Ubuntu 似乎要到 20.04/20.10 的正式版本才有嘗試轉移到的動作，而 Amazon Linux 2 依然使用 iptables 來處理封包。

下篇文章會繼續從剩下的五個最佳化策略繼續介紹

https://talawah.io/blog/extreme-http-performance-tuning-one-point-two-million/

====9.29以前的處理步驟（9.29後不用刪了，遊戲一關程式自動消失）====
~先把遊戲主程式移除~
刪除Anti-cheat(Mhyprot2.Sys)程式的步驟
1.wis鍵+s 打開Windows命令提示字元
2.輸入cmd.exe然後以系統管理員身份執行
3.輸入指令 sc stop mhyprot2 中止這個程式運行
4.再次輸入指令 sc delete mhyprot2 刪除這個程式
(輸入完要按Enter鍵)
~以下補充可以無視，只要沒運行遊戲mhyprot2.sys應該跟屍體一樣不會自己活起來~
mhyprot2.sys的檔案會在遊戲資料夾跟C:\User\你的用戶名\AppData\Local\Temp\裡面各出現一個
遊戲資料夾裡的mhyprot2.sys，因為遊戲已經卸載，正常會跟著資料夾一起被刪除（如果會自己逃命我就不知了）。
C:\User\你的用戶名\AppData\Local\Temp\裡面的mhyprot2.sys就請自己手動刪除。
================================
如果你是９月２９日以後才安裝下載遊戲的，就不用特別去刪Mhyprot2.Sys了。
因為官方已經將Mhyprot2.Sys改為關遊戲後會自動關閉，也就是只有在遊戲運行時才會監控你的電腦有沒有使用外掛。
如果你想檢查它有沒有偷偷在運作的話，就按影片步驟２跟３去看看，正常應該會說找不到。

補官方最近的處理公告（2020.9.29 上午）：
Anti-Cheat反外掛程式問題的修復聲明（已更新）
各位旅行者，
此前，開發團隊收到部分玩家反應，當開啟PC版原神時，背景會預設開啟反外掛功能，並且在關閉或解除安裝遊戲後，Anti-Cheat反外掛功能仍在執行。
該問題現已修復完畢：Anti-Cheat反外掛程式會在使用者關閉或解除安裝遊戲後直接關閉。
對於此問題造成的困擾，我們深感抱歉。我們會在未來重點注意此類問題，改善工作流程。為所有旅行者提供更優質的遊戲體驗。

東吳EXCEL VBA與資料庫(進階91)第4單元_錄製月份巨集與修改為VBA程序&&處理月份為工作表名稱加上幾日&標準日期格式資料&匯入ACCESS資料庫&ADO新增資料&用VBA整合資料庫匯出與匯入與刪除&檢查日期與表單進度狀態列

上課內容：
01_錄製月份巨集與修改為VBA程序
02_錄製清除巨集與增加按鈕與關閉畫面更新
03_處理月份為工作表名稱加上幾日
04_改為標準日期格式資料
05_建立與匯入ACCESS資料庫
06_利用ADO新增資料到ACCESS資料庫
07_用VBA整合資料庫匯出與匯入與刪除
08_檢查日期與表單進度狀態列
完整影音
https://www.youtube.com/playlist?list=PLgzs-Q3byiYP_baVQS4HqrNhNTnU_-aMt

教學論壇：
https://groups.google.com/forum/#!forum/excel-vba91

與前幾期的課程雖然用的是相同的範例，但最大的不同在：
1.除了解說建函數公式，並將之轉成自訂函數，把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕，按下按鈕就自動完成工作。

內容主要分成：
第1單元_大數據輸入自動化與R語言的比較說明
第2單元_大數據表單與資料庫
第3單元_大數據工作表合併與匯出資料庫
第4單元_EXCEL當資料庫與查詢系統建立
第5單元_批次查詢與雲端與網路下載資料
第6單元_工作表排序(大到小、筆畫、清單)
第7單元_工作表處理(顯示、顏色、複製與刪除)、活頁簿與檔案處理(工作表分割與合併活頁簿)
第8單元_表格與圖表處理(自動繪製圖表)、圖案處理(快速匯入圖片到EXCEL)

有講義與範例和完成的畫面公式與程式碼，
只要按照每周的順序學習，學會EXCEL VBA自動化絕非難事，
優點：
1.可非線性學習：可按照自己最不熟的部分多次學習。
2.可反覆學習：有疑問可以多次聽講，保證學的會。
3.可攜帶學習：只要有瀏覽器就可以播放SWF檔，MAC電腦也沒問題。

上課參考用書：
看！就是比你早下班－50個ExcelVBA高手問題解決法
作者：楊玉文 出版社：松崗
Excel VBA一點都不難：一鍵搞定所有報表
作者：?Excel Home
出版社：博碩

課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！ 2.進而解說EXCEL與資料庫的結合，將EXCEL當成資料庫來使用，結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

更多EXCEL VBA連結：
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

吳老師 2016/3/9

EXCEL,VBA,函數東吳進修推廣部,EXCEL,VBA,函數,程式設計,線上教學,excel,vba,教學,excel,vba指令教學,vba範例教學excel,,excel,vba教學視頻,excel函數教學,excel函數說明,excel函數應用

東吳EXCEL VBA與資料庫(進階91)第4單元_錄製月份巨集與修改為VBA程序&&處理月份為工作表名稱加上幾日&標準日期格式資料&匯入ACCESS資料庫&ADO新增資料&用VBA整合資料庫匯出與匯入與刪除&檢查日期與表單進度狀態列

上課內容：
01_錄製月份巨集與修改為VBA程序
02_錄製清除巨集與增加按鈕與關閉畫面更新
03_處理月份為工作表名稱加上幾日
04_改為標準日期格式資料
05_建立與匯入ACCESS資料庫
06_利用ADO新增資料到ACCESS資料庫
07_用VBA整合資料庫匯出與匯入與刪除
08_檢查日期與表單進度狀態列
完整影音
https://www.youtube.com/playlist?list=PLgzs-Q3byiYP_baVQS4HqrNhNTnU_-aMt

教學論壇：
https://groups.google.com/forum/#!forum/excel-vba91

與前幾期的課程雖然用的是相同的範例，但最大的不同在：
1.除了解說建函數公式，並將之轉成自訂函數，把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕，按下按鈕就自動完成工作。

內容主要分成：
第1單元_大數據輸入自動化與R語言的比較說明
第2單元_大數據表單與資料庫
第3單元_大數據工作表合併與匯出資料庫
第4單元_EXCEL當資料庫與查詢系統建立
第5單元_批次查詢與雲端與網路下載資料
第6單元_工作表排序(大到小、筆畫、清單)
第7單元_工作表處理(顯示、顏色、複製與刪除)、活頁簿與檔案處理(工作表分割與合併活頁簿)
第8單元_表格與圖表處理(自動繪製圖表)、圖案處理(快速匯入圖片到EXCEL)

有講義與範例和完成的畫面公式與程式碼，
只要按照每周的順序學習，學會EXCEL VBA自動化絕非難事，
優點：
1.可非線性學習：可按照自己最不熟的部分多次學習。
2.可反覆學習：有疑問可以多次聽講，保證學的會。
3.可攜帶學習：只要有瀏覽器就可以播放SWF檔，MAC電腦也沒問題。

上課參考用書：
看！就是比你早下班－50個ExcelVBA高手問題解決法
作者：楊玉文 出版社：松崗
Excel VBA一點都不難：一鍵搞定所有報表
作者：?Excel Home
出版社：博碩

課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手！ 2.進而解說EXCEL與資料庫的結合，將EXCEL當成資料庫來使用，結合函數、VBA等更深入的功能，讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表，教您如何將EXCEL函數雲端化與網路化。

更多EXCEL VBA連結：
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

吳老師 2016/3/9

EXCEL,VBA,函數東吳進修推廣部,EXCEL,VBA,函數,程式設計,線上教學,excel,vba,教學,excel,vba指令教學,vba範例教學excel,,excel,vba教學視頻,excel函數教學,excel函數說明,excel函數應用