ref: https://vivek-singh.medium.com/system-design-cheat-sheet-318ba2e34723

本篇文章是一個筆記文，紀錄關於 System Design 路上常遇到的架構與元件，譬如
1. LoadBalancer
2. Caches
3. Queues
4. Configuration Service
5. API Gateway
6. Service Mesh
7. CDN
8. Cassandra
9. Snowflake
10. Numbers

每個概念都還會附上一些相關影片與文章，也因為是個筆記內容，因此每個元件的介紹都不會非常詳細，都是小小段落介紹每個元件的最基本概念。
譬如 LoadBalancer 的筆記有
1. L4/L7 兩種的差異
2. AWS 上 ELB/ALB/NLB 的三種差異
3. LB 的演算法， Round Robin,Weighted RR, Least Connection/Response Time/Resource based 等

Caches
1. 實作有 Memcached, Redis 等相關專案
2. 什麼時候會使用 Memcached:
a. 需求簡單，譬如單純 Key/Value 字串，可以輕易地透過調整 cores/threads 來調整效能。
b. Volatile，沒有儲存機制
c. 只有 LRU 的 Cache 演算法
d. Key 最多 250B, Value 最多 1MB
3. 什麼時候使用 Redis
a. 需要儲存 object，而非單純 string
b. 支援多種演算法
c. 支援 data store，可以達到 non-volatile 效果
d. 可以支援 Set/Hash/List/Sorted Set 不同型態

這類型的文章對於踏入 System Design 能夠提供一個簡易的入門介紹，先有哪些類別需要學習，再針對每個類別獨立學習也是一個不錯的學習路徑。

創新工場和BCG諮詢合作的「+AI改造者」系列：看看馬上贏如何在巨頭競爭下，用大數據驅動業務，實現傳統零售商和品牌商的雙贏。

改造者系列：科技巨頭下的AI企業制勝之道？-- 本文来自BCG微信公眾號，經授權轉載。

近期，創新工場聯合BCG波士頓咨詢旗下亨德森智庫，推出「AI融合產業：『改造者』如何促進AI普惠」系列研究。人工智慧在中國大陸有著明確的落地應用場景，大量的AI企業活躍於這些垂直場景中，我們定義這些企業為「改造者」。「改造者」通過傳授其AI技術和垂直行業理解，極大地打破了傳統企業應用AI的瓶頸。

作為擅於趨勢前瞻的TechVC，創新工場長期看好AI領域，深入佈局，至今已經投出了7只AI獨角獸。在系列研究中，我們采訪了數家創新系AI企業，通過這些「改造者」的視角，探究傳統企業擁抱AI的範式與路徑。

馬上贏是創新工場投資的大陸領先的快消行業大數據公司，其定位是中國快消品行業的風向標，零售監測的新標準，成為中國的「尼爾森」。通過信息化賦能小規模零售商，馬上贏打通一個個數據孤島，以大數據的方式挖掘零售數據的商業價值，為品牌商提供產品動銷數據與競品監控服務。

為了讓數據更好地服務於新品研發和上市，馬上贏引入了PDCA（Plan, Do, Check, Act）循環，通過數據說話指導快消品快速迭代，提升零售商銷售收入。

具體來說，品牌商可以在零售商的渠道內測試包括售價、外觀、營銷、陳列等要素，通過數據回饋指導新版本，實現往復循環。

在采訪中，馬上贏創始人猴哥（王傑祺）表示，垂直領域內的AI創新需要符合企業自身的需求，要在巨頭的基礎設施之上，基於更好的訓練集和更專業的垂直行業知識，不斷突破行業壁壘，優化垂直領域的AI創新。

■系列導讀

本系列由BCG亨德森智庫與創新工場董事長兼首席執行官李開復博士帶領的創新工場團隊共同推出，圍繞「AI融合產業：『改造者』1如何促進AI普惠」的課題，我們致力於探究傳統企業在應用AI過程中的關鍵要素與合作夥伴，以及傳統企業擁抱AI的範式與路徑。

在零售領域，馬上贏致力於定義中國快消品零售監測行業的新標準，成為「中國的尼爾森」，通過免費為連鎖零售商提供市場情報和「零售數字化鐵三角」2，與零售商進行數據合作，將海量的線下快消品零售數據轉換成精准的市場洞察情報。

1 「改造者」 通過傳授其AI技術和垂直行業理解，極大地打破了傳統企業應用AI的瓶頸，充當產業中傳統企業應用AI的橋樑。「改造者」包括AI企業與成功轉型AI的傳統企業。
2 「零售數位化鐵三角」指通過PDCA循環迭代的方法提升零售商銷售收入。P=Plan：52周企劃；D=Do：會員營銷；C=Check：BI看板；A=Act：改進。

■本期受訪嘉賓：猴哥（王傑祺）

馬上贏正在建設覆蓋線下門店最多的零售監測網絡，為連鎖企業免費提供BI看板、52周企劃3、會員營銷和市場情報，推進連鎖企業數字化轉型。

猴哥（王傑祺）是馬上贏的創始人兼首席執行官，清華大學學士，美國華盛頓大學碩士。他是原阿里巴巴集團資深產品專家，曾于美國UPS供應鏈部門擔任高級工業工程師。在創立馬上贏之前，他曾創業推出購物助手（如意淘），後被阿里收購。

3「52周企劃」指依托馬上贏的大數據AI技術説明零售商實現精細化管理。零售商可以瞭解一年中每周適合銷售什麼類目的產品，與陰曆節日、陽曆節日、節氣、特殊事件（如比賽活動）關聯，提升門店的銷售計劃能力。

■對談實錄

Q1 馬上贏為什麼選擇切入零售賽道？如何定義「中國的尼爾森」？

猴哥：馬上贏致力於定義快消品零售監測的新標準，做「中國的尼爾森」，為零售商和品牌商提供服務。面向零售商，馬上贏免費提供ABC服務，即AI、big data（大數據）、Cloud（雲服務），以換取訂單數據；面向品牌商，馬上贏基於零售商的脫敏數據提供大陸市場情報，賺取收入。

馬上贏發現，大陸的市場過於分散，零售的毛利又低，大量規模小的零售商缺乏足夠的IT費用以支援其獨立完成信息化應用，但他們對信息化的需求又是真實存在的。另一方面，品牌商有意願和能力為市場情報、動銷數據支付費用。馬上贏看到了零售商和品牌商的痛點以及購買力的巨大差異，嘗試通過為零售商和品牌商提供所需服務來提升整個行業的效率。

馬上贏一方面向零售商免費提供差異化的信息技術服務，按零售商的需求提供BI看板和市場情報支援，另一方面向品牌商提供產品動銷數據與競品監控服務。此外，馬上贏還在著重提升AI演算法和大數據中台數據處理能力，以便支援更多零售商和品牌商的數據服務需求。同時，這些技術優勢和服務支撐能力説明馬上贏建成大陸覆蓋範圍最大的即時零售數據監測網絡。對於馬上贏和客戶而言，這是雙贏。

在數據治理中，馬上贏需要做的是建立相對統一的內容體系，實現統一的度量衡。比如同一個條碼的商品在不同門店的名稱寫法不同，傳統方法是通過人工進行校驗和修正之後才能統一名稱入庫。馬上贏通過自己搭建的超1,600萬條碼的商品庫，使用AI演算法對零售數據做分類、清洗，並基於完善的商品知識圖譜體系標記商品屬性，再由BI看板提供數據洞察服務。馬上贏的這套全流程自動化體系，極大地提升了數據處理和情報產出的速度和效率。

Q2 相比數據咨詢商、科技巨頭等其他類別的競爭對手，馬上贏的差異化優勢是什麼？如果品牌方想自己做零售大數據，馬上贏怎麼應對？

猴哥：以往零售商想實現信息化必須高價購買專門技術公司的服務，只有少數資金充足的大零售商可以負擔得起，零售行業中數量眾多的中小型零售商往往望洋興嘆。而品牌方一般很難獲取到這些生意占比很大的中小型零售商數據，因而會尋求數據咨詢商的數據服務。但出於成本和利潤的考慮，數據咨詢商往往只服務最頭部的品牌商，在大陸可能只有幾百個品牌商能消費得起數據咨詢商的服務。相比之下，馬上贏合作的品牌商更加廣泛，從新銳品牌、區域性品牌到成熟品牌、頭部品牌，馬上贏都可以提供符合客戶需要的數據服務。

數據咨詢商從少數零售商那裏提取商品月度銷售匯總數據，再將數據整合為大盤情報，賣給少數頭部品牌商。但馬上贏從「激活生態」的角度出發，説明零售商提升數據運營能力，獲得大量一手銷售訂單數據，可以為品牌商提供更詳細的數據洞察服務。此外，馬上贏由AI賦能數據清洗和BI交付，從而可以提供即時的、更細顆粒度的看板，可以提供細到省級、地級市級、業態級、SKU級顆粒度的數據。

相比電商巨頭，馬上贏選擇線下快消品零售行業，覆蓋更多的線下零售商，涉及更豐富的業態，有大賣場、大超市、小超市、便利店、食雜店等等。在商品品類的選擇上，馬上贏暫不拓展美妝、服裝等電商渠道占比超過50%的品類，而選擇線上化率相對更低的品類，如食品、飲料、日用品。這些品類消費時效性高、頻次高、單價低，線上購物場景並不適合線下。

至於品牌方自己做零售大數據，馬上贏早前就思考過這個問題。我們和大品牌都聊過，如果建立品牌方自己的銷售追蹤網絡是否可行，得出的結論是不可行。一是單一品牌方來做大數據，做完了只能自己受用，成本攤下來很不合算，還不如投資AI企業，實現專業化分工；其次，品牌方還有一些技術壁壘解決不了，攻克下來只會對成本端造成更大的壓力，得不償失。

Q3 馬上贏在賦能零售商和品牌商的過程中遇到的最大挑戰是什麼？

猴哥：最大的挑戰來自於行業裏不透明的競爭——現在做AI的企業太多了，很多企業會虛報準確率，噪音特別大。

AI在每個垂直行業的落地需要很多行業知識，其次才是疊加AI演算法。但很多傳統企業對AI的期待特別高，導致市場上各種聲音魚龍混雜，每個企業都在講述「AI萬能」的故事。馬上贏不會激進地過度承諾，但這種冷靜和狂熱之間的衝突會帶來很多麻煩——當別的AI企業過度承諾其自動補貨的準確率高達95%的時候，馬上贏如果表示我們的準確率位於70%—85%的區間，傳統企業就會輕視我們的實力。現在，垂直行業裏缺乏行業組織或者專業機構來做客觀、公允的第三方普查。比如在圖像識別、自然語義處理領域，都有比較公認的訓練賽，大家用演算法的跑分說話，相對而言就比較客觀。落到垂直領域裡，每個企業自己報數據，很多時候就會有水分。

馬上贏曾經考慮把收集的數據脫敏之後貢獻出來，讓大家有一個公平的舞臺競技，但是很難運行起來。僅僅共享數據不足以激勵演算法團隊，需要行業組織定期舉辦競賽、活動等，或者像Netflix舉辦推薦演算法比賽，通過資本來激勵大家參與，僅僅靠社區運轉不起來。

Q4 你認為未來AI企業的發展趨勢是什麼？

猴哥：有能力的巨頭要持續加強行業的基礎設施，讓開發AI的人能有更好的工具，讓雇不起博士生的企業也能應用AI，實現技術普惠。同時，垂直領域內的AI創新需要符合企業自身的需求，AI企業要在巨頭的基礎設施之上，基於更好的訓練集和更專業的垂直行業知識，不斷突破行業壁壘，優化垂直領域的AI創新。我相信這是我們的生存之道——「科技巨頭靠算力，我們靠設計」。

同時，大陸的零售行業在洗牌，有很多更具備數據化思維的新品牌在躍躍欲試。以前是渠道經濟，在社區裏搶到點位就能有流量，未來是有技術、數據和管理能力的品牌才能從老品牌手中搶到點位。此外，隨著許多快消品牌逐步上市，出現資本外溢，更多的人會開始創業，疊加當前快消巨頭的二代交棒窗口，零售領域將有新一波浪潮湧動。我相信，未來的零售行業會更加擁抱數據，擁抱AI。

■要點回顧

1. 不只是技術層AI要有標準，應用層AI也需要標準。垂直領域應用AI需要由行業組織或龍頭企業牽頭制定公認的行業標準，從而促進AI企業公平有序發展，這也將反哺傳統企業，促使傳統企業的AI應用提質增效。

2. 「科技巨頭靠算力，AI企業靠設計」，結合巨頭提供的行業通用基礎設施和「改造者」特有的垂直領域數據集和算法，各取其長，方能最大化傳統企業應用AI的效率。

說到 #紀律、說到毅力、還有無畏與堅持，《靈魂的路徑》（Paths of the Soul, 2016，又名為《岡仁波齊》）肯定是部非看不可的電影，這是個平凡但絕美的故事，有最謙卑低微的布衣老少、有最壯麗清冷的自然山河、也有最神聖極淨的純真靈魂。

《靈魂的路徑》是由張揚所編寫與拍攝，紀錄一趟兩千公里的朝聖紀實，一行村民十一人，由西藏東邊的芒康縣，途經西藏南方的拉薩，前往拉薩西方，登上海拔6638公尺的神山岡仁波齊峰。沿途都是蜿蜒山路、上坡下坡。
.
＃11人去11人歸
這團岡仁波齊朝聖團，共有十一成員，並非家人，而是來自同村的相互揪團。有年僅九歲的小妹妹、懷孕中的母親、因為殺生過多而心懷罪惡的屠夫、膝蓋受傷的微殘、還有七十多歲的老人。這是一群看來簡陋的長征團體，緊靠一部拖拉車，一路上只能跪拜與步行，真能熬過兩千公里嗎？

讓人感動的是，去程有十一人，回程也是十一人，不過，如果不是看完整部電影，我們不會曉得，原來路程中，一位孕婦產子，一位老爺爺在聖山的山腳下，於寂靜的夜裡默默離世。
.
＃隨著生命河流的起伏
這一生與一死，沒有極度喜悅、沒有哭天搶地，也沒有盛大儀式，藏人看待這些突如其來的每個事件，都是接受、處理、與放下，於是孕婦沒有坐月子，喪家也沒有守喪，而是在生產與天葬之後，持續日常的跪拜與步行。

雖然藏人以平常心與簡樸的方式，度過這些人生大事，不過，他們衷心為初生的嬰孩與鄰近天國的老人祝福，深信他們能在朝聖旅途中，來到或離開人世，肯定是種福氣，也絕對是受到上天無限的祝福。
.
＃磕頭趴跪青康藏的兩千公里
或許你會想說，不過就是徒步跪拜，跟著媽祖繞境，也是如此。

完完全全不同，這是與自己戰鬥與吃足苦頭的煎熬旅程。

剛開始在準備階段，村人砍木板，截成一段一段，麻瓜的我並未意識到，這些白色木板就是未來要陪伴他們一整年，會一塊塊磨平磨扁的磕頭板。
.
＃死嗑精神
由頭頂、額前、心上拍板三下，走三步，然後趴地跪滑，額頭碰地。一路都是跪拜在平均4500公尺的青康藏高原，無論是腳有舊傷、腹中有子、後揹嬰孩、還是幼小女孩，整整走了一年，從凜冽寒冬走到青翠夏日，再走到下一個銀白雪季。

無論是天氣晴朗、淹水泥濘、礫礫碎石、滾滾沙地、還是濕寒雪地，一樣地三拜三跪，即使是九歲小女孩，也不曾討價還價，一起虔誠磕拜。以前從不解大陸用語中的「死嗑」，但是《靈魂的路徑》讓我真實地看見死嗑的精神，並且為之深深敬佩與感動。
.
＃岡仁波齊
岡仁波齊是座聖山。正如同耶路撒冷是回教、基督教、與猶太教的聖城一樣，岡仁波齊是藏傳佛教、耆那教、印度教、與苯教的聖山，海拔6638公尺，是岡底斯山脈的第二高峰。在藏傳佛教，岡仁波齊是勝樂金剛的住所，在印度教，則是濕婆神山。四個宗教的虔誠信徒，都會前來朝聖。

岡仁波齊這個山名，是譯自梵語。岡，意思是晶瑩剔透、如水晶一般的白雪；仁波齊則是最珍貴之物。於是綜合起來，岡仁波齊的意思就是如水晶般珍貴的白雪。

因為是四個宗教的神山，至今沒有登山者攀登超越，即使是世界上最偉大的義大利登山家萊茵霍爾德·梅斯納爾，就算獲准攀登，也放棄機會，同時還勸誡其他登山者，「這座山不夠高也不夠難，去登別的山吧，」他認為人類沒有必要故意超越神山，踐踏其他宗教的神聖信仰。
.
＃旅客貧辛波路壯闊
在Netflix上觀看《靈魂的路徑》，最遺憾的就是不曾在電影的大螢幕上欣賞西藏的晶瑩白雪、翠綠草原、與浩大河山。真是美景無邊，震撼無垠。

但是美景下的旅人，卻是最謙卑與渺小。這趟旅程超過一年，沒有7-11，沒有汽車旅館，也沒有加油站與維修站。沿途的食衣住行，全部都要預先準備，於是，電影一開始，村人齊心宰牛砍柴縫皮製衣。

牛皮穿在身上，不怕跪拜擦傷，預先準備的牛肉乾，則是路途上的三餐，還有帳篷、被枕，數十雙布鞋等等，因為，在浩大山河的途中，不可能會有任何煞風景的商店。
.
＃接受意外活在當下
一年的時間，十一人的旅途，意外碰撞許多因緣，除了生與死，還有一場車禍、盤纏用盡、半路打工、以及輕燃即止的愛的火花。

這場車禍，撞壞拖拉機，使得貨車失去動力，而必須以人力拖拉。面對這一個意外，或許我們會當場咒罵，哭天搶地。但是眾人理解撞壞他們拖拉機的對方，是趕著要去醫院急救，於是沒有怨言與爭吵。
.
＃生命智慧的見證
沒多久，眾人明白拖拉機不可能修理，於是決定以人力拖拉。在接下來的路途中，幾個人拉，幾個人跪拜，再輪流拉車跪拜，週而復始。累了就一起歌唱相互鼓舞。信念，讓他們堅持，虔誠，也讓他們毫無怨言。

天氣晴朗，他們一起歌唱舞蹈，運氣不佳，他們一起吆喝鼓勵。他們的旅程，是生命智慧的見證，讓我們懂得接受意外與活在當下。
.
＃虔誠的毅力與紀律
因為信念與虔誠，讓不可能的任務都成為可能。

倘若能將這股《靈魂的路徑》的精神放在我們的生活，任何時候，只要是面對到達成不了的事情，也都有機會達成。

不過，藏人能夠完成聖山的千里跪拜，並非起於強迫自我，而是在於虔誠與信念。
.
＃熱愛與紀律
因為虔誠信神，他們熱愛這趟旅程；因為熱愛旅程，他們一路帶著信念克服難關，於是，最終他們很有紀律地完成不可能的任務。

於是，倘若我們想要產生紀律之心，或許，我們必須先建立起對於這份工作的熱誠、虔誠、與信念，如此，應該會比起製作一堆表單與強迫自己，還更有效率。

當任務與內心產生信念的連結，無須強迫，紀律自然生成。
.
.
＃每天陪你宅在家看一部好電影Day74
＃第46部電影
＃2021年7月27日
＃靈魂的路徑
＃PathsoftheSoul2016
＃張揚
＃岡仁波齊峰
＃冷門好電影
＃西藏朝聖
＃紀律的生成之道