熱門Ptt文章

[爆卦]sharding中文是什麼？優點缺點精華區懶人包

雖然這篇sharding中文鄉民發文沒有被收入到精華區：在sharding中文這個話題中，我們另外找到其它相關的精選爆讚文章

在 sharding中文產品中有2篇Facebook貼文，粉絲數超過3,873的網紅iKala Cloud，也在其Facebook貼文中提到， 👉以 Cloud Spanner 實現遊戲全球擴展：《勇者鬥惡龍WALK》👈 遊戲的流量往往最難預測，業者在選擇資料庫時，也往往在 SQL 與 NoSQL 之間進行妥協；既想擁有關聯式資料庫的結構與交易處理，又想借助非關聯式料庫的水平擴展能力。 有了 Cloud Spanner，您不必再做這樣的...

「sharding中文」的推薦目錄
  • iKala Cloud

    sharding中文 在 iKala Cloud Facebook 的精選貼文

    2020-08-25 17:00:03
    有 6 人按讚

    👉以 Cloud Spanner 實現遊戲全球擴展：《勇者鬥惡龍WALK》👈
    遊戲的流量往往最難預測，業者在選擇資料庫時，也往往在 SQL 與 NoSQL 之間進行妥協；既想擁有關聯式資料庫的結構與交易處理，又想借助非關聯式料庫的水平擴展能力。
    　
    有了 Cloud Spanner，您不必再做這樣的取捨！Cloud Spanner 結合關聯式與非關聯式資料庫的優點，遊戲業者不必再自行做資料分割、也不用為了擴展搬到非關聯式資料庫，還能在所有資料列、地區、洲別，高效率處理交易資料，實現全球同步一致性。
    　
    手遊《勇者鬥惡龍WALK》的開發商 COLOPL（株式会社コロプラ）就使用了 Cloud Spanner 的技術大幅改善擴展問題，並減輕工程師為了分割 (sharding) 資料修改程式碼的時間成本。該遊戲於上線首周就達到 500 萬次下載量、運行上百個 Cloud Spanner nodes。透過 Cloud Spanner，他們有效地實現了全球規模的資料庫擴展！
    　
    ▎遊戲產業專屬解決方案：https://reurl.cc/Ez24G0
    ▎收看 Google 官方中文場次：https://bit.ly/2ZMYzv5
    　
    #CloudSpanner #Database #Gaming #遊戲 #GoogleCloudNext #GoogleCloud #NextOnAir #NextRecap #iKalaCloud #數位轉型就找iKala

  • 矽谷輕鬆談 Just Kidding Tech

    sharding中文 在 矽谷輕鬆談 Just Kidding Tech Facebook 的精選貼文

    2020-05-11 15:34:07
    有 113 人按讚

    #就地避難在家鍛鍊寫作能力

    軟體工程師系統設計面試準備指南

    當你有了幾年的工作經驗以後，在找工作時一定會遇到系統設計的面試，有鑒於大部分的面試心得都是針對演算法以及資料結構的程式面試 (包括我之前寫的美國軟體工程師求職心得)，對於系統設計的準備資源還真的不多，本篇要來剖析系統設計面試，介紹面試的流程、正確的心態以及準備的方向，讓大家再也不怕系統設計面試！

    Medium 好讀版：https://medium.com/jktech/%E8%BB%9F%E9%AB%94%E5%B7%A5%E7%A8%8B%E5%B8%AB%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E6%BA%96%E5%82%99%E6%8C%87%E5%8D%97-acf6ab1f502f?source=friends_link&sk=ca40acf60b749cb1b32c17a868b0c1a3

    #為什麼系統設計很重要？

    在程式面試表現優異，可以讓你順利拿到 Offer；但是系統設計會決定你加入公司的職等！這也就是為什麼有些人有十年經驗只能拿到 Mid-Level (L4) 的 Offer，而有些人只有五年經驗卻可以拿到資深工程師以上 (L5+) 的 Offer。

    另外，如果你是面試 Staff 或是 Principal 級別以上的話，除了系統設計以外，有些公司還會有 Technical Leadership 的面試，來判斷你是否有能力可以跟不同的部門合作、解決問題的不確定性、帶領資淺的人然後推動並且完成一個跨部門的大型技術專案。

    簡單來說，系統設計用來判斷你是 L4 或是 L5+，Technical Leadership 面試用來判斷是 L5 或是 L6+。

    #為什麼系統設計很難準備？

    大多數應徵者在準備的時候會過度偏重於程式面試，原因也不難理解，程式問題的定義很清楚，有給定的輸入以及預期的輸出，就算你真的想不出來，LeetCode 上的討論區也有參考答案；這種有考古題可以參考的面試，對於台灣教育出來的人來說相對好準備，隨著你解的問題多了，你也會更有信心，不知不覺甚至還會刷上癮了呢！但系統設計卻非如此。

    系統設計面試的問題描述通常很模糊 (這是刻意的)，沒有給定的輸入與輸出，比較沒有既定規則可以遵循，然後也沒有一個標準答案，針對不同系統你需要提出不同的解法然後分析優缺點，一樣的問題，面試官也會針對你過去經驗往不同的方向問，有些問題你工作上沒有碰過還真的回答不出來，這也就是為什麼很多人看到系統面試就怕了。

    #到底要怎麼準備？

    首先我們要先建立一個觀念：沒有任何一個人可以知道所有的技術細節

    不管你的面試官有多少年經驗，不管他們再怎麼資深，在變化快速的軟體產業，沒有人可以知道所有事情，一定有你知道而他們沒聽過的事情！

    請把系統設計當成分享你過去所學的面試，這個面試的目的在於展示你對於軟體架構能力的廣度跟深度，你必須可以給出大方向的架構，知道有哪些元件 (廣度)，同時針對你熟悉的領域深入探討更多細節 (深度)，並且提出幾個解決方案，分析優缺點，並且針對系統需求選擇合適的解法。

    大方承認自己對某些領域的細節不熟，也是完全沒問題的，只要讓面試官了解你知道這個東西，如果要深入了解的話你知道有哪些方向要努力，這樣就夠了，因為在大型的軟體專案裡，一定是高度分工的，不會有人同時精通手機端、前端、後端、Infra 以及嵌入式或是硬體的。

    講到這裡，相信你也知道如果真的要準備是準備不完的，這些知識是透過平常工作以及閱讀技術文章長期累積的成果，比較沒辦法臨時抱佛腳。

    #具體來說會問什麼問題

    舉例來說，一個系統設計的問題會像是這樣：如何設計 Facebook?

    這類問題的描述通常會很大而且模糊，面試官不預期而且你也不可能在 45 分鐘內就設計出這些公司花了好幾年這麼多人力設計出來的產品，所以第一步要做的事情是確認需求：是要設計動態牆、Messenger、廣告系統還是推薦系統？流量跟資料量為多少？需要支援全球的使用者嗎？

    確認完需求以後，會針對最重要的幾個使用場景設計你的 Data model 以及 API，接著畫出大的系統架構圖，大致上會包含客戶端 (手機版/桌面版)、Load Balancer (Reverse Proxy)、App Servers 以及資料庫，接著可以針對細節下去討論，這邊開始就很自由了。

    如果你是專精在資料庫，可以討論要用什麼資料庫以及資料要怎麼存可以讓特定使用場景的讀取以及寫入效能比較好，要怎麼做資料庫的 Replication 跟 Sharding 來服務更多的使用者？

    如果講到快取，哪些地方可以加快取呢 (瀏覽器前端, CDN, App Server, 資料庫)？具體來說寫入快取有哪些方式以及優缺點 (write-through, write-around, write-back)？什麼時候要失效？要讓哪些資料失效？

    如果聊到微服務器架構跟 Service Mesh，不同的服務怎麼跟其他的服務溝通? control plane 要怎麼更新 data plane 的設定？如果 control plane 掛了怎麼辦？要怎麼做 service discovery? 哪一種 Load Balancing 策略比較好 (round robin, random, least connection, ring hash, or maglev)？有些服務掛了影響到整個系統怎麼辦？什麼時候需要 circuit breaker ？

    如果你是手機開發者，怎麼實現離線瀏覽？手機要有資料庫嗎？要怎麼以及多常跟伺服器同步？API 要怎麼設計？如何實現 Infinite Loading？剛 Po 文以後要怎麼樣在自己手機上馬上看到？

    這些問題真的列舉不完，總之看到這裡你會了解為什麼我說這個面試是沒有範圍而且也準備不完的，重點應該放在跟面試官的討論，展現你在技術方面的廣度跟深度，讓面試結束的時候能夠有一個你們兩個人都同意的設計！

    #準備材料

    系統設計的資源比較分散，以下是我篩選過後覺得有用的資料，按照素材的類型作分類，也歡迎大家留言補充！

    #入門影片

    針對完全沒有概念的新手，我建議可以先從哈佛的 CS75 Lecture 9 Scalability 開始，裡面講到的很多基礎觀念都相當重要，值得一再複習，這些概念先有了以後再閱讀其他的材料會比較有感覺：

    如果你看完這篇文章後還想再多了解系統面試的形式，也可以看一個前 Facebook 工程師分享的影片：

    Distributed Systems in One Lesson 也很推，裡面提到不少業界在使用的設計模式：

    有一個需要付費的資源是 SystemsExpert，每個影片會講解一個系統設計重要的概念，我個人覺得內容有點淺所以沒有買，但是整理地還算不錯，如果你看完他們免費的影片有興趣還是可以參考一下。

    #閱讀文章

    影片是一個讓你很好理解大方向概念的方式，但是如果你要深入理解背後的原理還有怎麼運作的細節，還是得透過大量以及深度的閱讀來吸收呀！

    system design primer 整理了很多系統設計的資源，資料量很夠， 個人的建議是先快速過一遍，不要細讀，先知道總共有哪些元件，大概是做什麼用的就好，接著針對有興趣的部分在深入研究，建立自己的知識庫。

    Grokking the System Design Interview 也是很多人推薦的材料，主要是針對系統設計的問題提供範例解答，他們的答案可以當作一個參考，但面試的時候不要完全照著回答，還是得看跟面試官討論的結果來進行，但這個是需要付費的，有興趣可以用我的推薦碼註冊購買。

    如果你不想花錢或是不確定 Grokking 的文章你喜不喜歡，有一個類似的網站 Crack the System Design Interview 整理得也還不錯。

    #書籍

    唸書是一個有系統性學習的方法，如果你只想選一本書來看，就選這本大家都推的系統設計聖經 — Designing Data-Intensive Applications，簡稱 DDIA，這本書適合的對象是想要長期準備系統設計或是分散式系統的人，裡面舉的例子都是實際上業界遇到的問題，不會有以前讀教科書那種工作又用不到的感覺；但也因為是書，花了一些篇幅在講解背景知識，包含以前的系統是怎麼設計的以及如何演進到現在，對短期要準備面試的人效率會有點低，所以不適合有時間壓力的人。

    這本書我目前讀了一半，最大的收獲是它解釋了很多為什麼現代的系統要做這樣的設計，我們針對不同的系統要求可以有哪些解法，這些解法各有什麼優缺點，總之分散式系統就是我們解決了一個問題，但又會產生更多要考量的點，一切都是 trade-off。

    但這本書也不是沒有缺點的，首先我覺得是本書的英文沒有很好讀，我常常一段看了好幾遍才知道他想表達的重點是什麼，而且，有些很重要的觀念常常藏在一段文字裡用一句話帶過，但是不太重要的觀念卻使用 Bullet Point 表達；另外這本書話常常講一半，一些觀念提到了一點卻說我們後面再聊，也因為這樣，我在考慮要不要幫大家整理每一個章節的重點，翻成中文分享給大家，有興趣的朋友麻煩拍手留言告訴我！

    除此之外，Google 的 SRE Books 內容也很實在，但是每一個章節的內容是獨立的，建議大家選擇想研究的章節跳著看就好。

    最後，Distributed systems for fun and profit 的內容也很好，以分散式系統的理論為主，比較沒那麼針對系統設計面試。

    #還想閱讀更多嗎？

    我知道光是上面的資源就已經讀不完了，但是行有餘力的話，平時也可以多看看各大公司的技術部落格或是訂閱技術週刊如 TechBridge (台灣) 、HackerNews 以及 InfoQ 等等。

    此外，參考別人的經驗也是很好的方式，最近剛好幾個朋友剛找完工作，他們分享的矽谷找資深工程師工作心得分享以及2020 上半年軟工找工經驗分享也都很值得看！

    最後，在工作上使用到的技術，除了會用以外，最好也要花時間去研讀技術文件，了解他們設計的考量以及支援的場景，大部分這類型針對開發者的文件寫得會比較深入，所以也是相當好的學習素材；我自己過去一年因為工作上需要整合 Envoy 到我們公司的 Traffic Infrastructure，從他們的文件中學到很多 Service Mesh 跟微服務器的重要概念，學習的深度都是其他資源無法提供的。

    #總結

    這篇文章我們整理了很豐富的系統設計資源，希望大家不要被這滿滿的資訊量嚇跑。

    請記得，我們永遠有各種方法在短期內針對面試做準備，提升面試的表現，但這都只是一時的，沒辦法讓你一夕之間就成為專家；如果想要追求長期的持續成長，那麼沒有捷徑 — 就是養成每天學習以及閱讀的習慣，一開始真的很難看到效果，但是當你持續一週、一個月甚至是一年以後，你會明顯感受到自己的成長，這些投入的時間都是騙不了人的。

    如果這篇文章對你有幫助，請拍手留言加訂閱，並且分享給更多有需要的人知道！

你可能也想看看

搜尋相關網站