[爆卦]storage架構是什麼?優點缺點精華區懶人包

雖然這篇storage架構鄉民發文沒有被收入到精華區:在storage架構這個話題中,我們另外找到其它相關的精選爆讚文章

在 storage架構產品中有106篇Facebook貼文,粉絲數超過7萬的網紅iThome,也在其Facebook貼文中提到, 上週我們介紹Dell今年開始主推的儲存代管服務Apex Data Storage Services,接下來,繼續看他們另一個運用超融合基礎架構(HCI)來建構整合IT環境的代管服務,名為Apex Cloud Services,先前這套解決方案稱為Dell Technologies Cloud Pla...

 同時也有2部Youtube影片,追蹤數超過75萬的網紅志祺七七 X 圖文不符,也在其Youtube影片中提到,聯合報數位版,提供獨家觀點評析與記者報導的幕後觀察;豐富的國際視野,為社會提供廣闊的知識架構;每天還有總編輯為你開箱今天新聞關注焦點。邀請你,一起關注報導、參與變革! 聯合報數位版:https://bit.ly/2SwOMos #聯合報數位版 #訂閱制 ✔︎ 成為七七會員(幫助我們繼續日更,並享...

  • storage架構 在 iThome Facebook 的最佳貼文

    2021-09-26 23:54:48
    有 42 人按讚

    上週我們介紹Dell今年開始主推的儲存代管服務Apex Data Storage Services,接下來,繼續看他們另一個運用超融合基礎架構(HCI)來建構整合IT環境的代管服務,名為Apex Cloud Services,先前這套解決方案稱為Dell Technologies Cloud Platform(DTP)。
    從名稱來看,兩者似乎差異不大,然而,Apex Cloud Services區分成Apex Private Cloud,以及Apex Hybrid Cloud,有了更明確的用途與定位差異。

    這兩種解決方案底層的硬體設備都是Dell EMC長期發展的超融合基礎架構應用設備 VxRail,但上面搭配的系統軟體各為vSphere和VMware Cloud Foundation,均可延伸支援容器與Kubernetes。

    而用戶在申租Apex Cloud Services時,也和Apex Data Storage Services一樣,可至Apex Console網頁管理主控臺,透過一連串的步驟指引,如同租用公有雲服務虛擬機器,可選擇合用的執行個體類型、共用儲存類型與容量,完成、提交IT資源訂單,之後Dell會進行規畫、組裝,再到用戶指定的自家資料中心、代管機房或邊緣運算區域,執行部署與建置。

    https://www.ithome.com.tw/review/146890

  • storage架構 在 矽谷牛的耕田筆記 Facebook 的精選貼文

    2021-08-02 12:51:44
    有 155 人按讚

    ref: https://ably.com/blog/no-we-dont-use-kubernetes

    八月第一篇,就來個有趣的文章,來看看 ably 這間 SaaS 公司為什麼沒有使用 Kubernetes,不但當前沒有使用,甚至短期未來內都不會想要使用
    更是直接的說如果你有興趣來加入團隊,千萬不要把將 Kubernetes 導入到團隊中是一個可能發生的事情。

    我個人覺得這篇文章滿好的,因為是認真的去比較導入 Kubernetes 帶來的改變,而這些改變對團隊來說到底是可接受還是不可接受
    而不是所謂的人云亦云,人家要我也要,人家不要我也不要...

    文章分成兩部分,前述介紹當前 Ably 的環境架構是什麼,而半部分則是很技術的去探討如果導入 Kubernetes 帶來的好處與壞處是什麼
    最終權衡比較之下,會發現導入 Kubernetes 沒有帶來實質上的好處。

    文章開頭先簡述了一下 Kubernetes 這幾年的風潮,從最初 Google Borg 的開發開始談起,作者特別提到當初 Borg 的用法可是將一堆實體機器給搭建出一個 Private Cloud 的叢集給團隊使用,
    而目前 Kubernetes 更多的用法則是搭建於 Public Cloud 上面的虛擬機器中,透過將 Kubernetes 部署到這些不同的 Cloud Provider 似乎帶來了介面統一的結果,對於 DevOps 人員來說
    不同 Cloud Provider 如今看起來都是 Kubernetes 的樣貌。

    Ably 目前到底怎麼部署應用程式
    Ably 主要使用 AWS 作為其 Cloud Provider,並且於 EC2 機器上使用 docker/container 來部署團隊中的應用程式。
    作者團隊中沒有使用任何已知的 Orchestration 服務來管理多節點上的 docker/container,取而代之的則是每個 VM 開機後則會根據 autoscaling group 的機制來判斷
    每個機器應該要部署哪種 container/docker。

    對於 Ably 來說,團隊中沒有任何 scheduler 相關的服務來調度各種服務,這意味每個 VM 就代表一種服務,所以將 VM 上的服務從 Core 轉換成 frontend 這種行為不會發生。
    今天需要針對需求轉換服務時就以 VM 為基準來整批換掉即可。
    每個節點上面都會有一個輕量的監控服務,用來確保運作的 Container 如果掛掉後可以被重啟,甚至如果當前運行的版本不符合需求時也能夠將該服務給停止。

    流量方面,因為每個 Autoscaling Group 就代表一個服務,所以直接使用 NLB 與 Target Group 來將流量導入該 Autoscaling Group 即可。
    至於容器與容器之間的內部流量(譬如 k8s service 等)作者認為也不是太大問題,畢竟每個機器本身都會被 VPC 賦予一個 IP 地址,所以使用上沒有什麼太大的問題。

    接下來作者從幾個層次去探討當前設計與使用 Kubernetes 帶來的改變,分別有 (原文很多,這邊摘要不然文章會太長)
    題外話,由於 Ably 的 Infra Team 數量有限,所以要考慮 K8s 只會考慮 K8s Service,如 EKS。
    1. Resource Management
    Ably:
    a. 根據服務的需求來決定每個服務要用到的 VM 等級
    b. 不需要去煩惱如何處理將多個小服務給部署到一個適合的大 VM 中
    c. 作者稱這種行為其實就是 AWS 官方強調的 Right Sizing, 譬如只能跑兩個 Thread 的服務不需要 16vCPUs, 久久寫一次硬碟的服務也不需要一個 90,000 IOPS 的 SSD
    d. 選擇一個正確的元件來搭建一個符合服務的 VM 讓團隊可以控制成本同時也減少額外的管理負擔
    K8s:
    a. 必須要使用一個比較強大等級的 EC2 VM,畢竟上面要透過 Container 部署很多服務
    b. 針對那些需要小資源的服務來說,透過這種方式能夠盡可能的榨乾機器的資源,整體效能使用率會更好
    c. 但是針對資源量沒有很辦法明確定義的服務則是會盡可能地去吃掉系統上的資源,這種被稱為 nosy neighbors 的常見問題已經不是首次出現了, Cloud Provider 本身就需要針對 VM 這類型的服務去思考如何處理資源使用,而 Cloud Provider 都有十年以上的經驗再處理這一塊
    而所有 Kubernetes 的使用者則必須要自己去處理這些。
    d. 一個可能的作法則是一個 VM 部署一個服務,不過這個做法跟團隊目前的作法已經完全一致,所以就資源管理這一塊,團隊看不到使用 Kubernetes 的優勢。

    2. Autoscaling
    Ably:
    a. EC2 VM 本身可以藉由 Autoscaling Group 來動態調整需求
    b. 有時候也是會手動的去調整 EC2 的數量,基本上手動跟自動是互相輔佐的
    c. 團隊提供的是 SaaS 服務,所以其收費是針對客戶實際上用多少服務來收,如果開了過多 EC2 VM,則很多不要的花費與開銷都是團隊要自行吸收
    d. 團隊需要一個盡可能有效率的方式能夠即使遇到流量暴衝時也能夠保證良好的服務的機制
    K8s:
    a. 可以透過不少方式來動態調整 Container 的數量,
    b. 甚至可以透過 Cluster autoscaler 來針對節點進行調整,根據需求關閉節點或是產生更多節點
    c. 動態關閉節點的有個問題是關閉節點時通常會選擇盡可能閒置的節點,但是閒置並不代表沒有任何服務部署再
    上面,因此該節點上的 Container 都要先被轉移到其餘節點接者該目標節點才可以被正式關閉。這部分的邏輯作者認為相對複雜
    d. 整體來說,k8s 有兩個動態調整的部分,動態節點與動態服務,而現有的架構只有一個動態節點。所以使用 k8s 則會讓問題變得更多更複雜。

    3. Traffic Ingress
    Ably:
    a. Traffic Ingress 基本上每個 cloud provider 都提供了很好的解決方案,基本上團隊只要能夠維持每個服務與背後的機器的關係圖,網路流量基本上都沒有什麼需要團隊管理的。
    b. 使用者會透過直接存取 NLB 或是透過 CloudFront 的方式來存取團隊內的服務

    K8s:
    a. EKS 本身可以透過 AWS VPC CNI 使得每個 Container 都獲得 VPC 內的 IP,這些 IP 都可以讓 VPC 內的其他服務直接存取
    b. 透過 AWS LB Controller,這些 Container 可以跟 AWS LB 直接整合,讓封包到達 LoadBalancer 後直接轉發到對應的 Container
    c. 整體架構並不會比團隊目前架構複雜
    d. 唯一缺點大概就是這個解決方案是完全 AWS 綁定,所以想要透過 k8s 來打造一個跨 Cloud Provider 的統一介面可能就會遇到不好轉移的問題。

    4. DevOps
    Ably:
    a. 開發團隊可以透過簡單的設定檔案來調整部署軟體的版本,後續相關機制就會將 VM 給替換掉,然後網路流量也會自然的導向新版服務
    K8s:
    a. 開發團隊改使用 Kubernetes 的格式來達到一樣的效果,雖然背後運作的方式不同但是最終都可以對開發團隊帶來一樣的效果。

    上次四個分析基本上就是,使用 k8s 沒有帶來任何突破性的好處,但是 k8s 本身還有其他的功能,所以接下來作者想看看 k8s 是否能夠從其他方面帶來好處

    Multi-Cloud Readiness
    作者引用兩篇文章的內容作為開頭,「除非經過評估,否則任何團隊都應該要有一個跨 Cloud-Provider 的策略」
    作者表明自己團隊的產品就是那個經過評估後斷言不需要跨 Cloud Provider 策略的團隊,同時目前沒有往這個方向去追求的打算。
    同時作者也不認為 K8s 是一個能夠有效達成這個任務的工具。舉例來說,光 Storage 每家的做法都不同,而 K8s 沒有辦法完全將這些差異性給抽象畫,這意味者開發者終究還是要針對這些細節去處理。

    Hybrid Cloud Readiness
    管理混合雲(Public Cloud + Private Cloud based on Bare-Metal servers)是作者認為一個很合理使用 K8s 的理由,畢竟這種用法就跟當初 Google Borg 用法一致,是經過驗證可行的。
    所以 Ably 如果有計畫要維護自己的資料中心時,底層就會考慮使用 Kubernetes 來管理服務。畢竟這時候沒有任何 Cloud Provider 提供任何好像的功能。
    不過 Ably 目前沒有任何計畫,所以這個優點也沒有辦法幫助到團隊

    Infrastructure as Code
    團隊已經大量使用 Terraform, CloudFormation 來達成 IaC,所以透過 k8s YAML 來維護各種架構不是一個必要且真的好用的方式。

    Access to a large and active community
    另外一個很多人鼓吹 K8S 的好處就是有龐大的使用者社群,社群內有各種問題分享與探討。
    作者認為
    a. AWS 的使用者社群數量是高於 Kubernetes
    b. 很多情況下,一個迭代太快速的產品其實也不一定對團隊有太大的幫助。
    c. 很多人都使用 k8s,但是真正理解 k8s 的人微乎其微,所以想要透過社群來幫忙解決問題其實比你想像的還要難,畢竟裡面的問題太雜,很多時候根本很難找到一個真正有效的答案。

    Added Costs of Kubernetes
    為了轉移到 K8s, 團隊需要一個全新的 team 來維護 k8s 叢集以及使用到的所有基本服務。舉例來說,EKS, VPN CNI, AWS LB 帶來的網路好處並不是啟動 EKS 就會有的,
    還必須要安裝相關的 Controller 並且進行設定,這些都是額外的維運成本。
    如果找其他的服務供應商來管理 Kubernetes,這意味公司就要花費更多的$$來處理,所以對團隊來說,金錢與工作量都會提高,不同的解決方式只是這兩個指標的比例不同而已。

    結論:
    1. Ably 覺得 Kubernetes 做得很好,但是團隊目前沒有任何計畫去使用它,至少目前這階段沒有看到任何實質好處
    2. 仔細評估後會發現,導入 k8s 其實也會帶出不少管理上的問題,反而並沒有減輕本來的負擔

  • storage架構 在 矽谷牛的耕田筆記 Facebook 的最佳貼文

    2021-07-29 08:01:11
    有 48 人按讚

    ref: https://medium.com/swlh/quick-fix-sharing-persistent-disks-on-multiple-nodes-in-kubernetes-ef5541fd8376

    這篇文章是 kubernetes 與 Storage 整合的經驗分享文,該文章包括了下列內容
    Cloud Storage, NFS, Kubernetes, PV/PVC.

    Kubernetes 內針對這些儲存相關的使用方式有
    1. 使用 ephemeral 的儲存設備
    ephemeral 只適合暫存資料使用,因為該儲存設備不是持久保存的,這意味 Container 如果重啟,資料就會消失。
    2. 使用 Bind Mount 的方式將資料從節點掛載到容器中
    就如同過往使用 Docker 時會使用 -v 的方式將同節點中的儲存目錄給掛載到容器中來使用。

    基本上有任何永久性儲存的需求都會採用(2) 這個方式來處理,而目前很多 Cloud Provider 都有提供相關的儲存裝置讓你的 VM(k8s Node)
    可以輕鬆存取與使用。

    舉例來說,AWS 有 EBS, GCP 有 GPD,這類型的 Block Storage Device 本身支援動態掛載與卸載,所以就算 Kubernetes 將目標 Container 重新部署到
    不同節點上也不需要擔心資料會不同,因為這些 Storage 可以隨者不同節點動態掛載上去,讓你的 Container 看到相同的資料。
    但是以上兩個裝置都有一個限制,就是並不支援同時多人寫入的動作,於 Kubernetes 只能使用 Read/Write 模式。
    這意味每個 Storage 同時只能有一個 Container 去進行讀寫操作(but Azure 的服務就沒有這個限制)

    作者假設今天有一個服務底層是由三個元件組成,這些元件會需要針對相同一個資料集一起處理。
    舉例來說有服務 A,B,C
    A: 將資料寫入到儲存系統中
    B: 從儲存系統中讀入資料進行二次處理,處理完畢再寫回去儲存系統中
    C: 將資料從儲存系統中讀出並且供外部使用

    上述情境簡單說就是一個儲存設備,會有三個服務同時想要讀取,一個專心寫,一個同時讀寫,一個專心讀。
    這種需求就沒有辦法單純使用 EBS/GPD等裝置來使用,因此作者接下來就會針對如何使用 NFS 這套網路儲存系統來搭建一個符合上述需求的用法。
    該解決方案流程如下
    1) 透過 EBS/GPD 的方式掛載一個儲存空間到 k8s 節點中
    2) 部署一個 NFS Server 的容器到 Kubernetes 中,該 NFS Server 會使用 EBS/GPD 作為其儲存空間的來源
    3) NFS Server 透過 service 分享服務
    4) 部署 PV/PVC 物件到 Kubernetes 中
    5) A,B,C 三種容器透過 PVC 的方式來存取 NFS Server

    因為 NFS 本身就是一個可多重讀寫的解決方案,作者透過這種方式讓多個應用程式可以同時讀寫,同時將這些資料保存到 EBS/GPD 的儲存空間中。
    不過這種用法帶來的問題可能就是速度問題,從同節點直接存取變成透過網路存取,所以如果本身對於存取有非常高的頻寬需求時,使用這種解決方案也許會遇到
    很難解決的瓶頸,畢竟大部分人的 k8s 叢集都是 data/control 兩種資料交雜於底層的網路架構中,沒有辦法將 data plane/control plane 給分開來。

    有興趣看作者如何一步一步搞定上述流程的可以參考全文

  • storage架構 在 志祺七七 X 圖文不符 Youtube 的最佳貼文

    2020-10-18 19:00:07

    聯合報數位版,提供獨家觀點評析與記者報導的幕後觀察;豐富的國際視野,為社會提供廣闊的知識架構;每天還有總編輯為你開箱今天新聞關注焦點。邀請你,一起關注報導、參與變革!
    聯合報數位版:https://bit.ly/2SwOMos
    #聯合報數位版 #訂閱制

    ✔︎ 成為七七會員(幫助我們繼續日更,並享有會員專屬福利):https://bit.ly/3eYdLKp
    ✔︎ 訂閱志祺七七頻道: http://bit.ly/shasha77_subscribe
    ✔︎ 追蹤志祺IG :https://www.instagram.com/shasha77.daily
    ✔︎ 來看志祺七七粉專 :http://bit.ly/shasha77_fb
    ✔︎ 如果不便加入會員,也可從這裡贊助我們:https://bit.ly/support-shasha77
    (請記得在贊助頁面留下您的email,以便我們寄送發票。若遇到金流問題,麻煩請聯繫:service@simpleinfo.cc)

    各節重點:
    00:00 開頭
    02:55「益生菌」是什麼?
    04:28「瘦菌」的說法是怎麼來的?
    05:46 吃瘦菌減肥,這說法哪裡不對?
    07:02 腸道菌如何影響人體的健康?
    08:07 怎麼維持腸道菌的健康?
    09:34 保健食品能讓「腸道菌」變健康嗎?
    10:36 我們的觀點
    11:30 提問
    11:48 結尾

    【 製作團隊 】

    |企劃:王葦
    |腳本:王葦
    |編輯:土龍
    |剪輯後製:絲繡
    |剪輯助理:歆雅、珊珊
    |演出:志祺

    ——

    【 本集參考資料 】

    →健全腸道免疫,關鍵人體防線:https://bit.ly/2ItwjHs
    →亞洲益中心:https://bit.ly/37duM2G
    →靠腸道菌就能輕鬆減肥!?真的有「瘦菌」這個東東嗎?:https://bit.ly/2SW2IIS
    →Fredrik B.et al. (2004) The gut microbiota as an environmental factor that regulates fat storage. Proc Natl Acad Sci U S A, 101(44), 15718–15723. doi: 10.1073/→pnas.0407076101.:https://bit.ly/343HXBq
    →Ruth E. L., Fredrik B., Peter T. Catherine A. L., Robin D. K. & Jeffrey I. G. (2005) Obesity alters gut microbial ecology. PNAS, 102 (31), 11070-11075: https://bit.ly/2H9Mbye
    Yu, E. W., Gao, L., Stastka, P., Cheney, M. C., Mahabamunuge, J., Torres Soto, M., … & Hohmann, E. L. (2020). Fecal microbiota transplantation for the improvement of metabolism in obesity: The FMT-TRIM double-blind placebo-controlled pilot trial. PLoS medicine, 17(3), e1003051.:https://bit.ly/3k4b8tB
    →廢物變黃金?他用「糞便銀行」翻轉醫療:https://bit.ly/2T0jnes
    →糞便也能救命 澳糞便銀行治療嚴重腹瀉:https://bit.ly/3k3Id97
    →《我擁群像》:https://bit.ly/3k958zK
    →《我們只有10%是人類》

    【 延伸閱讀 】

    →《我擁群像》:https://bit.ly/3k958zK
    →靠腸道菌就能輕鬆減肥!?真的有「瘦菌」這個東東嗎?:https://bit.ly/3lW2zBJ
    →健全腸道免疫,關鍵人體防線:https://bit.ly/2FCgi0Y


    \每週7天,每天7點,每次7分鐘,和我們一起了解更多有趣的生活議題吧!/

    🥁七七仔們如果想寄東西關懷七七團隊與志祺,傳送門如下:
    106台北市大安區羅斯福路二段111號8樓

    🟢如有業務需求,請洽:hi77@simpleinfo.cc
    🔴如果影片內容有誤,歡迎來信勘誤:hey77@simpleinfo.cc

  • storage架構 在 hksubwoofer Youtube 的最佳貼文

    2018-07-28 21:00:00

    小米紅米手機怎麼設置SD卡權限教學
    如何修復小米的SD卡櫂限問題
    Redmi 5a SD Card Permission

    示範的手機是紅米Note 5A (高配版)

    部份APP因設計缺憾,不能選儲存到外置SD卡的目錄,就算你授權亦無用,因程式設計者如沒有寫storage access framework程式碼的話,是不能存取SD卡的。

    Storage Access Framework技術文章:
    https://developer.android.com/guide/topics/providers/document-provider?hl=zh-tw
    即是設計APP的人沒有寫「儲存空間存取架構」程式碼的話,便無法存取外置SD卡權限的

    FB Fan Page
    https://www.facebook.com/hksubwoofer

你可能也想看看

搜尋相關網站