[爆卦]pipeline概念是什麼?優點缺點精華區懶人包

雖然這篇pipeline概念鄉民發文沒有被收入到精華區:在pipeline概念這個話題中,我們另外找到其它相關的精選爆讚文章

在 pipeline概念產品中有31篇Facebook貼文,粉絲數超過2,850的網紅矽谷牛的耕田筆記,也在其Facebook貼文中提到, ref: https://iximiuz.com/en/posts/devops-sre-and-platform-engineering/ 本篇是一個由 Twitter 討論串引發的後續文章,作者想要聊聊 DevOps, SRE 以及 Platform Engineering 的差異。 文章中附...

 同時也有1部Youtube影片,追蹤數超過117的網紅JENN LEE,也在其Youtube影片中提到,觀秀注意事項: 1. 請將畫質調高至2160,以取得最佳畫面清晰度。 2. 若有VR頭盔或Google Cardboard,建議務必佩戴使用,將有身歷其境的非凡體驗。 PLEASE NOTICE: 1. As the content was rendered with 3D stereoscopi...

  • pipeline概念 在 矽谷牛的耕田筆記 Facebook 的精選貼文

    2021-08-16 08:00:10
    有 93 人按讚

    ref: https://iximiuz.com/en/posts/devops-sre-and-platform-engineering/

    本篇是一個由 Twitter 討論串引發的後續文章,作者想要聊聊 DevOps, SRE 以及 Platform Engineering 的差異。
    文章中附有相關 Twitter 討論串的連結,對於原文有興趣的也可以去參閱一下 Twitter

    註:就我個人觀察到的現象,台灣企業很少看到 Platform Engineer 的職位,有人知道有哪些公司有開這種職位可以留言分享一下

    作者自述自己是個從事 SRE 工作但是內心卻是個軟體工程的技術專欄作家,因此就自己的過往經驗想分享一下對於這三者的看法,而這些討論就引起了一些回文
    因此作者將這些概念整合下來寫下這篇文章來總結一下各方網友們的看法。

    作者的軟體生涯中,從分工仔細的團隊到新創公司都經歷過,再還沒有認知到 DevOps/SRE 這類型名詞前就已經體驗過部署開發維運三合一的人生。

    隨者愈來愈多人開始探討 DevOps 以及 SRE 這兩個詞,兩者之間的比較沒有停過,甚至還有專屬的兩個 awesome 系列 awesome-sre, awesome-devops 清單來列舉如何學習這兩個技術。
    整個求職市場也因為這兩個名詞的出現而有變化,作者也因應這股潮流開始往下探索,因此最後就以自己自身的經驗來分享自己對於這些名詞的想法。

    其中作者有提到一點也是我非常認同的,就是這些名詞代表什麼含義,這些職稱要做什麼都會隨者不同公司不同團隊而有變化,畢竟每個公司的產品跟商業走向都不同
    期待能有一個一統天下的職稱跟工作內容反而才是不切實際的。所以接下來的探討就只是作者跟幾個網友們的討論,不要當作圭臬,也不要當作聖旨,自己有自己的想法比較重要。

    # What is Development
    1. 作者認為開發的概念非常簡單,就撰寫程式,唯一能夠為公司貢獻 $$$ 的職位,畢竟有人寫程式還有產品,沒人寫程式也沒什麼好部署的。
    2. 推特網友表示: 只有 sales 才是幫公司賺錢的,剩下都是公司的支出
    3. 作者從 2011 開始了軟體工程師生涯,過往作者都很期望自己可以去部署一下自己撰寫的程式,但是基本上都是團隊內的其他神秘人物會默默的部署這些程式到生產環境。

    # What is DevOps
    1. 作者不想探討何謂官方的正式定義,只想聊聊自己多年工作經驗的感想
    2. 對作者來說, DevOps 是一個能夠讓開發者對於部署應用程式有更多機會與權力的文化,實作上沒有一定的準則
    3. 作者還待過那些開發者都擁有 sudo 權限來部署應用的新創公司,不過現在這些流程都慢慢的被自動化 CI/CD 流程給取代。
    4. DevOps 最初的想法應該是遠遠超過作者所描述的,不過作者就自己工作上的經驗,找工作的經驗,看職稱 JD 的經驗來看,DevOps 更像讓開發者打造的產物可以更有效率的被部署
    5. DevOps 本身不應該去探討產品的商業邏輯,那是開發者要探討的。

    # What is SRE
    1. Google 推出了一系列的書來探討何謂 SRE,那系列書籍的想法偏向 SRE 是其中一種 DevOps 文化的實作方式。
    2. 相對於 DevOps,作者更喜歡 SRE 帶來的職缺內容。
    3. 作者對於提到 CI/CD pipeline 之類的職缺都感到無聊且沒興趣,而 DevOps 的工作職缺往往都充滿這些令人無聊的東西。
    4. 相反的,作者更喜歡去專研系統問題,譬如探討為什麼會有 bug, memory leak, 效能不好...等
    5. 作者認為 SRE 要負責去維護上線環境,確保使用上沒有問題。
    6. Google 的 SRE 系列書籍還提到了關於 monitoring, alerting, SLO 等各種如何確保服務正常的機制。 Facebook 則是有非常著名的 Production Engineer 的職稱,其跟典型的 SRE 基本上沒太大的差別。
    7. 推特網友表示: SRE 專注於生產環境, DevOps 專注於 CI/CD 與開發效率與流程
    8. 另外一名推特網友表示(這也是我目前最喜歡的答案): DevOps 從開發角度為起點, SRE 從維護上線環境出發,兩職缺於某處產生交集。

    # What is Platform Engineering
    1. 作者想起當年還是一家新創的唯一一位工程師時,那時候還要去租借實體機器來架設環境,所以那時候也撰寫了不少腳本來安裝機器,也要確保機器之間的網路可以正常運作。
    2. 加入一間比較有規模的公司後瞭解到看來 infra 相關的工作是一個很類似 SRE/DevOps 但是又有些許不同的領域
    3. 作者認為 Platform Engineering 目標就是要打造一個可以讓 Dev, Ops, SRE 能夠使用的環境
    4. 作者感覺 Platform Engineering 要負責維護 data-center 內上千台的機器,確保這群機器能夠正常運作,維護外也要包含升級,設定等。

    # What's about titles?
    1. 作者前述探討的都是基於負責領域,比較不去談這些職稱應該要做什麼
    2. 根據作者經驗,當公司規模逐漸變大時,分工就會愈來愈細,這時候 Dev, Ops, SRE, PE 等職缺就會開始逐漸專項化。
    3. 重點就是, YMMV (Your Mileage May Vary ),不同情況,不同答案,不要太專注於一個死板板的解釋。

    個人想法: 公司要開什麼職缺名稱就不管他了,工作內容才是最重要的,有錢的任性老闆也可以開一個"開源軟體整合工程師"但是要你整合 CI/CD 加上維運的工作。

  • pipeline概念 在 矽谷牛的耕田筆記 Facebook 的最佳解答

    2021-08-08 08:00:09
    有 50 人按讚

    ref: https://faun.pub/the-best-infrastructure-as-code-tools-for-2021-b37c323e89f0

    這篇文章是一個 IaC (Infrastructure as Code) 的推廣文,文章分成幾個部分,從 IaC 的基本概念與應用談起,接者分析了幾個常見的 IaC 工具,最後探討了實際的使用案例

    文章偏長,對於 IaC 概念很熟悉的讀者應該可以很快速地看完,以下針對部分進行一些摘要

    The need for Infrastructure as Code
    作者先描述過去幫機房部署新伺服器時的各種流程,機器少量時能夠透過人力慢慢處理,但是這類型的操作繁瑣,重複且惱人
    為了讓這些流程處理得更佳順遂與一致,會有各式各樣的 scripts 等相關工具被開發出來,而這些流程慢慢的會往自動化的方式去發展。
    IaC 文化的興起會使得有愈來愈多獲得共識的工具被開發出來,這使得 IaC 的使用門檻會有機會降低,愈來愈多的使用者能夠更簡易的透過 IaC 的方式來管理與維護自身的架構

    Benefits and reasons to implement IaC
    IaC 帶來的好處是非常顯著的,譬如
    1. 將 Config 檔案當作整個環境的 sing source of truth
    2. 每次的部署都是基於上述的 Config 來部署,能夠確保每次部署都獲得一樣的結果,避免人為的反覆長期操作帶來的錯誤
    3. 透過程式化的方式去建置環境能夠更快速的去應變各種環境需求,對於 testing, developing, production 等各種變化都可以透過 config 的差異來快速搭建
    4. Config 也可以透過 Git 的方式去管理來獲得更好的可稽核性與管理性。

    Principles and best practices of Infrastructure as code
    作者這邊列出了幾個實作上的推薦方式
    1. 透過版本控制的方式來管理 IaC 的設定檔案,能夠讓維運人員使用開發者常見的開發合作流程來管理 IaC
    2. 將 IaC 的工具整合到 pipeline 的 CI/CD 流程,讓 CI 流程去檢查 IaC 的設定是否符合預期以及 CD 流程來幫忙自動部署修改架構

    Infrastructure as code tools
    這個區塊作者列出了幾個常見的工具,包含 Terraform, CloudFormation, Puppet, Pulumi 等,接者又透過一張大表格來比較 Terraform/Pulumi/CloudFormation 三者的差異
    Pulumi 這工具這一兩年開始聲勢比較多,跟 Terraform 一個最大的差異我想就是撰寫的方式,可以透過 Js, Go, Python...等程式語言來描述架構而並非使用 Terraform 自定義的 DSL 來管理。

    最後面作者也列舉了六七個適合 IaC 的使用場景,有興趣的歡迎閱讀全文

  • pipeline概念 在 矽谷牛的耕田筆記 Facebook 的最讚貼文

    2021-07-23 08:00:07
    有 33 人按讚

    ref: https://medium.com/devopscurry/securing-your-ci-cd-pipelines-with-devsecops-in-2021-1a6a6e34f2e7

    本篇文章作者想要探討的是如何透過 DevSecOps 的概念來強化你的 CI/CD 流程。

    文章開頭探討了些關於 DevOps 文化以及對團隊帶來的改變,如何將 Dev, Ops 的工作流程給帶入到一個不同的領域,這部分想必大家都熟識了,所以這邊就不敘述太多。

    接者作者開始思考,CI/CD 這種自動化的過程中,如果我們想要檢查資安與安全性相關,那到底有什麼樣的資訊市值得我們去檢查與研究的?

    假設今天採用的是市面上 SaaS 服務的所提供的 Pipeline 平台,這些平台本身的資安問題並不是使用者可以去處理的,這方面只能仰賴這些服務提供商能夠有效且安全的去防護系統。因此作者認為我們應該要將注意力放在我們自行設計的 pipeline 過程中。

    作者接者列舉了幾個議題,譬如

    1. Source Code Vulnerabilities
    這個議題要檢查的是軟體本身是否有相關的漏洞

    2. OSS Library Vulnerabilities
    所有使用到的 OSS Library 也都可能有漏洞需要注意,所以平常也要多注意 CVE 相關的資訊,有任何可以修復的機會時,團隊一定要評估是需要升級相關的 OSS

    3. OSS Version
    OSS 的社群也是會不停的開發與迭代,某些版本可能多年後就不被該社群團隊給維護,所以如果目前使用的 OSS 版本已經被標示為 deprecated,那意味就算有任何漏洞可能都不會有相關維護者去補修。因此團隊也要審慎評估是否要趕緊升級到一個有被維護的版本

    4. Identifying Compromising Credentials
    CI/CD 系統中不免都會有一些跟機密資訊有關的資料,這些資料是有可能當初處理時沒有被妥善管理,譬如不小心被 commit 到 source code 之類的,這部分的錯誤也都要避免。

    檢查方面,作者提出不同的方式來檢查,譬如
    1. Static Application System Testing(SAT)
    程式編譯前的靜態掃描,該方法會嘗試分析程式碼本身是否有安全性漏洞,也是俗稱的白箱測試。

    2. Active and Passive penetration t est (Dynamic Analysis)
    3. Infrastructure Analysis
    該方法包含了檢查環境中用到的設定檔案,伺服器狀態等,透過這些資訊來了解當前是否有什麼潛在的問題

    最後,作者列舉出一些相關的工具,譬如
    1. Checkmarx
    2. IMMUNIO
    3. Aqua Security
    4. OWASP Zed Attack Proxy
    5. Twistlock
    6. CyberArk
    7. WhiteSource
    8. CHef InSpec
    9. Fortify Webinspect

  • pipeline概念 在 JENN LEE Youtube 的精選貼文

    2021-02-23 20:04:32

    觀秀注意事項:
    1. 請將畫質調高至2160,以取得最佳畫面清晰度。
    2. 若有VR頭盔或Google Cardboard,建議務必佩戴使用,將有身歷其境的非凡體驗。

    PLEASE NOTICE:
    1. As the content was rendered with 3D stereoscopic with 8K resolution, it is suggested to view it with 3D VR headset for the best experience.

    2. In case you don't have the headset, you can still experience it using Google Cardboard, with a down-graded quality.

    --

    JENN LEE 21FW探索內心世界,忘卻物質的渴求,回歸精神的平衡與根本。

    「過去、現在與未來的你都是不同的你,因為條件都不同,如果我們能把每個剎那當作生活片段來過活,會感到很感恩。」

    由於全球疫情蔓延,JENN LEE 21FW以VR360沈浸式虛擬世界的新科技展出,時尚跨界新科技。以東方哲學思想「宇宙恆變」、「自然融合」與「活在當下」的創作概念,創造「變」與「流動」的視覺。

    與兩度獲得亞洲最指標的電影獎項「金馬獎」的電影特效團隊「再現影像」,以及創媒空間國際有限公司主理人李奕慶擔任創意指導合作人林合一「LOVE PLANET VR360」虛擬新星球。

    「你覺得愛是什麼?你想對誰說愛?」


    Inspired and drawn from an Eastern philosophy “The universe is in eternal change”; highlighting the fact that we must live for the moment and embrace living in harmony with the substance of everything that exists. The VR showcase aims to bring together visually, the ideas of transformation and dissipation.

    A chaotic VR world is juxtaposed with real characters from our everyday life. Jenn Lee and Golden Horse Award winning film company Renovatio Pictures, Inc. set about to invite a group of Taiwanese celebrities, actors, musicians, influencers, make-up artists and designers to participate in seeking Utopia via Virtual Reality.

    --

    JENN LEE Team
    李維錚 Wei Chen Lee
    劉芸庭 Liu Yun Ting
    吳霈萱 Wu Pei Xuan
    毛紫函 Mao Tzu Han
    賴映宇 Lai Ying Yu
    葉祐誠 Yeh Yu Cheng
    楊嘉靜 Yang Chia Ching
    江聿涵 Jiang Yu Han
    范棠棋 Fan Tang Chi
    楊紫廷 Yang Tzu Ting
    呂緣生 Lui Yuen Seng

    Producer/ Photographer
    費俊偉 Dennis Fei

    視覺特效製作 再現影像製作股份有限公司
    Visual Effects By Renovatio Pictures

    視覺特效總監 郭憲聰
    Visual Effects Supervisor Tomi Kuo

    特效製片 黃棨雋
    VFX Producer Peter Huang

    技術總監 范屹閔
    Pipeline Technical Director Willy Fan

    CG 總監 陳昭詠
    CG Supervisor Chen Chao Yung

    特效協調 陳姵均
    VFX Coordinators Hulk Chen

    合成組長 謝欣霏
    Composition Lead Faye Hsieh

    資深合成師 徐佳佑
    Senior Compositor Shu Chia Yu


    CG 數位視覺設計師 吳怡萱
    CG Digital Artists Ella Wu

    概念美術設計師 吳怡萱
    Concept Deisgn Artist Ella Wu

    特效協力 張泰軒
    VFX Associate Ted Chang

    行政企劃 黃千真
    Administration Angel Huang

    Creative Director
    李奕慶 Kris Lee

    Citizens of Love Planet
    高捷 Jack Kao
    高愛 Maggie Kao
    黃宣 YELLOW
    阿夜 Marz23
    百勒絲 Fairy Pai
    郝雲娟 Hao Yun Juan
    Yolanda Milan
    張維宸 Way Mask
    祁麟 Cone
    程琪 Kare Chen
    傅昱 Fu Yu
    陳映如 In Ru Chen
    張迎盈 Asa
    張允信 Forrest Chang
    張彤宇 Claire Chang
    費俊偉 Dennis Fei
    李維錚 Wei Chen Lee
    臭咪 Stinky Mimimi

    Sponsors
    文化部
    Nike
    Gentle Monster
    DENNIS FEI
    KCC 墾青集團
    HER

    Music
    Cloudy Ku — Hermitage Bliss
    Written by Cloudy Ku 庫巧兔

    Mixing
    Tim Whitten

    Mastering
    Lawrence English

    © all rights reserved

    --

    JENN LEE Facebook:https://www.facebook.com/official.JENNLEE
    JENN LEE Instagram: https://www.instagram.com/jennlee_official
    JENN LEE Website:http://www.jennleestudio.com
    PR Contact (Taiwan): ellenliujennlee@gmail.com
    PR Contact :roxannechen@dyelog.co.uk

你可能也想看看

搜尋相關網站