必看！史上最全云原生全景圖解讀攻略來(lái)啦

 來(lái)源 ｜ [爾達 Erda 公眾號](https://mp.weixin.qq.com/s/29sZTo5cCWavvwAHGnmfBA) ? # 帶你了解云原生技術(shù)圖譜 ? 如果你研究過(guò)云原生應用程序和相關(guān)技術(shù)，大概率你遇到過(guò) CNCF 的云原生全景圖。這張全景圖技術(shù)之多、規模之大無(wú)疑會(huì )讓人感到震驚，那么我們該如何去理解這張圖呢？ 如果把它拆開(kāi)來(lái)，一次只分析一小塊內容，你會(huì )發(fā)現整個(gè)全景圖沒(méi)有那么復雜。事實(shí)上，該全景圖按照功能有序地組織在一起，一旦你了解了每個(gè)類(lèi)別代表的內容，你就可以輕松游走于全景圖中。 ? 本文我們首先把整個(gè)全景圖拆解開(kāi)來(lái)，并對整個(gè)全景圖進(jìn)行綜述，接著(zhù)聚焦在每一層（or 每一列），對每個(gè)類(lèi)別解決的問(wèn)題和原理進(jìn)行了更為詳細的解讀。 ?  ## 1. 云原生全景圖的 4 層 首先，我們剝離掉所有單個(gè)的技術(shù)，僅查看類(lèi)別（如下圖）。圖中有不同的“行”，像建筑的不同層，每層都有自己的子類(lèi)別。最底層提供了構建云原生基礎設施的工具。往上，你可以開(kāi)始添加運行和管理應用程序所需的工具，比如運行時(shí)和調度層。在最上層，有定義和開(kāi)發(fā)應用程序的工具，比如<a href='http://wap.friendlycc.com.cn/database/mysql/' target='_blank'><u><a href='http://wap.friendlycc.com.cn/database/mysql/' target='_blank'><u>數據</u></a>庫</u></a>、鏡像構建和 CI/CD 工具（我們將在后文討論）。 ?  好了，現在你應該記住了云原生全景圖始于基礎設施，往上的每一層都更接近實(shí)際的應用程序。這就是每層代表的意思（后面我們會(huì )討論上圖右邊的兩“列”）。下面我們就從最底層開(kāi)始，逐層進(jìn)行解析。 ### 1）供應層 （Provisioning） 供應指的是為云原生應用準備標準基礎環(huán)境所涉及的工具。它包含了基礎設施的創(chuàng )建、管理、配置流程的自動(dòng)化，以及容器鏡像的掃描、簽名和存儲等。供應層通過(guò)提供設置和實(shí)施策略，在應用程序和平臺中構建身份驗證和授權，以及處理密鑰分發(fā)等等的工具，也拓展到了<a href='http://wap.friendlycc.com.cn/firewall/' target='_blank'><u>安全</u></a>領(lǐng)域。 ? 供應層包括： ? - 自動(dòng)化和部署工具：幫助工程師在無(wú)需人工干預情況下即可構建計算環(huán)境； - 容器注冊表：存儲應用程序的可執行文件； - 不同安全領(lǐng)域的安全和合規框架；密鑰管理解決方案：通過(guò)加密確保只有授權的用戶(hù)才能訪(fǎng)問(wèn)特定的應用程序。 - 這些工具使工程師可以編寫(xiě)基礎設施參數，使系統可以按需搭建新環(huán)境，確保了一致性和<a href='http://wap.friendlycc.com.cn/website/' target='_blank'><u>安全性</u></a>。 ### 2）運行時(shí)層（Runtime） ? 接下來(lái)是運行時(shí)層。這個(gè)詞可能會(huì )讓你感到迷惑。像很多 IT 術(shù)語(yǔ)一樣，運行時(shí)沒(méi)有嚴格的定義，且可以根據語(yǔ)境有不同的用法。狹義上講，運行時(shí)是特定機器上準備運行應用程序的沙盒——也就是保障應用程序正常運行所需的最低配置。廣義上講，運行時(shí)是運行一個(gè)應用程序所需的所有工具。 ? 在 CNCF 云原生全景圖中，運行時(shí)保障了容器化應用程序組件的運行和通信， 包括： ? - 云原生存儲：為容器化應用提供虛擬磁盤(pán)或持久化存儲； - 容器運行時(shí)：為容器提供隔離、資源和安全； - 云網(wǎng)絡(luò )：分布式系統的節點(diǎn)（機器或進(jìn)程）通過(guò)其連接和通信。 ### 3）編排和管理層（Orchestration and Management） 一旦按照安全和合規性標準（供應層）自動(dòng)化基礎設施供應，并安裝了應用程序運行所需的工具（運行時(shí)層），工程師就需要弄清楚如何編排和管理應用程序。編排和管理層將所有容器化服務(wù)（應用程序組件）作為一個(gè)群組管理。這些容器化服務(wù)需要相互識別和通信，并需要進(jìn)行協(xié)調。這一層可為云原生應用提供自動(dòng)化和彈性能力，使云原生應用天然具有可擴展性。 ? 這一層包含： ? - 編排和調度：部署和管理容器集群，確保它們具有彈性伸縮能力，相互之間低耦合，并且可擴展。事實(shí)上，編排工具（絕大多數情況下就是 Kubernetes）通過(guò)管理容器和操作環(huán)境構成了集群； - 協(xié)調和服務(wù)發(fā)現：使得服務(wù)（應用程序組件）之間可以相互定位和通信； - 遠程進(jìn)程調用（RPC）：使跨節點(diǎn)服務(wù)間通信的技術(shù)； - 服務(wù)代理：服務(wù)間通信的中介。服務(wù)代理的唯一目的就是對服務(wù)之間的通信進(jìn)行更多控制，而不會(huì )對通信本身添加任何內容。服務(wù)代理對下面將提到的服務(wù)網(wǎng)格（Service Mesh）至關(guān)重要。 - API 網(wǎng)關(guān)：一個(gè)抽象層，外部應用可通過(guò) API 網(wǎng)關(guān)進(jìn)行通信； - Service Mesh：某種程度上類(lèi)似于 API 網(wǎng)關(guān)，它是應用程序進(jìn)行通信的專(zhuān)用基礎架構層，提供基于策略的內部服務(wù)間通信。此外，它還可能包含流量加密、服務(wù)發(fā)現、應用程序監控等內容。 ### 4）應用定義和開(kāi)發(fā)層 （Application Definition and Developement) ? 現在，我們來(lái)到了最頂層。應用定義和開(kāi)發(fā)層，顧名思義，聚集了讓工程師構建和運行應用程序的工具。上述所有內容都是關(guān)于構建可靠、安全的環(huán)境，以及提供全部所需的應用程序依賴(lài)。 ? 這一層包括： ? - 數據庫：使應用程序能以有序的方式收集數據； - 流和消息傳遞：使應用程序能發(fā)送和接收消息（事件和流）。它不是網(wǎng)絡(luò )層，而是讓消息成為隊列并處理消息的工具； - 應用程序定義和鏡像構建：用于配置、維護和運行容器鏡像（應用程序的可執行文件）的服務(wù)； - 持續集成和持續交付（CI/CD）：使開(kāi)發(fā)者可自動(dòng)測試代碼是否與代碼庫（應用程序的其余部分）兼容。如果團隊足夠成熟，甚至可以自動(dòng)部署代碼到生產(chǎn)環(huán)境。 ## 2. 貫穿所有層的工具 接下來(lái)我們將進(jìn)入到云原生全景圖右側貫穿所有層的兩列?？捎^(guān)察性和分析（Observability&analysis）是監控各層的工具，平臺則將各層中不同的技術(shù)捆綁為一個(gè)解決方案。 ?  ### 1）可觀(guān)察性和分析（Observability and Analysis） ? 為了限制服務(wù)中斷并降低解決問(wèn)題的平均時(shí)間（MRRT），你需要監控和分析應用層序的方方面面，以便在出現異常時(shí)可立即發(fā)現并糾正。復雜環(huán)境中容易出現故障，這些工具可快速識別并解決故障，從而降低故障帶來(lái)的影響。由于這一類(lèi)別貫穿并監控各層，因此它在側面，而不是嵌入到某一層中。 ? 這一類(lèi)別你將發(fā)現： ? - 日志工具：收集事件日志（有關(guān)進(jìn)程的信息）； - 監控方案：收集指標（以數字表示的系統參數，例如 RAM 可用性）； - 追蹤工具：追蹤比監控更進(jìn)了一步，它們監控用戶(hù)請求的傳播，與服務(wù)網(wǎng)格相關(guān)。 - 混沌工程（Chaos Engineering）：在生產(chǎn)環(huán)境中測試軟件的工具，可識別缺陷并進(jìn)行修復，減少其對服務(wù)交付的影響。 ### 2）平臺類(lèi)（Platform） ? 可以看到，圖中每一個(gè)模塊解決一個(gè)特定的問(wèn)題。但我們知道，僅有存儲并不能提供應用程序所需的全部功能。你還需要編排工具、容器運行時(shí)、服務(wù)發(fā)現、網(wǎng)絡(luò )和 API 網(wǎng)關(guān)等等。平臺覆蓋多層，將不同的工具組合在一起，以解決更大的問(wèn)題。 ? 配置和微調不同的模塊使其安全可靠，并確保它利用的技術(shù)都能及時(shí)更新、所有<a href='http://wap.friendlycc.com.cn/loophole/' target='_blank'><u>漏洞</u></a>都打了補丁，這并不是一件容易的事情。使用平臺時(shí)，用戶(hù)不用額外擔心這些細節問(wèn)題。 ? 你可能會(huì )注意到，所有的類(lèi)別都圍繞著(zhù) Kubernetes 展開(kāi)。這是因為 Kubernetes 雖然只是云原生景觀(guān)圖這張拼圖中的一塊，但它卻是云原生技術(shù)棧的核心。順便說(shuō)一下，CNCF 剛創(chuàng )建時(shí)，Kubernetes 就是其中的第一個(gè)種子項目，后來(lái)才有了其他項目。 ? 平臺可分為四類(lèi)： ? - K8s 發(fā)行版：采用未經(jīng)修改的開(kāi)放源代碼（盡管有人對其進(jìn)行了修改），并根據市場(chǎng)需要增加了其他功能。 - 托管的 K8s：類(lèi)似于 Kubernetes 發(fā)行版，但是由提供商托管。 - K8s 安裝程序：自動(dòng)執行 Kubernetes 的安裝和配置過(guò)程。 - PaaS / 容器服務(wù)：類(lèi)似于托管的 Kubernetes，但是包含了一套更廣泛的應用部署工具（通常是來(lái)自云原生景觀(guān)圖）。 ## 3. 小結 ? 在每個(gè)類(lèi)別中，針對相同或相似的問(wèn)題，都有不同的工具可選擇。有一些是適用于新現實(shí)的預云原生技術(shù)，還有一些則是全新的。區別在于它們的實(shí)現和設計方法。沒(méi)有完美的技術(shù)符合你的所有需求。大多數情況下，技術(shù)受設計和架構選擇的限制——始終需要權衡取舍。 ? 在選擇技術(shù)棧時(shí)，工程師必須仔細考慮每種能力和需要權衡取舍的地方，以確定最合適的選項。雖然這樣會(huì )讓情況變得更復雜，但在選擇應用程序所需的最適合的數據存儲、基礎設施管理、消息系統等方案時(shí)，這樣做是最可行的辦法?，F在，構建一個(gè)系統比云原生之前的時(shí)代容易多了。如果構建恰當，云原生技術(shù)將提供更強大的靈活性。在現如今快速變化的技術(shù)生態(tài)中，這可能是最重要的能力之一。 ? 下面我們來(lái)詳細介紹云原生全景圖的每一層。 ? # 供應層 ? 云原生全景圖的最底層是供應層（provisioning）。這一層包含構建云原生基礎設施的工具，如基礎設施的創(chuàng )建、管理、配置流程的自動(dòng)化，以及容器鏡像的掃描、簽名和存儲等。供應層也跟安全相關(guān)，該層中的一些工具可用于設置和實(shí)施策略，將身份驗證和授權內置到應用程序和平臺中，以及處理 secret 分發(fā)等。  接下來(lái)讓我們看一下供應層的每個(gè)類(lèi)別，它所扮演的角色以及這些技術(shù)如何幫助應用程序適應新的云原生環(huán)境。 ? ## 1. 自動(dòng)化和配置 ### 1）是什么 自動(dòng)化和配置工具可加快計算資源（虛擬機、網(wǎng)絡(luò )、防火墻規則、負載均衡器等）的創(chuàng )建和配置過(guò)程。這些工具可以處理基礎設施構建過(guò)程中不同部分的內容，大多數工具都可與該空間中其他項目和產(chǎn)品集成。 ? ### 2）解決的問(wèn)題 傳統上，IT 流程依賴(lài)高強度的手動(dòng)發(fā)布過(guò)程，周期冗長(cháng)，通?？蛇_ 3-6 個(gè)月。這些周期伴隨著(zhù)許多人工流程和管控，讓生產(chǎn)環(huán)境的變更非常緩慢。這種緩慢的發(fā)布周期和靜態(tài)的環(huán)境與云原生開(kāi)發(fā)不匹配。為了縮短開(kāi)發(fā)周期，必須動(dòng)態(tài)配置基礎設施且無(wú)需人工干預。 ? ### 3）如何解決問(wèn)題 供應層的這些工具使工程師無(wú)需人工干預即可構建計算環(huán)境。通過(guò)代碼化環(huán)境設置，只需點(diǎn)擊按鈕即可實(shí)現環(huán)境配置。手動(dòng)設置容易出錯，但是一旦進(jìn)行了編碼，環(huán)境創(chuàng )建就會(huì )與所需的確切狀態(tài)相匹配，這是一個(gè)巨大的優(yōu)勢。 ? 盡管不同工具實(shí)現的方法不同，但它們都是通過(guò)自動(dòng)化來(lái)簡(jiǎn)化配置資源過(guò)程中的人工操作。 ? ### 4）對應工具 當我們從老式的人工驅動(dòng)構建方式過(guò)渡到云環(huán)境所需的按需擴展模式時(shí)，會(huì )發(fā)現以前的模式和工具已經(jīng)無(wú)法滿(mǎn)足需求，組織也無(wú)法維持一個(gè)需要創(chuàng )建、配置和管理<a href='http://wap.friendlycc.com.cn/serverlease/' target='_blank'><u>服務(wù)器</u></a>的 7×24 員工隊伍。Terraform 之類(lèi)的自動(dòng)化工具減少了擴展數服務(wù)器和相關(guān)網(wǎng)絡(luò )以及防火墻規則所需的工作量。Puppet、Chef 和 Ansible 之類(lèi)的工具可以在服務(wù)器和應用程序啟動(dòng)時(shí)以編程方式配置它們，并允許開(kāi)發(fā)人員使用它們。 ? 一些工具直接與 AWS 或 vSphere 等平臺提供的基礎設施 API 進(jìn)行交互，還有一些工具則側重于配置單個(gè)計算機以使其成為 Kubernetes 集群的一部分。Chef 和 Terraform 這類(lèi)的工具可以進(jìn)行互操作以配置環(huán)境。OpenStack 這類(lèi)工具可提供 IaaS 環(huán)境讓其他工具使用。 ? 從根本上講，在這一層，你需要一個(gè)或多個(gè)工具來(lái)為 Kubernetes 集群搭建計算環(huán)境、CPU、內存、存儲和網(wǎng)絡(luò )。此外，你還需要其中的一些工具來(lái)創(chuàng )建和管理 Kubernetes 集群本身。 ? 在撰寫(xiě)本文時(shí)，該領(lǐng)域中有三個(gè) CNCF 項目：KubeEdge（一個(gè)沙盒項目）以及 Kubespray 和 Kops（后兩個(gè)是 Kubernetes 子項目，雖然未在全景圖中列出，但它們也屬于 CNCF）。此類(lèi)別中的大多數工具都提供開(kāi)源和付費版本。 ? [外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來(lái)直  ## 2. Container Registry ? ### 1）是什么 在定義 Container Registry 之前，我們首先討論三個(gè)緊密相關(guān)的概念： ? - 容器是執行流程的一組技術(shù)約束。容器內啟動(dòng)的進(jìn)程會(huì )相信它們正在自己的專(zhuān)用計算機上運行，而不是在與其他進(jìn)程（類(lèi)似于虛擬機）共享的計算機上運行。簡(jiǎn)而言之，容器可以使你在任何環(huán)境中都能控制自己的代碼運行。 - 鏡像是運行容器及其過(guò)程所需的一組存檔文件。你可以將其視為模板的一種形式，可以在其上創(chuàng )建無(wú)限數量的容器。 - 倉庫是存儲鏡像的空間。 回到 Container Registry，這是分類(lèi)和存儲倉庫的專(zhuān)用 Web 應用程序。 ? 鏡像包含執行程序（在容器內）所需的信息，并存儲在倉庫中，倉庫被分類(lèi)和分組。構建、運行和管理容器的工具需要訪(fǎng)問(wèn)（通過(guò)引用倉庫）這些鏡像。 ?  ### 2）解決的問(wèn)題 云原生應用程序被打包后以容器的方式運行。Container Registry 負責存儲和提供這些容器鏡像。 ? ### 3）如何解決 通過(guò)在一個(gè)地方集中存儲所有容器鏡像，這些容器鏡像可以很容易地被應用程序的開(kāi)發(fā)者訪(fǎng)問(wèn)。 ? ### 4）對應工具 Container Registry 要么存儲和分發(fā)鏡像，要么以某種方式增強現有倉庫。本質(zhì)上，它是一種 Web API，允許容器引擎存儲和檢索鏡像。許多 Container Registry 提供接口，使容器掃描/簽名工具來(lái)增強所存儲鏡像的安全性。有些 Container Registry 能以特別有效的方式分發(fā)或復制圖像。任何使用容器的環(huán)境都需要使用一個(gè)或多個(gè)倉庫。 ? 該空間中的工具可以提供集成功能，以?huà)呙?、簽名和檢查它們存儲的鏡像。在撰寫(xiě)本文時(shí)，Dragonfly 和 Harbor 是該領(lǐng)域中的 CNCF 項目，而 Harbor 最近成為了第一個(gè)遵循 OCI 的倉庫。主要的云提供商都提供自己的托管倉庫，其他倉庫可以獨立部署，也可以通過(guò) Helm 之類(lèi)的工具直接部署到 Kubernetes 集群中。 ?   ## 3. 安全和合規 ? ### 1）是什么 ? 云原生應用程序的目標是快速迭代。為了定期發(fā)布代碼，必須確保代碼和操作環(huán)境是安全的，并且只能由獲得授權的工程師訪(fǎng)問(wèn)。這一部分的工具和項目可以用安全的方式創(chuàng )建和運行現代應用程序。 ### 2）解決什么問(wèn)題 這些工具和項目可為平臺和應用程序加強、監控和實(shí)施安全性。它們使你能在容器和 Kubernetes 環(huán)境中設置策略（用于合規性），深入了解存在的漏洞，捕獲錯誤配置，并加固容器和集群。 ? ### 3）如何解決 ? 為了安全地運行容器，必須對其進(jìn)行掃描以查找已知漏洞，并對其進(jìn)行簽名以確保它們未被篡改。Kubernetes 默認的訪(fǎng)問(wèn)控制比較寬松，對于想攻擊系統的人來(lái)說(shuō)， Kubernetes 集群很容易成為目標。該空間中的工具和項目有助于增強群集，并在系統運行異常時(shí)提供工具來(lái)檢測。 ? ### 4）對應工具 ? 為了在動(dòng)態(tài)、快速發(fā)展的環(huán)境中安全運行，我們必須將安全性視為平臺和應用程序開(kāi)發(fā)生命周期的一部分。這部分的工具種類(lèi)繁多，可解決安全領(lǐng)域不同方面的問(wèn)題。大多數工具屬于以下類(lèi)別： ? - 審計和合規 - 生產(chǎn)環(huán)境強化工具的路徑 - 代碼掃描 - 漏洞掃描 - 鏡像簽名 - 策略制定和執行 - 網(wǎng)絡(luò )層安全 其中的一些工具和項目很少會(huì )被直接使用。例如 Trivy、Claire 和 Notary，它們會(huì )被 Registry 或其他掃描工具所利用。還有一些工具是現代應用程序平臺的關(guān)鍵強化組件，例如 Falco 或 Open Policy Agent（OPA）。 ? 該領(lǐng)域有許多成熟的供應商提供解決方案，也有很多創(chuàng )業(yè)公司的業(yè)務(wù)是把 Kubernetes 原生框架推向市場(chǎng)。在撰寫(xiě)本文時(shí)，Falco、Notary/TUF 和 OPA 是該領(lǐng)域中僅有的 CNCF 項目。 ?   ## 4. 密鑰和身份管理 ? ### 1）是什么 在進(jìn)入到密鑰管理之前，我們首先定義一下密鑰。密鑰是用于加密或簽名數據的字符串。和現實(shí)中的鑰匙一樣，密鑰鎖定（加密）數據，只有擁有正確密鑰的人才能解鎖（解密）數據。 ? 隨著(zhù)應用程序和操作開(kāi)始適應新的云原生環(huán)境，<a href='http://wap.friendlycc.com.cn/firewall/' target='_blank'><u>安全工具</u></a>也在不斷發(fā)展以滿(mǎn)足新的需求。此類(lèi)別中的工具和項目可用于安全地存儲密碼和其他 secrets（例如 API 密鑰，加密密鑰等敏感數據）、從微服務(wù)環(huán)境中安全刪除密碼和 secret 等。 ? ### 2）解決的問(wèn)題 云原生環(huán)境是高度動(dòng)態(tài)的，需要完全編程（無(wú)人參與）和自動(dòng)化的按需 secret 分發(fā)。應用程序還必須知道給定的請求是否來(lái)自有效來(lái)源（身份驗證），以及該請求是否有權執行操作（授權）。通常將其稱(chēng)為 AuthN 和 AuthZ。 ? ### 3）如何解決 ? 每個(gè)工具或項目實(shí)施的方法不同，但他們都提供： ? - 安全分發(fā) secret 或密鑰的方法。 - 身份認證或（和）授權的服務(wù)或規范。 ### 4）對應的工具 此類(lèi)別中的工具可以分為兩組： ? - 一些工具專(zhuān)注于密鑰生成、存儲、管理和輪轉。 - 另一些專(zhuān)注于單點(diǎn)登錄和身份管理。 拿 Vault 來(lái)說(shuō)，它是一個(gè)通用的密鑰管理工具，可管理不同類(lèi)型的密鑰。而 Keycloak 則是一個(gè)身份代理工具，可用于管理不同服務(wù)的訪(fǎng)問(wèn)密鑰。 ? 在撰寫(xiě)本文時(shí)，SPIFFE/SPIRE 是該領(lǐng)域中唯一的 CNCF 項目。 ?   供應層專(zhuān)注于構建云原生平臺和應用程序的基礎，其中的工具涉及基礎設施供應、容器注冊表以及安全性。本章節詳細介紹了云原生全景圖的最底層。 ? # 運行時(shí)層 ? 本章節我們將一起了解運行時(shí)層（runtime），這一層包含了容器在云原生環(huán)境中運行所需的一切。即：?jiǎn)?dòng)容器的代碼，也叫運行時(shí)引擎；使容器獲得持久化存儲的工具；以及管理容器環(huán)境網(wǎng)絡(luò )的工具。 但是注意，不要將這一層的資源與基礎設施和供應層的網(wǎng)絡(luò )和存儲弄混淆，后者的工作是讓容器平臺運行起來(lái)。容器直接使用運行時(shí)層的工具來(lái)啟動(dòng)或停止，存儲數據，以及相互通信。 ?  ## 1. 云原生存儲 ? ### 1）是什么 存儲是存放一個(gè)應用程序持久數據的地方，也叫做持久卷（persistent volume)。輕松訪(fǎng)問(wèn)持久卷對于應用程序可靠運行至關(guān)重要。通常，當我們說(shuō)持久數據的時(shí)候，我們是指數據庫、消息之類(lèi)的，或其他任何在應用重新啟動(dòng)時(shí)不會(huì )丟失的信息。 ? ### 2）解決的問(wèn)題 云原生架構具有高度的靈活性和彈性，這使得重啟應用時(shí)存儲持久數據變得很有挑戰性。容器化應用程序在擴容、縮容或自動(dòng)恢復時(shí)，會(huì )不斷地創(chuàng )建或刪除實(shí)例，并隨著(zhù)時(shí)間改變物理位置。因此，必須以與節點(diǎn)無(wú)關(guān)的方式提供云原生存儲。但是，要存儲數據，就需要硬件（具體來(lái)說(shuō)是磁盤(pán)）。磁盤(pán)和其他硬件一樣，受到基礎設施的限制。這是第一個(gè)大的挑戰。 ? 第二個(gè)挑戰是存儲接口。該接口在數據中心之間可能會(huì )發(fā)生很大的變化（在以前，不同的基礎設施都有自己的存儲解決方案，并帶有自己的接口），這使得可移植性變得非常困難。 ? 最后，由于云的彈性，存儲必須以自動(dòng)化方式進(jìn)行配置，因為手動(dòng)配置和自動(dòng)擴展不兼容。面臨以上這些問(wèn)題，云原生存儲就是為新的云原生環(huán)境量身定制的。 ? ### 3）如何解決 ? 該類(lèi)別的工具可以： ? - 為容器提供云原生存儲選項； - 標準化容器與存儲提供者之間的接口； - 通過(guò)備份和還原操作提供數據保護。 云原生存儲意味著(zhù)使用兼容云原生環(huán)境的容器存儲接口（也就是下一個(gè)類(lèi)別中的工具），并且可以自動(dòng)配置，通過(guò)消除人力瓶頸從而實(shí)現了自動(dòng)擴展和自我恢復。 ? ### 4）對應工具 容器存儲接口（CSI）在很大程度上使云原生存儲變成了可能。CSI 允許使用標準 API 向容器提供文件和塊存儲。該領(lǐng)域中有很多工具，既有開(kāi)源的也有供應商提供的，都可利用 CSI 為容器提供按需存儲。 ? 除了這一及其重要的功能，還有一些其他的工具和技術(shù)旨在解決云原生空間中的存儲問(wèn)題。Minio 是一個(gè)受歡迎的項目，它提供了兼容 S3 的 API 用于對象存儲。Velero 之類(lèi)的工具可幫助簡(jiǎn)化 Kubernetes 集群本身以及應用程序使用的持久化數據的備份和還原過(guò)程。 ?   ## 2. 容器運行時(shí) ? ### 1）是什么 ? 前面我們提到過(guò)，容器是一組用于執行應用程序的技術(shù)約束。容器化的應用程序相信自己正在專(zhuān)用計算機上運行，而忽略了它們其實(shí)是與其他進(jìn)程（類(lèi)似于虛擬機）共享資源。 ? 容器運行時(shí)是執行容器化（或“隔離”）應用的軟件。如果沒(méi)有運行時(shí)，將只有容器鏡像——指定容器化應用程序外觀(guān)的文件。運行時(shí)將在容器中啟動(dòng)應用程序，并為其提供所需的資源。 ? ### 2）解決的問(wèn)題 ? 容器鏡像（帶有應用程序規范的文件）必須以標準化、安全和隔離的方式啟動(dòng)： ? - 標準化：無(wú)論它們在何處運行，都需要標準操作規則； - 安全：訪(fǎng)問(wèn)權限應該要注意設置； - 隔離：該應用程序不應影響其他應用程序或受到其他應用程序的影響（例如，位于同一位置的應用程序崩潰）。隔離基本上起到保護作用。 此外，必須為應用程序提供 CPU、存儲、內存等資源。 ? ### 3）如何解決 ? 容器運行時(shí)可以完成所有這些工作。它以標準化方式在所有環(huán)境中啟動(dòng)應用程序，并設置安全邊界。安全邊界是運行時(shí)和其他工具不同的地方，CRI-O 或 gVisor 等運行時(shí)強化了它們的安全性邊界。運行時(shí)還為容器設置資源限制。沒(méi)有資源限制，應用程序可能會(huì )根據需要消耗資源，這樣就有可能占用其他應用程序的資源。因此設置資源限制是很必要的。 ? ### 4）對應的工具 ? 不是所有此類(lèi)別中的工具都一樣。Containerd（Docker 產(chǎn)品的一部分）和 CRI-O 是標準的容器運行時(shí)實(shí)現。有一些工具可以將容器的使用擴展到其他技術(shù)，例如 Kata，它允許將容器作為 VM 運行。其他工具旨在解決與容器相關(guān)的特定問(wèn)題，例如 gVisor，它在容器和 OS 之間提供了額外的安全層。 ?   ## 3. 云原生網(wǎng)絡(luò ) ? ### 1）是什么 ? 容器通過(guò)云原生網(wǎng)絡(luò )實(shí)現相互之間及和基礎設施層之間的通信。分布式應用程序具有多個(gè)組件，這些組件將網(wǎng)絡(luò )用于不同目的。此類(lèi)別中的工具將虛擬網(wǎng)絡(luò )覆蓋在現有網(wǎng)絡(luò )之上，專(zhuān)門(mén)用于應用程序進(jìn)行通信，稱(chēng)為覆蓋網(wǎng)絡(luò )（overlay network)。 ? ### 2）解決什么問(wèn)題 ? 通常我們將在容器中運行的代碼稱(chēng)為應用程序，但實(shí)際上，大多數容器中僅包含大型應用程序的一小部分特定功能。諸如 Netflix 或 Gmail 之類(lèi)的現代應用程序實(shí)際上由許多較小的組件組成，每個(gè)組件都在自己的容器中運行。為了使所有這些獨立的部分正常運行組成一個(gè)完整的應用，容器之間需要相互通信。此類(lèi)別的工具就提供該專(zhuān)用通信網(wǎng)絡(luò )。 ? 此外，這些容器之間交換的消息可能是私密的、敏感的或者非常重要的。這導致了其他要求：例如為各種組件提供隔離，檢查流量以識別網(wǎng)絡(luò )問(wèn)題的能力。在某些情況下，可能還需要拓展這些網(wǎng)絡(luò )及網(wǎng)絡(luò )策略（如防火墻和訪(fǎng)問(wèn)規則），以便應用程序可以連接到容器網(wǎng)絡(luò )外部運行的 VM 或服務(wù)。 ? ### 3）如何解決 此類(lèi)別中的項目和產(chǎn)品使用 CNCF 中的項目——容器網(wǎng)絡(luò )接口（Container Network Interface, CNI）為容器化應用提供網(wǎng)絡(luò )功能。某些工具（例如 Flannel）僅為容器提供基本連接。其他工具（如 NSX-T）提供了完整的軟件定義網(wǎng)絡(luò )層，可為每個(gè) Kubernetes 名稱(chēng)空間創(chuàng )建一個(gè)隔離的虛擬網(wǎng)絡(luò )。 ? 容器網(wǎng)絡(luò )至少應該能為 Pod（Kubernetes 中運行容器化應用的地方）分配 IP 地址，以允許其他進(jìn)程訪(fǎng)問(wèn)。 ? ### 4）對應工具 CNI 標準化了網(wǎng)絡(luò )層為 Pod 提供功能的方式，這在很大程度上實(shí)現了該領(lǐng)域的多樣性和創(chuàng )新性。為 Kubernetes 環(huán)境選擇網(wǎng)絡(luò )非常關(guān)鍵，有許多工具可選。Weave Net，Antrea，Calico 和 Flannel 均提供有效的開(kāi)源網(wǎng)絡(luò )層，它們的功能各不相同，應根據特定需求進(jìn)行選擇。 ? 此外，許多供應商已準備好使用軟件定義網(wǎng)絡(luò )（SDN）工具來(lái)支持和擴展 Kubernetes 網(wǎng)絡(luò )，這些工具可使你深入了解網(wǎng)絡(luò )流量，執行網(wǎng)絡(luò )策略，甚至將容器網(wǎng)絡(luò )和策略擴展到更廣泛的數據中心。 ?   本文是對運行時(shí)層的概述，該層提供了容器在云原生環(huán)境中運行所需的工具，包括： ? - 存儲：使應用程序輕松快速訪(fǎng)問(wèn)運行所需的數據； - 容器運行時(shí)：執行應用程序代碼； - 網(wǎng)絡(luò )：確保容器化應用程序之間的通信。 在下一章節中，我們將探索編排和管理層，該層處理的是如何將所有容器化應用程序作為一個(gè)組進(jìn)行管理。 ? # 編排和管理層 編排和管理層是 CNCF 云原生全景圖的第三層。在使用這一層的工具之前，工程師大概已經(jīng)按照安全合規標準自動(dòng)配置了基礎設施，并為應用程序設置了運行時(shí)（運行時(shí)層）?，F在，他們必須弄清楚如何將所有應用程序組件作為整體來(lái)編排和管理。這些組件必須相互識別以進(jìn)行通信，并通過(guò)協(xié)調實(shí)現共同的目標。編排和管理層的工具可實(shí)現自動(dòng)化和彈性伸縮，基于此云原生應用程序天然具有可擴展性。 ## 1. 編排和調度 ### 1）是什么 ? 編排和調度是指在集群中運行和管理容器（一種打包和運送應用的新方式）。集群是通過(guò)網(wǎng)絡(luò )連接的一組機器（物理機或虛擬機均可）。 ? 容器編排器（和調度器）與電腦上管理所有應用程序（如微軟 360、Zoom、Slack 等）的操作系統類(lèi)似。操作系統執行你想使用的應用程序，并規劃哪個(gè)應用程序該在何時(shí)使用電腦的 CPU 和其他硬件資源。 ? 雖然在一臺機器上運行所有東西很棒，但如今大多數應用程序的大小遠非一臺機器所能處理，大多數現代的應用程序都是分布式的，這就需要一種軟件能夠管理在不同機器上運行的組件。簡(jiǎn)單來(lái)說(shuō)，你需要一個(gè)“集群操作系統”。這就是編排工具。 ? 你可能已經(jīng)注意到了，在本系列的前幾篇文章中，容器頻繁出現。容器可以讓?xiě)贸绦蜻\行在不同的環(huán)境中，這種能力是關(guān)鍵。容器編排器（大多數情況下是指 Kubernetes）也是如此。容器和 Kubernetes 是云原生架構的核心，所以我們總是聽(tīng)到別人提起它們。 ? ### 2）解決的問(wèn)題 在云原生架構中，應用程序被分解成很多小的組件或服務(wù)，每個(gè)組件或服務(wù)都放在一個(gè)容器里。你可能已經(jīng)聽(tīng)說(shuō)過(guò)微服務(wù)，指的就是這種情況?，F在，你擁有的不再是一個(gè)大型的應用程序，而是多個(gè)小型的服務(wù)，每個(gè)服務(wù)都需要資源、要被監控，在出現問(wèn)題的時(shí)候也需要修復。對單個(gè)服務(wù)來(lái)說(shuō)手動(dòng)執行這些操作是可行的，但當你有上百個(gè)容器時(shí)，你就需要自動(dòng)化的流程。 ? ### 3）如何解決 容器編排器自動(dòng)化了容器管理的過(guò)程。這在實(shí)際操作中意味著(zhù)什么？讓我們以 Kubernetes 來(lái)回答這個(gè)問(wèn)題，因為 Kubernetes 是事實(shí)上的容器編排器。 ? Kubernetes 做的事情是“期望狀態(tài)協(xié)調”：將集群中容器的當前狀態(tài)與期望狀態(tài)匹配。工程師在文件中指定所需狀態(tài)，例如：服務(wù) A 的 10 個(gè)實(shí)例在三個(gè)節點(diǎn)（即：機器）上運行，可訪(fǎng)問(wèn) B 數據庫，等等。該狀態(tài)需持續與實(shí)際狀態(tài)進(jìn)行比較。如果預期狀態(tài)與實(shí)際狀態(tài)不匹配，Kubernetes 會(huì )通過(guò)創(chuàng )建或銷(xiāo)毀對象來(lái)進(jìn)行協(xié)調（例如：如果某個(gè)容器崩潰了，Kubernetes 會(huì )啟動(dòng)一個(gè)新的容器）。 ? 簡(jiǎn)而言之，Kubernetes 允許你將集群視為一臺計算機。它僅關(guān)注環(huán)境并為你處理實(shí)現細節。 ? ### 4）對應工具 ? Kubernetes 與其他容器編排器（Docker Swarm，Mesos 等）都是編排調度工具，其基本目的是允許將多個(gè)不同的計算機作為一個(gè)資源池進(jìn)行管理，并以聲明式的方式管理它們，即不必告訴 Kubernetes 如何做，而是提供要完成的工作的定義。這樣可以在一個(gè)或多個(gè) YAML 文件中維護所需的狀態(tài)，并將其應用于其他 Kubernetes 集群。然后，編排器本身會(huì )創(chuàng )建缺失的內容或刪除無(wú)需存在的東西。 ? 雖然 Kubernetes 不是 CNCF 托管的唯一編排器（Crossplane 和 Volcano 是另外兩個(gè)孵化項目），但它是最常用的，項目也有大量積極的維護者。 ?   ## 2. 協(xié)調和服務(wù)發(fā)現 ? ### 1）是什么 現代應用程序由多個(gè)單獨的服務(wù)組成，這些服務(wù)之間需要相互協(xié)作才能為最終用戶(hù)提供價(jià)值。要進(jìn)行協(xié)作，這些服務(wù)通過(guò)網(wǎng)絡(luò )進(jìn)行通信（我們在運行時(shí)層已經(jīng)討論過(guò)）。要通信，服務(wù)需要能相互定位。服務(wù)發(fā)現就是解決這個(gè)問(wèn)題的。 ? ### 2）解決的問(wèn)題 云原生架構是動(dòng)態(tài)的，總是在不斷變化。當一個(gè)節點(diǎn)上的某個(gè)容器崩潰時(shí)，一個(gè)新的容器會(huì )在另一個(gè)節點(diǎn)上啟動(dòng)來(lái)替代它?；蛘?，當一個(gè)應用程序擴展時(shí)，它的副本會(huì )散布在整個(gè)網(wǎng)絡(luò )中。沒(méi)有一個(gè)地方可以提供特定服務(wù)，一切的位置在不斷變化。此類(lèi)別的工具跟蹤網(wǎng)絡(luò )中的服務(wù)，以便服務(wù)在需要時(shí)可以相互查找。 ? ### 3）如何解決 ? 服務(wù)發(fā)現工具可提供一個(gè)公共的位置來(lái)查找和識別單個(gè)的服務(wù)。該類(lèi)別中有兩種工具： ? - 服務(wù)發(fā)現引擎：類(lèi)似數據庫的工具，存儲的信息包括：存在什么哪些服務(wù)以及如何定位它們； - 名稱(chēng)解析工具（如 CoreDNS）：接收服務(wù)位置請求并返回網(wǎng)絡(luò )地址信息。 注：在 Kubernetes 中，為了使 Pod 可達，引入了一個(gè)稱(chēng)為“Service”的新抽象層。Service 為動(dòng)態(tài)變化的 Pod 組提供了單一穩定的地址。 ? 請注意，“Service” 在不同的語(yǔ)境中有不同的含義，可能會(huì )造成混淆?！皊ervices” 通常指位于容器/Pod 中的服務(wù)，是實(shí)際應用程序中具有特定功能的應用組件或微服務(wù)（例如：iPhone 的面部識別算法）。 ? 而 Kubernetes 的 Service 是一種抽象，可幫助 Pod 相互查找和定位。它是服務(wù)（功能上的）作為進(jìn)程或 Pod 的入口點(diǎn)。在 Kubernetes 中，當你創(chuàng )建了一個(gè) Service （抽象），你就創(chuàng )建了一組 Pod，這些 Pod 一起通過(guò)單一 endpoint （入口）提供一個(gè)服務(wù)（功能）。 ? ### 4）對應工具 ? 隨著(zhù)分布式系統變得越來(lái)越普遍，傳統的 DNS 流程和負載均衡器已經(jīng)無(wú)法跟上不斷變化的 Endpoint 信息，因此有了服務(wù)發(fā)現工具。它們可用來(lái)處理快速對自身進(jìn)行注冊和注銷(xiāo)的各個(gè)應用程序實(shí)例。一些服務(wù)發(fā)現工具（例如 etcd 和 CoreDNS）是 Kubernetes 原生的，其他一些工具有自定義的庫或工具讓服務(wù)有效運行。CoreDNS 和 etcd 是 CNCF 項目，并且內置在 Kubernetes 中。 ?   ## 3. 遠程進(jìn)程調用 ? ### 1）是什么 ? 遠程進(jìn)程調用（RPC，Remote Procedure Call）是一種使應用程序相互通信的特殊技術(shù)。它代表了應用程序相互之間構建通信的一種方法。 ? ### 2）解決的問(wèn)題 現代應用程序由眾多單獨的服務(wù)組成，這些服務(wù)必須通過(guò)通信才能進(jìn)行協(xié)作。RPC 是應用程序之間進(jìn)行通信的一種方法。 ? ### 3）如何解決 ? RPC 可以一種緊耦合且高度自覺(jué)的方式處理服務(wù)之間的通信。它允許帶寬高效的通信，并且許多語(yǔ)言支持 RPC 接口實(shí)現。RPC 不是解決此問(wèn)題的唯一方法，也不是最常見(jiàn)的方法。 ? ### 4）對應工具 RPC 為服務(wù)之間的通信提供了高度結構化且緊密耦合的接口。gRPC 是非常流行的 RPC 實(shí)現，已被 CNCF 采用。 ?   ## 4. 服務(wù)代理 ### 1）是什么 服務(wù)代理工具用于攔截進(jìn)出某個(gè)服務(wù)的流量，對其應用一些邏輯，然后轉發(fā)該流量到另一個(gè)服務(wù)。服務(wù)代理的本質(zhì)是一種“中間人”，收集網(wǎng)絡(luò )流量的信息并對其應用規則。簡(jiǎn)單如充當負載均衡器將流量轉發(fā)到單個(gè)應用程序，也可復雜如并排運行的代理網(wǎng)格，由單個(gè)的容器化應用程序處理所有網(wǎng)絡(luò )連接。 ? 服務(wù)代理本身很有用，尤其是在將流量從更廣泛的網(wǎng)絡(luò )引到 Kubernetes 集群時(shí)。服務(wù)代理同時(shí)也為其他系統（如 API 網(wǎng)關(guān)或服務(wù)網(wǎng)格）搭建了基礎，我們將在下文討論。 ? ### 2）解決的問(wèn)題 應用程序應以受控方式發(fā)送和接收網(wǎng)絡(luò )流量。為了跟蹤流量并對其進(jìn)行轉換或重定向，我們需要收集數據。傳統上，開(kāi)啟數據收集和網(wǎng)絡(luò )流量管理的代碼嵌入在每個(gè)應用程序中。服務(wù)代理可以使我們“外部化”該功能，使其無(wú)需再存在于應用程序中，而是嵌入到平臺層（應用程序運行的地方）。 ? 這是非常強大的功能，因為它使開(kāi)發(fā)人員可以完全專(zhuān)注于編寫(xiě)應用程序邏輯，而處理流量的通用任務(wù)由平臺團隊管理（這是平臺團隊的首要職責）。通過(guò)從單個(gè)公共位置集中分配和管理全局所需的服務(wù)功能（例如路由或 TLS 終止），服務(wù)之間的通信將更加可靠，安全和高效。 ? ### 3）如何解決 ? 代理充當用戶(hù)和服務(wù)之間或不同服務(wù)之間的守門(mén)員。通過(guò)這種獨特的定位，他們可以洞悉正在發(fā)生的通信類(lèi)型。根據洞察，他們可以確定將特定請求發(fā)送到哪里，甚至完全拒絕該請求。 ? 代理收集關(guān)鍵數據，管理路由（在服務(wù)之間平均分配流量或在某些服務(wù)發(fā)生故障時(shí)重新路由），加密連接和緩存內容（減少資源消耗）。 ? ### 4）對應工具 ? 服務(wù)代理的工作原理是攔截服務(wù)之間的流量，對它們執行一些邏輯，然后可能會(huì )允許流量繼續前進(jìn)。通過(guò)將一組集中控制的功能放入此代理，管理員可以完成幾件事。他們可以收集有關(guān)服務(wù)間通信的詳細指標，防止服務(wù)過(guò)載，并將其他通用標準應用于服務(wù)。服務(wù)代理是服務(wù)網(wǎng)格等其他工具的基礎，因為它們提供了對所有網(wǎng)絡(luò )流量實(shí)施更高級別策略的方法。 ? 請注意，CNCF 將負載均衡器和 ingress provider 包括在此類(lèi)別中。Envoy，Contour 和 BFE 都是 CNCF 項目。 ?   ## 5. API 網(wǎng)關(guān) ? ### 1）是什么 ? 人們通常通過(guò)網(wǎng)頁(yè)或（桌面）應用程序之類(lèi)的 GUI（圖形用戶(hù)界面）與計算機程序進(jìn)行交互，計算機則通過(guò) API（應用程序編程接口）相互進(jìn)行交互。但是，請勿將 API 與 API 網(wǎng)關(guān)混淆。 ? API 網(wǎng)關(guān)允許組織將關(guān)鍵功能（例如授權或限制應用程序之間的請求數量）移動(dòng)到集中管理的位置。它還用作（通常是外部的）API 使用者的通用接口。 ? 通過(guò) API 網(wǎng)關(guān)，組織可以集中控制（限制或啟用）應用程序之間的交互并跟蹤它們，從而實(shí)現 拒絕請求、身份驗證之類(lèi)的功能，并防止服務(wù)被過(guò)度使用（也稱(chēng)為速率限制）。 ? ### 2）解決的問(wèn)題 ? 盡管大多數容器和核心應用程序都具有 API，但 API 網(wǎng)關(guān)不僅僅是 API。API 網(wǎng)關(guān)簡(jiǎn)化了組織管理規則和將規則應用于所有交互的方式。 ? API 網(wǎng)關(guān)允許開(kāi)發(fā)人員編寫(xiě)和維護較少的自定義代碼。他們還使團隊能夠查看和控制用戶(hù)與應用程序本身之間的交互。 ? ### 3）如何解決 ? API 網(wǎng)關(guān)位于用戶(hù)和應用程序之間。它充當中介，將來(lái)自用戶(hù)的消息（請求）轉發(fā)給適當的服務(wù)。但是在交出請求之前，它會(huì )評估用戶(hù)的請求是否被允許，并詳細記錄發(fā)出請求的人以及發(fā)出的請求數量。 ? 簡(jiǎn)而言之，API 網(wǎng)關(guān)為應用程序用戶(hù)提供了具有通用用戶(hù)界面的單入口點(diǎn)。它還可以將原本在應用程序中實(shí)現的任務(wù)移交給網(wǎng)關(guān)，從而為開(kāi)發(fā)人員節省時(shí)間和金錢(qián)。 ### 4）對應工具 像該層中的許多類(lèi)別一樣，API 網(wǎng)關(guān)從應用程序中刪除自定義代碼，并將其帶入中央系統。API 網(wǎng)關(guān)的工作原理是攔截對后端服務(wù)的調用，執行某種增值活動(dòng)，例如驗證授權、收集指標或轉換請求，然后執行它認為適當的操作。API 網(wǎng)關(guān)是一組下游應用程序的通用入口點(diǎn)，同時(shí)為團隊提供了可以注入業(yè)務(wù)邏輯以處理授權，速率限制和拒絕請求的地方。它們使應用開(kāi)發(fā)者可以從客戶(hù)那里提取對下游 API 的更改，并將添加新客戶(hù)之類(lèi)的任務(wù)交給網(wǎng)關(guān)。 ?   ## 6. 服務(wù)網(wǎng)格 ### 1）是什么 ? 如果你已經(jīng)了解了一些云原生相關(guān)的知識，則“服務(wù)網(wǎng)格”這個(gè)術(shù)語(yǔ)可能已經(jīng)聽(tīng)說(shuō)過(guò)。最近服務(wù)網(wǎng)格引起了很多關(guān)注。TNS 的長(cháng)期貢獻者 Janakiram MSV 表示，“在 Kubernetes 之后，服務(wù)網(wǎng)格技術(shù)已成為云原生技術(shù)棧中最關(guān)鍵的部分?！?服務(wù)網(wǎng)格管理服務(wù)之間的流量（即通信）。它們使平臺團隊能夠無(wú)需更改任何代碼即可在集群內運行的所有服務(wù)之間統一添加可靠性，可觀(guān)察性和安全性功能。 ? ### 2）解決什么問(wèn)題 在云原生環(huán)境中，我們要處理很多服務(wù)，這些服務(wù)都需要通信。這意味著(zhù)在本來(lái)不可靠且通常很慢的網(wǎng)絡(luò )上需要來(lái)回傳輸更多流量。為了應對這些新挑戰，工程師必須實(shí)施額外的功能。在服務(wù)網(wǎng)格之前，必須將該功能編碼到每個(gè)單獨的應用程序中。這些代碼通常會(huì )成為技術(shù)債，并導致失敗或漏洞。 ? ### 3）如何解決 ? 服務(wù)網(wǎng)格在平臺層的所有服務(wù)之間統一增加了可靠性，可觀(guān)察性和安全性，而無(wú)需觸及應用程序代碼。它們與任何編程語(yǔ)言兼容，使開(kāi)發(fā)團隊可以專(zhuān)注于編寫(xiě)業(yè)務(wù)邏輯。 ? 注：傳統上必須將這些服務(wù)網(wǎng)格功能編碼到每個(gè)服務(wù)中，因此每次發(fā)布或更新新服務(wù)時(shí)，開(kāi)發(fā)人員都必須確保這些功能也能使用，會(huì )導致很多人為錯誤。事實(shí)上，開(kāi)發(fā)人員更喜歡專(zhuān)注于業(yè)務(wù)邏輯（產(chǎn)生價(jià)值的功能），而不是建立可靠性，可觀(guān)察性和安全性功能。但對于平臺所有者來(lái)說(shuō)，可靠性、可觀(guān)察性和安全是核心功能，對于他們所做的一切至關(guān)重要。讓開(kāi)發(fā)人員負責添加平臺所有者需要的功能本身很難。服務(wù)網(wǎng)格和 API 網(wǎng)關(guān)解決了這個(gè)問(wèn)題，因為它們是由平臺所有者實(shí)現并普遍應用于所有服務(wù)的。 ? ### 4）對應工具 ? 服務(wù)網(wǎng)格通過(guò)服務(wù)代理將集群上運行的所有服務(wù)綁定在一起，從而創(chuàng )建了服務(wù)的網(wǎng)格。這些是通過(guò)服務(wù)網(wǎng)格控制平面進(jìn)行管理和控制的。服務(wù)網(wǎng)格允許平臺所有者在不要求開(kāi)發(fā)人員編寫(xiě)自定義邏輯的情況下執行常見(jiàn)操作或在應用程序上收集數據。本質(zhì)上，服務(wù)網(wǎng)格是通過(guò)向服務(wù)代理的網(wǎng)絡(luò )或網(wǎng)格提供命令和控制信號來(lái)管理服務(wù)間通信的基礎結構層。它的能力在于無(wú)需修改應用程序即可提供關(guān)鍵系統功能。 ? 某些服務(wù)網(wǎng)格將通用服務(wù)代理（請參見(jiàn)上文）用于其數據平面。另外一些則使用專(zhuān)用代理。例如，Linkerd 使用 Linkerd2-proxy “微型代理”來(lái)獲得性能和資源消耗方面的優(yōu)勢。這些代理通過(guò)邊車(chē)（sidecar) 統一地附加到每個(gè)服務(wù)上。Sidecar 是指代理在自己的容器中運行但存在于同一個(gè) Pod 中，就像摩托車(chē)邊車(chē)一樣，它是一個(gè)單獨的模塊，附著(zhù)在摩托車(chē)上。 ? 服務(wù)網(wǎng)格提供了許多有用的功能，包括顯示詳細指標，加密所有流量，限制服務(wù)可授權的操作，為其他工具提供額外插件等等。 ? 更多詳細信息，請查看服務(wù)網(wǎng)格接口規范：https://smi-spec.io/。 ?   ## 7. 小結 編排和管理層的工具旨在將獨立的容器化應用作為一個(gè)組進(jìn)行管理。編排和調度工具可以看作是集群操作系統，用于管理整個(gè)集群中的容器化應用程序。協(xié)調和服務(wù)發(fā)現，服務(wù)代理和服務(wù)網(wǎng)格確保服務(wù)可以找到彼此并進(jìn)行有效通信，彼此協(xié)作以成為一個(gè)流暢的應用程序。API 網(wǎng)關(guān)是一個(gè)附加層，可對服務(wù)通信加以更多控制，尤其是對外部應用程序之間的通信。在下一章節中，我們將討論應用程序定義和開(kāi)發(fā)層——CNCF 全景圖的最后一層。它涵蓋數據庫、數據流和消息傳遞、應用程序定義和鏡像構建，以及持續集成和交付。 ? # 應用程序定義和開(kāi)發(fā)層 ? 現在我們來(lái)到了云原生全景圖的最上層。應用程序定義和開(kāi)發(fā)層，顧名思義，聚焦在幫助工程師構建應用程序并使其運行的工具上。本文前面的內容都是關(guān)于構建可靠安全的環(huán)境以及提供所有必需的應用程序依賴(lài)，應用程序定義和開(kāi)發(fā)層則是關(guān)于構建軟件。 ## 1. 數據庫 ? ### 1）是什么 數據庫管理系統是一個(gè)應用程序，可幫助其他應用程序高效地存儲和檢索數據。 ? 數據庫能保障數據存儲，僅授權的用戶(hù)能訪(fǎng)問(wèn)數據，并且允許用戶(hù)通過(guò)專(zhuān)門(mén)的請求來(lái)檢索數據。盡管數據庫類(lèi)型繁多，但它們的總體目標都是相同的。 ? ### 2）解決的問(wèn)題 大多數應用程序都需要有效的方式來(lái)存儲和檢索數據，并且保證<a href='http://wap.friendlycc.com.cn/firewall/' target='_blank'><u>數據安全</u></a>。數據庫使用成熟的技術(shù)以結構化的方式進(jìn)行此操作。 ? ### 3）如何解決 ? 數據庫提供存儲和檢索應用程序數據的通用接口。開(kāi)發(fā)人員使用這些標準接口，并用一種簡(jiǎn)單的查詢(xún)語(yǔ)言來(lái)存儲、查詢(xún)和檢索信息。同時(shí)，數據庫允許用戶(hù)連續備份和保存數據以及加密和管理數據訪(fǎng)問(wèn)權限。 ? ### 4）對應工具 ? 我們已經(jīng)了解了數據庫管理系統是一種用于存儲和檢索數據的應用程序。它使用一種通用的語(yǔ)言和界面，并且可以被多種語(yǔ)言和框架輕松使用。 常見(jiàn)的兩種數據庫類(lèi)型為：結構化查詢(xún)語(yǔ)言（SQL）數據庫和 NoSQL 數據庫。應用程序該使用哪種數據庫應該由其需求來(lái)驅動(dòng)。 ? Kubernetes 支持有狀態(tài)的應用程序，近年來(lái)使用 Kubernetes 的使用越來(lái)越廣泛，我們已經(jīng)看到了利用容器化技術(shù)的新一代數據庫。這些新的云原生數據庫旨在將 Kubernetes 的擴展性和可用性?xún)?yōu)勢引入數據庫。YugaByte 和 Couchbase 之類(lèi)的工具是典型的云原生數據庫，Vitess 和 TiKV 是該領(lǐng)域的 CNCF 項目。 ? 注意：查看此類(lèi)別時(shí)會(huì )發(fā)現以 DB 結尾的多個(gè)名稱(chēng)（例如 MongoDB、CockroachDB、FaunaDB），你可能會(huì )猜測它們代表數據庫。還有以 SQL 結尾的各種名稱(chēng)（例如 MySQL 或 MemSQL）。一些是已經(jīng)適應了云原生環(huán)境的“老派”數據庫，還有一些是兼容 SQL 的 NoSQL 數據庫，例如 YugaByte 和 Vitess。 ?   ## 2. 數據流和消息傳遞 ? ### 1）是什么 ? 數據流和消息傳遞工具通過(guò)在系統之間傳輸消息（即事件）來(lái)實(shí)現服務(wù)到服務(wù)的通信。單個(gè)服務(wù)連接到消息傳遞服務(wù)以發(fā)布事件和（或）從其他服務(wù)讀取消息。這種動(dòng)態(tài)變化創(chuàng )造了一個(gè)環(huán)境，在這個(gè)環(huán)境中單個(gè)應用要么是發(fā)布者，即可編寫(xiě)事件；要么是訂閱事件的訂閱者，或者更可能是兩者兼而有之。 ? ### 2）解決的問(wèn)題 ? 隨著(zhù)服務(wù)激增，應用程序環(huán)境變得越來(lái)越復雜，應用程序之間的通信編排也更具挑戰性。數據流或消息平臺提供了一個(gè)中心位置來(lái)發(fā)布和讀取系統中發(fā)生的所有事件，從而使應用程序可以一起工作，而不必相互了解。 ? ### 3）如何解決 ? 當一個(gè)服務(wù)執行其他服務(wù)應該知道的事情時(shí)，它會(huì )將事件“發(fā)布”到數據流或消息傳遞工具。需要了解這些事件類(lèi)型的服務(wù)將訂閱并監視數據流或消息傳遞工具。這就是“發(fā)布-訂閱”的本質(zhì)。 ? 通過(guò)引入管理通信的“中間層”可以使服務(wù)彼此解耦。服務(wù)只是監視事件、采取行動(dòng)并發(fā)布新事件，這樣能建立高度分離的體系結構。在此體系結構中，服務(wù)可以協(xié)作而無(wú)需彼此了解。這種解耦使工程師能夠添加新功能，而無(wú)需更新下游應用程序（消費者）或發(fā)送大量查詢(xún)。系統的解耦程度越高，更改的靈活性和適應性就越高，而這正是工程師在系統中所追求的。 ? ### 4）對應工具 ? 數據流和消息傳遞工具早在云原生技術(shù)成為現實(shí)之前就已經(jīng)存在了。為了集中管理關(guān)鍵業(yè)務(wù)事件，組織建立了大型的企業(yè)級服務(wù)總線(xiàn)。但是，當我們在云原生環(huán)境中談?wù)摂祿骱拖鬟f時(shí)，通常是指 NATS、RabbitMQ、Kafka 或云提供的消息隊列之類(lèi)的工具。 ? 消息傳遞和數據流傳輸系統為編排系統進(jìn)行通信提供了一個(gè)中心位置。消息總線(xiàn)提供了所有應用程序都可以訪(fǎng)問(wèn)的公共位置，應用程序都可以通過(guò)發(fā)布消息來(lái)告訴其服務(wù)它們在做什么，或者通過(guò)訂閱消息來(lái)查看正在發(fā)生的事情。 ? NATS 和 Cloudevents 項目都是這個(gè)領(lǐng)域的孵化項目，NATS 提供了一個(gè)成熟的消息傳遞系統，而 Cloudevents 則致力于標準化系統之間的消息格式。Strimzi，Pravega 和 Tremor 是沙盒項目，每個(gè)項目都針對數據流和消息傳遞的獨特用例進(jìn)行了量身定制。 ?   ## 3. 應用程序定義和鏡像構建 ? ### 1）是什么 ? 應用程序定義和鏡像構建是一個(gè)廣泛的類(lèi)別，可以分為兩個(gè)主要的子類(lèi)別： ? - 聚焦于開(kāi)發(fā)的工具：可幫助將應用程序代碼構建到容器和 Kubernetes 中。 - 聚焦于運維的工具：以標準化的方式部署應用。 無(wú)論是加快或簡(jiǎn)化開(kāi)發(fā)環(huán)境，提供標準化的方式來(lái)部署第三方應用程序，還是簡(jiǎn)化編寫(xiě)新的 Kubernetes 擴展的過(guò)程，此類(lèi)別的工具都可以?xún)?yōu)化 Kubernetes 開(kāi)發(fā)和運維人員的體驗。 ? ### 2）解決的問(wèn)題 ? Kubernetes（或者容器化環(huán)境）非常靈活且功能強大。這種靈活性也帶來(lái)了復雜性，主要體現在對于各種新用例有眾多配置選項。開(kāi)發(fā)人員必須將代碼容器化，并在類(lèi)生產(chǎn)環(huán)境中進(jìn)行開(kāi)發(fā)。在快速的發(fā)布計劃周期下，運維人員需要以一種標準化的方法來(lái)將應用程序部署到容器環(huán)境中。 ? ### 3）如何解決 ? 該領(lǐng)域的工具旨在解決開(kāi)發(fā)或運維人員面臨的一些挑戰。對于開(kāi)發(fā)者，有一些工具可以簡(jiǎn)化擴展 Kubernetes 的過(guò)程以構建、部署和連接應用程序。許多項目和產(chǎn)品可以存儲或部署預打包的應用程序，使運維人員可以快速部署 Kafka 之類(lèi)的流服務(wù)或安裝 Linkerd 之類(lèi)的服務(wù)網(wǎng)格。 ? 開(kāi)發(fā)云原生應用程序帶來(lái)了一系列全新的挑戰，因此需要大量多樣化的工具來(lái)簡(jiǎn)化應用程序的構建和部署。當你需要解決環(huán)境中的開(kāi)發(fā)和運維問(wèn)題時(shí)，可以看看此類(lèi)別中的工具。 ? ### 4）對應的工具 應用程序定義和構建工具涵蓋了廣泛的功能，比如使用 KubeVirt 將 Kubernetes 擴展到虛擬機，或使用 Telepresence 之類(lèi)的工具將開(kāi)發(fā)環(huán)境移植到 Kubernetes 中來(lái)加速應用程序開(kāi)發(fā)等。從整體上講，該領(lǐng)域中的工具可以解決開(kāi)發(fā)人員面臨的正確編寫(xiě)、打包、測試或運行自定義應用程序的問(wèn)題，也可以解決運維人員面臨的部署和管理應用程序的問(wèn)題。 ? Helm 是該類(lèi)別中唯一一個(gè)畢業(yè)的項目，為許多應用程序部署模式奠定了基礎。Helm 允許 Kubernetes 用戶(hù)部署和自定義一些流行的第三方應用程序，Artifact Hub（CNCF 沙箱項目）和 Bitnami 等項目已采用 Helm 來(lái)提供精選的應用程序目錄。Helm 也足夠靈活，允許用戶(hù)自定義自己的應用程序部署。 ? Operator Framework 是一個(gè)孵化項目，旨在簡(jiǎn)化構建和部署 Operator 的過(guò)程。Operator 不在本文討論范圍之內，但請注意，它類(lèi)似于 Helm，有助于部署和管理應用程序。Cloud Native Buildpacks 是另一個(gè)孵化項目，旨在簡(jiǎn)化將應用程序代碼構建到容器中的過(guò)程。 ?   ## 4. 持續集成和持續交付 ? ### 1）是什么 ? 持續集成（CI）和持續交付（CD）工具可通過(guò)嵌入式質(zhì)量保證實(shí)現快速高效的開(kāi)發(fā)過(guò)程。CI 通過(guò)立即構建和測試代碼來(lái)自動(dòng)化代碼變更，確保生成可部署的制品。CD 則更進(jìn)一步，推動(dòng)該制品進(jìn)入部署階段。 ? 成熟的 CI/CD 系統會(huì )監視源代碼中的變更，自動(dòng)構建和測試代碼，然后將其從開(kāi)發(fā)階段轉移到生產(chǎn)階段。在此過(guò)程中，CI/CD 系統必須通過(guò)各種測試或驗證來(lái)決定該過(guò)程是繼續還是失敗。 ### 2）解決的問(wèn)題 ? 構建和部署應用程序是一個(gè)困難重重且容易出錯的過(guò)程，特別是當過(guò)程中涉及很多人為干預和手動(dòng)步驟時(shí)。如果不將代碼集成到代碼庫中，開(kāi)發(fā)人員在軟件上花的時(shí)間越長(cháng)，識別錯誤所花費的時(shí)間就越長(cháng)，問(wèn)題修復也就越困難。通過(guò)定期集成代碼，可以及早發(fā)現錯誤并更輕松地排除故障。畢竟，在幾行代碼中查找錯誤比在幾百行代碼中查找錯誤要容易得多。 ? 盡管 Kubernetes 之類(lèi)的工具為運行和管理應用程序提供了極大的靈活性，它們也為 CI/CD 工具帶來(lái)了新的挑戰和機遇。云原生 CI/CD 系統能夠利用 Kubernetes 本身來(lái)構建、運行和管理 CI/CD 流程（通常稱(chēng)為流水線(xiàn)）。Kubernetes 還提供應用程序運行狀況的信息，從而使云原生 CI/CD 工具能夠更輕松地確定給定的變更是否成功，是否需要回滾。 ? ### 3）如何解決 CI 工具可確保開(kāi)發(fā)人員引入的任何代碼更改或更新都能自動(dòng)、連續地與其他更改進(jìn)行構建、驗證并集成。開(kāi)發(fā)人員每次添加更新時(shí)都會(huì )觸發(fā)自動(dòng)測試，確保只有良好的代碼才能將其導入系統。CD 擴展了 CI，能將 CI 流程的結果推送到類(lèi)生產(chǎn)和生產(chǎn)環(huán)境中。 ? 假設開(kāi)發(fā)人員更改了 Web 應用的代碼。CI 系統會(huì )看到代碼更改，然后構建并測試該 Web 應用的新版本。CD 系統獲取該新版本，并將其部署到開(kāi)發(fā)、測試、預生產(chǎn)以及最終生產(chǎn)環(huán)境中。在流程的每個(gè)步驟之后測試已部署的應用程序時(shí)，它會(huì )執行此操作。這些系統一起構成了該 Web 應用的 CI/CD 管道。 ? ### 4）對應工具 ? 隨著(zhù)時(shí)間的流逝，市面上已經(jīng)有了許多工具來(lái)幫助將代碼從存儲庫移至運行最終應用程序的生產(chǎn)環(huán)境。像大多數其他計算領(lǐng)域一樣，云原生開(kāi)發(fā)的到來(lái)改變了 CI/CD 系統。類(lèi)似 Jenkins（可能是市場(chǎng)上使用最廣泛的 CI 工具）的傳統工具已經(jīng)通過(guò)完善迭代，以更好地適應 Kubernetes 生態(tài)系統。Flux 和 Argo 等公司率先開(kāi)發(fā)了一種稱(chēng)為 GitOps 的持續交付的新方法。 ? 通常，該領(lǐng)域的項目和產(chǎn)品是： ? - CI 系統； - CD 系統； - 幫助 CD 系統確定代碼是否準備好投入生產(chǎn)的工具； - 前三者的合集（Spinnaker 和 Argo 就是如此）。 Argo 和 Brigade 是該領(lǐng)域中僅有的 CNCF 項目，但是你可以找到由持續交付基金會(huì )（Continuous Delivery Foundation）托管的更多項目。在此空間中尋找工具，可以幫助組織自動(dòng)化生產(chǎn)路徑。 ?   ## 5. 小結 ? 應用程序定義和開(kāi)發(fā)層中的工具使工程師能夠構建云原生應用程序。該層的工具包括： ? - 數據庫：存儲和檢索數據。 - 數據流和消息傳遞工具：實(shí)現相互分離、精心設計的架構。 - 應用程序定義和鏡像構建工具：包含可改善開(kāi)發(fā)人員和操作員體驗的多種技術(shù)。 - CI/CD 工具：確保代碼處于可部署狀態(tài)，并幫助工程師及早發(fā)現錯誤，從而確保代碼質(zhì)量。 # 托管 K8s 和 PaaS 解決的問(wèn)題 ? 在上面的內容中，我們討論了 CNCF 云原生全景圖的各層：供應層、運行時(shí)層、編排管理層以及應用定義和開(kāi)發(fā)層。本章節我們將聚焦在平臺層。 正如我們在本文中看到的那樣，每個(gè)類(lèi)別都解決了特定的問(wèn)題。僅僅存儲并不能提供管理應用程序所需的全部功能，你還需要編排管理、容器運行時(shí)、服務(wù)發(fā)現、網(wǎng)絡(luò )、API 網(wǎng)關(guān)等工具。平臺將來(lái)自不同層的工具捆綁在一起，以解決更大的問(wèn)題。 ? 平臺里其實(shí)沒(méi)有新的工具。你當然可以構建自己的平臺，事實(shí)上，許多組織都這樣做。但是，可靠、安全地配置和微調不同的模塊，同時(shí)確保始終更新所有技術(shù)并修補漏洞，這不是一件容易的事。你需要一支專(zhuān)門(mén)的團隊來(lái)構建和維護它。如果沒(méi)有所需的專(zhuān)業(yè)知識，那么使用平臺可能會(huì )更好。對于某些組織，尤其是工程團隊規模較小的組織，平臺是采用云原生技術(shù)的唯一方法。 ? 你可能已經(jīng)注意到了，所有的平臺都是圍繞 Kubernetes 來(lái)演化的，因為 Kubernetes 是云原生技術(shù)棧的核心。 ? ## 1. Kubernetes 發(fā)行版 ### 1）是什么 ? 發(fā)行版是指供應商以 Kubernetes 為核心（采用未經(jīng)修改的開(kāi)源代碼，盡管有些人對其進(jìn)行了修改），并將其打包以進(jìn)行重新發(fā)行。通常這個(gè)過(guò)程需要查找和驗證 Kubernetes 軟件，并提供集群安裝和升級的機制。許多 Kubernetes 發(fā)行版都包含其他閉源或開(kāi)源的應用程序。 ? ### 2）解決的問(wèn)題 ? 開(kāi)源 Kubernetes 并未指定特定的安裝工具，而是將許多設置配置選項提供給用戶(hù)。此外，有限的社區資源（包括社區論壇、StackOverflow、Slack 或 Discord 等）已經(jīng)不能解決所有的問(wèn)題。 ? 隨著(zhù) Kubernetes 的普及，Kubernetes 的使用變得越來(lái)越容易，但是查找和使用開(kāi)源安裝程序可能會(huì )面臨挑戰。用戶(hù)需要了解使用哪個(gè)版本，在何處獲取，以及特定組件是否能兼容。此外，還需要決定集群上部署什么軟件，要使用哪些設置來(lái)確保平臺的安全性、穩定性和高性能。所有這些都需要豐富的 Kubernetes 專(zhuān)業(yè)知識，而這些知識可能并不容易獲得。 ? ### 3）如何解決 Kubernetes 發(fā)行版提供了一種安裝 Kubernetes 的可靠方式，并提供了合理的默認值以創(chuàng )建更好、更安全的操作環(huán)境。 Kubernetes 發(fā)行版為供應商和項目提供了所需的掌控度和可預測性，以幫助他們支持客戶(hù)部署、維護和升級 Kubernetes 集群。 ? 這種可預測性使發(fā)行版提供商在客戶(hù)遇到生產(chǎn)問(wèn)題時(shí)可為其提供支持。發(fā)行版常常提供經(jīng)過(guò)測試和受支持的升級路徑，使用戶(hù)的 Kubernetes 集群保持最新的版本。此外，發(fā)行版通常提供可在 Kubernetes 上部署的軟件，從而使其更易于使用。 ### 4）對應的工具 ? 如果你已經(jīng)安裝了 Kubernetes，那你可能已經(jīng)使用了 kubeadm 之類(lèi)的工具來(lái)啟動(dòng)和運行集群。即便如此，你可能還需要 CNI（容器網(wǎng)絡(luò )接口）來(lái)安裝和配置它。然后，你可能已經(jīng)添加了一些存儲類(lèi)，一個(gè)處理日志消息的工具，可能還需要個(gè) ingress controller，以及更多其他的工具。Kubernetes 發(fā)行版將自動(dòng)執行部分或全部設置。它還將根據自己對最佳實(shí)踐或智能默認值的理解提供配置設置。此外，大多數發(fā)行版都將捆綁一些經(jīng)過(guò)測試的擴展或附件，以確保用戶(hù)可以盡快使用新集群。 ? 我們以 Kublr 為例。它以 Kubernetes 為核心，主要捆綁了來(lái)自供應層、運行時(shí)層、編排管理層的工具。所有模塊都預先配置了一些選項并且開(kāi)箱即用。不同的平臺聚焦不同的功能。就 Kublr 而言，重點(diǎn)是在運維方面，而其他平臺則可能聚焦在開(kāi)發(fā)工具上。 ? 此類(lèi)別中有很多工具選項。如下圖所示，企業(yè)可以選擇和供應商達成技術(shù)合作，比如國外的 Canonical、VMware、Mirantis、SUSE，國內的網(wǎng)易、火山引擎和京東，它們都可以提供出色的開(kāi)源和商業(yè)工具，建議在評估發(fā)行版時(shí)仔細