Cilium 首次集成國內云服務(wù)，阿里云 ENI 被納入新

 作者：清弦 阿里云技術(shù)專(zhuān)家，主要負責 ACK 容器網(wǎng)絡(luò )設計與研發(fā)，阿里云開(kāi)源 CNI 項目 Terway 主要維護者，Cilium Alibaba IPAM 負責人 ? # 背景 ? 近期 Cilium 社區發(fā)布了 Cilium 1.10 正式版本，在這個(gè)版本中正式支持阿里云 ENI 模式，阿里云也是國內首家支持 Cilium 的云廠(chǎng)商。  Cilium 是一個(gè)基于 eBPF 的高性能容器網(wǎng)絡(luò )項目，提供網(wǎng)絡(luò )、可觀(guān)測性、<a href='http://wap.friendlycc.com.cn/firewall/' target='_blank'><u>安全</u></a>三方面的解決方案。  Cilium 本身支持 Overlay 網(wǎng)絡(luò )模式部署在各種云平臺或者自建的集群上，但是這種非云原生的網(wǎng)絡(luò )模式會(huì )帶來(lái)不小的性能損耗。阿里巴巴云原生容器服務(wù)團隊向 Cilium 社區貢獻了阿里云 ENI 模式，使得在阿里云上可以以云原生方式運行 Cilium 。 ? 云原生容器服務(wù)團隊貢獻 PR _https://github.com/cilium/cilium/pull/15160_ _https://github.com/cilium/cilium/pull/15512_ ? # 架構 ? AlibabaCloud Operator 是集群內的網(wǎng)絡(luò )資源控制器，承擔對網(wǎng)絡(luò )資源（ENI、ENIIP）統一管理、分配工作。 ?  Cilium agent 通過(guò) list-watch 機制、CNI 請求對 Operator 分配的地址資源進(jìn)行配置、管理。 ? 這種架構將所有阿里云 OpenAPI 調用集中到 Operator 中，可以有效的進(jìn)行 API 請求管理，避免大規模集群下 API 流控問(wèn)題。 ?  # 基于 Cilium 1.10 + 阿里云 ENI 的高性能云原生網(wǎng)絡(luò ) ? Cilium 使用了 EBPF 內核技術(shù)對傳統<a href='http://wap.friendlycc.com.cn/database/mysql/' target='_blank'><u>數據</u></a>鏈路進(jìn)行了優(yōu)化，繞過(guò)了Conntrack 模塊，對容器場(chǎng)景下網(wǎng)絡(luò )性能有了非常大的提高。在阿里云上使用 Cilium 1.10 + 阿里云 ENI 模式有多種按照方式，請閱讀 Cilium 社區的安裝文檔[1]。 ? 為了使云上用戶(hù)享受到更加出色的網(wǎng)絡(luò )性能，阿里云自研的開(kāi)源 CNI 插件 Terway [2] 與 Cilium 實(shí)現了更好的結合。Terway 支持使用阿里云的彈性網(wǎng)卡來(lái)實(shí)現的容器網(wǎng)絡(luò )。使得容器網(wǎng)絡(luò )和虛擬機網(wǎng)絡(luò )在同一個(gè)網(wǎng)絡(luò )平面，在不同<a href='http://wap.friendlycc.com.cn/' target='_blank'><u>主機</u></a>之間容器網(wǎng)絡(luò )通信時(shí)不會(huì )有封包等損失，不依賴(lài)于分布式路由也能讓集群規模不受限于路由條目限制。目前，Terway IPvlan 模式已經(jīng)深度集成 Cilium 。 ### 使用 Terway IPvlan 使用 Terway 模式非常簡(jiǎn)單，在阿里云容器服務(wù)控制臺，創(chuàng )建集群中選擇網(wǎng)絡(luò )插件 Terway ，并勾選 IPvlan 即可啟用。 ?  ### **IPvlan + eBPF 性能對比：** ? 測試環(huán)境： - 2 節點(diǎn) ecs . g5ne . 4xlarge 機型 - 對比測試 Terway 獨占 ENI ( ipvs ) Terway 共享 ENI IPvlan ( ebpf ) Terway 共享 ENI veth ( ipvs ) Flanne l vxlan ( ipvs ) #### **Netperf 性能對比 TCP_CRR** 測試場(chǎng)景：使用 netperf 測試 Pod 間通訊 ?  上圖數字越大性能越好 ? 通過(guò)測試，可以看到基于 IPvlan 的 Pod 網(wǎng)絡(luò )延遲較低，在 TCP_CRR 的測試中性能指標和獨占 ENI 模式相當。 ? #### **wrk + nginx 性能對比** 測試場(chǎng)景：采用 wrk 壓測 nginx 的 Service 的方式，采用 100 字節的小頁(yè)面模擬常見(jiàn)的集群中微服務(wù)通信。 ? 上圖數字越小性能越好  上圖數字越大性能越好 Terway IPvlan 模式在 wrk- nginx 的短連接測試中相對于傳統的 Terway veth 策略路由方式： - ClusterIP 吞吐增加 277% , 延遲降低 50%。 # 總結 ? 隨著(zhù) Kubernetes 已經(jīng)成為容器調度的事實(shí)標準，企業(yè)上云的首選。容器網(wǎng)絡(luò )做為應用的底層基礎資源，得到越來(lái)越多的關(guān)注。 ? 在阿里云上我們默認提供高性能的 Terway 網(wǎng)絡(luò )插件 [3] 幫助用戶(hù)充分使用云原生的網(wǎng)絡(luò )資源。Cilium 作為社區新興的容器網(wǎng)絡(luò )方案，在可觀(guān)測性、<a href='http://wap.friendlycc.com.cn/website/' target='_blank'><u>安全性</u></a>上有許多出色的特性，本次增加的阿里云ENI模式，可以幫助 Cilium 的用戶(hù)充分使用阿里云上的網(wǎng)絡(luò )資源。我們也將繼續與社區同行，推動(dòng)高性能的云原生網(wǎng)絡(luò )實(shí)現規?；涞?。 ? 安裝文檔：_https://docs.cilium.io/en/v1.10/gettingstarted/alibabacloud-eni/#k8s-alibabacloud-eni_ Terway: _https://www.alibabacloud.com/help/zh/doc-detail/97467.htm_ Terway 網(wǎng)絡(luò )插件:_ https://help.aliyun.com/document_detail/86500.html_