SuperEdge 高可用云邊隧道有哪些特點(diǎn)？

## 作者 作者李騰飛，騰訊容器技術(shù)研發(fā)工程師，<a href='http://wap.friendlycc.com.cn/server/' target='_blank'><u>騰訊云</u></a>TKE后臺研發(fā)，SuperEdge核心開(kāi)發(fā)成員。 ## 背景 在邊緣集群中，邊緣端和云端為單向網(wǎng)絡(luò )，云端無(wú)法主動(dòng)連接邊緣端，常見(jiàn)的解決方案是邊緣端主動(dòng)和云端（tunnel server）建立長(cháng)連接，云端通過(guò)長(cháng)連接將請求轉發(fā)到邊緣端。在云端隧道 server 實(shí)例擴容后需要考慮新增的實(shí)例對已有的邊緣端長(cháng)連接轉發(fā)的影響。出于系統穩定性的考慮，能通過(guò)云邊隧道采集到邊緣端的監控信息。 ## 社區方案[ANP](https://github.com/kubernetes-sigs/apiserver-network-proxy) ### 隧道云端 Server 自動(dòng)擴縮容 ANP 主要用于代理轉發(fā) apiserver 的請求，架構圖如下圖所示:  ANP 的 server 僅支持單實(shí)例，如果是多實(shí)例會(huì )存存在以問(wèn)題，下面根據多實(shí)例的架構圖進(jìn)行說(shuō)明：  - ANP Agent 需要和所有的 ANP Server 實(shí)例建立長(cháng)連接。 - ANP Server 擴容之后，支持接入的 ANP Agent 的規模不會(huì )增加 ### 節點(diǎn)監控 ANP 項目主要針對 K8s 1.16版本發(fā)布的特性 EgressSelector，在這個(gè)特性中 apiserver 會(huì )首先使用 HTTP CONNECT 方法建立隧道，然后通過(guò)隧道把請求邊緣端的請求發(fā)送到 ANP Server，ANP Server 通過(guò)與 ANP Agent 建立的長(cháng)連接，把請求發(fā)送到邊緣端。業(yè)界常用的監控采集組件 Prometheus 是不支持 EgressSelector 特性的，因此使用 ANP 項目是無(wú)法支持節點(diǎn)監控的。 ## SuperEdge 云邊隧道（tunnel）方案 SuperEdge 云邊隧道 tunnel 在方案設計時(shí)使用 DNS 做邊緣節點(diǎn)的注冊中心，注冊中心存儲的是 tunnel-edge 的ID 和 tunnel-edge 連接到 tunnel-cloud 的 podIp，在做 apiserver 到邊緣端請求轉發(fā)時(shí)可以根據注冊中心的ID將請求轉發(fā)到邊緣端連接到的 tunnel cloud 的 pod 上，具體架構圖如下所示：  上圖中的 apiserver 組件可以是云端其他組件，比如 Prometheus，下面分別從自動(dòng)擴縮容和節點(diǎn)監控對 tunnel 的使用場(chǎng)景做進(jìn)一步的說(shuō)明。 ### tunnel cloud 的自動(dòng)擴縮容（HPA） 在多實(shí)例的場(chǎng)景下對比 ANP 項目，tunnel 具備以下的優(yōu)勢： - tunnel-edge 只需和一個(gè) tunnel-cloud 實(shí)例長(cháng)連接即可。apiserver 根據 tunnel-dns 的存儲的 tunnel-edge 的 ID 和 tunnel-cloud pod 的映射關(guān)系確定請求的 tunnel-cloud pod ,然后再把請求轉發(fā)到 tunnel-edge。 - tunnel-cloud 擴容之后，tunnel-cloud 支持接入的 tunnel-edge 的數目會(huì )增加。 #### [自定義自動(dòng)擴縮容策略](https://github.com/superedge/superedge/blob/main/docs/components/tunnel-cloud-hpa_CN.md) tunnel-cloud 除了根據內存和 CPU 的使用情況自動(dòng)擴縮容之外，還可以根據與 tunnel-cloud 建立長(cháng)連接的邊緣節點(diǎn)的個(gè)數實(shí)現自動(dòng)擴縮容，架構圖如下：  - prometheus 從 tunnel-cloud 的 pod 采集 metrics ``` { "__name__": "tunnel_cloud_nodes", "instance": "172.31.0.10:6000", "job": "tunnel-cloud-metrics", "kubernetes_namespace": "edge-system", "kubernetes_pod_name": "tunnel-cloud-64ff7d9c9d-4lljh" } ``` - prometheus-adapter 向 apiserver 注冊 Custom Metrics API 的擴展 apiserver ``` { "kind": "APIResourceList", "apiVersion": "v1", "groupVersion": "custom.metrics.k8s.io/v1beta1", "resources": [ { "name": "namespaces/nodes_per_pod", "singularName": "", "namespaced": false, "kind": "MetricValueList", "verbs": [ "get" ] }, { "name": "pods/nodes_per_pod", "singularName": "", "namespaced": true, "kind": "MetricValueList", "verbs": [ "get" ] } ] } ``` - prometheus-adapter 將 metrics 轉化為 pod 度量指標 ``` { "describedObject":{ "kind":"Pod", "namespace":"edge-system", "name":"tunnel-cloud-64ff7d9c9d-vmkxh", "apiVersion":"/v1" }, "metricName":"nodes_per_pod", "timestamp":"2021-07-14T10:19:37Z", "value":"1", "selector":null } ``` - 配置自定義 HPA ``` apiVersion: autoscaling/v2beta2 kind: HorizontalPodAutoscaler metadata: name: tunnel-cloud namespace: edge-system spec: minReplicas: 1 maxReplicas: 10 scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: tunnel-cloud metrics: - type: Pods pods: metric: name: nodes_per_pod target: averageValue: 300 #平均每個(gè)pod連接的邊緣節點(diǎn)的個(gè)數，超過(guò)這個(gè)數目就會(huì )觸發(fā)擴容 type: AverageValue ``` ### [節點(diǎn)監控方案](https://github.com/superedge/superedge/blob/main/docs/components/deploy-monitor_CN.md) 節點(diǎn)監控主要采集邊緣節點(diǎn) kubelet 的 metrics 和 node-exporter 采集到的硬件、系統指標。在部署 Prometheus 時(shí)配置 pod 的 dns 指向 tunnel-dns，Prometheus 使用節點(diǎn)名訪(fǎng)問(wèn)邊緣節點(diǎn)上的 kubelet 和 node-exporter，tunnel-dns 會(huì )把節點(diǎn)名解析為邊緣節點(diǎn)的 tunnel-edge 連接的 tunnel-cloud 的 podIp，Prometheus 根據 podIp 訪(fǎng)問(wèn) tunnel-cloud（其中獲取 kubelet 的 metrics 訪(fǎng)問(wèn)的是10250端口，請求 node-exporter 訪(fǎng)問(wèn)的9100端口），tunnel-cloud 通過(guò)長(cháng)連接隧道將請求轉發(fā)到 tunnel-edge，由 tunnel-edge 向 kubelet 和 node-exporter 發(fā)起請求，整個(gè)流程的框圖如下所示：  - 配置 Prometheus 的 DNS 指向 tunnel-dns ``` dnsConfig: nameservers: - <tunnel-dns的clusterip> options: - name: ndots value: "5" searches: - edge-system.svc.cluster.local - svc.cluster.local - cluster.local dnsPolicy: None ``` - 配置 Prometheus 使用節點(diǎn)名訪(fǎng)問(wèn) kubelet 和 node-exporter ``` - job_name: node-cadvisor kubernetes_sd_configs: - role: node scheme: https tls_config: insecure_skip_verify: true relabel_configs: - source_labels: [__meta_kubernetes_node_name] regex: (.+) target_label: __address__ replacement: ${1}:10250 - source_labels: [__meta_kubernetes_node_name] regex: (.+) target_label: __metrics_path__ replacement: /metrics/cadvisor - source_labels: [__address__] target_label: "unInstanceId" replacement: "none" - job_name: node-exporter kubernetes_sd_configs: - role: node scheme: https tls_config: insecure_skip_verify: true relabel_configs: - source_labels: [__meta_kubernetes_node_name] regex: (.+) target_label: __address__ replacement: ${1}:9100 - source_labels: [__meta_kubernetes_node_name] regex: (.+) target_label: __metrics_path__ replacement: /metrics - source_labels: [__address__] target_label: "unInstanceId" replacement: "none" ``` ## 總結和展望 SuperEdge 的云邊隧道方案（tunnel）相比社區的 ANP 方案，具有以下的特點(diǎn)： - 支持自動(dòng)擴縮容 - 支持了 Prometheus 采集節點(diǎn)監控<a href='http://wap.friendlycc.com.cn/database/mysql/' target='_blank'><u>數據</u></a> - SSH 登錄邊緣節點(diǎn) - 支持 TCP 轉發(fā) 當然我們也會(huì )繼續完善 tunnel 的能力，使其能夠滿(mǎn)足更多場(chǎng)景的需求，根據社區小伙伴的反饋，接下來(lái) tunnel 組件會(huì )支持以下功能： - 支持從云端訪(fǎng)問(wèn)邊緣端的 service 和邊緣端訪(fǎng)問(wèn)云端的 service - 支持 EgressSelector 特性 ## 合作與開(kāi)源 云邊隧道的支持云端 server 自動(dòng)擴縮容和節點(diǎn)監控新特性已經(jīng)在 SuperEdge release 0.5.0 [https://github.com/superedge/superedge/blob/main/CHANGELOG/CHANGELOG-0.5.md] 開(kāi)源，歡迎大家體驗。我們也會(huì )持續提升 Tunnel 的能力，適用更加復雜的邊緣網(wǎng)絡(luò )場(chǎng)景，也歡迎對邊緣計算感興趣的公司、組織及個(gè)人一起共建 SuperEdge 邊緣容器項目。