零基礎入門(mén)云原生-k8s安裝配置及運行～

> 作者：石義峰 > > 來(lái)源：[恒生LIGHT云社區](https://developer.hs.net/thread/1224 "恒生LIGHT云社區")  # k8s安裝配置運行 ## 安裝環(huán)境建議 k8s系統由一組可執行程序組成，可在GitHub上k8s項目頁(yè)面下載編譯好的二進(jìn)制安裝包，也可直接下載其源碼編譯后安裝。 安裝環(huán)境可參照k8s官網(wǎng)，建議如下： * 一臺兼容的 Linux <a href='http://wap.friendlycc.com.cn/' target='_blank'><u>主機</u></a>。Kubernetes 項目為基于 Debian 和 Red Hat 的 Linux 發(fā)行版以及一些不提供包管理器的發(fā)行版提供通用的指令 * 每臺機器 2 GB 或更多的 RAM （如果少于這個(gè)數字將會(huì )影響你應用的運行內存) * 2 CPU 核或更多 * 集群中的所有機器的網(wǎng)絡(luò )彼此均能相互連接(公網(wǎng)和內網(wǎng)都可以) * 節點(diǎn)之中不可以有重復的主機名、MAC 地址或 product_uuid。請參見(jiàn)[這里](https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#verify-mac-address)了解更多詳細信息。 * 開(kāi)啟機器上的某些端口。請參見(jiàn)[這里](https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#check-required-ports) 了解更多詳細信息。 * 禁用交換分區。為了保證 kubelet 正常工作，你**必須** 禁用交換分區。 | 軟硬件 | 推薦配置 | | ------------- | ---------------------------------------------------------------------------- | | CPU/內存 | Master：至少2C2G<br />Node：根據具體需要運行的容器數量調整 | | Linux操作系統 | Redhat 7+<br />Centos 7+ | | K8S | 1.18+<br />下載地址及說(shuō)明：https://github.com/kubernetes/kubernetes/releases | | docker | 1.13+<br />下載地址及說(shuō)明：https://www.docker.com | | etcd | 3+<br />下載地址及說(shuō)明：https://github.com/coreos/etcd/releases | ## 版本偏差策略 ### kube-apiserver 在HA 集群中， 多個(gè) `kube-apiserver` 實(shí)例小版本號最多差1。 ### kubelet `kubelet` 版本號不能高于 `kube-apiserver`，最多可以比 `kube-apiserver` 低兩個(gè)小版本。 > **說(shuō)明：** 如果 HA 集群中多個(gè) `kube-apiserver` 實(shí)例版本號不一致，相應的 `kubelet` 版本號可選范圍也要減小。 ### kube-controller-manager、 kube-scheduler 和 cloud-controller-manager `kube-controller-manager`、`kube-scheduler` 和 `cloud-controller-manager` 版本不能高于 `kube-apiserver` 版本號。 最好它們的版本號與 `kube-apiserver` 保持一致，但允許比 `kube-apiserver` 低一個(gè)小版本（為了支持在線(xiàn)升級）。 > **說(shuō)明：** 如果在 HA 集群中，多個(gè) `kube-apiserver` 實(shí)例版本號不一致，他們也可以跟 任意一個(gè) `kube-apiserver` 實(shí)例通信（例如，通過(guò) load balancer）， 但 `kube-controller-manager`、`kube-scheduler` 和 `cloud-controller-manager` 版本可用范圍會(huì )相應的減小。 ### kubectl `kubectl` 可以比 `kube-apiserver` 高一個(gè)小版本，也可以低一個(gè)小版本。 > **說(shuō)明：** 如果 HA 集群中的多個(gè) `kube-apiserver` 實(shí)例版本號不一致，相應的 `kubectl` 可用版本范圍也會(huì )減小。 ## k8s安裝 ### 確保每個(gè)節點(diǎn)上 MAC 地址和 product_uuid 的唯一性 * 你可以使用命令`ip link` 或`ifconfig -a` 來(lái)獲取網(wǎng)絡(luò )接口的 MAC 地址 * 可以使用`sudo cat /sys/class/dmi/id/product_uuid` 命令對 product_uuid 校驗 一般來(lái)講，硬件設備會(huì )擁有唯一的地址，但是有些虛擬機的地址可能會(huì )重復。 Kubernetes 使用這些值來(lái)唯一確定集群中的節點(diǎn)。 如果這些值在每個(gè)節點(diǎn)上不唯一，可能會(huì )導致安裝失敗。 ### 檢查網(wǎng)絡(luò )適配器 如果你有一個(gè)以上的網(wǎng)絡(luò )適配器，同時(shí)你的 Kubernetes 組件通過(guò)默認路由不可達，我們建議你預先添加 IP 路由規則，這樣 Kubernetes 集群就可以通過(guò)對應的適配器完成連接。 ### 允許iptables檢查橋接流量 確保 `br_netfilter` 模塊被加載。這一操作可以通過(guò)運行 `lsmod | grep br_netfilter` 來(lái)完成。若要顯式加載該模塊，可執行 `sudo modprobe br_netfilter`。 為了讓你的 Linux 節點(diǎn)上的 iptables 能夠正確地查看橋接流量，你需要確保在你的 `sysctl` 配置中將 `net.bridge.bridge-nf-call-iptables` 設置為 1。例如： ```bash cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf br_netfilter EOF cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sudo sysctl --system ``` ### 檢查所需端口 #### 控制節點(diǎn) | 協(xié)議 | 方向 | 端口范圍 | 作用 | 使用者 | | ---- | ---- | --------- | ----------------------- | ---------------------------- | | TCP | 入站 | 6443 | Kubernetes API 服務(wù)器 | 所有組件 | | TCP | 入站 | 2379-2380 | etcd 服務(wù)器客戶(hù)端 API | kube-apiserver, etcd | | TCP | 入站 | 10250 | Kubelet API | kubelet 自身、控制平面組件 | | TCP | 入站 | 10251 | kube-scheduler | kube-scheduler 自身 | | TCP | 入站 | 10252 | kube-controller-manager | kube-controller-manager 自身 | ### 工作節點(diǎn) | 協(xié)議 | 方向 | 端口范圍 | 作用 | 使用者 | | ---- | ---- | ----------- | --------------- | -------------------------- | | TCP | 入站 | 10250 | Kubelet API | kubelet 自身、控制平面組件 | | TCP | 入站 | 30000-32767 | NodePort 服務(wù)? | 所有組件 | 以上是節點(diǎn)的默認端口范圍，需要保證所定制的端口是開(kāi)放的。 雖然控制節點(diǎn)已經(jīng)包含了 etcd 的端口，也可以使用自定義的外部 etcd 集群，或是指定自定義端口。 使用的 Pod 網(wǎng)絡(luò )插件 也可能需要某些特定端口開(kāi)啟。由于各個(gè) Pod 網(wǎng)絡(luò )插件都有所不同， 請參閱各自文檔中對端口的要求。 ### 安裝runtime：containerd/docker #### 安裝containerd 安裝和配置的先決條件： ```shell cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf overlay br_netfilter EOF sudo modprobe overlay sudo modprobe br_netfilter # 設置必需的 sysctl 參數，這些參數在重新啟動(dòng)后仍然存在。 cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6tables = 1 EOF # 應用 sysctl 參數而無(wú)需重新啟動(dòng) sudo sysctl --system ``` 安裝 : 1. 從官方Docker倉庫安裝 `containerd.io` 軟件包?？梢栽?[安裝 Docker 引擎](https://docs.docker.com/engine/install/#server) 中找到有關(guān)為各自的 Linux 發(fā)行版設置 Docker 存儲庫和安裝 `containerd.io` 軟件包的說(shuō)明。 2. 配置 containerd： ```shell sudo mkdir -p /etc/containerd containerd config default | sudo tee /etc/containerd/config.toml ``` 3. 重新啟動(dòng) containerd: ```shell sudo systemctl restart containerd ``` ### 安裝Docker 1. 在每個(gè)節點(diǎn)上，根據[安裝 Docker 引擎](https://docs.docker.com/engine/install/#server) 為你的 Linux 發(fā)行版安裝 Docker。 最新的經(jīng)過(guò)驗證的 Docker 版本 [依賴(lài)關(guān)系](https://git.k8s.io/kubernetes/build/dependencies.yaml)：https://github.com/kubernetes/kubernetes/blob/master/build/dependencies.yaml 2. 配置 Docker 守護程序，尤其是使用 systemd 來(lái)管理容器的 cgroup。 ```shell sudo mkdir /etc/docker cat <<EOF | sudo tee /etc/docker/daemon.json { "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2" } EOF ``` > **說(shuō)明：** 對于運行 Linux 內核版本 4.0 或更高版本，或使用 3.10.0-51 及更高版本的 RHEL 或 CentOS 的系統，`overlay2`是首選的存儲驅動(dòng)程序。 > 3. 重新啟動(dòng) Docker 并在啟動(dòng)時(shí)啟用： ```shell sudo systemctl enable docker sudo systemctl daemon-reload sudo systemctl restart docker ``` ### 安裝kubeadm、kubelet、kubectl * `kubeadm`：用來(lái)初始化集群的指令。 * `kubelet`：在集群中的每個(gè)節點(diǎn)上用來(lái)啟動(dòng) Pod 和容器等。 * `kubectl`：用來(lái)與集群通信的命令行工具。 #獲取 cat <`<EOF >` /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF #安裝 yum install kubelet kubeadm kubectl ### 安裝k8s集群 #### 初始化控制節點(diǎn) 控制平面節點(diǎn)是運行控制平面組件的機器， 包括 etcd（集群<a href='http://wap.friendlycc.com.cn/database/mysql/' target='_blank'><u><a href='http://wap.friendlycc.com.cn/database/mysql/' target='_blank'><u>數據</u></a>庫</u></a>） 和 API Server（命令行工具 kubectl與之通信）。 1. （推薦）如果計劃將單個(gè)控制平面 kubeadm 集群升級成高可用， 你應該指定`--control-plane-endpoint` 為所有控制平面節點(diǎn)設置共享端點(diǎn)。 端點(diǎn)可以是負載均衡器的 DNS 名稱(chēng)或 IP 地址。 2. 選擇一個(gè)Pod網(wǎng)絡(luò )插件，并驗證是否需要為`kubeadm init` 傳遞參數。 根據你選擇的第三方網(wǎng)絡(luò )插件，你可能需要設置`--pod-network-cidr` 的值。 要初始化控制平面節點(diǎn)，運行： ```bash kubeadm init <args> ``` 示例參考： kubeadm init --image-repository=daocloud.io/daocloud --kubernetes-version=v1.17.4 --pod-network-cidr=10.252.0.0/16 --upload-certs #### 配置kubectl 要使非 root 用戶(hù)可以運行 kubectl，請運行以下命令， 它們也是 `kubeadm init` 輸出的一部分： ```bash mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config ``` 或者，如果你是 `root` 用戶(hù)，則可以運行： ```bash export KUBECONFIG=/etc/kubernetes/admin.conf ``` #### 加入節點(diǎn) 節點(diǎn)是你的工作負載（容器和 Pod 等）運行的地方。要將新節點(diǎn)添加到集群，請對每臺計算機執行以下操作： * SSH 到機器 * 成為 root （例如`sudo su -`） * 運行`kubeadm init` 輸出的命令。例如： ```bash kubeadm join --token <token> <control-plane-host>:<control-plane-port> --discovery-token-ca-cert-hash sha256:<hash> ``` 如果沒(méi)有令牌，可以通過(guò)在控制平面節點(diǎn)上運行以下命令來(lái)獲取令牌： ```bash kubeadm token list ``` 輸出類(lèi)似于以下內容： ```console TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS 8ewj1p.9r9hcjoqgajrj4gi 23h 2018-06-12T02:51:28Z authentication, The default bootstrap system: signing token generated by bootstrappers: 'kubeadm init'. kubeadm: default-node-token ``` 默認情況下，令牌會(huì )在24小時(shí)后過(guò)期。如果要在當前令牌過(guò)期后將節點(diǎn)加入集群， 則可以通過(guò)在控制平面節點(diǎn)上運行以下命令來(lái)創(chuàng )建新令牌： ```bash kubeadm token create ``` 輸出類(lèi)似于以下內容： ```console 5didvk.d09sbcov8ph2amjw ``` 如果你沒(méi)有 `--discovery-token-ca-cert-hash` 的值，則可以通過(guò)在控制平面節點(diǎn)上執行以下命令鏈來(lái)獲取它： ```bash open<a href='http://wap.friendlycc.com.cn/ssl/' target='_blank'><u>ssl</u></a> x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \ openssl dgst -sha256 -hex | sed 's/^.* //' ``` 輸出類(lèi)似于以下內容： ```console 8cb2de97839780a412b93877f8507ad6c94f73add17d5d7058e91741c9d5ec78 ``` #### 安裝CNI 這里采用calico： kubectl apply -f https://docs.projectcalico.org/v3.14/manifests/calico.yaml ## 運行第一個(gè)hello world kubectl run -it --rm [定義的名稱(chēng)] --image=[你的鏡像地址]--restart=Never -- echo “hello world"