白話(huà)Kubernetes運維之容器應用資源運營(yíng)管理

本文將就云原生生態(tài)下，容器技術(shù)的資源如何分配、如何管理，結合G行的容器云平臺的實(shí)踐結果，介紹并分享給大家。

技術(shù)最終也是需要為運營(yíng)所服務(wù)。每一種可推廣的新技術(shù)的出現，也都是對原運營(yíng)模式的一種提升。如何降低成本、提高資源利用率，是每一個(gè)資源管理者必定要面臨的問(wèn)題。本文將就云原生生態(tài)下，技術(shù)的資源如何分配、如何管理，結合G行的容器云平臺的實(shí)踐結果，介紹并分享給大家。

在文章最初，我們首先提出三個(gè)問(wèn)題，并帶著(zhù)問(wèn)題進(jìn)行探討。

Q:虛機應用和容器應用的資源分配區別是什么?

Q:如何提高容器服務(wù)的資源利用率?

Q:容器平臺的資源該如何管理?

先聊聊虛機應用資源，系統管理員在進(jìn)行物理機切分的時(shí)候，通常會(huì )有幾套標準資源分配模板，例如4C8G，16C32G等等，當我們的項目經(jīng)理根據應用資源評估，申請對應虛機鏡像后，我們最開(kāi)始的應用資源就已經(jīng)框定，之后項目開(kāi)發(fā)完畢，進(jìn)行非功能測試，我們會(huì )得到不同的常穩CPU使用率，例如20%、40%。然后考慮到虛機擴容的復雜性和資源降配的管理機制，最終我們在生產(chǎn)上得到的預期資源使用率會(huì )在一個(gè)范圍內波動(dòng)?？偨Y一下這種資源分配模式，是以資源為模板(定值)，應用為適配(不定值)的一種資源分配方式。這種模式我們可能會(huì )面臨一些問(wèn)題，例如降配的閾值根據不同類(lèi)型的應用需要豐富的經(jīng)驗才可以拿捏的住，例如當應用即使在最小資源模板下也低于降配閾值時(shí)，存在資源浪費。例如當應用需要調整資源模板時(shí)，需要重新進(jìn)行非功能測試。在這種模式下，目前金融機構普遍的CPU資源平均利用率都在10%-20%，存在可提升空間。

那么對于容器應用來(lái)說(shuō)，我們的資源該如何分配呢?首先我們先來(lái)了解下k8s容器在聲明機制下的資源參數。

request(資源請求量)容器啟動(dòng)時(shí)的最低資源分配值，如果集群不滿(mǎn)足該資源請求，容器服務(wù)無(wú)法啟動(dòng)。

limit(資源約束量)容器最大能夠請求到的資源。

圖1

結合CPU的時(shí)間片機制、k8s的調度策略以及容器快速擴容能力。我們可以暢想下應用資源理想的使用場(chǎng)景：常穩TPS使用率在request值和limit值之間，峰值TPS使用小于limit值。然后在劃分CPU密集型應用和非密集型應用類(lèi)別之后，我們還可以對節點(diǎn)資源進(jìn)行一定程度的超分，以達成我們資源共享的目的。那么以此理想場(chǎng)景下，可實(shí)踐的資源分配策略需要優(yōu)秀的非功能測試團隊以及合理的資源計算分配模型。我們可以把此類(lèi)機制總結為以應用需求為依據(定值)，資源進(jìn)行適配(不定值)的一種資源分配方式。我們期望自此模型下運行的應用平均CPU資源利用率達到20%-40%，同時(shí)保障生產(chǎn)的穩定性。

那么我們如何把這種高效的資源分配方式進(jìn)行落地呢?首先，筆者相信在容器平臺建設之初，因為需求方需要時(shí)間進(jìn)行思維模式轉變，平臺需要加快推動(dòng)應用容器化策略，肯定會(huì )存在資源的浪費情況，可能某天我們可愛(ài)的平臺管理員在巡檢時(shí)發(fā)現，集群資源已經(jīng)緊張了，但是上面的應用連10%的CPU使用率都不到。我們就需要想辦法扭轉這個(gè)問(wèn)題。G行結合容器技術(shù)進(jìn)行了大量的實(shí)踐，決定首先從非功能測試方面入手。首先我們摒棄掉固定的資源模板，為應用服務(wù)準備一個(gè)足夠大的limit值，對其未來(lái)幾年常穩TPS下的資源使用情況請進(jìn)行測試，得到實(shí)際使用量(current)，再通過(guò)不同的應用類(lèi)型及一定的冗余值，計算出生產(chǎn)環(huán)境資源最大分配的建議值(limit)，request值根據應用災備級別取limit的25%-100%不等(涉及到k8s驅逐策略)。同時(shí)我們也摒棄掉了虛機拐點(diǎn)的測試方式，推動(dòng)根據常穩TPS的階梯式調整，測試出在不同倍數下的資源實(shí)際使用量，可按一定比例轉化為POD數量，為生產(chǎn)應用管理員提供容量預測數據。以此模式下上線(xiàn)的系統資源的使用率明顯得到了提升，節點(diǎn)上能夠承載的服務(wù)數量也達到了理想場(chǎng)景，同時(shí)在理想情況下，應用服務(wù)達到常穩TPS后的資源使用率為定值，風(fēng)險得到了把控。最后根據容量預測數據，我們也可以快速的調整POD服務(wù)數量或容器limit值。

圖2

當然，在介紹完資源分配策略后，我們也需要配套的資源管理策略。筆者調研過(guò)一些同業(yè)的管理方式，比較常用的是根據使用率砍掉一定量的request值，保持limit值不變?；诟骷易匝械幕蜷_(kāi)源的調度器及優(yōu)秀的調度策略，這是一種過(guò)渡或可長(cháng)期使用的方案。當然缺點(diǎn)大家也可以想一下，一頭(request)限制住了，另一頭(limit)卻放開(kāi)，在未來(lái)不可預期的野蠻申請下，可能導致集群超分過(guò)重，產(chǎn)生雪崩等異常情況。那么優(yōu)秀的資源管理策略的制定，則是平臺管理層必須要進(jìn)行思考及實(shí)踐的工作。

G行結合實(shí)踐經(jīng)驗，從應用等級劃分入手，持續改進(jìn)容器平臺資源運營(yíng)管理策略。根據應用系統災備等級對limit和request比例進(jìn)行規范要求，重要系統采取保守策略，一般系統采用高效策略;根據應用服務(wù)CPU使用類(lèi)型，優(yōu)化服務(wù)調度策略，規避高風(fēng)險場(chǎng)景;根據應用服務(wù)特殊需求，劃分專(zhuān)用節點(diǎn)，緩釋關(guān)聯(lián)故障發(fā)生等等，結合平臺容量周報、超分閾值、服務(wù)數量等，不斷地磨合各類(lèi)應用系統，持續優(yōu)化資源運營(yíng)策略。當然，優(yōu)秀的管理策略也同樣需要不斷強化的技術(shù)能力、可落地的執行方案，技術(shù)、方案、管理三者相結合，才能真正的把資源使用“提“起來(lái)，把成本”降“下來(lái)。

圖3

總結

最后，資源使用一直是業(yè)內持續研究的方向，同時(shí)容器資源的管理也不單單是PaaS層的優(yōu)化，node節點(diǎn)的資源切分比例，網(wǎng)絡(luò )的帶寬限制等等因素都會(huì )最終影響到我們的資源管理策略，這也是資源統籌的難點(diǎn)。本文以三個(gè)問(wèn)題入手，結合G行實(shí)踐經(jīng)驗，重點(diǎn)介紹了PaaS層CPU方面的資源運營(yíng)策略，希望能以此文和各位碰撞出思維的火花，感謝各位讀者閱讀。