Linux下的FineBI集群部署

本篇內容介紹了“Linux下的FineBI集群部署”的有關(guān)知識，在實(shí)際案例的操作過(guò)程中，不少人都會(huì )遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學(xué)有所成！

在企業(yè)應用中，通常單個(gè)計算機的配置是有限的，而企業(yè)應用又是高并發(fā)的需求，這個(gè)時(shí)候會(huì )通過(guò)計算機集群的方式來(lái)提高并發(fā)數，從而提高整體應用服務(wù)的性能。集群是將多臺計算機作為一個(gè)整體來(lái)提供相關(guān)應用的服務(wù)。FineBI支持多計算機服務(wù)的集群部署，通過(guò)集群部署利用有限的計算機資源來(lái)有效提高整體應用的并發(fā)性能。本文主要介紹整體FineBI集群的思路。

FineBI采用集群的模式，將多臺創(chuàng )建為一個(gè)集群服務(wù)器。這里碰到這幾個(gè)問(wèn)題：1）web工程的存儲問(wèn)題：FineBI在集群中，由于自身的問(wèn)題需要多臺服務(wù)器讀取同一個(gè)web工程。因此要實(shí)現web工程分享。2）系統數據一致性：在FineBI的運行過(guò)程中，存在讀寫(xiě)的操作，同時(shí)有部分的數據的配置文件要寫(xiě)入數據庫。需要保證集群的情況下，系統數據的一致性。3）負載均衡：一方面通過(guò)負載均衡來(lái)處理session的問(wèn)題，另一方面達成負載均衡的集群環(huán)境，使用代理服務(wù)器可以將請求轉發(fā)給集群內部的服務(wù)器，可以將負載均衡和代理服務(wù)器的高速緩存技術(shù)結合在一起，提供有益的性能。4）FS平臺集群：如FineBI使用FS平臺，則FS平臺的各種配置也需要進(jìn)行集群配置。

如下圖是一個(gè)FineBI進(jìn)去的架構的案例示意圖，這種方式通過(guò)NFS文件共享來(lái)處理web工程。

Web工程存儲問(wèn)題

Web工程的存儲，我們要解決的是多個(gè)服務(wù)器保證讀取同一個(gè)web工程。我們可以通過(guò)ceph做到多塊物理硬盤(pán)組件一塊邏輯硬盤(pán)，從而實(shí)現所有節點(diǎn)都是在訪(fǎng)問(wèn)同一地址；也可以通過(guò)linux本身帶有的nfs共享文件服務(wù)來(lái)達成訪(fǎng)問(wèn)同一web工程。無(wú)論使用哪一種方式，我們要保證：

<!--[if !supportLists]-->1）<!--[endif]-->訪(fǎng)問(wèn)同一web工程

<!--[if !supportLists]-->2）<!--[endif]-->Cube存儲地址是一致的

因為同一個(gè)web工程下，要求cube的存儲地址是一致的，因此要求cube存儲地址一定要一樣。

而真正使用的時(shí)候，ceph的實(shí)現需要至少三臺計算機來(lái)實(shí)現，而實(shí)際企業(yè)應用中，比較少使用三臺；而nfs均可以且是linux本身的，因此使用“nfs”方案。

系統數據配置

單節點(diǎn)的情況下，利用緩存和通過(guò)操作系統的文件系統來(lái)保存數據的方式，在集群模式下不再合適。主要原因在于數據的一致性問(wèn)題，多個(gè)節點(diǎn)可能進(jìn)行同時(shí)讀寫(xiě)，更改系統數據，最終勢必會(huì )造成整體數據不一致。最好的解決方案是系統配置數據全部交給等來(lái)管理。但由于這樣工程量好大，更主要的原因為許多代碼缺少維護，貿然更改可能帶來(lái)意想不到的bug。于是我們采用一種折中的做法。在集群中選出一臺幾點(diǎn)作為主節點(diǎn)，簡(jiǎn)稱(chēng)M。其余節點(diǎn)擔當子節點(diǎn)，簡(jiǎn)稱(chēng)S。當S上所有與更改系統配置相關(guān)的操作，全部發(fā)送到M上進(jìn)行處理。M負責來(lái)更改系統狀態(tài)，維護整個(gè)系統到底一致的狀態(tài)。S節點(diǎn)放棄全部的緩存數據，讀取狀態(tài)的時(shí)候，不再通過(guò)讀取自身數據，而是通過(guò)向M發(fā)送讀取請求，獲得M上的數據。M節點(diǎn)自身可以存在緩存數據。其他數據S節點(diǎn)與M節點(diǎn)時(shí)等同的，不存在從屬關(guān)系。

因此按上述原由我們提供如下解決方案：

<!--[if !supportLists]-->1）<!--[endif]-->mysql數據庫：原web工程中存在finedb的配置信息轉存到mysql數據庫中。因為finedb數據庫只能有一個(gè)連接，無(wú)法多節點(diǎn)同時(shí)讀取，而mysql數據庫則不存在。Logdb也需遷移；

<!--[if !supportLists]-->2）<!--[endif]-->主子節點(diǎn)：我們使用主子節點(diǎn)的方式來(lái)配置集群，系統數據的更改均在主節點(diǎn)上進(jìn)行，子節點(diǎn)只讀取主節點(diǎn)上的數據；

<!--[if !supportLists]-->3）<!--[endif]-->Zookeeper：為了保證讀寫(xiě)情況下，主子節點(diǎn)保證數據一致性，還需要zookeeper進(jìn)行通信，充當文件鎖的功能。

負載均衡

在FineBI的集群環(huán)境中，我們可以使用任何支持負載均衡的服務(wù)器來(lái)完成輪發(fā)的任務(wù)，并保證session粘滯。此處我們使用的是nginx反向代理，使用IP標識輪發(fā)，保證同一個(gè)用戶(hù)在同一個(gè)session。（在一個(gè)服務(wù)器一個(gè)節點(diǎn)的情況下，同一個(gè)IP就保證session粘滯）。

FS平臺集群

使用FS平臺集群插件，將FS平臺配置能夠滿(mǎn)足集群需求。在FS平臺集群中，FS平臺的所有操作都是發(fā)到主節點(diǎn)上來(lái)操作；子節點(diǎn)只是作計算服務(wù)器。