數據倉庫環(huán)境現代化工具和技巧

數據倉庫歷史悠久，這里的基本想法是，大多數企業(yè)建立各種應用程序來(lái)自動(dòng)化其基本業(yè)務(wù)流程，而這些業(yè)務(wù)流程各自發(fā)展，從而產(chǎn)生多個(gè)版本的數據。在過(guò)去，對于那些想了解不同產(chǎn)品線(xiàn)或地區的銷(xiāo)售收入或利潤率的人來(lái)說(shuō)，數據不一致是令人頭疼的問(wèn)題。

實(shí)質(zhì)上，數據倉庫的原始概念是從各種事務(wù)系統中復制關(guān)鍵數據，解決不一致問(wèn)題并生成易于分析的干凈數據集。這個(gè)過(guò)程通常使用定期運行的程序來(lái)完成，這些程序將在攝取新數據時(shí)使數據倉庫保持最新?tīng)顟B(tài)。

數據倉庫環(huán)境的歷史

為確保數據倉庫環(huán)境正常運行，這里需要很多組件。它需要數據提取程序，并且數據倉庫必須使用其自己的架構進(jìn)行設計?，F代數據倉庫還需要其他程序，以通過(guò)業(yè)務(wù)規則解析背景數據的競爭版本，從而決定數據主版本的層次結構。

這里的歷史性挑戰是，數據倉庫類(lèi)似于在不斷變化的底層操作系統上構建的建筑物。當這些系統發(fā)生重大變化時(shí)（例如重組或業(yè)務(wù)收購），數據倉庫的結構需要更改以反映基礎業(yè)務(wù)變化。如果業(yè)務(wù)變化的步伐過(guò)快，則數據倉庫可能會(huì )在一段時(shí)間內變得不可靠，從而破壞業(yè)務(wù)人員對它的信心。

為解決這個(gè)問(wèn)題，數據集市應運而生。但是，除非數據集市與數據倉庫中的數據同步，否則它們可能會(huì )與之競爭并產(chǎn)生多種數據版本。為了解決這種不穩定性，開(kāi)始出現各種數據倉庫設計，其中包括星形模式、雪花模式，以及技術(shù)專(zhuān)家Bill Inmon和Ralph Kimball提倡的其他模式。

隨后主數據管理領(lǐng)域開(kāi)始出現，企業(yè)希望收集越來(lái)越復雜的業(yè)務(wù)背景數據集，這些業(yè)務(wù)背景數據通常具有可與數據倉庫協(xié)同工作的獨立數據庫。爭用不同版本的產(chǎn)品層次結構需要業(yè)務(wù)投入，從而使數據倉庫中的數據治理提供流程，以對此類(lèi)主數據進(jìn)行業(yè)務(wù)控制。

除龐大的數據量外，增加的復雜性也是一個(gè)問(wèn)題。最終我們開(kāi)始看到更加復雜的查詢(xún)和分析工具，它們本身通常需要自己的元數據層來(lái)表示數據倉庫的業(yè)務(wù)視圖。

同時(shí)，提取、轉換和加載（ETL）數據催生數據集成工具行業(yè)的發(fā)展。這些工具使流程自動(dòng)化，并擁有自己的專(zhuān)有腳本，從而在數據倉庫環(huán)境中添加需要處理的其他組件。

數據倉庫現代化

多年以來(lái)，人們一直在嘗試整理企業(yè)數據倉庫環(huán)境的組件。為了現代化日益復雜的數據倉庫，供應商嘗試生產(chǎn)預構建的模板和數據倉庫生成器，這些示例包括Idera、Magnitude和Attunity。盡管在某些用例中取得成功，但這些都沒(méi)有取得市場(chǎng)主導地位。

此外，DevOps和DataOps致力于幫助數據倉庫模式演變，以及使數據倉庫環(huán)境以可控方式運行的其他方面。

盡管創(chuàng )新供應商付出巨大的努力，但數據倉庫現代化并沒(méi)有捷徑。

大型企業(yè)已經(jīng)在企業(yè)數據倉庫及其相關(guān)環(huán)境中投入大量資金，但龐大的流程、程序、腳本和模式仍然是前進(jìn)的重大障礙。還有一個(gè)障礙是克服數據庫管理員和IT員工當前做法的慣性。

由于企業(yè)大部分分析都依賴(lài)于數據倉庫，因此很難進(jìn)行遷移。重組運營(yíng)數據倉庫環(huán)境就像機械師試圖為行駛中的汽車(chē)升級發(fā)動(dòng)機升級。盡管如此，數據倉庫自動(dòng)化工具和現代DataOps市場(chǎng)正在盡力幫助企業(yè)現代化其數據倉庫環(huán)境。