隨著(zhù)云計算等顛覆性技術(shù)的出現Hadoop將會(huì )過(guò)時(shí)

Hadoop是一個(gè)開(kāi)源軟件框架，它在近十年前開(kāi)始流行。ApacheHadoop在當時(shí)是一項突破性的創(chuàng )新，企業(yè)在處理大量數據時(shí)遇到了存儲問(wèn)題。它通過(guò)提供Hadoop分布式文件系統（HDFS）進(jìn)行存儲和MapReduce進(jìn)行數據分析和處理，重新定義了企業(yè)處理、分析和存儲數據的方式。據公關(guān)通訊社報道，到2012年，財富50強中超過(guò)一半的公司采用了Hadoop。

Cloudera在2008年成為第一家致力于Hadoop的公司，MapR和Hortonworks緊隨其后。Hadoop技術(shù)成為財富500強公司的最?lèi)?ài)，然而他們卻宣布放棄這項技術(shù)。在經(jīng)歷了這樣一段開(kāi)拓性的旅程并受到如此多的崇拜之后，為什么Hadoop今天會(huì )經(jīng)歷相當大的衰退呢？

導致崩潰的變化

云的出現在Hadoop采用率的下降中扮演著(zhù)關(guān)鍵的角色。2018年，Twitter宣布遷移至谷歌云，以提高生產(chǎn)力并滿(mǎn)足其不斷增長(cháng)的需求。此外，他們還表示，他們的Hadoop文件系統存儲了超過(guò)300PB的數據，他們正在將Hadoop計算系統轉移到Google云上。

自從云服務(wù)普及以來(lái)，這不是一個(gè)孤立的案例，許多公司決定轉向云，以獲得更好的解決方案和高級數據分析。下一個(gè)路徑，一家自動(dòng)化云遷移公司最近宣布了Crawler360的增強功能和移位?，他們的兩種遷移技術(shù)，可以輕松快速地從Hadoop遷移到所需的云平臺。

NextPathway的首席戰略官Vinay Mathur在接受采訪(fǎng)時(shí)說(shuō)：“我們承諾會(huì )比最終得到的更多。隨著(zhù)數據量和分析要求的復雜性增加，它根本就不起作用了?！备鶕乱环萜脚_報告，他們與財富500強中的高端公司的對話(huà)使他們意識到，他們正在對Hadoop失去興趣。

與經(jīng)常因維護費用而受到指責的本地Hadoop技術(shù)相比，云技術(shù)承諾了可擴展和高效的大數據處理。它也不能很好地處理迭代數據，對于大量的小數據集，它通常被標記為低效的解決方案。對實(shí)時(shí)數據分析的不斷增長(cháng)的需求也導致了人們對Hadoop興趣的下降。

很多時(shí)候，運營(yíng)商將大量非結構化數據轉儲到分布式文件系統中，這會(huì )增加交付解決方案的復雜性。減少了混亂，同時(shí)它還提供了一個(gè)可擴展的經(jīng)濟高效的平臺。

Hadoop死了嗎？

沒(méi)有人應該那么悲觀(guān)。像Hadoop這樣的技術(shù)可能會(huì )發(fā)展，但不會(huì )完全消失。AlliedMarketResearch公司的報告顯示，到2027年，全球Hadoop市場(chǎng)預計將達到3403.5億美元，而2019年為267.4億美元，2020-2027年復合年增長(cháng)率為37.5%。這不矛盾嗎？Hadoop可能正在經(jīng)歷一場(chǎng)中年危機，最終可能導致技術(shù)更加成熟。

盡管Hadoop的采用率可能會(huì )下降，但它不會(huì )消失，因為如果不用于分析，它仍然可以用于豐富的數據存儲。未來(lái)幾年，企業(yè)可能會(huì )利用基于云的基礎設施和內部基礎設施，使用混合方法進(jìn)行數據存儲和分析。在這里，它將有一個(gè)相當大的范圍，因為它是一個(gè)公認的技術(shù)，具有成本效益和可擴展的數據存儲系統。