hadoop核心除了分布式文件系統hdfs還有什么

建站服務(wù)器

這篇文章主要介紹了hadoop核心除了分布式文件系統hdfs還有什么，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著(zhù)大家一起了解一下。

hadoop的核心是分布式文件系統hdfs和MapReduce。HDFS為海量的數據提供了存儲，而MapReduce則為海量的數據提供了計算。

Hadoop是一個(gè)由Apache基金會(huì )所開(kāi)發(fā)的分布式系統基礎架構。用戶(hù)可以在不了解分布式底層細節的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。

Hadoop實(shí)現了一個(gè)分布式文件系統（Hadoop Distributed File System），其中一個(gè)組件是HDFS。HDFS有高容錯性的特點(diǎn)，并且設計用來(lái)部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來(lái)訪(fǎng)問(wèn)應用程序的數據，適合那些有著(zhù)超大數據集（large data set）的應用程序。

HDFS放寬了（relax）POSIX的要求，可以以流的形式訪(fǎng)問(wèn)（streaming access）文件系統中的數據。

Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，而MapReduce則為海量的數據提供了計算。

Hadoop 由許多元素構成。其最底部是 Hadoop Distributed File System（HDFS），它存儲 Hadoop 集群中所有存儲節點(diǎn)上的文件。HDFS的上一層是MapReduce 引擎，該引擎由 JobTrackers 和 TaskTrackers 組成。通過(guò)對Hadoop分布式計算平臺最核心的分布式文件系統HDFS、MapReduce處理過(guò)程，以及數據倉庫工具Hive和分布式數據庫Hbase的介紹，基本涵蓋了Hadoop分布式平臺的所有技術(shù)核心。

感謝你能夠認真閱讀完這篇文章，希望小編分享hadoop核心除了分布式文件系統hdfs還有什么內容對大家有幫助，同時(shí)也希望大家多多支持特網(wǎng)科技，關(guān)注資訊頻道，遇到問(wèn)題就找特網(wǎng)科技，詳細的解決方法等著(zhù)你來(lái)學(xué)習!

更多關(guān)于云服務(wù)器，域名注冊，虛擬主機的問(wèn)題，請訪(fǎng)問(wèn)特網(wǎng)科技官網(wǎng)：wap.friendlycc.com.cn