自動(dòng)化HDFS數據復制機制的簡(jiǎn)單用法

這篇文章主要介紹“自動(dòng)化HDFS數據復制機制的簡(jiǎn)單用法”，在日常操作中，相信很多人在自動(dòng)化HDFS數據復制機制的簡(jiǎn)單用法問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對大家解答”自動(dòng)化HDFS數據復制機制的簡(jiǎn)單用法”的疑惑有所幫助！接下來(lái)，請跟著(zhù)小編一起來(lái)學(xué)習吧！

在本章的前半部分，我們研究了兩種可以將半結構化和二進(jìn)制數據轉換為HDFS的機制：開(kāi)源HDFS File Slurper項目和Oozie，它們觸發(fā)了數據入口工作流程。使用本地文件系統進(jìn)行輸入(以及輸出)的挑戰是，在集群上運行的map和reduce任務(wù)將無(wú)法訪(fǎng)問(wèn)特定上的文件系統，將數據從HDFS移動(dòng)到文件系統有三個(gè)廣泛的選擇：

• 在服務(wù)器(例如Web服務(wù)器)上托管agent，然后使用MapReduce將其寫(xiě)入。

• 在MapReduce中寫(xiě)入本地文件系統，然后在后處理步驟中觸發(fā)遠程服務(wù)器上的腳本以移動(dòng)該數據。

• 在遠程服務(wù)器上運行進(jìn)程以直接從HDFS提取數據。

第三種選擇是首選方法，因為最簡(jiǎn)單且最有效，因此這是本節的重點(diǎn)。我們將了解如何使用HDFS File Slurper自動(dòng)將文件從HDFS移出到本地文件系統。

從HDFS導出文件的自動(dòng)機制

假設有MapReduce用HDFS編寫(xiě)的文件，你想要將它們自動(dòng)提取到本地文件系統。任何Hadoop工具都不支持此類(lèi)功能，因此必須查看其他方法。

問(wèn)題

自動(dòng)將文件從HDFS移動(dòng)到本地文件系統。

解決方案

HDFS文件Slurper可用于將文件從HDFS復制到本地文件系統。

討論

這里的目標是使用HDFS File Slurper項目(https://github.com/alexholmes/ hdfs-file-slurper)來(lái)協(xié)助自動(dòng)化。我們在前文詳細介紹了HDFS File Slurper，請在繼續使用此技術(shù)之前閱讀該部分。

HDFS Slurper支持將數據從HDFS移動(dòng)到本地目錄，我們需要做的就是翻轉源目錄和目標目錄，如Slurper配置文件以下所示：

你會(huì )注意到，HDFS中不僅有源目錄，而且還有工作，完成和錯誤目錄。這是因為需要能夠在目錄之間自動(dòng)移動(dòng)文件，而不會(huì )產(chǎn)生跨文件系統復制的昂貴開(kāi)銷(xiāo)。

總結

此時(shí)，你可能想知道如何觸發(fā)Slurper來(lái)復制剛剛使用MapReduce作業(yè)編寫(xiě)的目錄。當MapReduce作業(yè)成功完成時(shí)，它會(huì )在作業(yè)輸出目錄中創(chuàng )建一個(gè)名為_(kāi)SUCCESS的文件。這似乎是啟動(dòng)輸出進(jìn)程將該內容復制到本地文件系統的完美觸發(fā)器。事實(shí)證明，Oozie有一種機制可以在檢測到這些Hadoop文件“成功”時(shí)觸發(fā)工作流程，但這里的挑戰是Oozie執行的任何工作都是在MapReduce中執行的，所以它不能用于執行直接轉移?？梢跃帉?xiě)自己的腳本，輪詢(xún)HDFS以查找已完成的目錄，然后觸發(fā)文件復制過(guò)程。如果源文件需要保持不變，那么文件復制過(guò)程可以是Slurper或簡(jiǎn)單的hadoop fs -get命令。