使用Java 壓縮文件打包tar.gz 包的詳細教程

目錄

一、背景

最近，小哈主要在負責日志中臺的開(kāi)發(fā)工作, 等等，啥是日志中臺？

俺只知道中臺概念，這段時(shí)間的確很火，但是日志中臺又是用來(lái)干啥的？

這里小哈盡量地通俗的說(shuō)下日志中臺的職責，再說(shuō)日志中臺之前，我們先扯點(diǎn)別的？

相信大家對集中式日志平臺 ELK 都知道一些，生產(chǎn)環(huán)境中, 稍復雜的架構，服務(wù)一般都是集群部署，這樣，日志就會(huì )分散在每臺服務(wù)器上，一旦發(fā)生問(wèn)題，想要查看日志就會(huì )非常繁瑣，你需要登錄每臺服務(wù)器找日志，因為你不確定請求被打到哪個(gè)節點(diǎn)上。另外，任由開(kāi)發(fā)人員登錄服務(wù)器查看日志本身就存在安全隱患，不小心執行了 rm -rf * 咋辦？

通過(guò) ELK , 我們可以方便的將日志收集到一處（Elasticsearch 集群）來(lái)進(jìn)行多維度的分析。

但是部署高性能、高可用的 ELK 是有門(mén)檻的，業(yè)務(wù)組想要快速的擁有集中式日志分析的能力，往往需要經(jīng)過(guò)前期的技術(shù)調研，測試，踩坑，才能將這個(gè)平臺搭建起來(lái)。

日志中臺的使命就是讓業(yè)務(wù)線(xiàn)能夠快速擁有這種能力，只需傻瓜式的在日志平臺完成接入操作即可。

臭嗨！說(shuō)了這么多，跟你這篇文章的主題有啥關(guān)系？

額，小哈這就進(jìn)入主題。

既然想統一管理日志，總得將這些分散的日志采集起來(lái)吧，那么，就需要一個(gè)日志采集器，Logstash 和 Filebeat 都有采集日志的能力，但是 Filebeat 相較于 Logstash 的笨重, 它更輕量級，幾乎零占用服務(wù)器系統資源，這里我們選型 Filebeat。

業(yè)務(wù)組在日志平臺完成相關(guān)接入流程后，平臺會(huì )提供一個(gè)采集器包。接入方需要做的就是，下載這個(gè)采集器包并扔到指定服務(wù)器上，解壓運行，即可開(kāi)始采集日志，然后，就可以在日志平臺的管控頁(yè)面分析&搜索這些被收集的日志了。

這個(gè) Filebeat 采集器包里面，包含了采集日志文件路徑，輸出到 Kafka 集群，以及一些個(gè)性化的采集規則等等。

怎么樣？是不是感覺(jué)很棒呢？

二、如何通過(guò) Java 打包文件？

2.1 添加 Maven 依賴(lài)

<dependency>
  <groupId>org.apache.commons</groupId>
  <artifactId>commons-compress</artifactId>
  <version>1.12</version>
</dependency>

2.2 打包核心代碼

通過(guò) Apache compress 工具打包思路大致如下：

①：創(chuàng )建一個(gè) FileOutputStream 到輸出文件（.tar.gz）文件。

②：創(chuàng )建一個(gè)GZIPOutputStream，用來(lái)包裝FileOutputStream對象。

③：創(chuàng )建一個(gè)TarArchiveOutputStream，用來(lái)包裝GZIPOutputStream對象。

④：接著(zhù)，讀取文件夾中的所有文件。

⑤：如果是目錄，則將其添加到 TarArchiveEntry。

⑥：如果是文件，依然將其添加到 TarArchiveEntry 中，然后還需將文件內容寫(xiě)入 TarArchiveOutputStream 中。

接下來(lái)，直接上代碼：

import org.apache.commons.compress.archivers.tar.TarArchiveEntry;
import org.apache.commons.compress.archivers.tar.TarArchiveOutputStream;
import org.apache.commons.io.IOUtils;

import java.io.*;
import java.util.zip.GZIPOutputStream;

/**
 * @author 犬小哈 (公眾號： 小哈學(xué)Java)
 * @date 2019-07-15
 * @time 16:15
 * @discription
 **/
public class TarUtils {

    /**
     * 壓縮
     * @param sourceFolder 指定打包的源目錄
     * @param tarGzPath 指定目標 tar 包的位置
     * @return
     * @throws IOException
     */
    public static void compress(String sourceFolder, String tarGzPath) throws IOException {
        createTarFile(sourceFolder, tarGzPath);
    }

    private static void createTarFile(String sourceFolder, String tarGzPath) {
        TarArchiveOutputStream tarOs = null;
        try {
            // 創(chuàng  )建一個(gè) FileOutputStream 到輸出文件（.tar.gz）
            FileOutputStream fos = new FileOutputStream(tarGzPath);
            // 創(chuàng  )建一個(gè) GZIPOutputStream，用來(lái)包裝 FileOutputStream 對象
            GZIPOutputStream gos = new GZIPOutputStream(new BufferedOutputStream(fos));
            // 創(chuàng  )建一個(gè) TarArchiveOutputStream，用來(lái)包裝 GZIPOutputStream 對象
            tarOs = new TarArchiveOutputStream(gos);
            // 若不設置此模式，當文件名超過(guò) 100 個(gè)字節時(shí)會(huì )拋出異常，異常大致如下：
            // is too long ( > 100 bytes)
            // 具體可參考官方文檔： http://commons.apache.org/proper/commons-compress/tar.html#Long_File_Names
            tarOs.setLongFileMode(TarArchiveOutputStream.LONGFILE_POSIX);
            addFilesToTarGZ(sourceFolder, "", tarOs);
        } catch (IOException e) {
            e.printStackTrace();
        }finally{
            try {
                tarOs.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

    public static void addFilesToTarGZ(String filePath, String parent, TarArchiveOutputStream tarArchive) throws IOException {
        File file = new File(filePath);
        // Create entry name relative to parent file path
        String entryName = parent + file.getName();
        // 添加 tar ArchiveEntry
        tarArchive.putArchiveEntry(new TarArchiveEntry(file, entryName));
        if (file.isFile()) {
            FileInputStream fis = new FileInputStream(file);
            BufferedInputStream bis = new BufferedInputStream(fis);
            // 寫(xiě)入文件
            IOUtils.copy(bis, tarArchive);
            tarArchive.closeArchiveEntry();
            bis.close();
        } else if (file.isDirectory()) {
            // 因為是個(gè)文件夾，無(wú)需寫(xiě)入內容，關(guān)閉即可
            tarArchive.closeArchiveEntry();
            // 讀取文件夾下所有文件
            for (File f : file.listFiles()) {
                // 遞歸
                addFilesToTarGZ(f.getAbsolutePath(), entryName + File.separator, tarArchive);
            }
        }
    }

    public static void main(String[] args) throws IOException {
        // 測試一波，將 filebeat-7.1.0-linux-x86_64 打包成名為 filebeat-7.1.0-linux-x86_64.tar.gz 的 tar 包
        compress("/Users/a123123/Work/filebeat-7.1.0-linux-x86_64", "/Users/a123123/Work/tmp_files/filebeat-7.1.0-linux-x86_64.tar.gz");
    }

}

至于，代碼每行的作用，小伙伴們可以看代碼注釋?zhuān)f(shuō)的已經(jīng)比較清楚了。

接下來(lái)，執行 main 方法，測試一下效果，看看打包是否成功：

生成采集器 tar.gz 包成功后，業(yè)務(wù)組只需將 tar.gz 下載下來(lái)，并扔到指定服務(wù)器，解壓運行即可完成采集任務(wù)啦~

三、結語(yǔ)

本文主要還是介紹如何通過(guò) Java 來(lái)完成打包功能，關(guān)于 ELK 相關(guān)的知識，小哈會(huì )在后續的文章中分享給大家，本文只是提及一下，歡迎小伙伴們持續關(guān)注喲，下期見(jiàn)~

到此這篇關(guān)于使用Java 壓縮文件打包tar.gz 包的詳細教程的文章就介紹到這了,更多相關(guān)Java 壓縮文件打包tar.gz 包內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！