Apache Drill改進(jìn)大數據SQL查詢(xún)引擎

開(kāi)源Apache Drill項目的1.19版本現已正式發(fā)布。

該更新于6月首次推出，帶來(lái)改進(jìn)的性能和新的數據連接器功能。

Apache Drill是SQL 查詢(xún)引擎，可用于 NoSQL以及云存儲和數據湖。Apache Drill 1.19 版本包括新連接器，可用于Elasticsearch、Splunk 和 Apache Cassandra。Drill 現在還可以更輕松地與 Apache Airflow 集成，后者是日益流行的工作流管理平臺。

Gartne分析師Merv Adrian指出，Drill仍然是受歡迎且活躍的Apache項目，并且是HP的Ezmeral Data Fabric的一部分。同時(shí)，開(kāi)源社區的努力給企業(yè)數據管理帶領(lǐng)積極影響。

Adrian 稱(chēng)：“隨著(zhù)商業(yè)化者提供更加用戶(hù)友好型的面向企業(yè)的產(chǎn)品，該技術(shù)被推廣到技術(shù)水平較低的用戶(hù)，廣大用戶(hù)豐富的創(chuàng )造力繼續推動(dòng)技術(shù)向前發(fā)展。我們看到越來(lái)越多的公司開(kāi)始使用Apache Drill，這說(shuō)明了在競爭激烈的公司中持續的DIY心態(tài)，這些公司繼續將開(kāi)源數據管理軟件視為潛在支柱?！?/p>

Apache Drill如何適應數據環(huán)境

從本質(zhì)上講，Drill是分布式交互式SQL查詢(xún)引擎，使用戶(hù)能夠將其指向數據，然后使用標準SQL進(jìn)行查詢(xún)。

Apache Drill副總裁兼企業(yè)數據平臺供應商的CE兼聯(lián)合創(chuàng )始Charles Givre表示：“Drill 的學(xué)習曲線(xiàn)非常低，它很容易使用，從筆記本電腦上的單個(gè)節點(diǎn)到大型集群。Drill 是為交互式查詢(xún)而構建，但它不是為大型 ETL [提取、轉換和加載]作業(yè)而構建，并且缺乏Apache Spark的一些彈性?！?/p>

Givre 指出，我們可以很容易將Drill連接到云數據湖（例如 Amazon Simple Storage Service），而且Drill還可以連接到Microsoft Azure和Google Cloud。他補充說(shuō)，目前我們正在努力使Drill能夠連接到其他云數據，例如 Dropbox、OneDrive和Oracle Cloud。

Apache Drill 1.19中的新功能

最新更新中的新功能包括用于Elasticsearch、Splunk 和 Cassandra的連接器。Givre說(shuō)這些插件比以前版本中的連接器更先進(jìn)。他特別指出，與其他存儲插件相比，下推到源系統的查詢(xún)已經(jīng)更加優(yōu)化。

Givre 稱(chēng)：“最終，這將在查詢(xún)這些源系統時(shí)帶來(lái)更好的性能?！?/p>

Givre 強調的另一個(gè)主要貢獻是XML格式插件，它現在隨Drill一起提供。Givre解釋說(shuō)，用戶(hù)現在可以直接查詢(xún)XML文件，包括深度嵌套的文件，而無(wú)需使用標準SQL定義模式。

他補充說(shuō)，REST插件也添加了XML功能，這意味著(zhù)用戶(hù)可以查詢(xún)返回XML的API。

Givre 表示：“REST閱讀器得到了極大的改進(jìn)，這意味著(zhù)使用Drill查詢(xún)REST API背后的數據相對容易?！?/p>

他說(shuō)他預計未來(lái)的Apache Drill 版本將為不同的數據源添加更多連接器。未來(lái)可能的連接器包括用于Delta Lake項目的連接器，該項目由Databricks創(chuàng )建，現在是Linux基金會(huì )運行的開(kāi)源項目。

Givre 指出：“我估計，隨著(zhù)越來(lái)越多的人使用Drill，我們將繼續看到更多與主流分析工具的集成?！?/p>