Databricks開(kāi)放數據湖用于數據共享

Databricks公司于5月26日推出Delta Sharing開(kāi)源協(xié)議，旨在開(kāi)放數據湖以實(shí)現更多共享。

在5月26日舉行的虛擬Data + AI峰會(huì )上，這家機器學(xué)習和數據湖供應商還為其Delta Lake 數據湖項目發(fā)布一系列其他新功能，包括用于數據協(xié)作和流數據的工具。

Databricks公司度過(guò)了忙碌的一年，在2月1日的 G 輪融資中籌集了10億美元。

近年來(lái)，Databricks一直在構建的關(guān)鍵技術(shù)之一是開(kāi)源Delta Lake項目，這項數據湖技術(shù)現在由Linux基金會(huì )運行。Databricks提供商業(yè)支持平臺以部署Delta Lake。

現在，Databricks正在通過(guò)新的開(kāi)源數據協(xié)作Delta Sharing來(lái)擴展Delta Lake。此外，Databricks還為Delta Lake引入了新的數據治理功能-在Unity Catalog中，以及支持流數據的實(shí)時(shí)表功能。

Ventana Research公司分析師Dave Menninger表示，Delta Sharing是有用的概念。

Menninger說(shuō)：“隨著(zhù)數據從數據中心遷移出來(lái)，并存儲在各種基于云的數據源中，共享數據的開(kāi)放協(xié)議很有意義。Delta Sharing的真正價(jià)值將取決于有多少供應商同意支持它?！?/p>

Menninger補充說(shuō)，Databricks最初似乎在第三方承諾方面做得很好，可以創(chuàng )造動(dòng)力以吸引更多支持。

在5月26日虛擬會(huì )議的主題演講中，Databricks首席執行官Ali Ghodsi表示，支持Delta 共享協(xié)議的組織之一是AWS Data Exchange。Ghodsi還指出，微軟、谷歌、Tableau 和 Starburst 都表示，他們將集成Delta Sharing支持到他們的產(chǎn)品中。

Delta Sharing如何支持數據湖協(xié)作

Databricks公司聯(lián)合創(chuàng )始人兼首席技術(shù)官Matei Zaharia在會(huì )議的主題演講中說(shuō)，Delta Sharing的主要目標是，對于企業(yè)在其數據湖中數據，使數據共享變得流暢，而無(wú)需復制數據到另一個(gè)系統。

Zaharia 表示：“我們希望用戶(hù)可更容易地利用數據?！?/p>

Delta Sharing模型涉及兩方：數據提供者和數據接收者。Zaharia解釋說(shuō)，數據提供者可以從它已有的Delta Lake格式的現有表開(kāi)始。Delta Sharing 還支持廣泛用于數據湖的Apache Parquet格式。

Zaharia 稱(chēng)：“如果你沒(méi)有使用 Delta Lake，而只是使用Apache Parquet，那么你可以很容易地創(chuàng )建一個(gè)指向你現有Parquet數據的Delta表?！?/p>

在數據提供者面前，需要部署Delta Sharing服務(wù)器。Delta Sharing服務(wù)器提供接口和協(xié)議，可實(shí)現與數據接收者的實(shí)際共享。

Zaharia指出，Delta Sharing允許接收者僅索要表數據的一部分。例如，如果用戶(hù)只關(guān)心一個(gè)產(chǎn)品線(xiàn)的銷(xiāo)售額，他們只能訪(fǎng)問(wèn)該數據子集。

將數據發(fā)送給接收方的過(guò)程使用云對象存儲來(lái)快速傳輸數據。Delta Sharing服務(wù)器將在A(yíng)mazon S3上生成短期地址，允許客戶(hù)端請求他們實(shí)際允許獲取的特定文件。

Zaharia 稱(chēng)：“我們真的認為數據共享的未來(lái)是開(kāi)放的，我們認為 Delta Sharing 將成為其中的關(guān)鍵部分?！?/p>

Delta Sharing現在已經(jīng)推出。

Unity Catalog將數據治理帶入數據湖

Unity Catalog是一項數據治理功能，現已面向Databricks云用戶(hù)提供預覽版。

通過(guò)Unity Catalog，Databricks將一個(gè)統一的對象模型置于企業(yè)在數據湖中所有數據前。該目錄配置有標準SQL來(lái)定義訪(fǎng)問(wèn)策略。

Zaharia說(shuō)：“這是大規模管理安全權限的一種非常強大的方式?！?/p>