Amazon EMR現已支持Apache Iceberg

Amazon EMR是一個(gè)托管集群平臺，可簡(jiǎn)化在A(yíng)WS上運行大數據框架的過(guò)程，以處理和分析海量數據。Amazon EMR6.5.0現已包含Apache Iceberg版本0.12。Apache Iceberg是一種開(kāi)放的表格格式，專(zhuān)為巨大的PB級表格而設計。

Apache Iceberg為存儲在數據湖中的數據提供了一種開(kāi)源表格式，可幫助數據工程師管理復雜的挑戰，例如在保持查詢(xún)性能的同時(shí)管理不斷變化的數據集。主要功能如下：

• 保持多個(gè)應用程序之間表的事務(wù)一致性，其中文件可以通過(guò)完全的讀取隔離和多個(gè)并發(fā)寫(xiě)入的方式進(jìn)行原子化的添加、刪除或修改。
• 實(shí)施完整的模式演變以跟蹤表隨時(shí)間的變化。
• 發(fā)出時(shí)間旅行查詢(xún)以查詢(xún)歷史數據并對更新之間的更改進(jìn)行驗證。
• 通過(guò)分區演化將表組織為靈活的分區布局，從而能夠在查詢(xún)和數據量發(fā)生變化時(shí)更新分區方案，而無(wú)需依賴(lài)物理目錄。
• 將表回滾到以前的版本以快速糾正問(wèn)題并將表恢復到已知的良好狀態(tài)。
• 在大型數據集等的高性能查詢(xún)中執行高級規劃和篩選。

帶有Apache Iceberg的Amazon EMR版本6.5.0現已在美國東部（弗吉尼亞北部）、美國東部（俄亥俄）、美國西部（俄勒岡）、南美洲（圣保羅）、歐洲（愛(ài)爾蘭）、歐洲（斯德哥爾摩）、AWS GovCloud（US）、Amazon Web Services 中國（北京區域）、Amazon Web Services中國（寧夏）區域，未來(lái)幾周將增加更多區域。

來(lái)源鏈接：https://www.idcspy.com/46450.html

本站聲明:網(wǎng)站內容來(lái)源于網(wǎng)絡(luò ),如有侵權,請聯(lián)系我們,我們將及時(shí)處理。