亞馬遜云科技Amazon Glue服務(wù)功能升級(jí)，現(xiàn)在提供3種新功能：自定義可視化轉(zhuǎn)換，該功能讓客戶可以在其團(tuán)隊(duì)中定義、重復(fù)使用和共享業(yè)務(wù)特定ETL邏輯；三種開源數(shù)據(jù)湖存儲(chǔ)框架，該功能可以事務(wù)一致的方式在Amazon Simple Storage Service (Amazon S3) 中讀取和寫入數(shù)據(jù)；以及新連接器。

點(diǎn)擊查看：亞馬遜云科技免費(fèi)套餐

Amazon Glue是一項(xiàng)無服務(wù)器、可擴(kuò)展的數(shù)據(jù)集成服務(wù)，該服務(wù)使您可以更輕松地發(fā)現(xiàn)、準(zhǔn)備、移動(dòng)和集成多個(gè)來源的數(shù)據(jù)。借助這些新功能，數(shù)據(jù)工程師可以為Amazon Glue可視任務(wù)編輯器寫入可重復(fù)使用的轉(zhuǎn)換，以開源數(shù)據(jù)湖格式標(biāo)準(zhǔn)寫入數(shù)據(jù)，并連接到更多原生數(shù)據(jù)存儲(chǔ)。

您可以使用Apache Spark代碼和用戶輸入表單定義Amazon Glue自定義可視化變換。此外，您還可以為輸入表單指定驗(yàn)證，以幫助保護(hù)用戶，使其免犯錯(cuò)誤。將定義轉(zhuǎn)換的文件保存到您的賬戶后，它會(huì)自動(dòng)出現(xiàn)在可視化任務(wù)編輯器中可用轉(zhuǎn)換的下拉列表中。

您可以調(diào)用可視化和基于代碼的任務(wù)中的自定義可視化轉(zhuǎn)換，并且在賬戶之間共享轉(zhuǎn)換也非常簡(jiǎn)單。此外，在讀取或?qū)懭霐?shù)據(jù)時(shí)，數(shù)據(jù)湖框架簡(jiǎn)化了在Amazon S3上構(gòu)建的數(shù)據(jù)湖中的增量數(shù)據(jù)處理。它們支持的功能包括時(shí)間旅行查詢、ACID（原子性、一致性、隔離、耐久性）事務(wù)、流式攝取、變更數(shù)據(jù)捕獲 (CDC)、upsert和刪除。