2024年04月16日— 0.5.1 Lakehouse Platform 产品更新发布说明

本次发布（Release 2024.04.16），我们引入了一系列新功能、增强特性以及修复项。此外，我们还对产品的行为进行了一些更新。请注意，这些更新将分阶段逐步推送至以下区域：

• 阿里云上海区
• 腾讯云上海区
• 阿里云新加坡区
• 腾讯云北京区

导入导出更新

COPY INTO支持导出表数据至VOLUME

支持使用COPY INTO命令将表或者查询结果以文件形式导出至数据湖存储Volume指定目录下。支持对导出文件存储格式、压缩类型、命名规则进行设置。

更多信息，请查看COPY INTO导出文件文档。

COPY INTO支持导入BSON格式文件数据

COPY INTO命令支持导入BSON格式文件。例如您可以将mongodump导出的.bson格式MongoDB数据文件上传至对象存储，通过COPY INTO命令批量导入。

更多信息，请查看COPY INTO导入文件文档。

数据湖查询支持使用SQL查询BSON格式文件

数据湖查询在CSV、TEXT、PARQUET、ORC文件格式基础上扩展了BSON格式支持。可使用SQL直接查询Volume中的BSON格式文件。

更多信息，请查看数据湖查询文档。

实时增量计算更新

动态表支持自动生成中间表以提高复杂逻辑SQL的增量优化能力

实际生产环境下的SQL ETL任务经常使用临时视图（如CTE）进行Join来满足复杂加工逻辑，这些临时视图往往只有在计算完成后才能确定需要发生关联Join的范围导致难以进行增量处理。针对这类场景，动态表支持自动拆解SQL任务并根据加工逻辑动态创建中间临时表以实现复杂逻辑的增量化处理。

动态表处理性能优化

动态表增加Dynamic Filter下推优化处理性能。