2024年04月16日 — 0.5.1 Lakehouse Platform 产品更新发布说明

本次发布（Release 2024.04.16），我们引入了一系列新功能、增强特性以及修复项。此外，我们还对产品的行为进行了一些更新。请注意，这些更新将分阶段逐步推送至以下区域：

• 阿里云上海区
• 腾讯云上海区
• 阿里云新加坡区
• 腾讯云北京区

导入导出更新

COPY INTO支持导出表数据至VOLUME

支持使用 COPY INTO 命令将表或查询结果以文件形式导出至数据湖存储 Volume 的指定目录下。支持对导出文件存储格式、压缩类型、命名规则进行设置。

更多信息，请查看COPY INTO导出文件文档。

COPY INTO支持导入BSON格式文件数据

COPY INTO 命令支持导入 BSON 格式文件。例如，您可以将 mongodump 导出的 .bson 格式 MongoDB 数据文件上传至对象存储，然后通过 COPY INTO 命令批量导入。

更多信息，请查看COPY INTO导入文件文档。

数据湖查询支持使用SQL查询BSON格式文件

数据湖查询在 CSV、TEXT、PARQUET、ORC 文件格式基础上扩展了 BSON 格式支持。可使用 SQL 直接查询 Volume 中的 BSON 格式文件。

更多信息，请查看数据湖查询文档。

实时增量计算更新

动态表支持自动生成中间表以提高复杂逻辑SQL的增量优化能力

实际生产环境下的 SQL ETL 任务经常使用临时视图（如 CTE）进行 Join 操作以满足复杂加工逻辑。这些临时视图往往只有在计算完成后才能确定需要发生关联（Join）的范围，导致难以进行增量处理。针对这类场景，动态表支持自动拆解 SQL 任务，并根据加工逻辑动态创建中间临时表，以实现复杂逻辑的增量化处理。

动态表处理性能优化

动态表增加了 Dynamic Filter 下推功能，以优化处理性能。