2024年2月5日— 0.5 Lakehouse Platform 产品更新发布说明

本次版本更新（Release 2024.02.5）为您带来了一系列新功能、特性增强以及修复。更新将分阶段逐步推送至以下区域：

• 阿里云上海区
• 腾讯云上海区
• 阿里云新加坡区
• 腾讯云北京区

注意：更新将在发布日起一周至两周内完成，具体时间依据您所在的区域而定。

新功能及特性增强

流式处理任务

Table Stream变化数据捕获增强

Table Stream的STANDARD模式现已支持对流式写入表的INSERT/UPDATE/DELETE变化记录进行完整捕获。借助Table Stream方案，您可以实现实时变化数据加工处理。

流式写入场景下变化数据捕获的时效性提升

通过流式API写入目标表的默认版本提交时间已从10分钟调整为1分钟。Table Stream和Dynamic Table捕获数据变化的最小窗口缩短至1分钟，从而提高实时处理链路的整体时效性。

Dynamic Table动态表

我们新增了Dynamic Table对象，它将替代原有的增量计算物化视图（存量增量物化视图的逻辑和行为将保持不变）。物化视图将专注于数据一致性，并面向查询改写和性能优化场景。Dynamic Table则面向实时数据加工场景，提供更丰富的功能和运维管理能力。

• ALTER DYNAMIC TABLE SUSPEND/RESUME：新增语法，支持对DYNAMIC TABLE DDL方式定义的调度周期任务进行手动调度暂停和恢复。
• CREATE OR REPLACE DYNAMIC TABLE：新增语法，支持在保留历史数据的同时修改计算逻辑并应用于新的变化数据。
• DESCRIBE HISTORY命令：支持查看表的历史版本变化，返回每次写入表的来源信息，如数据操作类型、用户、记录变化数量、来源作业等。此功能可用于订正数据场景下，回溯数据变化，找到影响数据正确性的作业。
• TABLE_CHANGE表值函数：支持查看不同数据版本间的变化数据。
• RESTORE TABLE TO TIMESTAMP AS OF：支持数据恢复至指定时间版本的快照数据。适用于实时加工过程中的数据订正场景。

半结构化数据

JSON数据类型

我们新增了原生JSON数据类型，以优化JSON数据存储和查询分析效率。同时提供配套的JSON函数，如json_array、json_object、parse_json、json_extract、json_valid等，以便进行字段提取和分析。通过测试，使用JSON类型字段可以显著减少数据扫描，查询性能提升数倍。

数据共享

• Share对象：新增DESC SHARE命令，可查看SHARE中包装的数据对象列表。
• 消费侧优化：优化了消费侧在只读属性的SHARED SCHEMA下创建表的报错提示；解决了消费端通过SHARED的表进行二次授权时提示对象不存在的问题；优化了消费侧无二次授权的鉴权失败提示。

数据导入&导出

• 支持客户端通过JDBC方式获取查询结果地址，并进行全量下载。现支持CSV格式下载，包括复杂类型、BINARY类型、JSON类型在内的字段数据。
• Java SDK批量、实时导入接口现支持JSON STRING导入JSON类型字段。

安全管理

• 访问控制：数据源连接对象CONNECTION现支持GRANT/REVOKE权限控制。

SQL 能力更新

主键约束行为变更

• 主键通过PRIMARY KEY关键字进行定义。
• 主键必须具有唯一值，且不允许为NULL。系统将对主键进行唯一值校验（默认行为为ENABLE VALIDATE），与已有主键冲突的记录将无法写入。
• 主键不能超过16列。
• 支持主键的数据类型包括：TINYINT、SMALLINT、INT、BIGINT、DECIMAL、CHAR、VARCHAR、STRING、BOOLEAN、DATE和TIMESTAMP。
• 不支持修改主键，包括主键名称和数据类型。
• 主键列不能包含默认值。
• 主键写入的内容长度有限制，编码后不得超过128字节，经验值编码前应不超过20个字节。

新增SQL函数

• json_array
• json_object
• parse_json
• json_valid
• json_extract
• json_extract_boolean
• json_extract_float
• json_extract_double
• json_extract_int
• json_extract_bigint
• json_extract_string
• json_extract_date
• json_extract_timestamp

平台优化

• 通过优化数据导入、DML作业的表统计数据收集逻辑，增强数据表的统计信息。解决DESC EXTENDED以及INFORMATION\_SCHEMA部分数据对象统计信息缺少的问题。
• 优化元数据服务查询能力，改进SHOW JOBS、SHOW GRANTS的查询效率