2024年3月22日 Lakehouse Studio 产品更新发布说明

本次发布（Release 2024.03.22, v0.6）推出了以下新功能、更新（增强及修复）和行为变更。更新将分阶段逐步推送至以下区域：

• 阿里云上海区
• 腾讯云上海区
• 阿里云新加坡区
• 腾讯云北京区

注意：更新将在发布日起一周至两周内完成，具体时间依据您所在的区域而定。

不兼容改动

• 监控告警：规则配置中，触发条件的监控事项，由可同时添加三个改为只能添加一个。

新功能特性

• 全局：支持按租户自定义更换Logo
• 数据集成：新增多表实时同步功能，数据同步新鲜度可达秒级【Beta】。
  

  预览
• 数据集成：离线同步 ES 数据源支持数据过滤和配置动态索引名称。
• 数据集成：离线同步 ES 支持 JSON 内层字段取值提取。
• 数据集成：实时同步 PostgreSQL 支持 UUID 类型转换为 String 类型。
• 数据集成：支持脏数据配置，同时允许用户查看脏数据样例并下载。
  

  预览
• 数据集成：多表实时同步任务支持「补数同步」功能，且支持单表及多表批量操作场景。
  

  预览
• 数据集成：新增 Lakehouse CDC 数据导出到 MongoDB 功能 [Beta]。
• 数据集成：实时同步支持批量选择表并按租户进行补数操作。
• 任务开发：提供任务组和任务组参数功能【Beta】
• 任务开发：JDBC 节点新增支持 PG 类型
  

  预览
• 任务开发：对诸如 AK 等敏感信息进行展示遮掩。
• 任务调度：热升级和无感发布功能开发完成。
• 任务调度：支持设置任务自动重跑的时间间隔
  

  预览
• 任务运维：在 DAG 节点上新增补数据功能，选择补数据日期范围后可预览生成实例的信息。
• 监控告警：监控告警板块全新升级，页面布局调整，优化了用户操作路径。针对指标监控新增了多种触发规则的计算方式。
  

  预览
• 监控告警：新增针对多表实时同步任务的监控，包括指标监控类「多表实时同步任务延迟」，事件监控类「多表实时同步任务运行失败」、「多表实时同步任务目标表字段变更失败」。
• 数据管理：上传数据功能支持用户在创建新表的同时添加数据。同时，支持将更多类型的本地文件（新增 Parquet、Avro、ORC 文件类型）上传至产品内，支持自定义列分隔符和更多空值表示方式等。
  

  预览
• 开放体系：提供面向客户使用的第一版 OpenAPI。

优化改进

• 全局：表格每页可显示行数增加了“100行/页”的选项。
• 全局：账户主页新增DataGPT产品入口。
• 全局：对产品交互和使用体验进行了优化改进。
• 数据集成：离线同步任务执行读取权限、字段类型匹配度等前置检查，以避免任务在最终写入时失败。
• 数据集成：离线同步任务的并发数支持手动设置或输入。
• 任务开发：版本对比能力加强，扩大支持复制内容的区域范围。
  

  预览
• 作业历史：DAG 图支持使用触摸板进行滚动操作，交互设计还原并优化。
• 任务运维：在实例执行日志中，增加透出引擎服务端的耗时。
• 任务运维：任务名称的搜索支持忽略大小写。
• 安全中心：在工作空间添加用户时，屏蔽系统服务账号，使其不可被选择。
• 监控告警：优化实时同步任务监控告警信息的展示，细化到具体的单个表。
• 数据管理：优化数据目录树的展示和拖拽功能。

缺陷修复

• 实时同步：修复任务 Failover 展示信息为空的问题。
• 离线同步：修复 OSS 数据源切换时页面报错的问题。
• 任务开发：修复调度配置中依赖关系缺失部分表的问题。
• 数据管理：修复数据血缘不准确、多个依赖只展示单个依赖的问题。
• 安全中心：修复用户具备 workspace_admin 角色时无法授权的问题。
• 监控告警：修复数据质量任务的超时监控不准确问题
• 数据安全：修复为新用户授予数据权限时，多选对象执行操作报 SQL 错误的问题。
• 计量计费：修复 CRU 计量数据展示的正确性问题。

已知局限

• 仅离线集成任务支持脏数据管理功能。