2024年12月12日 Lakehouse Studio 产品更新发布说明

本次发布（Release 2024.12.12, v1.5），我们引入了一系列新功能、增强特性以及修复项。请注意，这些更新将分阶段逐步推送至以下区域，更新将在发布日起一周至两周内完成，具体时间依据您所在的区域而定。

• 腾讯云北京区
• 腾讯云上海区
• 腾讯云广州区
• 阿里云上海区
• 阿里云新加坡区
• 亚马逊北京区
• 亚马逊云新加坡

不兼容改动

• 权限变更：本次发布进行了细粒度的权限管控优化。原有的instance_sre和workspace_sre角色，不再具备所有工作空间的任务开发和发布权限，权限收缩调整为只读。调整后，仅workspace_admin和workspace_dev角色，才可以在工作空间内创建、编辑、配置调度属性和提交发布。此调整不影响原有角色的账号对数据的访问权限、不影响周期调度任务的正常执行。
• 数据质量：质量校验结果数据调整为最多保留3个月。

新功能特性

• 产品全局：支持对Databricks任务节点（SQL和Notebook）的白屏化的开发、调度编排和运维监控。
• 数据源：增加Amazon Redshift数据源，支持通过离线同步任务写入数据。
• 数据同步：统一资源池，在任务中支持配置使用同步型计算集群。
• 任务开发：离线同步任务的调度依赖和任务产出，增加智能解析功能。
• 监控告警：新增支持对周期任务实例调度运行延迟指标进行监控告警。
• 计算集群：新增同步型计算集群，可在离线和实时数据同步任务中选择使用。

优化改进

• 产品全局：内置角色具备的产品功能权限点调整优化。基于最新内置角色调整产品不同功能场景内的功能权限限制，包括工作区、开发、任务运维、数据源、集群、作业历史等。
• 账户中心：优化账户首页的计费账单近30天柱图显示优化。
• 数据同步：针对源表字段个数多于目标表字段个数的场景下，支持列出源表的多余字段。
• 数据同步：离线同步任务配置，字段映射默认调整为列名同名映射。
• 数据同步：多表实时同步，镜像同步模式下，默认不选中所有的库表。
• 任务开发：页面加载优化，解决因打开离线集成、任务组DAG导致页面卡顿的问题。
• 任务开发：任务组DAG增加横向视图模式，优化任务排列页面利用率。
• 任务开发：优化开发带参数运行代码时，参数名称过长导致取值输入异常的场景。
• 运维中心：实例运维搜索框，支持按任务名搜索临时实例。
• 运维中心：离线同步任务日志信息优化，透出完整错误日志，辅助定位问题关键信息。
• 计算集群：计算集群规格支持更细粒度的规格调整，提高资源利用率。资源规格表达从XSmall、Large等代码变更为以数字形式的表达，单位为CRU（Compute Resource Unit）如：1CRU、2CRU等。

缺陷修复

• 数据同步：修复多表实时同步在其他页面被删除后页面报错的问题，当页面被删后默认跳转至新页面。
• 数据同步：修复离线同步，tar.gz文件导入成功，但是数据不正确的问题。
• 任务开发：修复运维中心实例详情页面任务血缘层级特别多时，点击「错误状态」类别后，定位失效的问题。
• 任务开发：修复任务开发内，调度参数与外置参数互相影响的问题。

已知局限

• 同步型计算集群，暂不支持查询集群上的负载和用量情况。