2024年12月12日 Lakehouse Studio 产品更新发布说明

本次发布（Release 2024.12.12, v1.5）引入了一系列新功能、增强特性以及修复项。请注意，这些更新将分阶段逐步推送至以下区域，更新将在发布日起一周至两周内完成，具体时间依据您所在的区域而定。

• 腾讯云北京区
• 腾讯云上海区
• 腾讯云广州区
• 阿里云上海区
• 阿里云新加坡区
• 亚马逊云北京区
• 亚马逊云新加坡区

不兼容改动

• 权限变更：本次发布进行了细粒度的权限管控优化。原有的 instance_sre 和 workspace_sre 角色，不再具备所有工作空间的任务开发和发布权限，权限收缩为只读。调整后，仅 workspace_admin 和 workspace_dev 角色，才可以在工作空间内创建、编辑、配置调度属性和提交发布。此调整不影响原有角色的账号对数据的访问权限，也不影响周期调度任务的正常执行。
• 数据质量：质量校验结果数据调整为最多保留3个月。

新功能特性

• 产品全局：支持对 Databricks 任务节点（SQL 和 Notebook）进行白屏化的开发、调度编排和运维监控。
• 数据源：增加Amazon Redshift数据源，支持通过离线同步任务写入数据。
• 数据同步：统一资源池，在任务中支持配置使用同步型计算集群。
• 任务开发：为离线同步任务的调度依赖和任务产出增加智能解析功能。
• 监控告警：新增支持对周期任务实例调度运行延迟指标进行监控告警。
• 计算集群：新增同步型计算集群，可在离线和实时数据同步任务中选择使用。

优化改进

• 产品全局：优化了内置角色的产品功能权限点。基于最新的内置角色，调整了产品不同功能场景（包括工作空间、开发、任务运维、数据源、集群、作业历史等）内的功能权限限制。
• 账户中心：优化了账户首页近30天计费账单的柱状图显示。
• 数据同步：针对源表字段数多于目标表字段数的场景，支持列出源表的冗余字段。
• 数据同步：离线同步任务配置中，字段映射默认调整为列名同名映射。
• 数据同步：多表实时同步，镜像同步模式下，默认不选中所有的库表。
• 任务开发：页面加载优化，解决因打开离线集成、任务组DAG导致页面卡顿的问题。
• 任务开发：任务组DAG增加横向视图模式，优化任务排列页面利用率。
• 任务开发：优化了在开发带参数运行代码时，因参数名称过长导致参数值输入异常的问题。
• 运维中心：实例运维的搜索框，支持按任务名称搜索临时实例。
• 运维中心：优化了离线同步任务日志信息，透出完整错误日志，以辅助定位问题的关键信息。
• 计算集群：支持更细粒度的规格调整，以提高资源利用率。资源规格的表达从 XSmall、Large 等代码变更为数字形式，单位为 CRU（Compute Resource Unit），例如：1CRU、2CRU 等。

缺陷修复

• 数据同步：修复了多表实时同步任务在其他页面被删除后报错的问题；任务删除后默认跳转至新页面。
• 数据同步：修复了离线同步任务中，tar.gz文件导入成功但数据不正确的问题。
• 任务开发：修复了运维中心实例详情页面中，当任务血缘层级特别多时，点击「错误状态」类别后定位失效的问题。
• 任务开发：修复了任务开发界面内，调度参数与外置参数互相影响的问题。

已知局限

• 同步型计算集群暂不支持查询集群上的负载和用量情况。