2023年11月9日 Lakehouse Studio 产品更新发布说明

概览

本次更新（Release 2023.11.09, v0.4）旨在为您提供更优质的使用体验，新增了一系列实用功能、增强现有功能并修复了部分问题。更新将分阶段逐步推送至以下区域：

• 腾讯云上海区
• 阿里云上海区
• 阿里云新加坡区

注意：更新将在发布日起一周至两周内完成，具体时间依据您所在的区域而定。

更新内容

不兼容的变更

1. 全局更新：为了提高系统的稳定性和安全性，我们对多region域名和网关进行了改造，现在统一使用中心管控。请注意，登录域名和URL已发生变化。
2. 账户安全：新增账户登录安全锁定机制，若连续登录失败次数达到10次，账户将被临时锁定1分钟。

新增功能

1. 产品首页升级：全新的用户引导和关键指标展示区域，帮助您快速了解核心功能并直接访问常用工作空间。

   • 全新首页

2. 数据集成预览：现支持PostgreSQL和MySQL数据库的实时整库镜像同步功能，包括任务创建、运行及基础监控和运维。

   • 数据集成同步

3. 数据集成增强：新增对String类型字段的多并发切分键支持，提升了数据处理的灵活性。

4. 数据管理扩展：将单个文件的最大上传尺寸提升至2GB，方便处理更大规模数据。

   • 数据上传扩展

5. 工作空间加密：新增存储加密功能，可在创建工作空间时选择配置。一旦启用，该工作空间下的数据将默认使用AES-256算法加密，且该设置不可更改。

   • 存储加密配置

6. 运维中心优化：周期任务详情和实例详情页面进行了优化，提供更直观的信息展示方式。实例详情图支持按多种条件分组聚合呈现。

   • 
     

     预览

7. 精细化补数据功能：新增补数据功能，允许用户细粒度控制当前节点和下游节点的数据补充。

   • 
     

     预览

8. 监控告警联动：告警事件状态将与任务实例状态联动，当实例恢复成功状态后，告警事件将自动关闭。

   • 
     

     预览

9. 数据质量规则列表：新增质量规则列表页面，方便查看和管理所有配置的质量规则，并支持试跑、编辑等操作。

   • 质量规则列表

10. 质量规则定时触发：新增支持更多触发频次，如一天多次、每周一次等。

• 
  

  预览

优化改进

1. 任务开发搜索：任务树新增搜索过滤功能，可通过任务名称关键词进行搜索，快速定位所需任务。

   • 任务搜索过滤

2. SQL脚本任务优化：自动为SQL脚本任务查询语句增加limit限制，并在运行按钮上显示，最大支持limit 10000。

   • 
     

     预览

3. 调度稳定性加固：优化调度逻辑，包括实例生成和执行队列，提升任务调度的稳定性。

4. 运维中心列表优化：任务列表和实例列表展示信息进行了优化，支持用户个性化设置。

   • 
     

     预览

5. 计算集群页面优化：计算集群列表和详情页面进行了优化，提供用量消耗等指标，并支持自定义列。

   • 
     

     预览

6. 数据管理性能提升：优化目录树加载展示性能，提升处理海量节点的效率。

7. 自定义SQL优化：代码长度上限提升至5000行，满足更复杂的SQL编写需求。

8. 安全中心权限简化：授权时支持使用all关键字，简化权限授予流程。

9. 工作空间角色简化：工作空间管理员角色（workspace_admin）已具备空间内全部权限，无需额外授予其他角色。

缺陷修复

1. 数据集成：修复了分区表分区字段映射常量字段的问题。
2. 数据集成：解决了OSS文件后缀非.txt时同步失败的问题。
3. 任务开发：解决了页面长时间开启后偶发的内存泄漏导致的页面Crash问题。
4. 任务调度：修复了补数据成功后页面展示任务状态仍为失败的问题。
5. 监控告警：修复了飞书报警场景下偶发报警丢失的情况。