2025年05月20日 Lakehouse Studio 产品更新发布说明

本次发布(Release 2025.05.20),我们引入了一系列新功能、增强特性以及修复项。请注意,这些更新将分阶段逐步推送至以下区域,更新将在发布日起一周至两周内完成,具体时间依据您所在的区域而定。

  • 腾讯云上海区
  • 腾讯云北京区
  • 腾讯云广州区
  • 阿里云上海区
  • 阿里云新加坡区
  • 亚马逊云新加坡区
  • 亚马逊云北京区

不兼容改动

新功能特性

管理中心

  • 账户管理:新增实名认证功能,支持个人认证、企业认证2种认证方式。
  • 账户资金:新增现金账户用于账号下账单费用的支付,账户余额随充值、账单出账变化,可查询余额交易明细;支持线上微信、支付宝充值,线下对公转账方式充值。
  • 代金券:优化代金券功能,支持查询代金券抵扣明细、余额、有效期等。

数据同步

  • 离线同步:导出到AWS S3上的csv文件,新增支持按制表符分割。
  • 离线同步:对目标端Lakehouse一键建表,新增支持自动感知源端主键表的PK字段并在建表语句中体现。
  • 实时同步:支持自定义扩展字段、并设定为联合主键,用于对源端数据进行额外标识场景。
  • 实时同步:在任务详情监控页面,新增展示源端需要全量同步的数据行数,便于判断整体数据量和同步进展。

任务开发

  • 任务组:新增任务组内添加下游节点、可视化图表增加分桶能力、全量下载历史管理的功能点,帮助您更高效地管理任务、分析数据和获取结果。具体功能点如下。
  • 任务组:任务组新增支持基于某个节点批量添加其任务血缘链路中的下游子节点。支持添加一层、全部层级、及自定义层级多种添加方式。*注意:任务血缘链路指的是已提交发布之运维中心的任务链路。
  • 任务查询结果:运行结果的可视化图表X轴增加分桶能力,针对时间日期类型,支持按年、月、日等时间单位灵活聚合数据。
  • 全量下载:新增全量数据下载历史管理。点击下载后可查看近3天的下载记录,待下载链接生成后可点击下载。下载链接最多保留1个小时。

运维中心

  • 周期任务列表:周期任务列表中新增透出当前周期任务里最近一次实例的运行时间和状态信息。

监控告警

  • 新增对实时同步任务是否正常消费处理数据的健康度状况监控(基于CheckPoint)。

优化改进

  • 产品全局:全局页面设计优化,调整页面基于浏览器宽度的自适应能力。
  • 计费账单:在日账单中增加现金支付、代金券抵扣、未结清金额字段,可查看当前账单支付信息。
  • 数据同步:优化离线同步页面加载性能,提升页面响应速度和操作流畅度。
  • 数据同步:离线集成任务字段映射时,支持手动选择字段并复制字段信息。
  • 数据同步:SLS离线数据集成支持传参来指定数据消费的开始时间和结束时间。
  • 数据同步:离线同步优化Kafka作为源端时,命名空间的选择行为方式。
  • 数据同步:单表实时同步新建数据源时,只列出可选择的可实时读的数据源。
  • 任务开发:任务组内操作体验优化,包括编辑画布体验优化,如快捷操作方式、页面整体布局、新增运维跳转等,以及移动添加任务组节点的提示体验等。
  • 任务开发:SQL任务数据结果表格列设置增加搜索能力,可支持快速搜索过滤列信息呈现。
  • 任务开发:优化数据查询结果未查到任何字段值信息时,可视化图表区域的行为提示。
  • 任务开发:在数据树上选择数据表点击查询时,若当前脚本光标在非实现区域时,查询信息插入时会自动定位至代码区域。
  • 任务开发:数据查询结果,在数据量特别大时优化页面展示渲染慢的交互行为。
  • 任务开发:任务参数配置弹窗支持直接修改保存能力,配置完参数信息点击保存会直接保存当前脚本的代码和参数信息。
  • 任务开发:参数取值框优化,当字段信息过长时换行展示全部信息。
  • 任务开发:集群选择区域增加跳转至集群管理页面的入口。
  • 任务开发:数据查询结果,对千分位的逗号展示做细化处理。
  • 数据目录:数据详情预览功能优化,支持用户选择当前实例下可使用的所有集群信息进行数据预览。
  • 数据目录:数据管理表详情页新增强制刷新功能,支持用户手动刷新表详情页面获取元数据的最新信息。
  • 数据上传:优化数据上传后端性能,提升文件上传响应速度。
  • 运维中心:优化实例重跑的默认配置,默认选中包含当前节点。
  • 数据质量:新建质量规则时自动填充当前工作空间并禁用当前工作空间的切换选择。
  • 数据质量:在页面强化透出质量规则ID便于在名称相同/相近时辅助区分。
  • 数据质量:质量规则的校验内容中,展示出规则类型和校验详情。

缺陷修复

  • 数据同步:修复PostgreSQL数据源bit和varbit类型的数据增量同步结果不正确的问题。
  • 任务开发:修复任务参数取值来源从任务组参数切换到任务参数时,取值没有联动切换的问题。
  • 数据目录:修复自定义服务用户在授权页面不可见不可选择的问题。

已知局限

  • 本次版本更新无已知的新增的重大局限。

联系我们
预约咨询
微信咨询
电话咨询