2025年10月30日 — 1.3 Lakehouse Platform 产品更新发布说明

本次发布(Release 2025.10.30),我们引入了一系列新功能、增强特性以及修复项。这些更新将分阶段逐步推送至以下区域,预计在发布日起一周至两周内完成。具体时间依据您所在的区域而定。

国内区域

  • 阿里云(上海)
  • 腾讯云(上海/北京/广州)
  • 亚马逊云(北京)

国际区域

  • 阿里云(新加坡)
  • AWS(新加坡)

新功能特性

SQL 相关更新

增量计算能力增强:

  1. Dynamic Table 现已支持按任意分区进行刷新,提升了数据处理的灵活性和效率。参考链接
  2. 新增 undefined 数据类型支持
  • 现已全面支持 BITMAP 数据类型。这使得在进行大规模数据集的精确去重计算(如 UV 统计)和用户画像分析(如人群圈选)时,能够获得显著的性能提升和存储优化。参考链接

3. 新增内置函数

  • trans_array: 用于高效处理嵌套数组,可替代 split + explode 的复杂操作,简化数据处理逻辑。参考链接
  • regexp_instr: 新增正则表达式匹配函数,用于查找模式在字符串中出现的位置,与 Spark 兼容。参考链接
  • regexp_count: 新增正则表达式计数函数,用于计算模式在字符串中出现的次数。参考链接

4. 语法及 DDL/DML 增强

  • QUALIFY : 用于在 SELECT 语句中对窗口函数的结果进行过滤。参考链接

  • 命令功能扩展:

    • DESC CATALOG 的输出结果中新增 conneciton_name 字段,方便识别和管理。
    • DESC FUNCTION 现已支持展示函数的 comment(注释),提升了函数的可读性和易用性。
  • 函数扩展: EXTRACT 函数现已支持 QUARTER(季度)时间部分,可以更方便地按季度进行日期和时间分析。

  • SHOW 命令增强:针对PIPE对象支持 SHOW PIPES IN WORKSPACE <workspace_name> 可以列出当前工作空间下所有的PIPE对象

AI 功能更新

  1. 【邀测】Semantic View: 正式推出了“语义视图(Semantic View)”的创建功能。Semantic View 旨在将底层复杂的物理数据模型,通过业务人员易于理解的维度、指标等语义化概念进行封装。该功能目前属于邀测阶段
  2. Lakehouse MCP Server 增强:
  • 为了提升 AI 相关功能的开发与调试效率,我们对本地 MCP Server 工具数量扩充至 63个。让用户在使用 MCP 客户端连接 Lakehouse 时,更高效、全面地与 Lakehouse 进行交互和管理。参考链接

数据开放性

全面增强 Iceberg 生态双向集成能力:本次更新全面打通了与外部 Iceberg 生态的连接,极大地提升了平台的开放性和数据联邦能力。

  1. 对外开放数据,提供标准 Iceberg REST Catalog 服务:Lakehouse 现已提供标准的 Apache Iceberg Catalog REST API 接口。这意味着外部计算引擎(如 Apache Spark等)可以通过这一行业标准协议,直接访问和查询存储在 Lakehouse 中的 Iceberg 表。用户可以在保持数据统一存储的同时,灵活选择不同的计算引擎进行数据分析。参考链接
  2. 访问外部数据,支持通过 Iceberg REST 方式访问外部 Catalog:通过外部 Catalog 集成功能,Lakehouse 现在可以连接并访问如 Snowflake OpenCatalog 中的 Iceberg 数据表。用户可以在Lakehouse ,无缝查询和分析存储在 Snowflake 生态中的数据,实现了跨云、跨平台的数据联邦查询。参考链接

功能改进

  1. 数据导入命令功能增强

    COPY OVERWRITE 命令现已支持将查询结果直接输出到单个文件中。这简化了数据导出的流程,特别适用于需要将分析结果打包归档或交付的场景。参考链接

  2. 用户自助管理与工作空间

    BYOS 自助配置: 针对 BYOS(Bring Your Own Storage)场景,上线了白名单自助化配置流程,简化了用户的接入和管理成本。参考链接

联系我们
预约咨询
微信咨询
电话咨询