2025年10月30日 — 1.3 Lakehouse Platform 产品更新发布说明
本次发布(Release 2025.10.30),我们引入了一系列新功能、增强特性以及修复项。这些更新将分阶段逐步推送至以下区域,预计在发布日起一周至两周内完成。具体时间依据您所在的区域而定。
国内区域
- 阿里云(上海)
- 腾讯云(上海/北京/广州)
- 亚马逊云(北京)
国际区域
- 阿里云(新加坡)
- AWS(新加坡)
新功能特性
SQL 相关更新
增量计算能力增强:
- Dynamic Table 现已支持按任意分区进行刷新,提升了数据处理的灵活性和效率。参考链接
- 新增
undefined数据类型支持:
- 现已全面支持
BITMAP数据类型。这使得在进行大规模数据集的精确去重计算(如 UV 统计)和用户画像分析(如人群圈选)时,能够获得显著的性能提升和存储优化。参考链接
3. 新增内置函数
trans_array: 用于高效处理嵌套数组,可替代split+explode的复杂操作,简化数据处理逻辑。参考链接regexp_instr: 新增正则表达式匹配函数,用于查找模式在字符串中出现的位置,与 Spark 兼容。参考链接regexp_count: 新增正则表达式计数函数,用于计算模式在字符串中出现的次数。参考链接
4. 语法及 DDL/DML 增强
-
QUALIFY: 用于在 SELECT 语句中对窗口函数的结果进行过滤。参考链接 -
命令功能扩展:
DESC CATALOG的输出结果中新增conneciton_name字段,方便识别和管理。DESC FUNCTION现已支持展示函数的comment(注释),提升了函数的可读性和易用性。
-
函数扩展:
EXTRACT函数现已支持QUARTER(季度)时间部分,可以更方便地按季度进行日期和时间分析。 -
SHOW命令增强:针对PIPE对象支持SHOW PIPES IN WORKSPACE <workspace_name>可以列出当前工作空间下所有的PIPE对象
AI 功能更新:
- 【邀测】Semantic View: 正式推出了“语义视图(Semantic View)”的创建功能。Semantic View 旨在将底层复杂的物理数据模型,通过业务人员易于理解的维度、指标等语义化概念进行封装。该功能目前属于邀测阶段。
- Lakehouse MCP Server 增强:
- 为了提升 AI 相关功能的开发与调试效率,我们对本地 MCP Server 工具数量扩充至 63个。让用户在使用 MCP 客户端连接 Lakehouse 时,更高效、全面地与 Lakehouse 进行交互和管理。参考链接
数据开放性:
全面增强 Iceberg 生态双向集成能力:本次更新全面打通了与外部 Iceberg 生态的连接,极大地提升了平台的开放性和数据联邦能力。
- 对外开放数据,提供标准 Iceberg REST Catalog 服务:Lakehouse 现已提供标准的 Apache Iceberg Catalog REST API 接口。这意味着外部计算引擎(如 Apache Spark等)可以通过这一行业标准协议,直接访问和查询存储在 Lakehouse 中的 Iceberg 表。用户可以在保持数据统一存储的同时,灵活选择不同的计算引擎进行数据分析。参考链接
- 访问外部数据,支持通过 Iceberg REST 方式访问外部 Catalog:通过外部 Catalog 集成功能,Lakehouse 现在可以连接并访问如 Snowflake OpenCatalog 中的 Iceberg 数据表。用户可以在Lakehouse ,无缝查询和分析存储在 Snowflake 生态中的数据,实现了跨云、跨平台的数据联邦查询。参考链接
功能改进
联系我们
