2025年07月15日 — 1.2 Lakehouse Platform 产品更新发布说明
本次发布(Release 2025.07.15),我们引入了一系列新功能、增强特性以及修复项。这些更新将分阶段逐步推送至以下区域,预计在发布日起一周至两周内完成。具体时间依据您所在的区域而定。
国内区域
- 阿里云(上海)
- 腾讯云(上海/北京/广州)
- 亚马逊云(北京)
国际区域
- 阿里云(新加坡)
- AWS(新加坡)
新功能特性
Spark On Lakehouse 产品化【邀测】
- Volume 文件引用支持: 提交 Spark 任务时可使用 Volume 地址引用程序文件和依赖文件
- 存储集成: 支持 Spark 读写 Lakehouse 存储,兼容 Lakehouse Catalog 和内表读写
- 作业历史集成: Spark 作业在 Studio 作业历史中透出展示
- Lakehouse Studio 集成:新增单租服务、作业监控与管理API,强化端到端管控能力
安全与权限增强
- Kerberos 认证: HDFS 连接支持 Kerberos 认证,提升企业级安全性。请参考 CREATE EXTERNAL CATALOG 案例四
倒排索引功能优化
- multi-match 查询: 支持多字段查询 multi match,包括 fields、crossfields、minimum_should_match 等配置。请参考 multi-match 功能
- 相似算法参数调整: 支持调整 BM25 相似算法的参数 k1、b 值,请参考 倒排索引 BM25 参数调优
生态接入:
- Lakehouse 新增外部目录(EXTERNL CATALOG)支持,兼容 Iceberg REST 协议,现可直连 Snowflake Open Catalog 等服务。请参考 访问 Snowflake OpenCatalog 的 Iceberg 表
问题修复
SQL引擎修复
- IFNULL函数: 修复
select if null
返回值问题 - 动态表字段类型: 支持创建 Dynamic Table 时手动指定字段类型
- 表注释复制: 修复
create table like
不复制源表comment
的问题
性能优化
- 元数据性能: PIPE(COPY SQL)场景导入时不收集 column stats,提升COMMIT效率
- Meta Cache: 增加 Meta Cache 的自适应缓存策略
- HDFS写入: 解决写入 HDFS 外表的Java客户端兼容性问题
用户体验改进
- information_schema: 修复
information_schema.tables
视图中同名表显示多条的问题 - Job Profile: 增强 job profile 信息展示,支持子作业信息透出
联系我们