数据湖管理与分析
云器 Lakehouse 通过 Volume 对象统一管理文件存储,支持内部托管存储(User Volume、Table Volume、Named Volume)和外部对象存储挂载(OSS / COS / S3),并提供直接查询、导入导出、权限管控的完整能力。
对于已有数据湖的企业,可以直接挂载原有对象存储,无需迁移数据,通过
SELECT FROM VOLUME 或 COPY INTO 即可在 Lakehouse 中查询和处理数据湖文件。
本章内容
| 页面 | 说明 |
|---|---|
| 数据湖概述 | Volume 体系架构、内部与外部 Volume 的定位与选型 |
| 存储连接(STORAGE CONNECTION) | 创建和管理对象存储认证配置(OSS / COS / S3 / Hive / Kafka) |
| 数据湖 Volume 对象 | Volume 对象管理:内部 Volume(User / Table / Named)和外部 Volume 的创建与操作 |
| 对象存储中的数据导入导出 | 本地文件上传下载(PUT / GET)、从 Volume 导入到表(COPY INTO TABLE)、从表导出到 Volume(COPY INTO VOLUME) |
| 数据湖 Volume 查询分析 | 直接查询 Volume 中的 CSV / JSON / Parquet 文件,处理非结构化数据,调用 AI 能力 |
| 数据湖权限 | Volume 和 Storage Connection 的权限管理 |
快速选型
我没有云存储,想临时存文件 → 使用 User Volume,系统自动创建,无需配置,直接 PUT 上传文件
我有 OSS / S3 / COS,想直接查询里面的数据 → 创建 Storage Connection → 挂载 External Volume →
SELECT FROM VOLUME
我想把对象存储的文件批量导入到 Lakehouse 表 → 从 Volume 导入数据到表(COPY INTO TABLE)
我想把 Lakehouse 表数据导出到对象存储 → 导出数据到 Volume(COPY INTO VOLUME)
我想用 Python 操作 Volume 文件 → Zettapark Volume 与文件操作
联系我们
