私有存储(BYOS)

一、功能概述

私有存储BYOS(Bring Your Own Storage)功能允许您使用自己的对象存储服务作为ClickZetta Lakehouse的数据存储位置。通过此功能,您可以:

  • 在Web界面完成私有存储配置,无需复杂的技术操作;
  • 将工作空间数据存储在您自己云平台账号管理的对象存储中;
  • 自主管理存储成本和存储策略。

二、适用场景

BYOS功能适合以下场景:

  1. 数据合规要求:需要将数据存储在自有云账号的对象存储内,以满足合规要求;
  2. 数据主权:需要完全掌控数据的存储位置和访问权限;
  3. 混合部署:部分工作空间使用托管存储,部分合规要求高的工作空间使用自有存储。

三、前置准备

3.1 创建存储桶(Bucket)

在配置BYOS前,您需要先创建符合要求的存储桶:

必须满足的条件:

配置项要求说明
所属区域与Lakehouse实例同一云厂商、同一Region避免跨区域传输费用
存储类型标准存储不要使用低频或归档存储,避免产生额外访问费用
读写权限私有(私有读写)确保数据安全
独占使用专用于Lakehouse不可与其他业务系统共用,避免数据冲突

存储桶(bucket)建议配置:

配置项建议值说明
存储冗余按需选择本地冗余存储可满足基本需求;高可用要求可选同城冗余。
版本控制关闭Lakehouse已自行管理数据版本,开启可能产生额外费用。
服务端加密关闭Lakehouse会根据工作空间配置,对部分数据单独开启加密。全局开启加密可能影响读写性能。
生命周期规则不配置Lakehouse自行管理文件生命周期。

3.2 创建访问策略

您需要为ClickZetta Lakehouse子账号授权访问您的存储桶。具体的授权策略详见——

四、配置步骤

步骤1:进入私有存储管理

  1. 登录ClickZetta Lakehouse控制台
  2. 进入【管理】→【更多】→【私有存储】页面
  3. 点击【+新建】按钮

步骤2:填写存储信息

在弹出的配置窗口中填写:

1)名称【必填】:以字母(AZ、az)或下划线(“_”)开头,长度为3~28个字符。须在您的服务实例内唯一。保存后不可更改。

2)主账号【必填】:输入您在云平台中的账号ID,以便调用云平台接口时使用您授权的角色和Bucket。可在登录云平台账号后找到并复制。

阿里云:

腾讯云:

3)Bucket名称【必填】:输入您希望使用的Bucket名称,或者Bucket名称+路径。Bucket名称+路径的写法示例为:

bucket_name/subpath

4)描述【非必填】:对私有存储的描述,可帮助使用者了解该私有存储的业务用途,避免误操作。

完成上述信息的填写后,点击“确定”按钮,即完成私有存储的创建。

一个Lakehouse服务实例下可以创建多个私有存储。

步骤3:校验配置

创建完成后,私有存储的默认连通状态为“失败”,需要点击私有存储右侧的“测试联通”按钮,测试私有存储的连通性。Lakehouse测试连通性时将进行的操作是:使用Lakehouse在云平台的账号调用同云平台同region的HeadBucket/GetBucketInfo等相似功能的接口,确认:

  • 存储桶(Bucket)是否存在;
  • 所在地域是否正确;
  • 访问权限是否配置正确。

校验通过后,列表中该私有存储的连接状态变为“成功”。

步骤5:关联工作空间

在创建新的工作空间时,可使用已有的私有存储作为该工作空间的存储位置。

1)在新建工作空间弹窗中,点击并展开【高级设置】;

2)打开私有存储开关,选择已有的私有存储位置。一个私有存储位置可以关联多个工作空间。多个工作空间的数据会在该存储桶(bucket)下的子路径中区分开,不会互相影响。

3)点击“确定”完成工作空间创建。

五、重要限制

5.1 功能限制

  • 工作空间关联存储后不可更改
  • 已关联工作空间的私有存储位置不可删除,须先删除工作空间后才可删除。

5.2 区域限制

  • 仅支持同一云厂商、同一Region的存储桶;
  • AWS环境需确保在同一可用区,避免跨区流量费用。

5.3 责任边界

  • 使用私有存储时,私有存储指向存储桶(bucket)的可用性和可靠性由您自行负责;
  • 非经由ClickZetta操作造成的数据问题需由您自行承担。

5.4 费用说明

使用BYOS后:

  • ClickZetta不再收取私有存储中的存储容量费用,仍继续收取其他托管存储位置中的存储费用。
  • 您需直接向云厂商支付:
    • 存储容量费用
    • API访问费用
    • 公网流量费用(如有)
  • 日志和临时文件将占用您的存储空间

5.5 性能注意

  • 存储性能直接影响Lakehouse运行效率
  • 需确保存储服务的QPS和带宽满足需求
  • 避免与其他业务争抢存储资源

六、常见问题

Q1: 可以将现有工作空间迁移到BYOS吗

A: 不可以。工作空间的存储位置一旦确定就不能更改。

Q2: 一个存储桶可以被多个工作空间使用吗

A: 可以。一个BYOS配置可以关联多个工作空间,但建议根据实际需求合理规划。

Q3: 使用BYOS后,ClickZetta还会产生哪些存储

A: 查询缓存、临时文件等会存储在您的存储桶中,这部分会占用一定容量。

联系我们
预约咨询
微信咨询
电话咨询