云器Lakehouse计费说明
1. 计费方式概述
云器Lakehouse是基于云原生建设的一体化数据平台,平台会记录你在数据集成、数据分析、存储和网络传输等场景下消耗的资源,并按照计算、存储、网络三种类型,根据服务发生的云平台和地域,向您收取相应的费用。
云器Lakehouse的计费主要基于以下几个方面:
- 计算资源:计算资源的计费单元为CRU*时,1CRU*时代表在每个云平台的每个服务区域以同样的算力运行1小时。你在云器Lakehouse使用同步型、分析型、通用型计算集群所进行数据集成或数据分析,使用Python、Shell脚本处理的任务,以及系统自动处理的自动物化视图(Auto_MV)、数据压缩、作业任务调度等操作均会产生计算资源的使用。我们会根据实际消耗的算力使用量进行计量计费。
- 存储资源:存储资源的计费单元为GiB,根据你在云器Lakehouse上实际使用的存储容量进行计费。以下场景会占用存储容量: 1)在Lakehouse中以表、物化视图等形式存储的数据; 2)数据表生命周期内已删除但未清理的数据; 3)查询结果的缓存。其中第2、第3项当前仅计量,暂免收费。
- 数据传输:数据传输的计费单元为GB,根据数据传输的量进行计费。以下场景会产生数据传输费用:通过公网的数据查询,数据查询结果的全量下载,以云器Lakehouse为数据源向其他数据源传输数据。数据传输流量可能通过Internet、跨VPC的网络连接、专线或者其他网络连通方式产生。其中针对Internet网络流量,仅计量从云器Lakehouse流出的数据传输量,上传数据至云器Lakehouse不收费。
2. 计费方式
按需计费
在云器Lakehouse中,各类资源均是灵活扩展、按需使用的,你只需按照实际使用的资源量进行付费。其中:
计算资源计费按秒统计每一台计算集群实例的开机至关机的时间,按照CRU进行计量,并换算成法定货币为单位的账单,当计算集群的开机到关机时间不满1分钟时,会按照1分钟进行计量计费,因此,请谨慎配置计算集群的“自动关闭”时间,避免因自动关闭时间+作业执行时间小于1分钟,产生不必要的费用;
存储资源以全天所有数据(包含数据表当前数据、历史版本数据,查询结果缓存等)存储容量的平均值计费;
网络传输费用按照实际产生的网络流量计费,其中Internet网络流量费用以流出Lakehouse方向的流量计费。
由于不同云平台、不同区域下,资源的价格不同,计算、存储和网络每单位的单价也会存在差异。具体价格请参考“云器Lakehouse价格表”,以系统内实际账单为准。
你可以通过“管理中心”-“计费账单”页面查看资源使用情况及费用明细。其中计算资源和数据传输费用每小时进行一次计量和扣费,存储资源以全天24小时采样的容量平均值,每天进行一次计量和扣费。
包年预付费
云器Lakehouse也可为企业客户提供指定资源规格,按年预付费的计费方式。包年预付费时,计算和存储资源的单价可提供相应折扣。详情请联系云器销售人员。
3. 计费原理
3.1 计算资源计费
计算资源的计费项包括:通用型计算集群、分析型计算集群、同步型计算集群、调度任务和serverless作业5种。各计费项的计费原理如下:
- 通用型计算集群
当通用型计算集群启动至“运行中”状态,即开始根据集群的规格大小和实例数,产生对应的CRU消耗,当该计算集群进入“停止中”状态,则停止产生CRU消耗。
通用型计算集群的规格及对应的每小时CRU消耗如下:
计算集群规格 | 每小时CRU消耗(CRU*时) |
---|---|
1 | 1 |
2 | 2 |
3 | 3 |
4 | 4 |
5 | 5 |
... | ... |
256 | 256 |
- 分析型计算集群
分析型计算集群的计费原理与通用型计算集群相同,从“运行中”状态的开始时间开始计量,直至进入“停止中”状态。
分析型计算集群在规格的基础上,增加了“实例”的弹缩。当通过自动弹缩扩容出1个实例,即会增加一个同等规格计算集群的消耗。
下表为分析型计算集群1到5个实例时,每小时CRU消耗,更多实例数以此类推:
计算集群规格 | 1个实例 每小时消耗 | 2个实例 每小时消耗 | 3个实例 每小时消耗 | 4个实例 每小时消耗 | 5个实例 每小时消耗 |
---|---|---|---|---|---|
1 | 1 CRU*时 | 2 CRU*时 | 3 CRU*时 | 4 CRU*时 | 5 CRU*时 |
2 | 2 CRU*时 | 4 CRU*时 | 6 CRU*时 | 8 CRU*时 | 10 CRU*时 |
4 | 4 CRU*时 | 8 CRU*时 | 12 CRU*时 | 16 CRU*时 | 20 CRU*时 |
8 | 8 CRU*时 | 16 CRU*时 | 24 CRU*时 | 32 CRU*时 | 40 CRU*时 |
16 | 16 CRU*时 | 32 CRU*时 | 48 CRU*时 | 64 CRU*时 | 80 CRU*时 |
32 | 32 CRU*时 | 64 CRU*时 | 96 CRU*时 | 128 CRU*时 | 160 CRU*时 |
64 | 64 CRU*时 | 128 CRU*时 | 192 CRU*时 | 256 CRU*时 | 320 CRU*时 |
128 | 128 CRU*时 | 256 CRU*时 | 384 CRU*时 | 512 CRU*时 | 640 CRU*时 |
256 | 256 CRU*时 | 512 CRU*时 | 768 CRU*时 | 1024 CRU*时 | 1280 CRU*时 |
- 同步型计算集群
同步型计算集群主要用于提交离线集成和实时集成任务。多个集成任务可提交至同1个同步型计算集群中,以复用资源。同步型计算集群的计费原理与通用型计算集群相同,从“运行中”状态的开始时间开始计量,直至进入“停止中”状态。当前“同步型计算集群”处于试运行状态,暂时以同步型计算集群中执行的数据集成作业为单位,分别计入至“离线集成”和“实时集成”两个计费项中。“同步型计算集群”正式运行后,数据集成费用合并至同步型计算集群计费项中。
同步型计算集群的规格及对应的每小时CRU消耗如下:
计算集群规格 | 每小时CRU消耗 |
---|---|
0.25 | 0.25 CRU*时 |
0.5 | 0.5 CRU*时 |
1 | 1 CRU*时 |
2 | 2 CRU*时 |
3 | 3 CRU*时 |
4 | 4 CRU*时 |
5 | 5 CRU*时 |
... | ... |
256 | 256 CRU*时 |
- 任务调度
任务调度包含两个场景:运行python、shell等脚本,以及离线或实时数据集成任务中的作业提交和调度管理。
运行python、shell等脚本时,系统会根据脚本运行的资源配置,启动对应的计算资源。以启动执行脚本的计算资源为开始,脚本执行结束为终止,计量这个时间段内使用的计算资源,以CRU*时为单位生成计费账单。 在离线数据集成任务运行时,云器Lakehouse会提供少量计算资源用于作业提交和调度管理,这部分资源会在离线集成任务启动时开始使用(作业排队等待过程中不会消耗),并在离线集成任务进行时持续存在。因此,该计算资源的消耗会被计量,并以CRU*时为单位生成计费账单。 在实时数据集成任务运行时,云器Lakehouse会提供少量计算资源用于作业提交和调度管理,这部分资源会在实时集成任务启动时使用,在任务正式运行后结束。在这段时间内的计算资源消耗会被计量,并以CRU*时为单位生成计费账单。
- Serverless作业
Serverless作业指无需用户主动创建计算集群实例,而由云器Lakehouse提供公共计算资源处理客户计算需求的作业统称。包含查询作业调度、数据压缩、自动物化视图等。
3.2 存储资源计费
存储费用根据您在Lakehouse平台实际使用的存储容量进行计量计费。当您在Lakehouse数仓中写入数据后,写入的数据及其部分元数据信息即在Lakehouse中占用存储容量。Lakehouse将统计您的数据实际占用的存储用量,于1天之内多次采样,并以当天采样存储容量的平均值,作为当天的存储容量计量数值,进行计量计费。
当你使用Lakehouse的Time Travel功能时,为了保障数据的多版本、可恢复,Lakehouse会自动为您的数据进行多版本备份存储。此时产生的多版本备份数据将产生相应存储费用,以存储容量单价收费。
当你进行SQL查询时,为降低重复查询的计算资源消耗,会对查询结果进行缓存,以存储成本换取计算资源的节省。这部分存储使用会计入“结果缓存(Result Cache)”,以存储容量单价收费。
3.3 数据传输计费
当你使用数据集成等功能,批量从Lakehouse通过公网下载、导出数据时,会产生Internet网络传输费用。Internet网络传输以实际产生的传输数据量进行计量,并计算费用。
你从其他数据源通过Internet网络向Lakehouse上传数据产生的网络传输流量,不会产生网络传输费用。
如果你使用了专线、Private Link或其他网络产品实现跨云厂商、跨地域或跨VPC网络打通时,网络打通本身会产生费用。这部分费用根据网络打通方式不同,产生在云器Lakehouse侧的由云器收取,在你的云平台账号中产生的费用由云平台直接收取。
3.4 其他云资源计费
云器Lakehouse在进行元数据管理,解析sql语句、生成查询计划、调度和分配查询任务,以及对数据文件进行合并、清理等操作时,均会消耗云资源。云器Lakehouse会对这些云资源的消耗进行计量,当前限时免费。开始收费前1个月将提前通知。
4. 定价
4.1 CRU*时价格
云厂商 | 区域 | 版本 | 单价 |
---|---|---|---|
阿里云 | 北京 | 企业版 | 3.5元/CRU*时 |
上海 | 企业版 | 3.5元/CRU*时 | |
新加坡 | 企业版 | 0.8 美元/CRU*时 | |
腾讯云 | 北京 | 企业版 | 3.5元/CRU*时 |
上海 | 企业版 | 3.5元/CRU*时 | |
广州 | 企业版 | 3.5元/CRU*时 | |
AWS | 北京 | 企业版 | 9.95元/CRU*时 |
新加坡 | 企业版 | 1.24 美元/CRU*时 | |
华为云 | 广州 | 企业版 | 3.5元/CRU*时 |
4.2 存储容量价格
云厂商 | 区域 | 版本 | 存储容量价格 |
---|---|---|---|
阿里云 | 北京 | 企业版 | 0.12元/GiB/月 |
上海 | 企业版 | 0.12元/GiB/月 | |
新加坡 | 企业版 | 0.017美元/GiB/月 | |
腾讯云 | 北京 | 企业版 | 0.12元/GiB/月 |
上海 | 企业版 | 0.12元/GiB/月 | |
广州 | 企业版 | 0.12元/GiB/月 | |
AWS | 北京 | 企业版 | 0.195元/GiB/月 |
新加坡 | 企业版 | 0.025美元/GiB/月 | |
华为云 | 广州 | 企业版 | 0.12元/GiB/月 |
当前,数据多版本和结果缓存费用限时免费。开始收费前1个月将提前通知。
4.3 数据传输价格
云厂商 | 区域 | 版本 | 存储容量价格 |
---|---|---|---|
阿里云 | 北京 | 企业版 | 0.8元/GB |
上海 | 企业版 | 0.8元/GB | |
新加坡 | 企业版 | 0.081美元/GB | |
腾讯云 | 北京 | 企业版 | 0.8元/GB |
上海 | 企业版 | 0.8元/GB | |
广州 | 企业版 | 0.8元/GB | |
AWS | 北京 | 企业版 | 0.933元/GB |
新加坡 | 企业版 | 0.12美元/GB | |
华为云 | 广州 | 企业版 | 0.815元/GB |
当前,Internet数据传输费用限时免费。开始收费前1个月将提前通知。
5. 常见场景下的费用示例
通用型计算集群费用示例
以阿里云上海企业版服务实例为例:
- 一个规格为2CRU的通用型计算集群,运行1小时,CRU*时单价为3.5元,该计算集群运行1小时的费用为: 1小时*2CRU*3.5元/CRU*时 = 7元
- 一个规格为1CRU的通用型计算集群,运行1分20秒,CRU*时单价为3.5元,该计算集群运行产生的费用为:1.33分钟/60分钟*1CRU*3.5元/CRU*时=0.078元
- 一个规格为1CRU的通用型计算集群,运行30秒,CRU*时单价为3.5元,该计算集群运行产生的费用为:1分钟/60分钟*1CRU*3.5元/CRU*时=0.058元 。因为30秒运行时间不满1分钟,所以按1分钟计算。
分析型计算集群费用示例
以阿里云上海企业版服务实例为例:
-
一个规格为2CRU的分析型集群,分别以1个实例运行了30分钟,又以2个实例运行了30分钟,当CRU*时单价为3.5元,该计算集群运行产生的费用为:
30分钟/60分钟*1CRU*1个实例*3.5元/CRU*时 + 30分钟/60分钟*1CRU*2个实例*3.5元/CRU*时 = 1.75元 + 3.5元 = 5.25元
同步型计算集群价格费用示例
以阿里云上海企业版服务实例为例:
- 一个规格为2CRU的同步型集群,运行1小时,当CRU*时单价为3.5元,该计算集群运行1小时的费用为: 1小时*2CRU*3.5元/CRU*时 = 7元
离线集成任务费用示例
离线集成任务不单独收费,而是收取任务提交至的同步型计算集群的运行费用。离线集成任务可自动唤起同步型计算集群。一般估算离线集成任务时,可按照:5个单并发的离线集成任务可用满一个规格为0.25的同步型计算集群资源来估算离线集成任务。
- 假设阿里云上海一个企业版服务实例的一个单并发离线集成任务运行10分钟,其消耗的算力约为:1/5 CRU * 10分钟/60分钟 = 0.033 CRU*时;
- 因离线集成任务会唤起同步型计算集群,假设阿里云上海一个企业版服务实例的同步型计算集群的规格为1 CRU,10分钟任务结束后自动关闭,则产生的费用为:1CRU*10分钟/60分钟*3.5元/CRU*时 = 0.58元;
此时该规格为1 CRU的同步型计算集群还未用满,再提交4个单并发离线集成任务,假设均运行10分钟,其产生的费用仍为 0.58元。因此,尽量复用同步型计算集群的资源,同时避免使用过大规格的同步型计算集群能有效节省计算资源费用。
实时集成任务费用示例
实时集成任务不单独收费,而是收取任务提交至的同步型计算集群的运行费用。实时集成任务需要将其所在的同步型计算集群一直保持“运行”状态。因此需要选择尽量贴近实时集成任务所需的资源量创建同步型计算集群规格,避免资源浪费。可按照:16个单并发的实时集成任务可用满一个规格为1CRU的同步型计算集群资源来估算。
Python脚本任务费用示例
Python脚本任务执行时,会根据任务执行时长和消耗的计算资源进行计费。一般情况下,一个Python脚本执行1小时时,所使用的计算资源为0.125 CRU*小时。
- 假设阿里云上海一个企业版服务实例的一个Python脚本任务执行时间为10分钟,其产生的费用为:0.125CRU*时*10分钟/60分钟*3.5元/CRU*时=0.073元。
存储容量费用示例
- 假设在阿里云上海一个企业版服务实例的工作空间下,全天的存储容量低点为910GiB,高点1100GiB,全天平均值为1000GiB,则当天存储容量为:1000 GiB * 0.12元/GiB/月 /30天 = 4元
网络传输价格示例
- 假设在阿里云上海一个企业版服务实例下,1小时产生的Internet下行流量为10 GB,则该小时的Internet网络传输费用为:10GB*0.8元/GB=8元