智简基于云器Lakehouse全托管数据平台，构建新一代实时数仓，释放业务潜力

📌 导语：

上海智简信息科技有限公司(以下简称智简）是由来自淘宝、橡果等知名IT公司的高管于2013年1月共同创办。智简致力于为企业提供全渠道会员管理整体解决方案，对会员招募、会员关怀、会员营销和会员服务等全面会员运营提供咨询服务和技术支持。今天智简已经为超过120家零售电商客户中的2亿用户提供服务。

智简改变原Lambda架构思路，基于云器Lakehouse建设数据平台，有效减少数据冗余，降低整体成本TCO40%。使用云器Lakehouse全托管一体化设计的湖仓平台，智简免去了自运维负担，由云器支撑整个数据链路包括：数据集成、加工、实时BI、任务监控、集群稳定性等数据管理运维工作。数据团队可以更专注于数据业务价值的发掘和创造。此外我们还基于云器Lakehouse的特点，使用多租户和数据安全授权服务模式，将数据资产安全灵活地授权给客户，扩大数据资产应用范围，释放数据价值。

作者：余燕 智简产品经理

平台现状

智简致力于为企业打造全渠道、全场景、全触点的数字化运营平台，基于数据为客户创造价值，因此我们十分重视数据平台建设，以更实时的数据更高效的平台支持客户的业务发展，帮助客户挖掘发挥数据的价值。数据平台建设初期，本着快速启动支持业务的考虑，我们技术团队尝试探索使用自建实时数仓平台，用以支持智简给客户系统提供的导购助手和经营助手数据应用。

在这些数据应用中，对数据的实时性要求越来越高，包括数据在业务系统产生后被BI报表查询的新鲜度以及BI弹性并发查询能力，客户都提出较高的使用要求。且随着业务发展，自建实时架构的瓶颈逐渐显现。比如当租户的会员数量达到亿级以上时，在自建数据平台中数据查询速度和数据新鲜度都不能得到有效保障，且存在较多的数据热点问题，我们重新审视了数据平台架构做了问题梳理如下，具体表现在以下几点：

1.计算资源需求存在峰值低谷，固定配置适应算力需求波动

随着业务规模的逐渐扩大，数据平台对计算资源和存储空间的需求随之增长。为了满足峰值时的SLA，如果按照自建数据平台的方式，需要将自建集群的规模按峰值匹配，是否要为了峰值的性能而大幅提升成本，是我们内部在满足需求与控制成本之间难以抉择的问题。

2.存在大量隐性开发、运维成本消耗

自建数仓除了资源的硬性购买费用外，还有大量的人力成本投入。

完整的数据pipeline构建，不单单只具备云上数仓就可以，还要数据集成、ETL、调度等模块来配合，这就需要数据工程师投入大量精力拼装其他组件来实现；在整个数据链路的监控设置以及问题定位上，常常需要数据工程师一步步查询处理，整体周期较长，影响业务发布；另外，为了匹配业务需求，每次资源规格调整都需要其他组件部署与配合，同时扩缩容时也需要重新进行数据排布。为此，我们希望能够有一个所见即所得的按量付费低门槛的数据平台，不仅包含数据引擎的架构优化，而且能够包含数据开发及管理能力的增强。

3.数据架构复杂多组件拼接，多条链路的多份数据导致数据一致性问题

为了承接品牌方的数据集成、加工、监控、运维等环节，如果使用自建的云上数仓的建设思路的话，是利用ecs集群自己搭建mongdb、flink、开源实时数仓等技术组件并做配置优化。这样就需要我们的运维团队的同学拼装实时，离线，元数据，数据存储，安全权限管理，调度，数据集成等多个组件。这样就需要运维和选择十多个开源组件的版本来完成数据平台体系的建设，相关的平台选型建设和运维成本会非常高。例如，现有业务系统对接是需要实时数仓能力查询，BI系统对接是MongoDB，可能出现MongoDB数据变化，但数仓中的数据未得到及时更新，导致业务系统圈定的结果和BI查询结果不一致的风险。

随着业务规模的扩大，我们对计算资源和数据分析挖掘的需求也随之增长，结合以上的问题，我们规划建设能有一个整体的解决方案来提升数仓开发效率。在成本可控的前提下，又可以满足业务侧对数据分析挖掘上的性能提升要求。主要选型考虑点如下：

1. 拓展数据业务半径，能够满足业务快速扩展，支持全渠道业务场景；
2. 在提效的前提下，期望架构是简单的，成本是弹性可控的；
3. 能够提供高并发的SLA保障，使业务系统、BI报表体系具有更好的一致性。

目标数据平台定位的探索与对比

在今年年中，我们内部也进行关于数仓平台的定位讨论。除了旨在解决上述提到的挑战问题，还从长远角度出发，重点关注了以下两个方面：

1. 一体化整合能力。可以实现数据的采集、存储、处理、分析和可视化等全流程数据pipeline处理，将我们数据工程师的时间和效率解放出来，达到节省时间和成本，同时也提高业务侧的服务响应效率。

2. 数仓的数据分析能力。随着业务的快速发展和数据量的持续增长，我们前期主要依赖交易型数据库来满足日常的业务需求。然而，随着业务复杂性的提升，尤其是面对多表join关联、大量聚合统计计算以及快速弹性并发等高级分析场景时，传统的交易型数据库逐渐暴露出其局限性。这些局限性主要体现在性能、扩展性和功能丰富度等方面，使得难以获得及时、准确的数据分析和洞察。需要引入更强大的分析型数仓来高效应对复杂的数据分析场景，满足我们对数据深度洞察的需求。

在此期间，我们了解到云器Lakehouse是全托管一体化的SaaS平台，其所提供的产品能力和我们高弹性、低运维、架构简洁、成本可控的需求相匹配。为此我们进行了云上自建数仓与云器全托管一体化数据平台的对比，概要如下：

总结以上多场景对比，我们看到云器平台作为全托管数据平台功能易用、运维简单，业务支撑力够用且架构简化，特别是多数据应用场景的快速适配支持能力突出；此外我们特别关注TCO总成本的降低，并且根据测试结果可见性能不会受影响。因此我们决定选用云器Lakehouse。

效果与价值

完成迁移后，我们使用了云器Lakehouse一段时间，有了更深的实际使用体验，能够更确切的看到其对智简业务的价值，总结以下几点：

1.全托管一体化数据平台，架构更简化统一，基本免去了我们隐性的开发、运维负担

我们将SaaS端的数据链路迁移到了云器Lakehouse，实现了数据集成、任务监控、集群稳定性等功能的简化。数据管理更加便捷，消除了手动配置的复杂性和风险。我们的团队得以专注于数据业务价值的创新。数据工程师无需在不同开发环境或组件中完成工作，极大地释放了技术团队的精力。

迁移过程中，我们测试了云器的SQL语法兼容度，基本99%以上的SQL语法和任务都不需要调整。遇到少数语法问题通过和云器技术同事沟通得到了解决。云器在数据平台的专业性和服务能力获得了我们的认可。

升级后的智简大数据架构是一个非常精简的：

2.吃到了弹性SaaS平台技术红利，利用存算分离和弹性伸缩，避免了闲时的资源浪费，降低成本

云器Lakehouse有按需使用的弹性资源支持多集群隔离、自动启停、按需自动弹性并发等特性，让我们在高峰并发期也无需担心算力问题。计算资源根据负载自动弹性，秒级拉起计算集群弹性扩张数倍，可保障我们业务分析和BI查询的需要，高峰期过后，过剩的计算资源会得到释放，不会持续占用资源，控制了成本。

以往重要节假日时候，我们都要提前做很多部署和运维上的准备，包括：机器申请、服务部署、数据排布等，来对业务高峰期进行SLA的保障；现在我们仅需要设定一下计算资源（VC）的规格，Lakehouse可以根据高峰期的业务量变化，自动进行算力资源扩缩容，实现对SLA的保障。

下图是我们的运行作业与VC弹性资源动态变化关系图：

3.云器引擎兼具简单和灵活，能很好地平衡性能表现与成本

成本和性能一直是我们密切关注的重点，自从将业务场景接入到云器Lakehouse后，我们发现计算成本计量比原来的云上数仓降低了40%，系统兼具离线和实时分析能力，在性能方面和业界专门实时数仓对比，仍然保持性能优势。

创新数据安全授权服务模式，释放数据价值

我们的客户，特别具备数据加工和分析能力的大型企业，希望将我们平台上的数据与其自有数据做融合分析，但由于自建数仓架构的限制，我们无法对外提供数据服务。现在基于云器Lakehouse多租户及数据安全授权管理能力，使得我们可以只存一份数据，也能对外完成数据服务，从根本上保障底层共享数据一致性，在此基础上将加工好的数据通过安全权限授权的方式，安全开放授权给我们的客户，打造全新的数据服务模式。

• 数据安全授权共享，将开放的视图或数据表直接通过授权的方式共享给对应接收方。接收方可根据需要，灵活选择将数据直接二次加工，或转储至企业数仓中。

• 数据接收方可以随时随地按需使用我们最新数据，用于 BI 展示、转储，和二次加工。以最小成本 + 最大效率，与企业既有数仓进行数据融合，快速支撑企业上层业务应用。

总结与思考

智简作为一家处于快速扩展阶段的中小规模数字化会员营销管理公司，或可给同领域的数据原生企业提供一些借鉴，此次升级为全托管一体化数据平台的经验分享，我们的思考和总结如下：

1.自建免费不等于成本低

云上自建数仓看似成本较低，但实际上包含了很多隐性成本。例如，资源频繁的升配降配以及组件之间的适配都需要投入大量的时间和资源。通过采购成熟的大数据产品来代替内部自建，让专业的团队负责数据架构和技术服务，不失为一个好的选择。在大数据产品选型时，可以优先考虑按量计费模式的产品，成本优势会随客户规模的增长变得更加显著。

2.利用全托管方式释放开发资源，专注数据应用与客户价值

对快速发展中的Digital Native企业来说保持业务扩张是公司的首要任务，全托管的大数据产品可以将开发资源释放出来，将精力集中在业务侧和客户价值上。当然在选型时也要充分考虑产品是否有自动化运维能力，完善的运维巡检和监控告警机制，能够减轻团队运维压力，回归对业务本身的关注和思考。

3.保持开放性，持续探索释放数据价值

数据资产运营加速企业数据价值释放，是目前的数据治理发展的趋势。数据的流通和共享需要更安全、开放的数据基础设施，如果采用云上自建方式要考虑成本和制约，而选择安全开放的平台产品则更方便企业做创新业务探索。

4.探索数据安全授权新模式

智简是一家数据型企业，我们一直希望能够充分帮助我们的客户发挥数据的最大价值，一直以来客户都有诉求希望能够融合计算自有数据和在我们平台中采集沉淀的数据；以一种安全合规且简易方便的方式进行授权，并能够直接基于授权数据进行计算。这是一个全新构想的服务模式，需要创新功能的平台支持。云器Lakehouse具备我们需要的多租户安全授权等功能，且是架构在多云的数据平台，符合我们对数据安全共享的需求定位。因此我们正在联合云器探索数据安全授权的新模式。