近日,由中国信息通信研究院和中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)共同组织的大数据“星河”案例评选活动公示完成,云器科技(杭州云之重器科技有限公司)凭借在车联网场景的「基于云器Lakehouse的车联网场景超大规模湖仓一体大数据平台」,入选“星河”案例数据库优秀案例。
“星河”案例代表了技术型企业在大数据领域的前沿实践
大数据“星河(Galaxy)”案例征集活动已成功举办七届,旨在通过总结和推广大数据产业发展的优秀成果,推动大数据在社会生产生活中的应用,促进大数据技术产品及相关产业的发展。
通过这次“星河”案例的征集,可以看到车联网场景的大数据挑战,是汽车工业产业数字化转型的前沿领域。随着传统的乘用车正在从原来的“交通工具”转变为“数据智能平台”。与此相应的在生产领域,两个明确的趋势正在引领汽车工业产业的新一轮迭代升级:
趋势1:数字化重构汽车工业
数字化是当代汽车行业的一次根本性变革,让汽车制造从传统的工艺流程逐渐转变为一个高度集成、智能化的生产系统。特别是数据驱动的生产管理正在进一步走向生产实践:通过收集和分析生产线上的大量数据,制造商能够更有效地管理生产流程。这种基于数据的方法使得生产过程更加透明,同时允许制造商实时监控和优化生产线的性能。
长安汽车是众多有前瞻的视野和布局的车企之一,致力于用数字化方法提升生产、研发和制造管理的效率。长安汽车与云器科技合作,也是看中了云器科技在大数据平台领域的独特技术理念,决定联合云器科技在车联网数据处理领域进行了前沿探索和持续投入,成功打造了全国首例车联网场景超大规模、全域实时、顶级引擎、低成本、线性扩展的湖仓一体数据库平台产品。这一创新性数据平台的实现,突破了多项行业级的数据处理瓶颈,不仅提升了长安集团整个数据产品开发、应用服务效率,还大幅降低了存储、运维成本。因此,长安联合云器在车联网的大数据实践也得到了评委会的认可。
趋势2:智能车联网持续高速增长,驱动更优支持海量大数据管理方向升级
随着5G、物联网等技术的不断普及,智能车联网的数据量还将持续高速增长,为汽车行业的发展带来更多的机遇和挑战。长安汽车股份有限公司当前已经需要支持百万级车辆的连接,预计未来需要连接上千万级车辆,数据规模也将达到惊人的量级。
我们看到目前急需解决多终端数据写入的挑战,以及平衡效率与成本的问题。云器Lakehouse一体化数据平台以简化高效的数据处理新范式,帮助车企突破性能瓶颈的同时,降低成本。
总结来看,除了引领技术趋势,本次入选是长安汽车基于云器科技产品升级后数据平台采用了一体化的架构,以及极具创新性的全数据链路实时增量计算模式,结合多重技术优化,让长安汽车能够以较低的成本应对超大规模的数据实时写入和及时分析。 包括:
- 采用读写分离的模式,支持超大规模(千万级TPS)的高吞吐upsert及数据入湖仓;
- 首创增量计算模式统一离线/实时/分析场景,采用在物化视图之上再构建物化视图,自动进行增量数据识别与实时更新处理;
- 利用自研兼容的的数据存储格式,在存储上进行编码优化及多种索引与文件组织技术进行存储优化;实现对海量数据存储压缩;
- 一体化的架构实现基于一份数据、一套处理引擎满足不同的数据处理需求,彻底解决了数据冗余、以及运维复杂的问题;
- 实现了低成本的线性扩展能力,可针对存储和计算资源需求分别进行弹性扩展。
杭州云之重器科技有限公司,简称「 云器科技 」成立于2021年,是全托管一体化数据平台提供商。产品发布仅半年,云器就为大数据+车联网行业贡献了优秀的有突破性的技术实践案例,获得信通院“星河”案例的认可。
一方面,长安汽车在数字化战略上颇具慧眼,在积极推动数字化转型,此次也是长安汽车与云器科技共同申请案例并获奖。
另一方面,云器科技的技术产品的特性非常鲜明,是目前国内唯一的多云一体化全托管数据平台产品,并且经过验证可以有效支持百万到千万级智能车联数据,同时低成本全域提高时效性。 云器在今年7月的产品发布会上,发布了数据平台“云器Lakehouse”和“增量计算”等技术。
展望汽车产业千帆竞发后进入“下半场”,数字化和智能化是竞争的核心——要有业务场景,又有数据平台的统筹管理能力,能够更有效降低数据开发运维成本,还有技术托底团队,云器科技或成为智能制造厂商的新选择。