实时同步任务

云器Lakehouse工作空间的“开发”模块集成了数据同步任务的定义和调度能力。借助数据开发模块的数据同步任务编辑器，可以快速创建数据同步任务。以下对实时同步任务的创建和使用进行说明。

新建数据同步任务

您可分别通过工作区和开发入口新建同步任务。

• 由工作区新建 通过控制台“工作区”入口，在右侧“新建”按钮下选择新建离线同步或实时同步任务。

  

  

  预览

• 由开发入口新建 您可进入“开发”页面，在任务区域选择在指定目录下新建同步任务。

  

  

  预览

实时同步任务开发

本节以Kafka数据源实时同步至Lakehouse为例进行说明。

• 新建实时数据同步任务并配置源及目标信息 选择Kafka数据源，通过数据对象选择Topic，并指定位点及消息格式。目标端选择Lakehouse数据源及对应的数据对象。

  

  预览

  默认使用Kafka Topic内置字段进行数据字段映射。如果Topic内的消息格式为JSON，您还可以通过新增计算列的方式，使用JSONPath规则解析value字段中的内容，例如 $.id、$.data.code。

• 部署至生产 实时同步任务不支持开发状态下的测试运行，也无需配置调度策略。您可通过“提交”按钮发布任务。

  

  预览
  提交后，可在运维中心对实时同步任务进行启停、运维操作及监控。
  

  预览