实时同步任务

云器Lakehouse工作空间的“开发”模块集成了数据同步任务的定义和调度能力。借助数据开发模块的数据同步任务编辑器，可以快速创建数据同步任务。以下对实时同步任务的创建和使用进行说明。

新建数据同步任务

您可分别工作区和开发入口，新建同步任务。

• 由工作区新建 通过控制台"工作区"入口，在右侧"新建"按钮下选择新建离线同步或实时同步任务。

  

  

  预览

• 由开发入口新建 您可进入"开发"页面，在任务区域选择在指定目录下新建同步任务。

  

  

  预览

实时同步任务开发

这里以Kafka数据源实时同步至Lakehouse为例。

• 新建实时数据同步任务并配置源及目标信息 选择Kafka数据源，通过数据对象选择Topic同时指定位点及消息格式。目标端选择Lakehouse数据源及对应的数据对象。

  

  预览

  默认使用Kafka Topic内置字段做数据字段映射。如果Topic内的消息格式为JSON，您还可以使用新增计算列方式，通过JSONPath规则解析value字段中的内容，比如$.id, $.data.code。

• 部署至生产 实时同步任务不支持开发状态下的测试运行、无需配置调度策略，您可通过"提交"按钮发布任务

  

  预览
  提交后，可在运维中心对实时同步任务进行启停运维操作及监控
  

  预览