离线同步任务

云器 Lakehouse 工作空间的“开发”模块集成了数据同步任务的定义和调度能力。借助数据开发模块的数据同步任务编辑器，可以快速创建数据同步任务。以下对离线同步任务的创建和使用进行说明。

新建数据同步任务

您可分别从工作区和开发入口新建同步任务。

• 由工作区新建 通过控制台“工作区”入口，在右侧“新建”按钮下选择新建离线同步或实时同步任务。

  

  

  预览

• 由开发入口新建 您可进入“开发”页面，在任务区域选择在指定目录下新建同步任务。

  

  

  预览

离线同步任务开发

第一步：新建离线数据同步任务 在指定任务保存位置创建指定名称的离线同步任务。

系统将生成同步任务，同时在右侧区域打开数据同步任务编辑器供用户编辑。

第二步：定义同步任务

• 选择源和目标数据源及对应数据对象 在数据来源侧，选择现有数据源或新建数据源作为数据来源，并指定需要同步的数据对象。在数据目标侧，选择已有数据源或新建数据源作为目标数据源，目标数据的写入对象支持指定已有数据对象，或根据来源对象快速创建。

  

  预览
  确定来源对象和目标对象后，数据同步任务将生成来源对象与目标对象的字段映射，默认采用同名映射规则，可通过拖动方式调整字段间的映射关系。支持添加常量字段作为源表字段进行映射和写入。

• 设置数据同步任务的容错和并发规则

  • 任务并发数：可最小设置为1，最大设置为10。
  • 任务同步速率：可最小设置为1 MB/s，最大不限制。
    

    预览

• 任务的高级配置 高级配置区域通常无需配置，保持留空即可。您也可以扩展设定任务的高级参数，例如调整任务使用的内存规格大小。支持的参数如下。具体如何设定，请联系技术支持人员。

  • jobmanager.memory.process.size
  • taskmanager.memory.process.size
    

    预览

第三步：同步任务测试 在开发任务界面上点击“运行”，对同步任务进行测试。观察任务执行状态及日志，查询目标表的数据变化，验证同步任务是否正确执行。

第四步：设置调度并部署至生产 调度配置完成后，可点击任务的“提交”按钮，将其部署至调度系统进行周期性执行。

在运维中心查看和运维已发布的同步任务。