离线同步任务
云器Lakehouse工作空间的“开发”模块集成了数据同步任务的定义和调度能力。借助数据开发模块的数据同步任务编辑器，可以快速创建数据同步任务。以下对离线同步任务的创建和使用进行说明。
新建数据同步任务
您可分别工作区和开发入口，新建同步任务。
-
由工作区新建 通过控制台"工作区"入口，在右侧"新建"按钮下选择新建离线同步或实时同步任务。
-
由开发入口新建 您可进入"开发"页面，在任务区域选择在指定目录下新建同步任务。
离线同步任务开发
第一步：新建离线数据同步任务
在指定任务保存位置创建指定名称的离线同步任务。
系统将生成同步任务同时在右侧区域打开数据同步任务编辑器供用户编辑：
第二步：定义同步任务
-
选择源和目标数据源及对数据对象 数据来源侧，选择现有数据源或新建数据源作为数据来源并指定需要同步的数据对象。数据目标侧，选择已有数据源或新建数据源作为目标数据，目标数据的写入对象支持指定数据对象或根据来源对象快速创建。
确定来源对象和目标对象后，数据同步任务将生成来源对象与目标对象的字段映射，默认采用同行映射规则，可借助拖动方式调整字段间的映射。支持添加常量字段作为源表字段进行映射和写入。 -
对数据同步任务设置容错和并发规则
- 任务并发数，可最小设置为1，最大设置为10
- 任务同步速率，可最小设置为1MB/S，最大不限制
-
任务的高级配置 高级配置区域通常不用配置，留空即可。也可以拓展设定任务的高级参数，比如调整任务用到的内存规格大小，支持的参数如下。具体如何设定，请联系技术支持人员。
- jobmanager.memory.process.size
- taskmanager.memory.process.size
第三步：同步任务测试
在开发任务界面上点击“运行”，对同步任务进行测试。观察任务执行状态及日志，查询目标表的数据变化，验证同步任务是否正确执行。
第四步：设置调度并部署至生产
调度配置成功后，可点击任务“提交”按钮，部署至调度系统进行周期性执行。
在运维中心中查看和运维已发布的同步任务
联系我们