任务开发概念说明
任务开发模块是云器lakehouse向开发者提供的一个可视化的开发页面。在该模块下，用户可进行任务的组织编排、任务开发、运维调度配置、运行测试以及提交发布等操作。
开发概念说明
| 概念 | 定义 |
|---|---|
| 任务 | 简单节点：单个具体的任务类型，例如sql、python等 |
| 复杂流程类节点：多个节点组成的一组节点，例如组合节点等。复杂流程类节点中的参数、调度配置项统一配置管理。 | |
| 任务组 | 任务组是云器lakehouse提供的一个虚拟管理概念。可以将任务添加至任务组内进行集中的管理，包括可视化拖拽编排依赖关系、配置任务组参数、批量设置调度、批量提交等操作。说明：若您需要对一组任务进行DAG方式的拖拽管理，或者对一批链路进行复制改造，建议使用任务组功能。 |
依赖关系：节点依赖
依赖关系是挂在在节点上，无论是简单节点、还是复杂流程类节点，均是以一个独立节点作为依赖点。
注意：无论是在任务下直接创建任务，还是在任务组内进行统一管理，依赖关系始终是在任务节点级别上的，即节点之间的依赖，不存在任务组之间挂依赖的能力。
场景说明
- 支持用户直接在「任务」下直接创建各类任务类型节点，并通过调度配置中的调度依赖创建节点之间的依赖关系进行开发。
- 同时也支持用户在「任务组」下新建/或添加已有的节点，对一批任务进行组织编排，包括配置任务组级别的参数、可视化拖拽任务之间的依赖关系等。
| 开发方式 | 目标用户 | 场景优势 | 场景使用限制&差异 |
|---|---|---|---|
| 创建任务 | 业务相对比较创新或团队追求短频快的节奏。 | 无需创建复杂的业务关系，只是创建好节点间依赖后快速跑通流程。适合短频快的场景。 | * 不支持批量操作，比如批量修改任务调度时间、使用集群等。 |
| 任务组内管理任务 | 业务数仓团队成熟规范，多以业务思路去阻止内容 | 可以以业务场景的方式去管理相关的一批任务节点，同时支持可视化的方式去拖拽依赖关系 | 当前暂不支持实时任务的管理 一个任务节点只能在一个任务组内管理 任务组需要提交后，任务组参数才能被任务真正使用 |
名词解释
任务组
任务组是云器lakehouse提供的一个虚拟管理概念。可以将任务添加至任务组内进行集中的管理，包括可视化拖拽编排依赖关系、配置任务组参数、批量设置调度、批量提交等操作。
- 说明：若您需要对一组任务进行DAG方式的拖拽管理，或者对一批链路进行复制改造，建议使用任务组功能。更多可参考任务组
任务
在云器lakehouse上封装了不同类型的任务节点，类型包括实时多表同步、离线同步、实时同步、SQL开发、Python、Shell、虚拟节点等。您可以根据业务需要，选择合适的任务类型开发。
参数
- 任务组参数 ：在任务组内创建的，仅对任务组内的任务进行全局管理。
- 调度参数：用以在任务调用时使用的参数。
- 临时参数：用以临时执行时使用的参数。
调度配置：
- 当前仅支持周期调度。
- 依赖方式：区间依赖，即用下游任务实例的起止时间范围去与上游实例的起止时间范围进行重叠判断。更多依赖关系可参考 任务调度依赖关系
联系我们