任务组
概念
任务组是开发板块内用以管理一组任务列表的虚拟业务管理组。您可以使用任务组对一系列任务进行组织编排,包括添加/创建任务节点、创建任务节点之间的依赖关系,配置任务组参数、统一批量提交的操作。
本文为您介绍如何创建、编辑、提交任务组,以及针对任务组的复制操作能力。
使用限制
1)任务组内仅支持添加/创建周期任务,暂不支持实时任务。
2)任务组参数只有被提交发布后,该自定义变量才能使用任务组参数配置的变量值参与执行。
例如,若任务组参数是aaa=2023,任务里使用了该参数,但是任务组未提交。那么任务在做周期执行时,实例参数显示空。
3)一个节点任务只能归属于一个任务组。
4)下游链路复制:只能复制在该工作空间下的所有节点,若该下游链路有其他工作空间的任务节点,不会被复制出来。
应用场景
场景一:任务批量复制与依赖关系管理
当您需要对一组有依赖关系的任务进行批量复制,并在新的任务中创建新的依赖关系时,可以使用任务组复制功能实现。
将需要复制新依赖关系的任务组添加至任务组1内,对任务组1进行复制操作后,在复制后的任务组2内包含内容有:
- 对任务组1内所有任务的批量复制。
- 任务组1内有依赖关系的节点(如节点B、C、D、E、F)在任务组2内会维持原来的依赖关系。
- 任务组内其他有依赖关系的节点,但不属于任务组的节点(如节点A、G),将维持原本的依赖关系。
场景二:任务链路改造与自定义变量批量修改
当您需要对当前任务链路中的任意一分支进行改造,同时需要批量修改任务里的自定义变量时,可以通过节点下游链路复制功能结合任务组功能实现。
在任意一个节点上(该节点可以是归属于某一个任务组,也可以是独立的),点击「下游链路复制」时,会将该节点及其下游所有节点进行批量复制。
创建任务组
创建任务组前,您可以结合自身的业务情况,先规划设计好符合自身业务诉求的业务流程。以下为创建任务组的详细步骤。
1)创建任务组
方式一:单击左侧导航栏的「开发」;鼠标悬浮在+上,点击「任务组」
方式二: 单击左侧导航栏的「工作区」;鼠标悬浮在新建按钮上,点击「任务组」
2)在新建任务组对话框中,输入任务组名称
3)点击确定
创建完成后:
- 您可以在当前任务组内管理任务节点,包括新建/添加已有任务到该任务组内
- 任务组内的所有任务开发完成后,可直接提交任务组至生产环境。
编辑任务组
支持用户在列表和Dag两种模式下设计任务组内的管理的任务节点和依赖关系。
1)新建/添加节点:两种模式下均支持在任务组创建新的任务节点,或添加已有的任务至任务组内。
-
DAG图模式
- 添加已有任务:点击右侧「添加已有任务」后,可将列表中的任务拖至DAG画布区域;
- 添加新任务:在「添加新任务」下方,拖拽任意一个任务节点至画布区域后,会弹出该节点的创建弹窗。用户输入任务名称,以及所在目录后,即成功创建一个新节点至该任务组上。
DAG图模式下,点击右侧下方「已添加的任务」即可在图中高量出该任务节点。
-
列表模式
- 点击列表模式右上角「添加」按钮后,可选择是添加已有任务还是新任务。
新建/添加节点成功后,您需要进入该节点的操作界面进行代码的编辑工作。
2)创建任务之间的依赖关系:
- DAG图模式下:可以通过拖拽依赖线的方式设置节点调度依赖。当然,您也可以进入节点的调度配置界面,来手动编辑节点依赖关系。
- 列表模式下新建的节点,其业务流程可根据代码血缘关系来设置节点调度依赖。
3)任务组参数:任务组下的全局参数,当任务组提交至生产环境上后,该任务组参数会自动作用在引用该任务组参数的任务节点上。任务组参数生效前提交的任务节点,需更新提交后才可以引用该参数。
-
点击任务组内操作区域的「参数」tab,进入任务组参数配置界面中。
-
点击新建按钮,在弹窗内输入参数名称和参数取值。内置参数取值详情请见任务参数
创建任务组参数后如何使用:
-
在任务节点的SQL代码中输入${任务组参数名称},或在调度配置的参数配置中输入参数名;
-
在「取值来源」下拉框里选择任务组参数
创建且引用任务组参数后:
- 任务组提交至生产环境后,应用的任务节点才可以使用任务组参数的参数值
- 变更后的任务组参数如需在任务节点里生效,需重新提交任务节点
批量提交调度时间
可使用批量编辑调度时间的功能,批量修改任务组内的所有(或选定的)任务的调度时间。减少挨个配置的操作成本。具体操作如下:
1)点击批量修改调度时间
- DAG编辑模式下:鼠标悬浮在批量按钮上时,选择「编辑调度时间」
- 列表模式下:选择需要批量修改的目标任务后,点击编辑调度时间。
2)批量编辑调度时间
选择批量修改的调度时间,这里操作同任务调度里的调度配置,具体操作可参考任务开发调度
3)确定提交批量操作
提交任务组
任务组编辑创建完成后,需要将任务组提交至生产环境后,其管理的任务才可以引用任务组内的参数信息。同时在任务组内为您提供了批量提交任务节点的能力。
1)点击右上角提交按钮,弹出任务组提交弹窗,同时可以支持批量提交任务组内的任务列表。
2)DAG图模式下,鼠标悬浮在批量按钮上方,显示批量提交任务,该功能仅支持批量提交任务组内的任务,不会将任务组本身的参数和管理信息提交至生产环境中。
相关问题
Q1:为什么任务组提交后,提交按钮不能再次点击了
任务组提交后,若未发生任何变更,即状态未变成已提交有修改的状态前,均不支持再次提交。若需要批量提交任务组内的任务信息,可通过两种方式提交
方案一:在任务内直接操作提交
方案二:在任务组DAG图模式下,点击批量操作下的批量提交任务
任务组状态变更条件:
- 对任务组内的任务进行增删的操作
- 对任务组参数进行增删改查的操作