任务组

概念

任务组是开发板块内用以管理一组任务列表的虚拟业务管理组。您可以使用任务组对一系列任务进行组织编排,包括添加/创建任务节点、创建任务节点之间的依赖关系、配置任务组参数以及统一批量提交的操作。

本文为您介绍如何创建、编辑、提交任务组,以及任务组的复制操作。

使用限制

1)任务组内仅支持添加/创建周期任务,暂不支持实时任务。

2)任务组参数只有在被提交发布后,任务节点中引用的该参数才能使用任务组参数配置的变量值参与执行。

例如,若任务组参数是 aaa=2023,任务里使用了该参数,但是任务组未提交。那么任务在做周期执行时,实例参数将显示为空。

3)一个任务节点只能归属于一个任务组。

4)下游链路复制:只能复制在该工作空间下的所有节点,若该下游链路有其他工作空间的任务节点,不会被复制出来。

应用场景

场景一:任务批量复制与依赖关系管理

当您需要对一组有依赖关系的任务进行批量复制,并在新的任务中创建新的依赖关系时,可以使用任务组复制功能实现。

将需要复制并建立新依赖关系的任务组添加至任务组1内,对任务组1进行复制操作后,复制得到的任务组2将包含以下内容:

  1. 对任务组1内所有任务的批量复制。
  2. 任务组1内有依赖关系的节点(如节点B、C、D、E、F)在任务组2内会维持原来的依赖关系。
  3. 任务组外但与组内节点有依赖关系的节点(如节点A、G),将维持原本的依赖关系。

场景二:任务链路改造与自定义变量批量修改

当您需要对当前任务链路中的任意一分支进行改造,同时需要批量修改任务里的自定义变量时,可以通过节点下游链路复制功能结合任务组功能实现。

在任意一个节点上(该节点可以是归属于某一个任务组,也可以是独立的),点击「下游链路复制」时,会将该节点及其下游所有节点进行批量复制。

创建任务组

创建任务组前,您可以结合自身的业务情况,先规划设计好符合自身业务诉求的业务流程。以下为创建任务组的详细步骤。

1)创建任务组

方式一:单击左侧导航栏的「开发」;鼠标悬浮在+上,点击「任务组」

方式二: 单击左侧导航栏的「工作区」;鼠标悬浮在新建按钮上,点击「任务组」

2)在新建任务组对话框中,输入任务组名称

3)点击确定

创建完成后:

  • 您可以在当前任务组内管理任务节点,包括新建/添加已有任务到该任务组内
  • 任务组内的所有任务开发完成后,可直接提交任务组至生产环境。

编辑任务组

支持用户在列表和 DAG 两种模式下设计任务组内管理的任务节点和依赖关系。

1)新建/添加节点:两种模式下均支持在任务组创建新的任务节点,或添加已有的任务至任务组内。

  • DAG图模式

    • 添加已有任务:点击右侧「添加已有任务」后,可将列表中的任务拖至DAG画布区域;
    • 添加新任务:在「添加新任务」下方,拖拽任意一个任务节点至画布区域后,会弹出该节点的创建弹窗。用户输入任务名称,以及所在目录后,即成功创建一个新节点至该任务组上。

DAG 图模式下,点击右侧下方「已添加的任务」即可在图中高亮显示出该任务节点。

  • 列表模式

    • 点击列表模式右上角「添加」按钮后,可选择是添加已有任务还是新任务。

新建/添加节点成功后,您需要进入该节点的操作界面进行代码的编辑工作。

2)创建任务之间的依赖关系:

  • DAG图模式下:可以通过拖拽依赖线的方式设置节点调度依赖。当然,您也可以进入节点的调度配置界面,来手动编辑节点依赖关系。
  • 列表模式下新建的节点,其调度依赖可根据代码血缘关系自动或手动设置。

3)任务组参数:任务组下的全局参数。当任务组提交至生产环境后,这些参数会自动作用于引用它们的任务节点上。在任务组参数生效前已提交的任务节点,需要重新提交后才可以引用该参数。

  • 点击任务组内操作区域的「参数」tab,进入任务组参数配置界面中。

  • 点击新建按钮,在弹窗内输入参数名称和参数取值。内置参数取值详情请见任务参数

创建任务组参数后,使用方法如下:

  • 在任务节点的SQL代码中输入${任务组参数名称},或在调度配置的参数配置中输入参数名;

  • 在「取值来源」下拉框里选择任务组参数

创建且引用任务组参数后:

  • 任务组提交至生产环境后,应用的任务节点才可以使用任务组参数的参数值
  • 变更后的任务组参数如需在任务节点里生效,需重新提交任务节点

批量提交调度时间

可使用批量编辑调度时间的功能,批量修改任务组内所有(或选定)任务的调度时间,以减少逐个配置的操作成本。具体操作如下:

1)点击批量修改调度时间

  • DAG编辑模式下:鼠标悬浮在批量按钮上时,选择「编辑调度时间」
  • 列表模式下:选择需要批量修改的目标任务后,点击编辑调度时间。

2)批量编辑调度时间 选择批量修改的调度时间,这里操作同任务调度里的调度配置,具体操作可参考任务开发调度

3)确定提交批量操作

提交任务组

任务组编辑创建完成后,需要将其提交至生产环境,其管理的任务才可以引用任务组内的参数信息。同时,任务组也提供了批量提交任务节点的功能。

1)点击右上角提交按钮,弹出任务组提交弹窗,同时可以支持批量提交任务组内的任务列表。

2)DAG图模式下,鼠标悬浮在批量按钮上方,显示批量提交任务,该功能仅支持批量提交任务组内的任务,不会将任务组本身的参数和管理信息提交至生产环境中。

相关问题

Q1:为什么任务组提交后,提交按钮不能再次点击了

任务组提交后,若未发生任何变更(即状态未变为“已提交,有修改”),则不支持再次提交。若需要批量提交任务组内的任务信息,可通过两种方式提交

方案一:在任务内直接操作提交

方案二:在任务组DAG图模式下,点击批量操作下的批量提交任务

任务组状态变更条件:

  • 对任务组内的任务进行增删的操作
  • 对任务组参数进行增删改查的操作

联系我们
预约咨询
微信咨询
电话咨询