补数任务

补数据可通过补历史或未来一段时间的数据,将写入数据至对应时间分区。代码中若有配置调度参数,将根据补数据选择的业务时间自动替换为具体值,并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑,与任务定义的代码有关。

功能使用场景

  • 当任务新建后希望对历史数据进行加工,可通过补数据功能选择历史某个时间段来执行任务;
  • 当任务某个时间段内数据有问题或者任务异常,可通过补数据对历史异常的数据或任务进行重新生成实例并执行,达到修复历史数据的目的。

功能操作

步骤一:新建补数据任务

  1. 点击左侧导航运维监控->任务运维选中周期任务Tab。并选择其中任意一个管理中的周期任务,点击操作-补数据,进入补数据操作界面。
  2. 配置补数任务的相应操作
  • 任务名称:系统默认名称,暂不支持用户输入

  • 选择补数任务包含的任务节点

    • 包含当前节点:用户可根据实际需求选择是否要勾选当前任务参与补数。
    • 包含下游节点:用户可根据实际需求勾选需要补数据的下游任务链路,支持不选择、选择全部、自定义选择范围三种选项。
  • 任务定时时间范围:在创建补数据任务时,支持添加多段计划执行时间范围,用于解决想补多段不连续时间的场景,目前最多支持添加4段计划执行时间。不允许用户选择重叠时间。

  • 并发设置:表示当连续补多个周期的数据时,同时满足并发数,则可以同时运行多个周期的实例,这样可以提升补数据的效率,当然也会消耗更多的资源。

    • 开启并发执行后,系统会默认将分配在同一个并发组内的任务实例挂上自依赖。

步骤二:查看补数据任务

  1. 点击左侧导航运维监控->任务运维选中补数任务Tab。
  2. 基础信息:包括并发分组、目标任务ID、任务名称、工作空间、是否包含下游、状态、执行顺序、任务定时时间范围、提交时间、提交人等
  3. 统计图:
  • 全局统计信息:可看到当前补数任务内包含的所有时间总数,并基于天粒度给出执行状态。

  • 按粒度效果图:提供年/月/日三种粒度下的数据统计,点击统计图会联动下方的实例列表。

    • 年视图:鼠标悬浮在日期上方可看到当天的执行情况;
    • 月视图:可在月视图上看到当天要执行的实例总数,悬浮在日历上方可看到执行状态汇总;
    • 日视图:支持按天/1小时两种粒度切换,可看到不同聚合粒度下的实例的平均耗时时长。
  1. 实例统计列表:默认按照计划时间展示当前补数任务下所有执行实例的信息,点击可跳转到实例执行的详情页面查看依赖关系等详情。

联系我们
预约咨询
微信咨询
电话咨询