补数任务
补数据可通过补历史或未来一段时间的数据,将写入数据至对应时间分区。代码中若有配置调度参数,将根据补数据选择的业务时间自动替换为具体值,并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑,与任务定义的代码有关。
功能使用场景
- 当任务新建后希望对历史数据进行加工,可通过补数据功能选择历史某个时间段来执行任务;
- 当任务某个时间段内数据有问题或者任务异常,可通过补数据对历史异常的数据或任务进行重新生成实例并执行,达到修复历史数据的目的。
功能操作
步骤一:新建补数据任务
- 点击左侧导航运维监控->任务运维,选中周期任务Tab。并选择其中任意一个管理中的周期任务,点击操作-补数据,进入补数据操作界面。
- 配置补数任务的相应操作
-
任务名称:系统默认名称,暂不支持用户输入
-
选择补数任务包含的任务节点
- 包含当前节点:用户可根据实际需求选择是否要勾选当前任务参与补数。
- 包含下游节点:用户可根据实际需求勾选需要补数据的下游任务链路,支持不选择、选择全部、自定义选择范围三种选项。
-
任务定时时间范围:在创建补数据任务时,支持添加多段计划执行时间范围,用于解决想补多段不连续时间的场景,目前最多支持添加4段计划执行时间。不允许用户选择重叠时间。
-
并发设置:表示当连续补多个周期的数据时,同时满足并发数,则可以同时运行多个周期的实例,这样可以提升补数据的效率,当然也会消耗更多的资源。
- 开启并发执行后,系统会默认将分配在同一个并发组内的任务实例挂上自依赖。
步骤二:查看补数据任务
- 点击左侧导航运维监控->任务运维,选中补数任务Tab。
- 基础信息:包括并发分组、目标任务ID、任务名称、工作空间、是否包含下游、状态、执行顺序、任务定时时间范围、提交时间、提交人等
- 统计图:
-
全局统计信息:可看到当前补数任务内包含的所有时间总数,并基于天粒度给出执行状态。
-
按粒度效果图:提供年/月/日三种粒度下的数据统计,点击统计图会联动下方的实例列表。
- 年视图:鼠标悬浮在日期上方可看到当天的执行情况;
- 月视图:可在月视图上看到当天要执行的实例总数,悬浮在日历上方可看到执行状态汇总;
- 日视图:支持按天/1小时两种粒度切换,可看到不同聚合粒度下的实例的平均耗时时长。
- 年视图:鼠标悬浮在日期上方可看到当天的执行情况;
- 实例统计列表:默认按照计划时间展示当前补数任务下所有执行实例的信息,点击可跳转到实例执行的详情页面查看依赖关系等详情。
联系我们