任务开发与调度配置
概述
「开发」即大数据集成开发环境（IDE），为开发者提供了高效、智能的在线工作环境。可支持用户进行任务编写、调试运行、配置调度以及提交发布等操作，完成整个大数据加工处理分析的关键流程。
在左侧导航菜单，点击“开发”后可以进入主界面。
界面总览
| 序号 | 功能 |
|---|---|
| 1 | 功能切换 |
| 2 | 切换工作空间： 该部分为您展示了当前登录的数据开发项目空间名称和所处的区域，您可单击下拉图标，切换至其他项目空间。 |
| 3 | 开发目录树： 目录树用于有序管理任务代码。可以按照业务需要创建目录树来对任务进行分类别、分层次管理。 |
| 4 | SQL编译区： 开发的主操作界面，不同类型的编译区的操作界面不同。 |
| 5 | 运行结果： 针对SQL编译区的操作结果呈现开发运行后的结果。 |
目录树
数据开发模块以目录树的方式展现当前项目下的所有任务，方便对任务进行增删改查。
在目录上上，支持的操作如下：
-
切换tab：通过点击tab，切换下方目录树的类型，即任务目录树或数据目录树。
-
任务目录树：下方呈现的是当前空间下的所有任务列表。
-
数据目录树：下方呈现的是用户所在Region下的所有数据目录树，按照工作空间-schema-表/视图的层级进行呈现。
-
新建：通过点击目录树的 + 按钮，来新建文件夹和各类开发任务。
-
开发任务类型：实时同步、离线同步、SQL脚本、Python脚本、shell脚本
-
筛选任务：支持用户按照开发任务类型、提交状态、责任人进行过滤筛选
-
刷新：刷新当前目录树信息。
-
搜索任务：根据任务名称或者路径进行搜索定位到具体任务
-
任务名称：将关键词与“任务名称”进行模糊匹配，返回符合条件的文件目录或者任务。
-
路径：将关键字与任务所在的路径进行模糊匹配，返回符合条件的文件目录或者任务。
-
创建子目录&创建子任务：鼠标悬浮在子目录上方时，会出现更多的图标，点击可执行一下操作：
-
当前目录为文件夹：在当前层级下可创建任意任务类型、新建文件夹、删除、重命名
-
当前目录为任务：在当前层级下可打开任务、创建副本、复制名称、重命名、移动、删除
操作说明：
- 创建副本：复制当前任务，包括任务内的调度配置。
- 复制名称：复制当前目录名称。
- 重命名：重命名目录名称。
- 移动：将该目录进行移动至本项目下的其它目录中，若该目录中包含子目录或任务，则一起移动。
- 删除：删除该目录。
- 任务目录树：列表上用icon区分任务类型，颜色区分上线状态。
| 状态图例 | 说明 |
|---|---|
 | 任务提交后，但是保存的版本与提交版本有区别。 |
 | 任务提交后，同时服务端保存的版本与提交版本一致。 |
 | 任务提交后，点击下线操作。 |
 | 其他状态类型。 |
| 标识图例 | 说明 |
|---|---|
| 实时同步 |
 | 离线同步 |
 | SQL脚本 |
 | shell脚本 |
 | python脚本 |
任务开发流程
数据开发模块基于Lakehouse底层的引擎能力，提供多种开发类型，用户可以自己选择任务类型进行交互式数据开发工作。
新建任务
当前支持两类任务节点：数据集成、数据开发。
点击「新建」后，选择具体的开发类型后，弹出弹窗，输入任务名称，选择当前任务需要保存的具体目录层级后，进入开发界面。
操作栏说明
任务页签
用户点击左侧任务目录树或者新建任务节点后，会打开（或定位）该任务页签。在任务页签栏，用户可进行以下操作：
新建：支持用户点击页签状态栏的“+”号快捷新建一个任务，该任务默认保存在当前空间的根节点下。
关闭页签：鼠标悬浮在页签上方，出现向下的按钮时，可对该任务页签进行批量关闭的操作。
页签颜色状态对应关系：
| 状态图例 | 说明 |
|---|---|
| 绿色 | 运行成功 |
| 红色 | 运行失败 |
| 蓝色 | 正在运行 |
| 灰色 | 暂无运行 |
SQL功能区
| 序号 | 功能名称 | 说明 |
|---|---|---|
| 1 | 保存 | 将任务进行保存操作，保存当前节点代码及相关配置。 |
| 2 | 格式化 | 格式化书写的代码，使其语法结构看起来简洁明了 |
| 3 | 参数 | 暂未上线。 |
| 4 | 版本 | 点击版本，可查看当前任务上的提交版本和保存版本。 支持版本之间的代码查看和代码回滚。 |
| 5 | 调度 | 点击弹出侧边栏弹窗，进行调度设置，具体配置方式详见调度设置 |
| 6 | 提交 | 仅对要定时调度的任务才需要使用“提交”功能。“提交”后，任务会提交发布到运维中心、按照配置的调度时间定时调度运行 任务在提交前，需要进行调度配置，具体配置方式详见调度设置 |
| 7 | 运维 | 点击进入「运维」中心 |
| 8 | 任务流程说明 | 鼠标悬浮在任务流程的tips上方，显示开发任务的上线流程图。 # |
| 9 | 集群筛选 | 图中所示的“default”，表示任务执行需要使用的Virtual Cluster，可点击进行切换来选择其它Virtual Cluster 如果要新增Virtual Cluster，可在“计算”中进行操作 |
| 10 | 运行/停止 | 运行/终止当前节点的代码。运行 SQL 代码时，支持选中部分代码后运行。 |
SQL编辑区
- schema切换：点击下拉框可切换当前工作空间下的schema，默认使用的public
- 快捷方式：快捷方式在Studio开发编译区支持的各种能力，具体见其他：常用快捷操作
- SQL编辑区：Studio开发功能的SQL编译器向用户提供了以下功能用以提升数据开发，数据分析的工作效率
| 功能 | 功能介绍 |
|---|---|
| 代码折叠 | 将代码块收起以减少阅读时的干扰 |
| 语法错误实时提示 | 编写代码的过程中，及时提示用户发现的语法错误，帮助用户避免出错 |
| 语法高亮 | 在编辑器或IDE中，使用不同的颜色或字体高亮显示代码中的关键字和语法结构，以增强可读性 |
| 智能补全 | 根据上下文和已知信息，自动补全代码中的关键字、函数名、变量名等，提高编码效率和精度 |
| 局部代码执行 | 只运行代码的一部分而非整个程序，以便快速测试小段代码或排除错误 |
调度设置
在任务测试完成一切正常后，如果要将该任务定时调度运行，需要配置任务的调度属性，可点击SQL功能区的「调度」按钮。
基本信息
| 参数 | 说明 |
|---|---|
| 负责人 | 必填。仅限一个成员，默认为任务创建人，可根据实际需要，修改为工作空间下的其他成员。 |
| 描述 | 非必填，可对任务进行详细描述，方便后续查看和管理。 |
| 运行属性 | 必选。正常调度：按照用户设置的调度规则进行调度。 空跑调度：当某任务逻辑暂时无需运行，但又不想改动整个数据链路关系时，可将其设置为空跑，此时该任务会直接置为成功。 暂停：任务设置为“暂停调度”后，发布到运维中心，整个任务的状态为“暂停”状态，不生成任务实例、可以进行补数据操作 |
| 集群 | 必填。用于定义该任务发布至生产环境调度运行时使用的调度资源组。 |
| schema | 必填。用于定义该任务发布至生产环境运行时使用的前缀schema |
| 任务优先级 | 可选。用于设定Lakehouse SQL任务的调度优先级，支持0-9十个级别，数字越大优先级越高。 |
| 参数配置 | 点击“新增参数”可以新增一个参数 点击加载代码中参数，会自动加载在代码中已经使用的参数 代码中，引用参数的方式为：'${bizdate}' ，注意这里的引号是英文的引号 备注：更多的系统内置参数，会在后续版本中支持 |
调度时间
| 参数 | 说明 |
|---|---|
| 调度周期 | 每天调度：选中后该调度每天都会执行。 每月指定天调度：用户可自行选择每月指定的日期执行调度。 每周指定天调度：用户按照周粒度指定具体日期执行。 |
| 调度频率 | 执行1次：用户选择执行1次后，只需要配置开始调度时间即可。 执行多次：用户选择执行多次后，还需要配置调度间隔时长、开始调度时间、结束调度时间，排除时间设置 |
| 每次调度间隔时长 | 选择执行多次时，可支持用户自定义每次执行的间隔时长，从1分钟，到12个小时的跨度均支持选择 |
| 开始调度时间 | 每天实例开始执行的时间 |
| 结束调度时间 | 每天实例结束执行的时间 |
| 排除时间设置 | 若包含了用户设定了排除时间，那么在该时间范围内不会生成相应的周期调度实例 |
| 生效时间 | 任务从哪一天开始生效 |
| 失效时间 | 任务从哪一天开始失效 |
| 预览调度时间 | 点击预览调度时间，可查看配置调度后具体的运行时间。 |
实例信息
Studio支持次日生效、发布后生效两种实例生成方式。
| 参数 | 说明 |
|---|---|
| 实例生成方式 | 发布后生效：即时转实例的方式，发布后，会即刻生成当天的任务实例、按照配置的调度时间运 次日生效：在隔天再调度运行任务的实例 |
| 实例遇错重跑 | 实例重跑属性，主要从数据幂等性等考虑，设定任务实例是否可以被重跑。请按需设置。 运行成功或失败后皆可重跑 运行成功后不可重跑，运行失败后可重跑 运行成功或失败皆不可重跑 |
| 自动重跑次数 | 自定义重跑次数 |
| 实例超时时长 | 不开启 自定义 任务的实例运行时间超过设定时长后，则会直接置为失败。取值改动后，只对定时时间在任务提交时间之后的新实例生效 |
| 预览调度时间 | 点击预览调度时间，可查看配置调度后具体的运行时间。 |
| 参数配置 | 点击“新增参数”可以新增一个参数 点击加载代码中参数，会自动加载在代码中已经使用的参数 代码中，引用参数的方式为：'${bizdate}' ，注意这里的引号是英文的引号 备注：更多的系统内置参数，会在后续版本中支持 |
| 调度等待时长 | 任务实例在到达调度定时时间后，若等待时长超过设定值，且仍处于等待上游任务结束的状态（即未进入运行状态，也未运行结束），系统将直接判定该任务实例运行失败，以防止其长时间不运行、产生调度堆积。 |
| 延迟运行空跑跳过时长 | 基于任务实例进入运行状态的时间与配置的定时时间之间的差异进行判断。若该差值超过设定时间，择直接进行空跑跳过操作，并将该实例状态置为成功。 |
调度依赖
复杂的生产任务，通常存在上下游的依赖关系，比如DWD加工任务需要依赖ODS层任务。在“调度依赖”配置，可以添加当前任务的依赖上游任务。支持的方式有两种：父节点的文件名称、父节点产出的表名
依赖策略：当前支持默认策略、向前依赖、向前就近依赖策略。具体策略对应的实例生成方式可见任务调度依赖关系
任务产出
有两种方式配置任务的产出信息
方式一：通过上文提及的代码自动解析，可自动生成输出表名
方式二：通过搜索表名、手动添加
关于任务调度的更多信息，请参考：任务调度依赖、任务调度和实例执行方式
提交上线
单击编辑器上方功能栏中的提交上线按钮，进行提交任务。
运维查看
点击跳转至「运维」中心查看任务运维
运行结果
运行历史
运行历史提供了当前任务页签下7天内近20条运行结果数据
运行结果
日志
SQL作业可以根据日志进行诊断，详情请查看JOB PROFILE 点击任务运行后，在页面下方的日志区域，可以查看任务运行的详细日志信息
通过展开和收起按钮，可以调整日志展示区域的展开和收起
通过刷新按钮，可对日志进行强制刷新
数据
任务运行完成，对于有结果返回的（比如SELECT语句），会通过“数据”Tab，来展示返回的结果：
其他：常用快捷操作
在代码编辑框中，当前支持如下快捷键来帮助提升编辑效率：
保存
MAC：CMD + s
Windows：Ctrl + s
注释或解除注释光标所在行或代码块
MAC：CMD + /
Windows：Ctrl + /
剪切 光标所在行或代码块
MAC：CMD + x
Windows：Ctrl + x
复制 光标所在行或代码块
MAC：CMD + c
Windows：Ctrl + c
粘贴
MAC：CMD + v
Windows：Ctrl + v