普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 通用组件
  • 开始
  • 转换
  • 编排
  • 成功
  • 写日志
  • 设置变量

# 通用组件

本章节详细说明通用组件的功能及属性,具体如下:

  • 开始
  • 转换
  • 编排
  • 成功
  • 写日志
  • 设置变量

# 开始

功能介绍:该组件用于设置编排任务执行的入口。只有无条件的任务可以从开始入口连接。

使用场景:Start定义作业执行的起始点。每一项工作必须有一个(且只有一个)开始。无条件作业跳转只能从Start作业条目中获得。
Data Integration Server为调度作业和转换的执行提供了一个更健壮的选项,是使用Start步骤调度的首选替代方案。

图标:

组件界面:

job

参数说明:

参数 说明
节点名称 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
备注 其它描述信息。

# 转换

功能介绍:该组件用于在编排中引用预先定义的转换。

使用场景:该条目是从作业到ETL活动(转换)的访问点。
常见作业的示例包括获取FTP文件、检查必要的目标数据库表的存在性、运行填充该表的转换,以及在转换失败时发送错误日志。对于本例,Transformation条目定义了要运行哪个转换来填充表。

图标:

组件界面:

job

参数说明:

参数 说明
节点名称 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择转换作业 选择引用指定的转换作业。
执行每个输入行 对每个输入行运行一次转换(循环)。
执行前清除结果行 确保在转换开始之前清除结果行。
执行前清除结果文件 确保在转换开始之前清除结果文件。
传递编排所有参数 将作业的所有参数传递给子转换。
将结果复制到命名参数 将先前转换的结果复制为转换的参数。
命名参数 命名参数:指定将传递给转换的参数名称;
流字段:允许您捕获结果集传入记录的字段作为参数;
值:允许您指定转换参数的值。
- 手动输入一个值(例如:ETL Job)
- 使用参数设置值(例如:${Internal.Job.Name})
- 使用手动指定值和参数值的组合(例如:${FILE_PREFIX}_${FILE_DATE}.txt)

# 编排

功能介绍:该组件用于在编排中引用预先定义的编排。

使用场景:Job作业条目执行先前定义的作业,这允许您执行功能分解:将作业分解为更易于管理的单元。
例如,与其使用一个包含500个条目的作业来编写数据仓库负载,不如创建更小的作业并聚合它们。
注意:虽然可以创建一个指向自身的递归的、永不结束的作业,但您应该注意,这样的作业最终会因内存不足或堆栈错误而失败。

图标:

组件界面:

job

参数说明:

参数 说明
节点名称 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择编排作业 选择引用指定的编排作业。
执行每个输入行 对每个输入行运行一次作业(循环)。
执行前清除结果行 确保在作业开始之前清除结果行。
执行前清除结果文件 确保在作业开始之前清除结果文件。
传递编排所有参数 将作业的所有参数传递给子转换。
将结果复制到命名参数 将先前转换的结果复制为作业的参数。
如果为每个输入行选择Execute,则每一行都是一组要传递给作业的命令行参数;否则,只使用第一行来生成命令行参数。
命名参数 命名参数:指定将传递给作业的参数名称;
流字段:允许您捕获结果集传入记录的字段作为参数;
值:允许您指定作业参数的值。
- 手动输入一个值(例如:ETL Job)
- 使用参数设置值(例如:${Internal.Job.Name})
- 使用手动指定值和参数值的组合(例如:${FILE_PREFIX}_${FILE_DATE}.txt)

# 成功

功能介绍:该组件用于清除编排中遇到的任何错误状态,并将其强制设置为成功状态。

使用场景:代表编排执行成功,在日志中打印成功信息。

图标:

组件界面:

job

参数说明:

参数 说明
节点名称 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
备注 其它描述信息。

# 写日志

功能介绍:在日志窗口打印指定日志信息。

使用场景:一般将 kettle 转换开发完成,都是通过定时任务来调度作业运行。从而实现自动化同步数据,但是在数据运行过程中总有偶尔突发情况,如因网络、字段长度不够导致数据异常等。此时最好追溯问题的办法就是查看日志。
写日志主要是在调试的时候使用,把日志信息打印到日志窗口。

图标:

组件界面:

job

job

参数说明:

参数 说明
节点名称 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
日志级别 要使用的日志级别。
包括没有日志、错误日志、最小日志、基本日志、详细日志、调试、行级日志等从上到下越来越详细。
日志主题 要在日志记录行中使用的主题。
日志消息 要写入日志的日志消息。

# 设置变量

功能介绍:该组件用于设置环境变量,范围可以是:JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量。

使用场景:该组件能够将传递进来的字段数据转变成模型变量,进行对变量的调用操作。

图标:

组件界面:

job

参数说明:

参数 说明
节点名称 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
属性文件名 kettle.property文件中设置,可kettle中可以引用。
有效范围 可选项有:
- 在虚拟机中有效:整个虚拟机将知道这个变量;
- 在父作业中有效:变量只在父作业中有效;
- 在祖父级父级作业中有效:该变量在祖父级父级作业以及所有子作业和转换中有效;
- 在根作业中有效:该变量在根作业以及所有子作业和转换中有效。
是否变量替换 是否使用变量替换参数值。
变量列表 变量名:要设置的变量名(不带${…)}或%%…% %了相应的符号);
变量有效范围:定义变量的作用域;
值:要设置的变量的默认名称。

← 作业 文件传输 →