普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 连接组件
  • 合并记录
  • 数据连接

# 连接组件

本章节详细说明连接组件的功能及属性,具体如下:

  • 合并记录
  • 数据连接

# 合并记录

功能介绍:该组件可以比较两个数据流,用于比较并合并两行数据中的数据。

使用场景:在使用此组件之前需对表数据进行排序,可以在前置组件例如表输入中进行order by。两个数据流被合并,一个是引用流,一个是比较流,比较完成之后每行会有以下标记:

  • Identical:关键字在两个流中都存在,并且值相同。
  • New:引用流中没有找到指定的关键字。
  • Deleted:比较流中没有找到关键字。
  • changed:比较流中数据有变化的关键字

图标:

组件界面:

《建立连接关系》 《选择两个数据源进行比较》
此步骤将引用行(旧数据源)与比较行(新数据源)合并,并创建合并的输出行。

join

参数说明:

参数 说明
节点名称 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
旧数据源 在输入节点list中选择引用行。
新数据源 在输入节点list中选择比较行。
标志字段 行中的标志指示值是如何比较和合并的。标志字段用于保存比较的结果,比较结果有下列几种
1.“identical”-旧数据和新数据一样
2.“changed”-数据发生了变化;
3.“new”-新数据中有而旧数据中没有的记录
4.“deleted”-日数据中有而新数据中没有的记录
关键字段 用于定位两个数据源中的同一条记录
比较字段 对于两个数据源中的同一条记录中,指定需要比较的字段。

⚠注意:旧数据和新数据需要事先按照关键字段排序

​ 旧数据和新数据要有相同的字段名称

# 数据连接

功能介绍:该组件用于实现数据集合的关联,分为内连接,左连接,右连接,外连接。

使用场景:在使用此组件之前需对表数据进行排序,可以在前置组件例如表输入中进行 order by。该组件在具有来自两个不同输入步骤的数据的数据集之间执行经典的合并连接。连接选项包括INNER, LEFT OUTER, RIGHT OUTER和FULL OUTER。
使用数据连接组件,必须要两个输入数据集是有序的,并且是根据需要join的字段排序,可以借助【排序记录】组件。

注意:

  • 在此步骤中,将按照指定的关键字段对行进行排序。在使用Sort步骤时,这可以正常工作。当您在PDI之外对数据进行排序时,您可能会遇到内部区分大小写/不区分大小写标志的问题。
  • 如果关键字段有相同的名称(例如ID),第二个关键字段$key_1(例如ID_1)将在结果中创建。

图标:

组件界面:

join

参数说明:

参数 说明
节点名称 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
第一个步骤 指定合并连接的第一个输入步骤(左)。
第二个步骤 指定合并连接的第二个输入步骤(右)。
连接类型 从可用的连接类型中选择:
FULL OUTER: 来自两个数据源的所有行都将包含在结果中,对于两个数据流中不匹配的键,将使用空值;
LEFT OUTER: 来自第一个源的所有行都将出现在结果中,对于第二个数据流中不匹配的键,将使用空值;
RIGHT OUTER: 来自第二个源的所有行都将出现在结果中,对于第一个数据流中不匹配的键,将使用空值;
INNER JOIN: 只有在两个源中具有相同键的行才会包含在结果中。
第一个步骤的字段 指定对传入数据进行排序的关键字段;单击“获取链接字段”以从指定第一个步骤检索字段列表。
第二个步骤的字段 指定对传入数据进行排序的关键字段;单击“获取链接字段”以从指定第二个步骤检索字段列表。

← 查询 批量加载 →