Informatica ETL开发入门实例

全栈程序员-站长 • 2022年6月11日上午10:36 • 未分类 • 阅读 36

大家好，又见面了，我是你们的朋友全栈君。

一、ETL开发前准备工作

注：Informatica的存储服务和集成服务必须已经启动，客户端才能连接并进行ETL实例开发

客户端工具：

PowerCenter Designer：D客户端
PowerCenter Repository Manager：R客户端
PowerCenter Workflow Manager：W客户端
PowerCenter Workflow Monitor：M客户端

1、配置域
打开R客户端（Repository Manager），点击【存储库】，选择【配置域】
在这里插入图片描述
配置域（参考下图）：

域名：domain_notebook8（domain_：域名前缀，必须写）
网关主机：notebook8
网关端口：6005

连接成功：
在这里插入图片描述
2、创建文件夹
点击【文件夹】，选择【创建】，创建文件夹
关于mapping、任务、工作流，都是在相应的文件夹里面操作的，因此首要就是：打开R客户端（Repository Manager），创建一个文件夹，为后面的ETL实例开发做好准备。
在这里插入图片描述
三、准备源数据
1、准备ODS层、EDW层、DM层

OLTP —> ODS —> EDW —> DM

2、准备BI_ODS用户、BI_EDW用户、BI_DM用户

scott —> BI_ODS —> BI_EDW —> BI_DM

（1）创建 BI_ODS 用户并授权

--Create User BI_ODS
create user bi_ods				--用户名
	identified by bi_ods		--密码
	default tablespace USERS	--默认表空间
	temporary tablespace TEMP;	--临时表空间

--Grant/Revoke role privileges
grant connect to bi_ods;
grant dba to bi_ods;
grant resource to bi_ods;

--Grant/Revoke system privileges
grant unlimited tablespace to bi_ods;

（2）创建 BI_EDW 用户并授权

--Create User BI_EDW
create user bi_edw
	identified by bi_edw
	default tablespace USERS
	temporary tablespace TEMP;

--Grant/Revoke role privileges
grant connect to bi_edw;
grant dba to bi_edw;
grant resource to bi_edw;

--Grant/Revoke system privileges
grant unlimited tablespace to bi_edw;

（3）创建 BI_DM 用户并授权

--Create User BI_DM
create user bi_dm
	identified by bi_dm
	default tablespace USERS
	temporary tablespace TEMP;

--Grant/Revoke role privileges
grant connect to bi_dm;
grant dba to bi_dm;
grant resource to bi_dm;

--Grant/Revoke system privileges
grant unlimited tablespace to bi_dm;

四、ETL开发入门实例
将【scott用户的emp表】的数据抽取到【bi_ods用户的ods_emp表】

期望结果如下：

scott用户：源表（EMP）

bi_ods用户：目标表（ODS_EMP）
在这里插入图片描述
1、创建目标用户（bi_ods）并授权

源(scott)					目标(bi_ods层)
用户名：scott				用户名：bi_ods
密码：tiger					密码：bi_ods
数据库服务实例：orcl			数据库服务实例：orcl

注：scott用户和scott用户下的源表（EMP）本身就有，无需另行创建。

2、导入源表
打开D客户端（Designer），从数据库导入

注意：这里的BI_ODS这个文件夹要双击选中（会看到字体变粗），上面的菜单栏才会显示出源(S)这个可选项，否则可能会找不到！

3、构建目标表
把源表复制到目标表，并重命名ODS_EMP：

点击【目标】，选择【生成/执行SQL】，生成目标表

连接PL/SQL，登录bi_ods用户，查看是否生成目标表ODS_EMP：

4、创建映射

5、定义任务
打开W客户端（Workflow Manager）

scott用户：

bi_ods用户：

结果：

6、创建任务会话

源：ora_source_scott

目标：ora_source_scott

默认是Bulk（桶）加载，这里改成Normal（正常）加载：

7、创建工作流

8、启动任务/通过任务启动工作流

【启动任务】或【通过任务启动工作流】，然后会自动弹出M客户端（Workflow Monitor）：
在这里插入图片描述
通过M客户端可以看到任务的执行情况！