利用kettle实现数据库之间的数据同步

如果你需要做不同数据库之间的数据迁移或者抽取部分数据到另一个数据库，并实现定时数据同步（非实时），那么kettle是一个很好的选择。

以mysql数据库—> oracle数据库的定时同步作为案例:

一、工具安装和环境准备

1. 安装mysql数据库和oracle数据库
2. 下载pdi-ce-8.2.0.0-342
3. 打开目录下data-integration\Spoon.bat ，即可打开keetle软件

二、 清楚数据抽取需求

1. 抽取数据的mysql数据库表和oracle的表一致，单表对单表抽取
2. 根据oracle需求，在mysql写sql，再抽取相应数据到Oracle。
3. 是否定时。
4. 全量抽取 or 增量抽取。

案例需求：根据需求在mysql写sql，增量抽取其数据到Oracle，实现按天定时抽取。

备注：（按月增量），查询当前月份为全量抽取，非当前月份数据增量抽取。例如：今天是10月15日，到月底之前每天全量抽取当月数据，每天更新10月份的数据；11月1号开始，10月份数据不动，只是每天全量抽取更新11月份的数据。

所以当月是全量抽取，但增量是基于前一个月的基础上。

首先在mysql数据库 根据需求编写sql。

三、新建转换

1. 主对象树-转换-右键新建

2. 主对象树-DB连接-右键新建

连接oracle数据库:

连接mysql数据库：

3. 核心对象—输入—表输入-拖入界面即可

双击打开表输入

4. 核心对象—输出—插入/更新—拖入界面即可

   双击打开表插入/更新

5. 核心对象—>转换—>字段选择—拖入界面即可

   按住shift连接三者

   双击打开字段选择(点击元数据—获取改变的字段即可)

   注意Encoding设置为UTF-8,否则抽取的数据会乱码

6. 核心对象—>脚本—>执行sql脚本—拖入界面即可

双击打开执行sql脚本

由于我们需要按月做增量抽取，本月数据做全量抽取。所以在抽本月数据之前要先删除oracle库目标表中之前抽取的本月数据。

7. 点击运行此转换—即可完成一次数据抽取

四、新建作业

1. 主对象树-作业-右键新建

2. 核心对象—Start/作业/成功—拖入界面并连接

3. 双击打开作业

   浏览—选择上一步的转换文件目录

4. 双击打开Start

   设置按天 定时抽取（重复）

5. 点击run 定时抽取数据到oracle，即可完成