数据同步方法及装置与流程

文档序号:12124440阅读:来源:国知局

技术特征:

1.一种数据同步方法,其特征在于,用于HADOOP服务器,所述方法包括:

获取所述HADOOP服务器中的同步数据的HDFS文件目录;

将所述HDFS文件目录下的所述同步数据同步至第三方服务器中的NFS共享目录下,其中,所述NFS共享目录与Oracle服务器中的外部表存在一一映射关系,以实现所述同步数据从所述HADOOP服务器至所述Oracle服务器的同步。

2.根据权利要求1所述的数据同步方法,其特征在于,还包括:

检测所述HDFS文件目录是否有更新;

当检测到所述HDFS文件目录有更新时,获取所述HDFS文件目录下的更新数据;

将所述更新数据同步至所述NFS共享目录下,以同步更新所述NFS共享目录和所述外部表。

3.根据权利要求2所述的数据同步方法,其特征在于,在所述获取所述HADOOP服务器中的同步数据的HDFS文件目录的步骤中,还包括:记录所述HDFS文件目录的创建时间,并将所述创建时间作为更新基准时间;以及

所述检测所述HDFS文件目录是否有更新的步骤,具体包括:

按周期获取所述HDFS文件目录的更新时间;

在每个所述周期中,若判定所述HDFS文件目录的更新时间相较于所述更新基准时间有变化,则确定所述HDFS文件目录有更新;

将所述HDFS文件目录的更新时间记录为所述HDFS文件目录的更新基准时间。

4.一种数据同步装置,其特征在于,用于HADOOP服务器,所述装置包括:

获取模块,用于获取所述HADOOP服务器中的同步数据的HDFS文件目录;

数据同步模块,用于将所述HDFS文件目录下的所述同步数据同步至第三方服务器中的NFS共享目录下,其中,所述NFS共享目录与Oracle服务器中的外部表存在一一映射关系,以实现所述同步数据从所述HADOOP服务器至所述Oracle服务器的同步。

5.根据权利要求4所述的数据同步装置,其特征在于,还包括:

检测模块,用于检测所述HDFS文件目录是否有更新;

更新模块,用于当所述检测模块检测到所述HDFS文件目录有更新时,获取所述HDFS文件目录下的更新数据;以及

所述数据同步模块还用于:将所述更新数据同步至所述NFS共享目录下,以同步更新所述NFS共享目录和所述外部表。

6.根据权利要求5所述的数据同步装置,其特征在于,还包括:

记录模块,用于在所述获取模块获取所述HADOOP服务器中的同步数据的HDFS文件目录时,记录所述HDFS文件目录的创建时间,并将所述创建时间作为更新基准时间;以及

所述检测模块具体包括:

获取子模块,用于按周期获取所述HDFS文件目录的更新时间;

确定子模块,用于在每个所述周期中,若判定所述HDFS文件目录的更新时间相较于所述更新基准时间有变化,则确定所述HDFS文件目录有更新;以及

所述记录模块还用于:将所述HDFS文件目录的更新时间记录为所述HDFS文件目录的更新基准时间。

7.一种数据同步方法,其特征在于,用于第三方服务器,所述方法包括:

接收HADOOP服务器中的HDFS文件目录下的同步数据;

将所述同步数据存储在所述第三方服务器中的NFS共享目录下;

建立所述NFS共享目录与Oracle服务器中的外部表之间的一一映射关系,以实现所述同步数据从所述HADOOP服务器至所述Oracle服务器的同步。

8.根据权利要求7所述的数据同步方法,其特征在于,还包括:

检测是否接收到来自所述HDFS文件目录下的更新数据;

若接收到所述更新数据,则将所述更新数据更新存储至所述NFS共享目录下,并更新所述NFS共享目录,以同步更新所述Oracle服务器中的所述外部表。

9.一种数据同步装置,其特征在于,用于第三方服务器,所述装置包括:

接收模块,用于接收HADOOP服务器中的HDFS文件目录下的同步数据;

存储模块,用于将所述接收模块接收到的所述同步数据存储在所述第三方服务器中的NFS共享目录下;

创建模块,用于建立所述NFS共享目录与Oracle服务器中的外部表之间的一一映射关系,以实现所述同步数据从所述HADOOP服务器至所述Oracle服务器的同步。

10.根据权利要求9所述的数据同步装置,其特征在于,还包括:

检测模块,用于检测所述接收模块是否接收到来自所述HDFS文件目录下的更新数据;

更新模块,用于当所述检测模块检测到所述接收模块接收到所述更新数据时,将所述更新数据更新存储至所述NFS共享目录下,并更新所述NFS共享目录,以同步更新所述Oracle服务器中的所述外部表。

11.一种数据同步方法,其特征在于,用于Oracle服务器,所述方法包括:

创建外部表;

建立所述外部表与第三方服务器中的NFS共享目录之间的一一映射关系,其中,所述NFS共享目录下存储有HADOOP服务器中HDFS文件目录下的同步数据;

将所述外部表中的数据存储至所述Oracle服务器的业务表中,以实现所述同步数据从所述HADOOP服务器至所述Oracle服务器的同步。

12.根据权利要求11中的数据同步方法,其特征在于,还包括:

当所述NFS共享目录有更新时,同步更新所述外部表中的数据;以及

按周期检测所述外部表中的数据是否有更新;

在每个所述周期中,当检测到所述外部表中的数据有更新时,读取所述外部表中的更新数据,并将所述更新数据更新存储至所述业务表中。

13.一种数据同步装置,其特征在于,用于Oracle服务器,所述装置包括:

创建模块,用于创建外部表;

关联模块,用于建立所述创建模块创建的所述外部表与第三方服务器中的NFS共享目录之间的一一映射关系,其中,所述NFS共享目录下存储有HADOOP服务器中HDFS文件目录下的同步数据;

存储模块,用于将将所述外部表中的数据存储至所述Oracle服务器的业务表中,以实现所述同步数据从所述HADOOP服务器至所述Oracle服务器的同步。

14.根据权利要求13所述的数据同步装置,其特征在于,还包括:

更新模块,用于当所述NFS共享目录有更新时,同步更新所述外部表中的数据;

检测模块,用于按周期检测所述外部表中的数据是否有更新;以及

所述存储模块还用于:在每个所述周期中,当所述检测模块检测到所述外部表中的数据有更新时,读取所述外部表中的更新数据,并将所述更新数据更新存储至所述业务表中。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1