本公开涉及计算机信息处理领域，具体而言，涉及一种关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质。
背景技术：
：：关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。数据仓库，英文名称为datawarehouse，可简写为dw或dwh。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库的数据是从原来的分散的数据库数据(mysql等关系型数据库)抽取出来的。数据仓库的数据与关系型数据库中的数据差别甚大。第一，数据仓库的每一个主题所对应的源数据在所有的各个分散的数据库中，有许多重复和不一样的地方，且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起；第二，数据仓库中的综合数据不能直接由关系型数据库直接得到。因此在关系型数据库中的数据进入数据仓库进行数据处理之前，需要经过数据转化工作，这也是目前数据仓库技术中的关键点。目前经常是在每天的业务处理较少的时期，预留出一段时间专供数据库与数据仓库之间进行数据同步，但是随着很多业务数据对数据实时性要求的提高，目前的做法已经不能满足需要。因此，需要一种新的关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质。在所述
背景技术：
：部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。技术实现要素：有鉴于此，本公开提供一种关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的一方面，提出一种关系型数据库和数据仓库的数据同步方法，该方法包括：实时获取来自关系型数据库的二进制日志文件；将所述二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中。可选地，还包括：在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。可选地，还包括：在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。可选地，将所述多个数据更新记录分别传输到分布式发布订阅消息系统的多个分区中包括：获取所述关系型数据库中的多个数据表的哈希值；以及将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。可选地，根据所述数据更新记录生成同步任务包括：将分区中的所述数据更新记录传输到缓存中；以及根据所述更新记录生成所述同步任务。可选地，根据所述同步任务将所述多条数据更新记录同步到数据仓库中包括：将生成的多个同步任务合并为同步任务队列；按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；以及基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中。可选地，基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中包括：加载所述同步任务队列；以及依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。可选地，所述预定规则包括下列的任一种或其组合：当读取分区中的数据更新记录的时间达到预定阈值；当读取分区中的数据更新记录条目数量达到预定阈值。可选地，将所述关系数据库中的数据更新同步到数据仓库之后还包括：回传所述同步任务的执行情况，所述执行情包括执行成功和执行不成功。可选地，所述同步任务包括删除指令、插入指令中的至少一个。根据本公开的一方面，提出一种关系型数据库和数据仓库的数据同步装置，该装置包括：日志模块，用于实时获取来自关系型数据库的二进制日志文件；记录模块，用于将所述二进制日志文件进行解析，生成多条数据更新记录；传输模块，用于将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；任务模块，用于根据所述数据更新记录生成同步任务；以及同步模块，用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。可选地，还包括：删除模块，用于在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。可选地，还包括：回滚模块，用于在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。可选地，所述传输模块包括：哈希单元，用于获取所述关系型数据库中的多个数据表的哈希值；以及传输单元，用于将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。可选地，所述任务模块包括：缓存单元，用于将分区中的所述数据更新记录传输到缓存中；以及任务单元，用于根据所述更新记录生成所述同步任务。可选地，所述同步模块包括：合并单元，用于将生成的多个同步任务合并为同步任务队列；更新单元，用于按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；以及同步单元，用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。可选地，所述任务模块还包括：加载单元，用于加载所述同步任务队列；以及执行单元，用于依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。可选地，所述预定规则包括下列的任一种或其组合：当读取分区中的数据更新记录的时间达到预定阈值；当读取分区中的数据更新记录条目数量达到预定阈值。可选地，所述同步模块还包括：回传单元，用于回传所述同步任务的执行情况，所述执行情包括执行成功和执行不成功。可选地，所述同步任务包括删除指令、插入指令中的至少一个。根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。根据本公开的关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质，将关系型数据库的二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中的方式，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法及装置的系统框图。图2是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的流程图。图3是根据另一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的示意图。图4是根据另一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的流程图。图5是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步装置的框图。图6是根据一示例性实施例示出的一种电子设备的框图。图7是根据一示例性实施例示出的一种计算机可读介质的框图。具体实施方式现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。图1是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法及装置的系统框图。如图1所示，系统架构10可以包括关系型数据库101，数据解析装置102，分布式发布订阅消息系统103，同步服务器104，数据仓库105。还可包括网络106，网络106用以在关系型数据库101，数据解析装置102之间；数据解析装置102，分布式发布订阅消息系统103之间；分布式发布订阅消息系统103，同步服务器104之间；同步服务器104，数据仓库105之间提供通信链路的介质。网络106可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。关系型数据库101可以为mysql关系型数据库，关系型数据库101可采用表格的储存方式，数据以行和列的方式进行存储。关系型数据库101按照结构化的方法存储数据，每个数据表都必须对各个字段定义好(也就是先定义好表的结构)，再根据表的结构存入数据。关系型数据库101可支持数据库的crud(增加，查询，更新，删除)操作。数据解析装置102可为maxwell工具，maxwell是一个能实时读取mysql二进制日志binlog，并生成json格式的消息，作为生产者发送给kafka或其它平台的应用程序。分布式发布订阅消息系统103可为kafka系统，kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。可以用kafka可以收集各种数据库的日志文件，通过kafka以统一接口服务的方式开放给各种消费者。分布式发布订阅消息系统103中发布订阅的对象是topic，即为消息存放的目录或主题。可以为关系型数据库中能够的每个表名均创建一个topic。同步服务器104，可将分布式发布订阅消息系统103传输过来的数据，进行数据处理之后，实时同步到数据仓库105中。数据仓库105可为greenplum数据仓库，数据仓库105的架构可采用了mpp(大规模并行处理)。在mpp系统中，每个smp节点也可以运行自己的操作系统、数据库等。换言之，每个节点内的cpu不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一般称为数据重分配(dataredistribution)。greenplum支持50pb(1pb＝1024tb)级海量数据的存储和处理，greenplum将来自不同源系统的、不同部门、不同平台的数据集成到数据库中集中存放，并且存放详尽历史的数据轨迹，业务用户不用再面对一个又一个信息孤岛，也不再困惑于不同版本数据导致的偏差，同时对于it人员也降低管理维护工作的复杂度。在一个具体的应用场景中，关系型数据库101生成二进制日志文件，数据解析装置102实时获取二进制日志文件，并将所述二进制日志文件进行解析，生成多条数据更新记录，分布式发布订阅消息系统103获取多条数据更新记录，并将其存储在多个分区中，同步服务器104根据所述数据更新记录生成同步任务，并根据所述同步任务将所述多条数据更新记录同步到数据仓库105中。图2是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的流程图。关系型数据库和数据仓库的数据同步方法20至少包括步骤s202至s210。如图2所示，在s202中，实时获取来自关系型数据库的二进制日志文件。关系型数据库可以为mysql关系型数据库，二进制日志文件可例如为binlog文件，binlog用于记录用户对数据库更新的sql语句信息，例如更改数据库表和更改内容的sql语句都会记录到binlog里，但是对库表等内容的查询不会记录。其中，mysql需要先启用binlog功能，然后才能生成binlog文件。在s204中，将所述二进制日志文件进行解析，生成多条数据更新记录。可通过maxwell工具进行二进制文件的解析，maxwell可以对数据进行分区，解决数据倾斜问题，发送到kafka的数据支持database、table、column等级别的数据分区。在s206中，将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中。可包括：获取所述关系型数据库中的多个数据表的哈希值；以及将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。更具体的可包括：根据数据表的数据量，由所述数据表生成至少一个数据任务；将所述数据表的名称的哈希值作为所述至少一个数据任务的名称；以及以所述数据任务为单位将所述多个数据表分别传输到分布式发布订阅消息系统的多个分区中。分布式发布订阅消息系统可为kafka系统，kafka系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。kafka基于发布-订阅模式进行两个应用之间的消息传输。在发布-订阅消息系统中，消息被持久化到一个topic中。消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，数据被消费后不会立马删除，一直到接到了删除指令或者预定事件发生时，数据才会被删除，这种方式保证了数据的安全性，免得被误删除。在s208中，根据所述数据更新记录生成同步任务。包括：将分区中的所述数据更新记录传输到缓存中；以及根据所述更新记录生成所述同步任务。所述同步任务包括删除指令、插入指令中的至少一个。同步任务可为task任务，task任务表示一个通过或不通过线程实现的并发操作，任务是可组合的，使用延续可将它们串联在一起，它们可以使用线程池减少启动延迟，可使用回调方法避免多个线程同时等待i/o密集操作。在缓存中生成不同的分区，按照分区将task依次存储，在后续的存储过程中，还可以以数据任务为存储单位通过同步工具将所述多个分区中的数据更新记录同步至数据仓库中在s210中，根据所述同步任务将所述多条数据更新记录同步到数据仓库中。包括：将生成的多个同步任务合并为同步任务队列；按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中。其中，所述预定规则包括下列的任一种或其组合：当读取分区中的数据更新记录的时间达到预定阈值；当读取分区中的数据更新记录条目数量达到预定阈值。在一个实施例中，还包括将所述数据更新记录分别存储在删除表和插入表中。更具体的，将所述数据更新记录分别存储在删除表和插入表中包括：对数据更新记录中的数据进行筛选处理；根据筛选处理结果确定所述数据更新记录中的指令类别，基于所述指令类别将所述数据更新记录中的数据分别存储在所述删除表和所述插入表中。在一个实施例中，基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中包括：加载所述同步任务队列；以及依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。根据本公开的关系型数据库和数据仓库的数据同步方法，将关系型数据库的二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中的方式，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。图3是根据另一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的示意图。图4是根据另一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的流程图。图4所示的流程是对图2所示的流程的补充描述。如图4所示，在s402中，根据所述同步任务将所述多条数据更新记录同步到数据仓库中。在s404中，回传所述同步任务的执行情况，所述执行情包括执行成功和执行不成功。在s406中，在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。在s408中，在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。其中，回滚(rollback)指的是程序或数据处理错误，将程序或数据恢复到上一次正确状态的行为。回滚包括程序回滚和数据回滚等类型。具体可通过删除由一个或多个部分完成的事务执行的更新。为保证应用程序、数据库或系统错误后还原数据库的完整性。本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由cpu执行的计算机程序。在该计算机程序被cpu执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。图5是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步装置的框图。如图5所示，关系型数据库和数据仓库的数据同步装置50包括：日志模块502，记录模块504，传输模块506，任务模块508，同步模块510。日志模块502用于实时获取来自关系型数据库的二进制日志文件；记录模块504用于将所述二进制日志文件进行解析，生成多条数据更新记录；传输模块506用于将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；传输模块506包括：哈希单元，用于获取所述关系型数据库中的多个数据表的哈希值；以及传输单元，用于将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。任务模块508用于根据所述数据更新记录生成同步任务；任务模块508包括：缓存单元，用于将分区中的所述数据更新记录传输到缓存中；以及任务单元，用于根据所述更新记录生成所述同步任务。同步模块510用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。同步模块510包括：合并单元，用于将生成的多个同步任务合并为同步任务队列；更新单元，用于按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；以及同步单元，用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。同步模块510还包括：加载单元，用于加载所述同步任务队列；以及执行单元，用于依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。所述同步任务包括删除指令、插入指令中的至少一个。所述预定规则包括下列的任一种或其组合：当读取分区中的数据更新记录的时间达到预定阈值；当读取分区中的数据更新记录条目数量达到预定阈值。同步模块510还包括：回传单元，用于回传所述同步任务的执行情况，所述执行情包括执行成功和执行不成功。关系型数据库和数据仓库的数据同步装置50还可包括：删除模块，用于在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。回滚模块，用于在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。根据本公开的关系型数据库和数据仓库的数据同步装置，将关系型数据库的二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中的方式，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。图6是根据一示例性实施例示出的一种电子设备的框图。下面参照图6来描述根据本公开的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图2，图4中所示的步骤。所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备600也可以与一个或多个外部设备600’(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图7所示，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如java、c++等，还包括常规的过程式程序设计语言-诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：实时获取来自关系型数据库的二进制日志文件；将所述二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中。本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。当前第1页1 2 3 当前第1页1 2 3