同步数据的方法、装置、数据传输组件及系统的制作方法_4

文档序号:8380803阅读:来源:国知局
进一步地,若数据传输组件420从该主数据库410获取到新的待同步数据,并根据 新的待同步数据生成新的多个同步任务时,本发明实施例还可以及时、有效地处理新的多 个同步任务,以实现将新的多个同步任务及时下发至从数据库430。例如,根据上述的预设 规则分配新的多个同步任务至所述的至少两个并发的线程中。又如,调用新的线程,并根据 上述的预设规则分配新的多个同步任务至新的线程中,以利用新的线程发送新的多个同步 任务至从数据库430,这样新的多个同步任务无需等待,可以提高数据同步的效率。
[0105] 此外,本发明实施例还提供了监控数据同步的方案,可以实现断点续传和故障恢 复等功能,可参照前文所述,此处不再赘述。
[0106] 根据上述任意一个优选实施例或多个优选实施例的组合,本发明实施例能够达到 如下有益效果:
[0107] 在本发明实施例中,利用设置的数据传输组件来实现主数据库与待同步的从数据 库间的数据同步,即数据传输组件从主数据库获取待同步数据,并根据待同步数据生成多 个同步任务,之后调用至少两个并发的线程,根据预设规则分配多个同步任务至所述的至 少两个并发的线程中。随后利用至少两个并发的线程,发送多个同步任务至从数据库,以供 从数据库根据多个同步任务实现与主数据库间的数据同步。由此可知,数据传输组件可以 调用至少两个并发的线程,利用至少两个并发的线程,能够同时对数据进行处理,即可以由 至少两个并发的线程同步发送多个同步任务至从数据库,与相关技术中的单线程同步相比 较,在单位时间内能够发送数倍于单线程的同步任务,从而提高了同步数据的效率,缩短同 步所需时长,解决相关技术中主从数据库单线程同步延时的问题,能够实现实时同步,进而 满足后续提供数据服务的需求。并且,多线程的处理方式能够大大缩短了数据排队时长,缓 解缓存部件的压力,尽快释放出资源空间,提高系统资源的利用率。另外,数据传输组件可 以根据实际情况设置预设规则,实现动态分配多个同步任务至所述的至少两个并发的线程 中,进一步提高同步数据的效率。
[0108] 在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施 例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构 和技术,以便不模糊对本说明书的理解。
[0109] 类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在 上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施 例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保 护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面 的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此, 遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】,其中每个权利要求本身 都作为本发明的单独实施例。
[0110] 本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地 改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单 元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或 子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任 何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开 的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴 随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代 特征来代替。
[0111] 此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例 中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的 范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一 都可以以任意的组合方式来使用。
[0112] 本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行 的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用 微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的同步数据的设备及系统 中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的 方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样 的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形 式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形 式提供。
[0113] 应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领 域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中, 不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词"包括"不排除存在 未列在权利要求中的元件或步骤。位于元件之前的单词"一"或"一个"不排除存在多个这 样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来 实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件 项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为 名称。
[0114] 至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示 例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接 确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认 定为覆盖了所有这些其他变型或修改。
[0115] 本发明还公开了:A1、一种同步数据的方法,应用于具有主从结构的数据库,包 括:
[0116] 从主数据库获取待同步数据,并根据所述待同步数据生成多个同步任务;
[0117] 调用至少两个并发的线程,根据预设规则分配所述多个同步任务至所述至少两个 并发的线程中;以及
[0118] 利用所述至少两个并发的线程,发送所述多个同步任务至从数据库,以供所述从 数据库根据所述多个同步任务实现与所述主数据库间的数据同步。
[0119] A2、根据Al所述的方法,其中,所述同步数据的方法由所述主数据库与所述待同 步的从数据库间设置的数据传输组件执行。
[0120] A3、根据Al或A2所述的方法,其中,所述根据预设规则分配所述多个同步任务至 所述至少两个并发的线程中的步骤进一步包括:
[0121] 根据所述多个同步任务中的对象标识分配所述多个同步任务,将具备相同对象标 识的同步任务分配至同一个线程中;或者
[0122] 根据所述多个同步任务中的数据表标识分配所述多个同步任务,将具备相同数据 表标识的同步任务分配至同一个线程中。
[0123] A4、根据A3所述的方法,其中,所述将具备相同对象标识的同步任务分配至同一 个线程中的步骤进一步包括:
[0124] 将具备相同对象标识的同步任务按照时序或排序顺序分配至同一个线程中。
[0125] A5、根据A3所述的方法,其中,所述将具备相同数据表标识的同步任务分配至同 一个线程中的步骤进一步包括:
[0126] 将具备相同数据表标识的同步任务按照时序或排序顺序分配至同一个线程中。
[0127] A6、根据Al或A2所述的方法,其中,所述调用至少两个并发的线程,根据预设规则 分配所述多个同步任务至所述至少两个并发的线程中的步骤进一步包括:
[0128] 根据所述多个同步任务的数量,调用相应数量的并发的线程;以及
[0129] 将所述多个同步任务一对一的分配至所述相应数量的并发的线程中。
[0130] A7、根据A1-A6任一项所述的方法,其中,若在利用所述至少两个并发的线程,发 送所述多个同步任务至所述从数据库的过程中,从所述主数据库获取到新的待同步数据, 则根据所述新的待同步数据生成新的多个同步任务。
[0131] A8、根据A7所述的方法,其中,所述根据所述新的待同步数据生成新的多个同步 任务之后,还包括:
[0132] 根据所述预设规则分配所述新的多个同步任务至所述至少两个并发的线程中;或 者
[0133] 调用新的线程,并根据所述预设规则分配所述新的多个同步任务至所述新的线程 中,以利用所述新的线程发送所述新的多个同步任务至所述从数据库。
[0134] A9、根据A1-A8任一项所述的方法,其中,在所述从数据库根据所述多个同步任务 实现与所述主数据库间的数据同步的过程中,所述从数据库记录自身同步的执行位置信 息,以得到同步日志。
[0135] A10、根据A1-A9任一项所述的方法,其中,在所述从数据库根据所述多个同步任 务实现与所述主数据库间的数据同步的过程中,还包括:
[0136] 监控所述从数据库的数据同步的状态;
[0137] 若监控到所述从数据库的数据同步发生中断,则获取所述从数据库的同步日志, 并读取所述从数据库的同步日志中所述从数据库同步的执行位置信息;以及
[0138] 根据所述从数据库同步的执行位置信息恢复数据同步。
[0139] All、根据AlO所述的方法,其中,所述获取所述从数据库的同步日志的步骤进一 步包括:
[0140] 从所述从数据库获取所述从数据库的同步日志。
[0141] A12、根据AlO所述的方法,其中,所述从数据库的同步日志被上传至云服务器,以 及获取所述从数据库的同步日志的步骤进一步包括:
[0142] 从所述云服务器获取所述从数据库的同步日志。
[0143] A13、根据A1-A12任一项所述的方法,
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1