数据传输方法、系统及服务器与流程

本发明涉及数据库传输领域，尤其是涉及一种数据传输方法、系统及服务器。

背景技术：

1、在数据库的实际使用中存在相同的表按照不同的时间或者字符进行区分的情况，其主要用来区分不同时间或者地区的数据。此类数据库在存入大数据集群时，需要将相同数据存入至同一张表中。例如，在flink(弗林克，一种分布式流数据流引擎)自带的mysql(关系型数据库管理系统)持续读数据工具中，普遍支持库表的名字的模糊匹配。但在通常情况下，需要进行分库分表的数据其存储量较大，使用此类工具进行数据筛选时会直接读取所有数据，导致任务运行占用过多的资源。当服务器资源不满足时，会导致任务异常，数据无法同步。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种数据传输方法、系统及服务器，该方法通过批量分割的方式实现数据表的传输，可不依靠逻辑日志的前提下实现数据表的传输过程，从而降低数据库传输过程中的服务所需资源，进而提高数据传输的稳定性。

2、第一方面，本发明实施方式提供了一种数据传输方法，该方法应用于数据库中的数据表传输过程，该方法包括：

3、获取多个数据相同且名称不同的待传输数据表；其中，待传输数据表的名称中至少包含一项共同前缀字符；

4、根据共同前缀字符确定待传输数据表对应的目标数据表，并基于目标数据表对应的筛选条件确定待传输数据表的查询语句；

5、利用查询语句批量分割待传输数据表后得到分割数据，并将分割数据通过预设传输策略批量传输至目标数据表中；其中，传输策略至少包含立即传输策略和定时传输策略；

6、通过分割数据的传输量实时检测待传输数据表的传输状态，根据传输状态确定数据传输补充策略；

7、利用数据传输补充策略控制分割数据批量传输至目标数据表中，直至分割数据全部传输至目标数据表。

8、在一种实施方式中，获取多个数据相同且名称不同的待传输数据表的步骤，包括：

9、获取预设的上游数据库中包含的所有数据表；

10、基于共同前缀字符对数据表中的表名进行正则匹配，并根据匹配结果确定数据表中包含的待传输数据表。

11、在一种实施方式中，根据共同前缀字符确定待传输数据表对应的目标数据表，并基于目标数据表对应的筛选条件确定待传输数据表的查询语句的步骤，包括：

12、获取预设的下游数据库对应的地址数据；其中，目标数据表保存至下游数据库中；

13、基于共同前缀字符以及地址数据确定目标数据表；

14、根据待传输数据表中的数据类型确定目标数据表对应的筛选条件，并根据筛选条件确定待传输数据表对应的查询语句。

15、在一种实施方式中，利用查询语句批量分割待传输数据表后得到分割数据，并将分割数据通过预设传输策略批量传输至目标数据表中的步骤，包括：

16、通过预设的数据库连接接口，利用查询语句对待传输数据表进行批量分割读取，得到分割数据；

17、若预设传输策略为立即传输策略，则控制目标数据表对应的下游数据库在不依赖逻辑日志的前提下，将分割数据批量传输至目标数据表中。

18、在一种实施方式中，通过预设的数据库连接接口，利用查询语句对待传输数据表进行批量分割读取，得到分割数据的步骤之后，方法还包括：

19、若预设传输策略为定时传输策略，则获取预设的定时器，并控制目标数据表对应的下游数据库关闭逻辑日志；

20、基于定时器确定定时传输任务，并将分割数据按照定时传输任务批量传输至目标数据表中。

21、在一种实施方式中，通过分割数据的传输量实时检测待传输数据表的传输状态，根据传输状态确定数据传输补充策略的步骤，包括：

22、构建任务监控线程，利用任务监控线程实时统计分割数据的传输量；

23、根据分割数据的传输量确定待传输数据表的传输状态，并获取传输状态为传输失败状态的待传输数据表；

24、利用待传输数据表的传输失败状态的次数，确定数据传输补充策略。

25、在一种实施方式中，利用待传输数据表的传输失败状态的次数，确定数据传输补充策略的步骤，包括：

26、若待传输数据表的传输失败状态的次数大于预设的数量阈值，则生成传输失败提示数据，并记录待传输数据表的名称；

27、基于待传输数据表的名称更新数据传输补充策略；其中，数据传输补充策略用于控制分割数据重新批量传输至目标数据表中。

28、在一种实施方式中，利用数据传输补充策略控制分割数据批量传输至目标数据表中，直至分割数据全部传输至目标数据表的步骤，包括：

29、获取数据传输补充策略中处于传输失败状态的待传输数据表，并控制待传输数据表停止数据传输；

30、实时获取传输失败提示数据的回调数据，当回调数据中包含重新执行指令时，控制待传输数据表重新执行数据传输过程，直至分割数据全部传输至目标数据表后，释放任务监控线程。

31、第二方面，本发明实施方式提供一种数据传输系统，该系统应用于数据库中的数据表传输过程，该系统包括：

32、待传输数据表获取模块，用于获取多个数据相同且名称不同的待传输数据表；其中，待传输数据表的名称中至少包含一项共同前缀字符；

33、目标数据表生成模块，用于根据共同前缀字符确定待传输数据表对应的目标数据表，并基于目标数据表对应的筛选条件确定待传输数据表的查询语句；

34、第一数据传输执行模块，用于利用查询语句批量分割待传输数据表后得到分割数据，并将分割数据通过预设传输策略批量传输至目标数据表中；其中，传输策略至少包含立即传输策略和定时传输策略；

35、数据传输补充策略生成模块，用于通过分割数据的传输量实时检测待传输数据表的传输状态，根据传输状态确定数据传输补充策略；

36、第二数据传输执行模块，用于利用数据传输补充策略控制分割数据批量传输至目标数据表中，直至分割数据全部传输至目标数据表。

37、第三方面，本发明实施方式还提供一种服务器，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现第一方面提供的数据传输方法的步骤。

38、第四方面，本发明实施方式还提供一种存储介质，该存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的数据传输方法的步骤。

39、本发明实施方式提供的一种数据传输方法、系统及服务器，在对数据库中的数据表传输过程中，首先获取多个数据相同且名称不同的待传输数据表；其中，待传输数据表的名称中至少包含一项共同前缀字符；然后根据共同前缀字符确定待传输数据表对应的目标数据表，并基于目标数据表对应的筛选条件确定待传输数据表的查询语句；再利用查询语句批量分割待传输数据表后得到分割数据，并将分割数据通过预设传输策略批量传输至目标数据表中；其中，传输策略至少包含立即传输策略和定时传输策略；数据传输过程中，通过分割数据的传输量实时检测待传输数据表的传输状态，根据传输状态确定数据传输补充策略；并利用数据传输补充策略控制分割数据批量传输至目标数据表中，直至分割数据全部传输至目标数据表。该方法通过批量分割的方式实现数据表的传输，可不依靠逻辑日志的前提下实现数据表的传输过程，从而降低数据库传输过程中的服务所需资源，进而提高数据传输的稳定性。

40、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

41、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。