数据通信网络建立方法及装置与流程

1.本发明涉及网络安全技术领域，尤其涉及数据通信网络建立方法及装置。


背景技术：

2.基于分布式架构下搭建异地灾备以及日常计息的dcn(data communication network，数据通信网络)的处理方法，有业务需求为，在某一时间点需要获取到数据库的静态数据，并利用静态数据来进行业务操作，且获取静态数据操作不能影响到主业务。
3.进行这一系列操作，不仅复杂耗时长，而且容易出错。
4.现有技术的不足在于，目前在分布式数据库架构下，无法快速的实现搭建dcn。


技术实现要素：

5.本发明实施例提供一种数据通信网络建立方法，用以解决在分布式数据库架构下无法快速的实现搭建dcn的问题，该方法包括：
6.通过重做备机的方式搭建同城机房的强同步备机；
7.取消当前使用的第一dcn，在强同步备机上创建第二dcn，所述第二dcn用以异地灾备dcn或日常计息dcn。
8.本发明实施例还提供一种数据通信网络建立装置，用以解决在分布式数据库架构下无法快速的实现搭建dcn的问题，该装置包括：
9.备机模块，用于通过重做备机的方式搭建同城机房的强同步备机；
10.dcn模块，用于取消当前使用的第一dcn，在强同步备机上创建第二dcn，所述第二dcn用以异地灾备dcn或日常计息dcn。
11.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据通信网络建立方法。
12.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据通信网络建立方法。
13.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据通信网络建立方法。
14.本发明实施例中，与现有技术中无法进行快速的实现重做备机、搭建dcn的功能，只能通过现有的平台在图形化界面进行点击操作的技术方案相比，通过先重做备机的方式搭建同城机房的强同步备机，然后在强同步备机上创建用以异地灾备dcn或日常计息dcn的第二dcn，不再局限于获取数据库静态数据、开发人员进行业务操作、将数据库恢复到活跃状态的步骤，也不限于只能通过现有的平台在图形化界面进行点击操作，从而实现了在分布式数据库架构下快速的实现搭建dcn用以异地灾备dcn或日常计息dcn。
15.进一步的，由于通过shell脚本调用oss接口进行操作，因此可以避免一定的操作风险，dcn中断时间不宜过长，否则存在dcn库追赶不上生产库的风险，用脚本的方式可以更
快速重建dcn，若有问题，也可以很快的得知问题原因；
16.进一步的，由于重建dcn时，更改zk信息的beendcnslave(已成为dcn备机)的值，并查询更改状态，整个操作繁琐，以脚本的方式更改zk信息，可以快速更改并查询返回状态；
17.进一步的，由于进行掐断动作取消dcn时需要确认dcn延迟，评估对计息业务操作的影响，dcn延迟不超过预定时间，如2秒，通过脚本的方式进行确认dcn延迟，可以认为掐断动作和评估dcn延迟之间的时间差几乎没有，可以降低突然dcn延迟的提高对掐断动作的影响。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
19.图1为本发明实施例中dcn建立方法实施流程示意图；
20.图2为本发明实施例中dcn建立架构示意图；
21.图3为本发明实施例中dcn建立流程示意图；
22.图4为本发明实施例中dcn建立装置结构示意图；
23.图5为本发明实施例中计算机设备示意图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
25.发明人在发明过程中注意到：
26.基于分布式架构下的搭建同城机房强同步备机、搭建异地灾备以及日常计息的dcn的处理方法，有业务需求为，在每天凌晨某一时间点需要获取到数据库的静态数据，利用静态数据来进行业务操作，且获取静态数据操作不能影响到主业务。
27.总体一般以下三个步骤，在凌晨某一时间点获取数据库静态数据、开发人员进行业务操作、将数据库恢复到活跃状态。进行这一系列操作，不仅复杂耗时长，而且容易出错。
28.而目前在分布式数据库架构下，无法进行快速的实现重做备机、搭建dcn的功能，只能通过现有的平台在图形化界面进行点击操作，针对这些系统性的操作，应该尽可能更快速的去批量处理，而且在图形化界面出现异常时，还要进一步分析，无法直接根据报出的错误信息进行修改维护，所以需要解决无法快速批量处理以及查询任务进度拿到错误日志的问题。
29.基于此，本发明实施例中提出了一种分布式架构下的搭建同城机房强同步备机、搭建异地灾备以及日常计息的dcn的处理方案，通过shell脚本快速调用oss(object storage service，对象存储服务)接口，实现重做备机、创建异地灾备dcn、创建日常计息dcn的功能，并可以快速查询操作状态以及评估dcn延迟更改zk信息等信息。
30.下面结合实施例进行说明。
31.图1为dcn建立方法实施流程示意图，如图1所示，可以包括：
32.步骤101、通过重做备机的方式搭建同城机房的强同步备机；
33.步骤102、取消当前使用的第一dcn，在强同步备机上创建第二dcn，所述第二dcn用以异地灾备dcn或日常计息dcn。
34.具体的，方案主要实现两个方面的内容：
35.1、开发重做备机脚本，数据操作员可以在文件服务器进行远程操作，通过调用oss接口，通过重做备机方式，重做强同步备机，如果停用binlog，需重做所有备机。
36.binary log(二进制日志)，简称binlog。binlog是记录所以数据表结构变更以及表数据修改的二进制日志，不会记录select和show这类操作。binlog是以事件形式记录，还包括语句所执行的消耗时间。binlog是mysql server自己的日志，但是redo log是基于innodb引擎所特有的日志。
37.开启binlog日志的最重要使用场景是主从复制，在主库开启binlog功能，这样主库就可以把binlog传递给从库，从库拿到binlog后实现数据恢复达到主从数据一致性。
38.2、创建dcn脚本，数据操作员可以通过文件服务器进行远程操作，通过调用oss接口，让多个数据库同时创建dcn。每个数据库实例通过创建dcn的方式，搭建异地灾备或日常计息dcn。
39.开发过程中，可以评估dcn延迟，并在重建dcn时更改zk信息，开发重做备机脚本、创建dcn脚本可以通过脚本实现，能够缩短时间以及人为出错率。
40.图2为dcn建立架构示意图，如图2所示，至少一个可以实现dcn建立的功能架构可以包括：
41.1.重做备机模块：通过重做备机的方式搭建同城机房的一个强同步备机。
42.2.重建dcn模块：通过创建dcn的方式，搭建异地灾备或日常计息dcn。
43.要实现这两种功能就需要遵循制定的规则，通过重做备机的方式搭建同城机房的一个强同步备机，评估dcn延迟，通过创建dcn的方式，搭建异地灾备或日常计息dcn，并在重建过程中，更改zk信息。
44.下面对具体实施进行进一步的说明。
45.实施例中提出了一种分布式架构下的批量处理方案，通过调用oss接口，重建备机、重构dcn，主要包括：
46.1、重做备机，通过重做备机的方式搭建同城机房的一个强同步备机，通过调用oss接口重做备机，拿到重做备机的任务id以及返回值，判断重做备机是否成功，若成功，用任务id去查询重做备机进度，若失败，检查对应日志，判断出错原因。
47.也即，实施中，通过重做备机的方式搭建同城机房的强同步备机后，还可以进一步包括：
48.若重做备机成功，用任务id查询重做备机进度；
49.若重做备机失败，检查对应的日志，确定出错原因。
50.实施时，强同步复制：应用发起更新请求，master(主机)完成操作后向slave(备机)复制数据，slave接收到数据后向master返回成功信息，master接到slave的反馈后再应答给应用。master向slave复制数据是同步进行的。
51.强同步复制要求任何一笔应答业务成功的请求，除了在主机落盘成功以外，还需
meta)、用户数据(data)和文件名(key)组成。对象由存储空间内部唯一的key来标识。对象元信息是一组键值对，表示了对象的一些属性，例如最后修改时间、大小等信息，同时您也可以在元信息中存储一些自定义的信息。
68.地域(region)：
69.地域表示oss的数据中心所在物理位置。可以根据费用、请求来源等选择合适的地域创建bucket。
70.访问域名(endpoint)：
71.endpoint表示oss对外服务的访问域名。oss以http restful api的形式对外提供服务，当访问不同地域的时候，需要不同的域名。通过内网和外网访问同一个地域所需要的域名也是不同的。
72.访问密钥(accesskey)：
73.accesskey(简称ak)指的是访问身份验证中用到的accesskeyid和accesskeysecret。oss通过使用accesskeyid和accesskeysecret对称加密的方法来验证某个请求的发送者身份。accesskeyid用于标识用户；accesskeysecret是用户用于加密签名字符串和oss用来验证签名字符串的密钥，必须保密。
74.2、重建dcn，可以分为四步：
75.第一，评估dcn延迟，若延迟不超过2秒，则认为可以进行取消dcn的操作；
76.第二，取消dcn，调用oss接口取消dcn同步任务，拿到取消dcn的任务id以及返回值，判断取消dcn是否成功，若成功，用任务id去查询取消dcn的进度，若失败，检查对应日志，判断出错原因；
77.第三，更改zk信息，获取并更改beendcnslave(已成为dcn备机)的值，从1改为0；
78.第四，创建dcn同步任务，拿到创建dcn的任务id以及返回值，判断创建dcn是否成功，若成功，用任务id去查询创建dcn的进度，若失败，检查对应日志，判断出错原因。
79.也即，实施中，取消当前使用的第一dcn前，进一步包括：
80.评估第一dcn的延迟，若延迟不超过预设时间，取消第一dcn。
81.实施中，取消当前使用的第一dcn后，进一步包括：
82.若取消第一dcn成功，用任务id查询取消第一dcn的进度；
83.若取消第一dcn失败，检查对应的日志，确定出错原因。
84.实施中，取消当前使用的第一dcn后，进一步包括：
85.将zk信息更改为未已成为dcn备机。
86.实施中，创建第二dcn后，进一步包括：
87.若创建第二dcn成功，用任务id查询创建第二dcn的进度；
88.若创建第二dcn失败，检查对应的日志，确定出错原因。
89.实施时，zk是一个文件目录，里面只能存储少量的数据。目录中的每一个节点(每一个文件或者文件夹)称之为node(节点)。连接上node称之为server(服务器)或client(客户端)，server拥有创建node的能力，client有用监听node的能力，可以称之为连接，因为每一个连接都拥有创建和监听的能力。创建的节点(node)可以是持久的(persistent)，server断开连接后不删除；也可以是短暂的(ephemeral)，server断开连接后自动删除；创建的节点(node)可以是有序的(sequential)，也可以是无需的。当节点发生变化，会推送给
相应的监听client。
90.session是指客户端会话。zk对外的服务端口默认是2181，客户端启动时，首先会与zk服务器建立一个tcp(transmission control protocol，传输控制协议)长连接，从第一次链接建立开始，客户端会话的生命周期也开始了，通过这个长连接，客户端能够通过心跳检测保持与服务器的有效会话，也能够向zk服务器发送请求并接受响应，同时还能通过该连接收到来自服务器的watcher时间通知。
91.session的sessiontimeout值用来检测一个客户端回话的超时时间。当由于服务器压力太大、网络故障或是客户端主动断开连接等各种原因导致客户端连接断开时，只要在session timeout规定的时间内客户端能够重新开始连接上集群中任意一台服务器，那么之前创建的会话仍然有效。
92.zk的文件系统采用树形结构层次化的目录结构，与unix文件系统非常相似。每个目录在zk中叫做一个znode，每个znode拥有一个唯一的路径标识，即名称。znode可以包含数据和子znode(临时节点不能有子znode)。znode中的数据可以有多个版本，所以查询某路径下的数据需要带上版本号。客户端应用可以在znode上设置监视器(watcher)。
93.zk通过watcher机制实现了发布订阅模式，zk提供了分布式数据的发布订阅功能，一个发布者能够让多个订阅者同时监听某一主题对象，当这个主体对象状态发生变化时，会通知所有订阅者，使它们能够做出相应的处理，zk引入了watcher机制来实现这种分布式的通知功能。zk允许客户端向服务端注册一个watcher监听，当服务端的一些指定事件触发这个watcher，那么就会向指定客户端发送一个事件通知。而这个事件通知是通过tcp长连接的session完成的。
94.zk是一个由多个server组成的集群，一个leader(领导者)，多个follower(跟随者)。leader提供读写服务，除了leader外其他的机器只能提供读服务。
95.每一个server保存一份数据副本全数据一致，分布式读follower，写由leader实时更新请求转发，由leader实时更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行数据更新原子性，依次数据更新要么成功，要么失败。全局唯一数据视图，client无论连接到哪个server，数据视图都是一致的实时性，在一定事件范围内，client能读到最新数据。
96.图3为dcn建立流程示意图，如图3所示，分布式架构下的批量处理可以包括：
97.步骤301、通过重做备机的方式搭建同城机房的一个强同步备机；
98.步骤302、通过创建dcn的方式，搭建异地灾备或日常计息dcn。
99.本发明实施例中还提供了一种数据通信网络建立装置，如下面的实施例所述。由于该装置解决问题的原理与数据通信网络建立方法相似，因此该装置的实施可以参见数据通信网络建立方法的实施，重复之处不再赘述。
100.图4为dcn建立装置结构示意图，如图4所示，可以包括：
101.备机模块401，用于通过重做备机的方式搭建同城机房的强同步备机；
102.dcn模块402，用于取消当前使用的第一dcn，在强同步备机上创建第二dcn，所述第二dcn用以异地灾备dcn或日常计息dcn。
103.实施中，备机模块进一步用于通过shell脚本调用oss接口重做备机；和/或，
104.dcn模块进一步用于通过shell脚本调用oss接口取消当前使用的第一dcn、或创建
第二dcn。
105.实施中，备机模块进一步用于在通过重做备机的方式搭建同城机房的强同步备机后，若重做备机成功，用任务id查询重做备机进度；若重做备机失败，检查对应的日志，确定出错原因。
106.实施中，dcn模块进一步用于在取消当前使用的第一dcn前，评估第一dcn的延迟，若延迟不超过预设时间，取消第一dcn。
107.实施中，dcn模块进一步用于在取消当前使用的第一dcn后，若取消第一dcn成功，用任务id查询取消第一dcn的进度；若取消第一dcn失败，检查对应的日志，确定出错原因。
108.实施中，dcn模块进一步用于在取消当前使用的第一dcn后，将zk信息更改为未已成为dcn备机。
109.实施中，dcn模块进一步用于在创建第二dcn后，若创建第二dcn成功，用任务id查询创建第二dcn的进度；若创建第二dcn失败，检查对应的日志，确定出错原因。
110.在实施本发明实施例提供的技术方案时，可以按如下方式实施。
111.图5为计算机设备示意图，如图5所示，计算机设备中包括：
112.处理器500，用于读取存储器520中的程序，执行下列过程：
113.通过重做备机的方式搭建同城机房的强同步备机；
114.取消当前使用的第一dcn，在强同步备机上创建第二dcn，所述第二dcn用以异地灾备dcn或日常计息dcn；
115.收发机510，用于在处理器500的控制下接收和发送数据。
116.实施中，通过shell脚本调用oss接口进行以下操作之一或者其组合：
117.重做备机、取消当前使用的第一dcn、创建第二dcn。
118.实施中，通过重做备机的方式搭建同城机房的强同步备机后，进一步包括：
119.若重做备机成功，用任务id查询重做备机进度；
120.若重做备机失败，检查对应的日志，确定出错原因。
121.实施中，取消当前使用的第一dcn前，进一步包括：
122.评估第一dcn的延迟，若延迟不超过预设时间，取消第一dcn。
123.实施中，取消当前使用的第一dcn后，进一步包括：
124.若取消第一dcn成功，用任务id查询取消第一dcn的进度；
125.若取消第一dcn失败，检查对应的日志，确定出错原因。
126.实施中，取消当前使用的第一dcn后，进一步包括：
127.将zk信息更改为未已成为dcn备机。
128.实施中，创建第二dcn后，进一步包括：
129.若创建第二dcn成功，用任务id查询创建第二dcn的进度；
130.若创建第二dcn失败，检查对应的日志，确定出错原因。
131.其中，在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器500代表的一个或多个处理器和存储器520代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机510可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单
元。处理器500负责管理总线架构和通常的处理，存储器520可以存储处理器500在执行操作时所使用的数据。
132.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据通信网络建立方法。
133.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据通信网络建立方法。
134.本发明实施例提供的技术方案中，通过重做备机的方式搭建同城机房的一个强同步备机；通过创建dcn的方式，搭建异地灾备或日常计息dcn。
135.本发明实施例中，与现有技术中无法进行快速的实现重做备机、搭建dcn的功能，只能通过现有的平台在图形化界面进行点击操作的技术方案相比，通过先重做备机的方式搭建同城机房的强同步备机，然后在强同步备机上创建用以异地灾备dcn或日常计息dcn的第二dcn，不再局限于获取数据库静态数据、开发人员进行业务操作、将数据库恢复到活跃状态的步骤，也不限于只能通过现有的平台在图形化界面进行点击操作，从而实现了在分布式数据库架构下快速的实现搭建dcn用以异地灾备dcn或日常计息dcn。
136.进一步的，由于通过shell脚本调用oss接口进行操作，因此可以避免一定的操作风险，dcn中断时间不宜过长，否则存在dcn库追赶不上生产库的风险，用脚本的方式可以更快速重建dcn，若有问题，也可以很快的得知问题原因；
137.进一步的，由于重建dcn时，更改zk信息的beendcnslave(已成为dcn备机)的值，并查询更改状态，整个操作繁琐，以脚本的方式更改zk信息，可以快速更改并查询返回状态；
138.进一步的，由于进行掐断动作取消dcn时需要确认dcn延迟，评估对计息业务操作的影响，dcn延迟不超过预定时间，如2秒，通过脚本的方式进行确认dcn延迟，可以认为掐断动作和评估dcn延迟之间的时间差几乎没有，可以降低突然dcn延迟的提高对掐断动作的影响。
139.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
140.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
141.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
142.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
143.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。