基于多写组件的数据库写入方法、装置、设备及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种基于多写组件的数据库写入方法、装置、设备及存储介质。


背景技术：

2.随着数据库类型的多样化，很多业务系统都面临着将业务数据由源数据库迁移到目标数据库的问题。为了解决业务数据在不同数据库之间迁移的问题，相关技术可以响应业务请求，将与业务请求相关的数据写入源数据库的同时，将写入源数据库的数据同步到目标数据库，实现数据库切换。在数据库切换过程中需要保证业务的稳定运行，故需要对切换前后的数据库(database，db)进行双写或多写。
3.随着数据库双写或多写的工作逐步开展，每碰到一处db写操作，都要进行编码修改，以达到同一条数据同时写入多个数据库的目的，加上涉及的系统多，db操作的功能基数大，需要处理的硬编码越来越多，带来大量的重复工作且过程繁琐，造成相应资源的浪费。同时，编码过程容易出错，最终可能造成系统运行异常，影响业务发展。


技术实现要素：

4.本技术实施例的目的在于提出一种基于多写组件的数据库写入方法、装置、计算机设备及存储介质，以解决相关技术中数据库的双写或多写存在大量重复工作且过程繁琐，同时编码过程容易出错，造成系统运行异常，影响业务发展的技术问题。
5.为了解决上述技术问题，本技术实施例提供一种基于多写组件的数据库写入方法，采用了如下所述的技术方案：
6.构建多写组件，将所述多写组件与业务系统进行连接；
7.通过所述多写组件识别所述业务系统的待执行的数据库执行语句，将所述数据库执行语句顺序放入链表，其中，所述数据库执行语句携带有目标数据库标签；
8.基于所述多写组件确定数据库执行指令触达调用末端，将所述链表封装成消息投递至消息队列；
9.通过所述多写组件从所述消息队列中读取所述消息，并解析所述消息，得到源数据库、目标数据库以及对应的链表；
10.通过所述多写组件执行所述链表中的数据库执行语句，将所述源数据库中的数据写入目标数据库。
11.进一步的，所述将所述数据库执行语句顺序放入链表的步骤包括：
12.确定所述数据库执行语句所属事务；
13.将属于同一事务的所述数据库执行语句，按照执行顺序放入所属事务对应的链表中。
14.进一步的，所述基于所述多写组件确定数据库执行指令触达调用末端，将所述链表封装成消息投递至消息队列的步骤包括：
15.通过所述多写组件确定数据库执行指令当前所执行的数据库执行语句的语句层级；
16.当所述语句层级为预定值时，则确定所述数据库执行指令触达调用末端；
17.按照预设消息结构将所述链表封装成消息，并将所述消息投递至所述消息队列。
18.进一步的，在所述解析所述消息，得到源数据库、目标数据库以及对应的链表的步骤之后还包括：
19.通过所述多写组件确定是否开启数据库语法自动转换；
20.若为是，转换数据库语法，执行所述通过所述多写组件执行所述链表中的数据库执行语句的步骤；
21.若为否，直接执行所述通过所述多写组件执行所述链表中的数据库执行语句的步骤。
22.进一步的，在所述将所述源数据库中的数据写入目标数据库的步骤之后还包括：
23.确定数据写入是否异常；
24.在数据写入异常时，通过所述多写组件识别异常类型，并获取异常日志；
25.基于所述异常日志获取对应的异常执行的数据库执行语句，并存储至异常数据库中。
26.进一步的，在所述基于所述异常日志获取对应的异常执行的数据库执行语句，并存储至异常数据库中的步骤之后还包括：
27.确定所述多写组件识别的所述异常类型是否为已知异常；
28.在所述异常类型为已知异常时，从所述异常数据库中获取对应的所述异常执行的数据库执行语句；
29.对所述异常执行的数据库执行语句进行自动补偿。
30.进一步的，所述对所述异常执行的数据库执行语句进行自动补偿的步骤包括：
31.通过所述多写组件按照顺序重新执行所述异常执行的数据库执行语句；
32.每重新执行一次，补偿次数加一，直至达到预配置的补偿次数上限。
33.为了解决上述技术问题，本技术实施例还提供一种基于多写组件的数据库写入装置，采用了如下所述的技术方案：
34.构建模块，用于构建多写组件，将所述多写组件与业务系统进行连接；
35.识别模块，用于通过所述多写组件识别所述业务系统的待执行的数据库执行语句，将所述数据库执行语句顺序放入链表，其中，所述数据库执行语句携带有目标数据库标签；
36.投递模块，用于基于所述多写组件确定数据库执行指令触达调用末端，将所述链表封装成消息投递至消息队列；
37.解析模块，用于通过所述多写组件从所述消息队列中读取所述消息，并解析所述消息，得到源数据库、目标数据库以及对应的链表；
38.写入模块，用于通过所述多写组件执行所述链表中的数据库执行语句，将所述源数据库中的数据写入目标数据库。
39.为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：
40.该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于多写组件的数据库写入方法的步骤。
41.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
42.所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于多写组件的数据库写入方法的步骤。
43.与现有技术相比，本技术实施例主要有以下有益效果：
44.本技术通过构建多写组件，将多写组件与业务系统进行连接；通过多写组件识别业务系统的待执行的数据库执行语句，将数据库执行语句顺序放入链表，其中，数据库执行语句携带有目标数据库标签；基于多写组件确定数据库执行指令触达调用末端，将链表封装成消息投递至消息队列；通过多写组件从消息队列中读取消息，并解析消息，得到源数据库、目标数据库以及对应的链表；通过多写组件执行链表中的数据库执行语句，将源数据库中的数据写入目标数据库；本技术通过构建的多写组件，使系统业务在代码无侵入的情况下，完成需要切换的新老数据库的数据双/多写操作，以达到业务无感知的情况下完成数据库切换；同时，通过多写组件实现数据库切换，可以避免重复工作，提高切换效率，还可以降低数据库切换过程的出错率，保证系统业务正常工作。
附图说明
45.为了更清楚地说明本技术中的方案，下面将对本技术实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本技术可以应用于其中的示例性系统架构图；
47.图2是根据本技术的基于多写组件的数据库写入方法的一个实施例的流程图；
48.图3是根据本技术的基于多写组件的数据库写入装置的一个实施例的结构示意图；
49.图4是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
50.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
51.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
52.为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
53.本技术提供了一种基于多写组件的数据库写入方法，可以应用于如图1所示的系统架构100中，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
54.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
55.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
56.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
57.需要说明的是，本技术实施例所提供的基于多写组件的数据库写入方法一般由服务器/终端设备执行，相应地，基于多写组件的数据库写入装置一般设置于服务器/终端设备中。
58.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
59.继续参考图2，示出了根据本技术的基于多写组件的数据库写入方法的一个实施例的流程图，包括以下步骤：
60.步骤s201，构建多写组件，将多写组件与业务系统进行连接。
61.在本实施例中，多写组件是独立存在的，可以进行数据库的双写或多写操作，是以代理模式与需要双写或多写的业务系统进行交互，可以使业务系统在无感知的情况下完成数据库切换。其次，多写组件与业务系统之间无依赖关系，即接入多写组件后，业务系统能正常运行，脱离多写组件后，业务系统能也正常运行，多写组件与业务系统达到零耦合效果。
62.在本实施例中，多写组件可以支持两种方式接入业务系统，第一，作为二方库jar引入业务系统；第二，使用java agent字节码技术，作为外部插件进行接入，引入时修改业务系统的启动参数即可。
63.步骤s202，通过多写组件识别业务系统的待执行的数据库执行语句，将数据库执行语句顺序放入链表，其中，数据库执行语句携带有目标数据库标签。
64.在本实施例中，多写组件可以从底层识别所有的数据库执行语句，并自动捕捉待执行的数据库执行语句。
65.其中，待执行的数据库执行语句为需要执行但还未开始执行的sql语句，通过多写组件调用mybatis的sql拦截器，拦截自动识别到所有待执行的sql语句。
66.应当理解，sql语句表示数据库可识别执行的一种语言，本质上所有的业务操作都
是通过sql语句来对数据库中的数据进行操作，故识别捕捉待执行的sql语句，使得多写组件具有较高的普适性。
67.在本实施例中，多写组件具有引入链表数据结构进行数据存储的功能，对需要在同一个数据库同一个事务中的一系列数据库操作的sql语句进行统一存储，保持数据一致性。
68.将识别出的待执行sql语句按照执行顺序放入链表中进行存储，其中，链表数据结构如下：
69.["insert xxx"，"update xxx"]
[0070]
应当理解，链表中的元素存在顺序，每个元素即为一条待执行sql语句。
[0071]
在本实施例中，在sql语句(即数据库执行语句)放入链表，投递至消息队列之前，会在sql语句上打上目标数据库标签。
[0072]
在本实施例中，将上述识别到的sql语句进行预处理，具体是，将上述识别到的sql语句进行解析并放进本地链表暂存，处理可能存在的特殊字符，例如，url经过了encode编码后产生的特殊字符。处理之后，sql语句可以在多个不同数据库上无误执行。
[0073]
需要强调的是，为进一步保证链表的私密和安全性，上述链表还可以存储于一区块链的节点中。
[0074]
本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0075]
步骤s203，基于多写组件确定数据库执行指令触达调用末端，将链表封装成消息投递至消息队列。
[0076]
在本实施例中，通过程序执行数据库操作，在程序执行过程中，会调用相应数据库执行指令(即业务执行方法)进行操作，数据库执行指令中可能存在嵌套的数据库执行指令，每个层级的数据库执行指令中会捕捉到对应的sql语句，程序执行到对应层级的sql语句时，会记录对应的层级。
[0077]
程序执行过程中，数据库执行指令调用是在栈中进行，根据栈的先进后出特性，每处理完一个数据库执行指令，就会从栈中弹出，层级自动减一，直到最开始的数据库执行指令，即程序调用末端。
[0078]
在本实施例中，多写组件具有引入分布式消息的功能，具体的，通过jar包方式引入消息中间件，将自动识别捕捉到的sql语句投递进消息队列，并通过多写组件对消息进行异步消费，进行目标数据库的写入回放，可以达到双写或者多写的效果。
[0079]
在将sql语句投递至消息队列之前，通过多写组件根据数据库执行指令的层级判断是否已经触达程序嵌套调用末端，若是已经触达程度嵌套调用末端，则将存储有待执行sql语句的链表封装为消息格式，投递至消息队列；若是还未触达程度嵌套调用末端，需要程序继续向下逐层处理，直至到达末层，再通过多写组件重新识别，判断是否已经触达程序嵌套调用末端。
[0080]
需要说明的是，多写组件引入的消息中间件本身就是高可靠设计，对于消息消费
异常可以自动重试，并且投递的sql语句都会被消息队列持久化到磁盘，不担心丢失问题，故达到高可靠保证。
[0081]
步骤s204，通过多写组件从消息队列中读取消息，并解析消息，得到源数据库、目标数据库以及对应的链表。
[0082]
在本实施例中，多写组件按照组件自身约定的协议格式解析消息，得到消息内容，从消息内容中获取到源数据库、目标数据库以及该消息对应的链表，从链表中即可获取对应的待执行sql语句。
[0083]
需要说明的是，sql语句(即数据库执行语句)携带有目标数据库标签；源数据库会封装至消息中，故，解析消息之后，可以获得源数据库和目标数据库的信息。
[0084]
步骤s205，通过多写组件执行链表中的数据库执行语句，将源数据库中的数据写入目标数据库。
[0085]
在本实施例中，解析出消息内容后，按照执行顺序执行链表中的sql语句，将源数据库中的数据写入目标数据库，实现数据库之间的切换。
[0086]
多写组件在进行消息异步消费处理时，每一条消息内容对应一个链表，解析后按照链表元素顺序，进行目标数据库写入，同时对链表中的所有元素(即sql语句)进行事务管理，保证其要么都执行成功，要么都执行失败，保证数据一致性。
[0087]
本技术通过构建的多写组件，使系统业务在代码无侵入的情况下，完成需要切换的新老数据库的数据双/多写操作，以达到业务无感知的情况下完成数据库切换；同时，通过多写组件实现数据库切换，可以避免重复工作，提高切换效率，还可以降低数据库切换过程的出错率，保证系统业务正常工作。
[0088]
在本实施例中，上述将数据库执行语句顺序放入链表的步骤包括：
[0089]
确定数据库执行语句所属事务；
[0090]
将属于同一事务的数据库执行语句，按照执行顺序放入所属事务对应的链表中。
[0091]
多写组件引入链表结构进行数据存储，能够针对业务系统进行事务控制，具体是，判断捕捉到的数据库执行语句(sql语句)的所属事务，将属于同一事务的sql语句按照执行顺序放在同一个链表中，每个链表对应一个事务，这样有利于对链表中的元素(即sql语句)进行事务管理，保证其要么都执行成功，要么都执行失败，确保数据一致性。
[0092]
在本实施例中，上述基于多写组件确定数据库执行指令触达调用末端，将链表封装成消息投递至消息队列的步骤包括：
[0093]
通过多写组件确定数据库执行指令当前所执行的数据库执行语句的语句层级；
[0094]
当语句层级为预定值时，则确定数据库执行指令触达调用末端；
[0095]
按照预设消息结构将链表封装成消息，并将消息投递至消息队列。
[0096]
通过多写组件对待执行的数据库执行语句(sql语句)进行识别捕捉时，会获取到每个sql语句的层级信息，即多写组件捕捉sql语句跨越的层级数。多写组件将一个数据库执行指令(即业务执行方法)作为一个层级，可以反映出一个事务下的sql语句经历几次方法嵌套调用才捕获完全，便于排错。
[0097]
举例说明，假设程序执行调用场景是：servicea.funca-》serviceb.funcb-》servicec.funcc，其中，servicea.funca表示执行了servicea类中的funca方法，即可以理解为某个业务服务的某个执行方法。
[0098]
程序执行完servicea.funca中可能捕捉到2个sql语句，并自动记录当前处理层数sql_level(即语句层级)为1；程序继续执行serviceb.funcb，可能捕捉到1个sql语句，并自动将当前处理层数+1(即此时sql_level值由1+1变成2)；以此类推经历了n个层次调用，sql_level就会增加到n。
[0099]
由于程序执行业务执行方法调用是在栈中进行的，根据栈先进后出的特性，每处理完成一个func时，就会从栈中弹出，此时sql_level会自动减1，直到最开始的servicea.funca就是调用末端，判断调用末端的依据就是sql_level＝1(即预定值)时，当前的阶段即为调用末端。
[0100]
当数据库执行指令触达调用末端，按照预设消息结构将链表封装成消息，其中，消息数据结构如下：
[0101][0102][0103]
其中，sql_level表示捕捉sql语句跨越的语句层级；sql_datasource表示源数据库类型是oracle数据库；sql_val表示链表中所有的元素，即有序排放的sql语句。
[0104]
需要说明的是，多写组件仅仅是将自动捕捉到的sql语句投递进消息队列，不做其他处理，性能损耗基本为0，因此保证了多写组件的高性能。
[0105]
将封装得到的消息投递至消息队列，这样多写组件可以实现的消息的异步消费，提高消息消费的灵活性，提升数据库双写或多写成功率。
[0106]
在本实施例的一些可选的实现方式中，在上述解析消息，得到源数据库、目标数据库以及对应的链表的步骤之后还包括：
[0107]
通过多写组件确定是否开启数据库语法自动转换；
[0108]
若为是，转换数据库语法，执行通过多写组件执行链表中的数据库执行语句的步骤；
[0109]
若为否，直接执行通过多写组件执行链表中的数据库执行语句的步骤。
[0110]
多写组件支持不同类型数据库独有语法与标准语法之间相互转换，以达到同样的数据库操作，使得sql语句在不同数据库之间都可以完美运行，兼容性高。
[0111]
具体的，多写组件中设置有配置开关，可以通过以下两种方式进行设置：
[0112]
第一，多写组件自身的properties配置文件，设置一个开关参数，控制是否要开启，默认值是：false，若要开启可以修改为true，但需要重启系统，无法热变更；
[0113]
第二，多写组件可以通过引入jar的方式接入配置中心，将开关配置在配置中心
上，这样能做到热变更。
[0114]
在一些可选的实现方式中，在上述将源数据库中的数据写入目标数据库的步骤之后还包括：
[0115]
确定数据写入是否异常；
[0116]
在数据写入异常时，通过多写组件识别异常类型，并获取异常日志；
[0117]
基于异常日志获取对应的异常执行的数据库执行语句，并存储至异常数据库中。
[0118]
多写组件内部可以实现异常自动捕捉及分类持久化，具体是，在sql语句执行异常时，会向多写组件反馈异常，多写组件捕捉到对应的异常，将异常打上相关标签，例如，异常类型、异常执行数据库等，并按照顺序存放至异常数据库中。
[0119]
其中，能够识别的异常类型包括：1-执行异常、2-执行成功，但影响记录数未0；3-写入数据库不匹配，异常类型可以根据实际情况进行扩展，多写组件中设置有扩展入口。
[0120]
在本实施例中，写入数据库不匹配可能发生在数据库切换过程中，举例说明如下：
[0121]
1)sql语句当前执行主库是oracle(源数据库)，将要切换的数据库是mysql(目标数据库)，那么sql语句在被捕捉出来后放入消息发送前，会打上目标数据库标签，表示即将要在mysql执行；
[0122]
2)当消息发送后，但还没有被消费(即此条将要执行的sql语句还处于消息队列mq中)，此时发生了数据库切换动作，主库变成了mysql；
[0123]
3)多写组件的消费机制是所有的消息中的sql语句都需要在从库执行，即发生切换后从库已经从mysql变成了oracle，而本来sql语句上的标签是将要在mysql执行，故多写组件判断写入数据库不匹配。
[0124]
识别出异常类型后，根据异常日志获取到对应的异常执行的sql语句，并将异常执行的sql语句对应的链表下所有的sql语句持久化至异常数据库中，以便排查问题后进行定时自动补偿。
[0125]
在本实施例中，上述在基于异常日志获取对应的异常执行的数据库执行语句，并存储至异常数据库中的步骤之后还包括：
[0126]
确定多写组件识别的异常类型是否为已知异常；
[0127]
在异常类型为已知异常时，从异常数据库中获取对应的异常执行的数据库执行语句；
[0128]
对异常执行的数据库执行语句进行自动补偿。
[0129]
其中，已知异常为预先在多写组件中进行设置的异常，包括执行异常、执行成功但影响记录数未0以及写入数据库不匹配等，若为已知异常，通过多写组件对执行失败的sql语句进行自动补偿。
[0130]
由于异常执行的sql语句会自动整体有序地持久化至异常数据库中，多写组件通过设置的定时任务不断扫描异常执行的sql语句，按照顺序再次执行，每次执行后补偿次数加1，直到达到预配置的补偿次数上限，则停止自动补偿，通知用户进行人工操作。
[0131]
如果不是已知异常，反馈异常给用户，由用户进行操作，并将该异常扩展至多写组件。
[0132]
在一些可选的实现方式中，在目标数据库发生异常时，通过多写组件由目标数据库切换至源数据库。
[0133]
多写组件还具有灵活开启或关闭双/多写功能以及灵活开启或关闭双/多写时的异常日志、过程日志的功能，方便业务系统自行控制数据库角色热切换，不用停机重启。例如，数据库执行方向为oracle-》mysql，即捕捉到oracle数据库的写入sql语句，异步写入mysql数据库，可以热切换成mysql-》oracle，这样可以保证在主业务以新库(目标数据库)数据为准时，新库发生未知异常，能够快速切换回老库(源数据库)应对业务运转，保证了系统对于业务的稳定支撑，当新库问题解决时，再热切回来即可。
[0134]
需要说明的是，多写组件会预留逻辑处理入口，方便后续拓展或二次开发。
[0135]
本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0136]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
[0137]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0138]
进一步参考图3，作为对上述图2所示方法的实现，本技术提供了一种基于多写组件的数据库写入装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0139]
如图3所示，本实施例所述的基于多写组件的数据库写入装置300包括：构建模块301、识别模块302、投递模块303、解析模块304以及写入模块305。其中：
[0140]
构建模块301用于构建多写组件，将所述多写组件与业务系统进行连接；
[0141]
识别模块302用于通过所述多写组件识别所述业务系统的待执行的数据库执行语句，将所述数据库执行语句顺序放入链表，其中，所述数据库执行语句携带有目标数据库标签；
[0142]
投递模块303用于基于所述多写组件确定数据库执行指令触达调用末端，将所述链表封装成消息投递至消息队列；
[0143]
解析模块304用于通过所述多写组件从所述消息队列中读取所述消息，并解析所述消息，得到源数据库、目标数据库以及对应的链表；
[0144]
写入模块305用于通过所述多写组件执行所述链表中的数据库执行语句，将所述源数据库中的数据写入目标数据库。
[0145]
需要强调的是，为进一步保证链表的私密和安全性，上述链表还可以存储于一区块链的节点中。
[0146]
基于上述基于多写组件的数据库写入装置，通过构建的多写组件，使系统业务在代码无侵入的情况下，完成需要切换的新老数据库的数据双/多写操作，以达到业务无感知的情况下完成数据库切换；同时，通过多写组件实现数据库切换，可以避免重复工作，提高切换效率，还可以降低数据库切换过程的出错率，保证系统业务正常工作。
[0147]
在本实施例中，识别模块302包括判断子模块和放入子模块，判断子模块用于确定所述数据库执行语句所属事务；放入子模块用于将属于同一事务的所述数据库执行语句，按照执行顺序放入所属事务对应的链表中。
[0148]
本实施例通过将属于同一事务的数据库执行语句按照执行顺序放在同一个链表中，每个链表对应一个事务，这样有利于对链表中的元素进行事务管理，保证其要么都执行成功，要么都执行失败，确保数据一致性。
[0149]
在本实施例中，投递模块303进一步用于：
[0150]
通过所述多写组件确定数据库执行指令当前所执行的数据库执行语句的语句层级；
[0151]
当所述语句层级为预定值时，则确定所述数据库执行指令触达调用末端；
[0152]
按照预设消息结构将所述链表封装成消息，并将所述消息投递至所述消息队列。
[0153]
本实施例中，将封装得到的消息投递至消息队列，这样多写组件可以实现的消息的异步消费，提高消息消费的灵活性，提升数据库双写或多写成功率。
[0154]
在本实施例的一些可选的实现方式中，基于多写组件的数据库写入装置300还包括转换模块，用于：
[0155]
通过所述多写组件确定是否开启数据库语法自动转换；
[0156]
若为是，转换数据库语法，执行所述通过所述多写组件执行所述链表中的数据库执行语句的步骤；
[0157]
若为否，直接执行所述通过所述多写组件执行所述链表中的数据库执行语句的步骤。
[0158]
本实施例能够进行不同数据库类型的语法转换，使得数据库执行语句在不同数据库之间都可以完美运行，兼容性高。
[0159]
在一些可选的实现方式中，基于多写组件的数据库写入装置300还包括异常判断模块，包括判断子模块、识别子模块以及存储子模块，其中：
[0160]
判断子模块用于确定数据写入是否异常；
[0161]
识别子模块用于在数据写入异常时，通过所述多写组件识别异常类型，并获取异常日志；
[0162]
存储子模块用于基于所述异常日志获取对应的异常执行的数据库执行语句，并存储至异常数据库中。
[0163]
在本实施例中，根据异常日志获取到对应的异常执行的sql语句，并将异常执行的sql语句持久化至异常数据库中，以便排查问题后进行定时自动补偿。
[0164]
在本实施例中，异常判断模块还包括确定子模块、获取子模块和补偿子模块，其中：
[0165]
确定子模块用于确定所述多写组件识别的所述异常类型是否为已知异常；
[0166]
获取子模块用于在所述异常类型为已知异常时，从所述异常数据库中获取对应的所述异常执行的数据库执行语句；
[0167]
补偿子模块对所述异常执行的数据库执行语句进行自动补偿。
[0168]
在本实施例中，补偿子模块进一步用于通过所述多写组件按照顺序重新执行所述异常执行的数据库执行语句；以及每重新执行一次，补偿次数加一，直至达到预配置的补偿次数上限。
[0169]
为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
[0170]
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0171]
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0172]
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于多写组件的数据库写入方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0173]
所述处理器42在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述基于多写组件的数据库写入方法的计算机可读指令。
[0174]
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
[0175]
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例基于多写组件的数据库写入方法的步骤，通过构建的多写组件，使系统业务在代码无侵入的情况下，完成需要切换的新老数据库的数据双/多写操作，以达到业务无感知的情况下完成数据库切换；同时，通过多写组件实现数据库切换，可以避免重复工作，提高切换效率，还可以降低数据库切换过程的出错率，保证系统业务正常工作。
[0176]
本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于多写组件的数据库写入方法的步骤，通过构建的多写组件，使系统业务在代码无侵入的情况下，完成需要切换的新老数据库的数据双/多写操作，以达到业务无感知的情况下完成数据库切换；同时，通过多写组件实现数据库切换，可以避免重复工作，提高切换效率，还可以降低数据库切换过程的出错率，保证系统业务正常工作。
[0177]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0178]
显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。