一种提升数据库数据校验效率的系统及方法与流程

1.本发明涉及数据校验技术领域，具体为一种提升数据库数据校验效率的系统及方法。


背景技术：

2.数据校验是为保证数据的完整性进行的一种验证操作，通常用一种指定的算法对原始数据计算出的一个校验值，接收方用同样的算法计算一次校验值，如果两次计算得到的检验值相同，则说明数据是完整的。
3.随着大数据时代的发展，数据校验的方式越发完善，例如中国专利cn112749541a公开了一种数据校验系统、方法、装置、电子设备和计算机可读介质，该专利通过测试用例自动对第一数据集合和第二数据集合进行对比，确定对比后的目标数据，无需采用人工方式进行数据对比，提高了数据校验效率，但是在使用时，操作的目标节点较多时，需要占用大量的网卡资源，导致系统难以基于框架进行有效的扩展，故此，提出一种提升数据库数据校验效率的系统及方法来解决上述的问题。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了一种提升数据库数据校验效率的系统及方法，具备校验处理快速优点，解决了操作的目标节点较多时，需要占用大量的网卡资源，导致系统难以基于框架进行有效的扩展的问题。
6.(二)技术方案
7.为实现上述校验处理快速的目的，本发明提供如下技术方案：一种提升数据库数据校验效率的系统，包括：
8.数据管理模块，接收数据，并且对不同的数据进行管理分类；
9.数据传输模块，将多个传输相同数据的请求合并为多播请求进行传输；
10.rpc处理模块，通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理；
11.数据校验模块，数据节点通过rpc处理模块处理后，可对崩溃的数据节点进行标记校验；
12.数据存储模块，对rpc处理模块处理完成以及数据校验模块校验完成的数据节点进行区别储存。
13.优选的，所述数据传输模块会申请发送结构体，并根据写请求对应的数据地址和数据大小等元数据信息填写结构体的头部字段，同时将数据放入发送结构体的数据字段，然后数据传输模块会将传输信息添加到填写完毕的发送结构体中，并将其打包成工作请求放人发送队列进行传输，网卡依次对工作请求进行处理，将数据以数据报的形式发送到各个目标数据节点，由数据节点中的接收处理程序进行处理并写入持久内存，当发送操作完
成之后，元数据节点会触发中断通知发送完成处理程序，将工作完成从完成队列中移出，从中获取已完成的发送结构体地址并将对应空间释放回收。
14.优选的，所述rpc处理模块通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理.由于rpc采用多播通信机制实现，多播组中的所有数据节点均可以接收到元数据节点的请求，为增强rpc的灵活性，请求头部标识了源节点与目标节点，数据节点收到请求后首先判断该节点是否需要执行操作，从而避免冗余的请求对数据节点资源的占用。
15.优选的，所述数据校验模块会将该崩溃后的数据节点标记成为故障节点，该请求将被分流到其他数据节点执行，不会影响系统正常运行，该数据节点中的数据可以通过元数据节点与其他数据节点进行恢复，当元数据节点崩溃时，系统停止提供服务，等待元数据节点重启，并通过文件的元数据，将系统恢复到崩溃前的状态。
16.优选的，所述数据管理模块可根据数据的不同传输来源进行管理分类，并且通过统一的文件名格式保证数据缓存功能可以进行统一处理，对于接收到的数据节点，可保证用户下载缓存数据的效率。
17.优选的，所述数据存储模块可对rpc处理模块处理后处理无误的数据节点，以及对rpc处理模块处理后有误的数据节点进行区别储存，所述数据管理模块包括数据缓存数据信息记录单元和缓存数据信息处理单元。
18.本发明要解决的另一技术问题是提供一种提升数据库数据校验效率的方法，包括以下步骤：
19.1)应用程序通过数据管理模块对可移植操作系统接口对文件系统进行访问以数据写入，并且对不同传输来源的数据进行管理分类；
20.2)当应用程序发起数据写入请求时，通过访问元数据节点在各目标数据节点分配持久性内存空间，然后将数据写入到各数据节点中；
21.3)待写入的数据通过数据传输模块以数据报的形式由网卡发出，网络交换机收到多播数据报时，会进行分发操作，将数据报发送到多播组中的每个数据节点；
22.4)数据节点通过rpc处理模块识别数据报请求体，并通过数据一致性保障模块将数据持久化到持久性内存与此同时，元数据节点会提交该次数据写入操作并返回用户；
23.5)文件系统的元数据访问则仅通过元数据节点进行，无需对数据节点进行远程访问。
24.(三)有益效果
25.与现有技术相比，本发明提供了一种提升数据库数据校验效率的系统及方法，具备以下有益效果：
26.该提升数据库数据校验效率的系统及方法，通过设置数据传输模块和rpc处理模块，有效的提高了数据传输的灵活性，为系统各项功能提供了支持，又通过设置数据校验模块，引入轻量级一致性保障机制，使用冗余校验机制保证数据传输过程的可靠性，利用持久性内存字节寻址的特性实现错位的快速纠正，并为系统中的各个节点提供故障恢复功能，从而保证数据的靠性与一致性。
附图说明
27.图1为本发明提出的一种提升数据库数据校验效率的系统及方法系统图。
具体实施方式
28.下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.请参阅图1，一种提升数据库数据校验效率的系统，包括：
30.数据管理模块，接收数据，并且对不同的数据进行管理分类。
31.数据传输模块，将多个传输相同数据的请求合并为多播请求进行传输。
32.rpc处理模块，通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理。
33.数据校验模块，数据节点通过rpc处理模块处理后，可对崩溃的数据节点进行标记校验。
34.数据存储模块，对rpc处理模块处理完成以及数据校验模块校验完成的数据节点进行区别储存。
35.其中，数据传输模块在使用的过程中为了避免网络堵塞引起的发送队列拥挤，当网卡处理速率小于工作请求的增加速率时，发送队列会被填满，导致之后的工作请求无法放入发送队列，并且数据传输模块会对发送队列中待发送的多播请求数目进行实时统计，并据此控制多播请求的发送速率，当网络拥塞时，发送队列中待发送的请求数目超过了预先设定的阈值.此时发送队列将暂缓接受工作请求直到待发送的请求数量低于阈值，从而避免了发送队列溢出造成的传输问题，其中，数据传输模块会申请发送结构体，并根据写请求对应的数据地址和数据大小等元数据信息填写结构体的头部字段，同时将数据放入发送结构体的数据字段，然后数据传输模块会将传输信息添加到填写完毕的发送结构体中，并将其打包成工作请求放人发送队列进行传输，网卡依次对工作请求进行处理，将数据以数据报的形式发送到各个目标数据节点，由数据节点中的接收处理程序进行处理并写入持久内存，当发送操作完成之后，元数据节点会触发中断通知发送完成处理程序，将工作完成从完成队列中移出，从中获取已完成的发送结构体地址并将对应空间释放回收。
36.同时，rpc处理模块rpc处理模块可有效的避免网卡数据重复发送的冗余开销，从而大幅提升发送数据的效率，并且通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理，由于rpc采用多播通信机制实现，多播组中的所有数据节点均可以接收到元数据节点的请求，为增强rpc的灵活性，请求头部标识了源节点与目标节点，数据节点收到请求后首先判断该节点是否需要执行操作，从而避免冗余的请求对数据节点资源的占用。
37.并且，数据校验模块利用故障恢复机制，使得通过故障恢复机制，从而保障了数据的高可靠性，数据校验模块会将该崩溃后的数据节点标记成为故障节点，该请求将被分流到其他数据节点执行，不会影响系统正常运行，该数据节点中的数据可以通过元数据节点与其他数据节点进行恢复，当元数据节点崩溃时，系统停止提供服务，等待元数据节点重
启，并通过文件的元数据，将系统恢复到崩溃前的状态。
38.另外，数据管理模块可根据数据的不同传输来源进行管理分类，并且通过统一的文件名格式保证数据缓存功能可以进行统一处理，对于接收到的数据节点，可保证用户下载缓存数据的效率。
39.而数据存储模块可对rpc处理模块处理后处理无误的数据节点，以及对rpc处理模块处理后有误的数据节点进行区别储存，数据管理模块包括数据缓存数据信息记录单元，为了提供缓存数据监视功能，所有数据缓存的处理结果需要实时记录，和缓存数据信息处理单元，在判断缓存数据合法后检查是否有用户进行订阅，一旦是用户订阅的数据则将数据链接到订阅用户分发目录，由于原有缓存处理性能低，为了尽可能保证效率，系统不能在该功能上进行扩展以支持相关功能的实现，否则会因为额外的处理逻辑加剧缓存处理效率下降。
40.一种提升数据库数据校验效率的方法，包括以下步骤：
41.1)应用程序通过数据管理模块对可移植操作系统接口对文件系统进行访问以数据写入，并且对不同传输来源的数据进行管理分类。
42.2)当应用程序发起数据写入请求时，通过访问元数据节点在各目标数据节点分配持久性内存空间，然后将数据写入到各数据节点中。
43.3)待写入的数据通过数据传输模块以数据报的形式由网卡发出，网络交换机收到多播数据报时，会进行分发操作，将数据报发送到多播组中的每个数据节点。
44.4)数据节点通过rpc处理模块识别数据报请求体，并通过数据一致性保障模块将数据持久化到持久性内存与此同时，元数据节点会提交该次数据写入操作并返回用户。
45.5)文件系统的元数据访问则仅通过元数据节点进行，无需对数据节点进行远程访问。
46.本发明的有益效果是：
47.该提升数据库数据校验效率的系统及方法，通过设置数据传输模块和rpc处理模块，有效的提高了数据传输的灵活性，为系统各项功能提供了支持，又通过设置数据校验模块，引入轻量级一致性保障机制，使用冗余校验机制保证数据传输过程的可靠性，利用持久性内存字节寻址的特性实现错位的快速纠正，并为系统中的各个节点提供故障恢复功能，从而保证数据的靠性与一致性。
48.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。