一种基于二进制哈希的快速数据校验方法及系统与流程

本发明涉及大数据；特别地，涉及数据库etl过程中的快速数据校验；具体而言，涉及一种基于二进制哈希的快速数据校验方法及系统。

背景技术：

1、随着现代企业业务的数字化转型技术的迅速演进，数据已经成为企业最宝贵的资产之一。

2、数据量的爆炸性增长，尤其在社交媒体、金融交易、物联网和各种在线业务中，使得数据校验成为数据提取、转换和加载(etl)过程中的一个至关重要的步骤。

3、对于任何依赖数据的决策、分析和操作，确保数据的完整性、准确性和一致性都是至关重要的。

4、然而，传统的数据校验方法，如完整数据比较、行级比较等，在大数据的背景下，需要大量的计算资源和时间，在处理大数据时的效率较为低下。

5、此外，当数据量达到tb或pb级别时，如要完整地读取和比较数据，不仅变得效率低下，而且经常是不切实际的。

6、因此，当前亟需设计一种能够快速、高效地校验大量数据的方法，以解决现有技术的上述难点问题。

技术实现思路

1、鉴于此，本发明的第一目的在于设计一种基于二进制哈希的快速数据校验方法，通过数据分块技术，有效处理大型数据集，提高数据校验速率；并且减少计算和存储开销，提升数据校验的效率。

2、本发明的第二目的在于设计一种基于二进制哈希的快速数据校验系统，用于执行本发明的基于二进制哈希的快速数据校验方法。

3、本发明提供一种基于二进制哈希的快速数据校验方法，包括以下步骤：

4、s1、通过数据分块器使用动态分块算法分别处理源数据和目标数据，分别评估源数据和目标数据的数据集的整体大小和复杂度，根据关键参数确定每个数据块的最优大小，将源数据和目标数据分别分解为多个数据块；

5、s2、对源数据和目标数据的每个数据块分别使用哈希计算器计算哈希值；

6、哈希算法具有以下特点：

7、高效性和一致性：算法设计优化了计算过程，以在保证一致性的同时提高处理速度。这意味着即使是大数据块也能迅速得到其哈希值。

8、抗碰撞性：算法具有强抗碰撞性，即不同的数据块产生相同哈希值的概率极低。这一特性对于确保数据校验的准确性至关重要。

9、敏感性：算法对数据中的微小变化高度敏感。即使是数据块中的一个字节的变化，也会在哈希值中产生显著的不同，从而确保数据变化可以被有效追踪。

10、适应性：哈希算法能够适应不同类型和大小的数据块，确保无论数据结构如何复杂，都能有效地生成哈希值；

11、s3、将计算得出的哈希值分别存储在对应的源数据和目标数据的哈希列表中；

12、s4、使用校验器比较源数据的哈希列表和目标数据的哈希列表，保证数据的完整性和准确性。

13、进一步地，所述s1步骤的所述关键参数包括：

14、数据均匀性、处理能力、网络带宽、数据块的动态调整。

15、通过数据分块器分析数据的分布，保证每个块在数据类型和大小上尽量均匀(数据均匀性好)，避免在后续的哈希计算中出现偏差；

16、通过数据分块器根据当前系统的处理能力(如cpu和内存资源)调整块大小，以最大化处理效率而不超载系统。

17、在分布式环境中，数据分块器考虑网络带宽的限制，保证数据块在节点间传输时不会造成显著的网络瓶颈。

18、数据分块器根据实时反馈动态调整数据块的大小；如果在处理过程中发现某些数据块的处理速度明显慢于其他数据块，数据分块器将重新调整这些数据块的大小，以保持整体处理效率。

19、进一步地，所述s4步骤的使用校验器比较源数据的哈希列表和目标数据的哈希列表的方法包括：

20、由校验器按顺序比较源数据和目标数据的哈希列表，对每个数据块的哈希值，由校验器检查两个列表中相应位置的哈希值是否一致；

21、如果发现不匹配的哈希值，则由校验器将这些不匹配的数据块标记为异常，表示这些不匹配的数据块中可能存在数据不一致或损坏的情况；

22、如果没有发现不匹配的哈希值，则不进行标记。

23、进一步地，对于每个检测到的两个列表中相应位置的哈希值不一致的情况，由校验器记录以下信息：

24、不匹配的数据块的位置和大小；

25、源数据和目标数据的哈希值；

26、数据块在整个数据集中的相对位置。

27、进一步地，对于每个检测到的两个列表中相应位置的哈希值不一致的情况，由校验器生成详细的错误报告，所述错误报告包括：

28、所有不匹配的数据块的信息，以及不匹配的数据块在整个数据集中的上下文，以利于快速定位和解决数据不一致问题。

29、进一步地，对于每个检测到的两个列表中相应位置的哈希值不一致的情况，由校验器提供修复建议，所述修复建议包括：

30、重新执行数据提取、转换和加载etl过程中的特定步骤，或者手动检查并修正源数据的数据集。

31、本发明还提供一种基于二进制哈希的快速数据校验系统，执行如上述所述的基于二进制哈希的快速数据校验方法，包括：

32、数据分块器：用于使用动态分块算法分别处理源数据和目标数据，分别评估源数据和目标数据的数据集的整体大小和复杂度，根据关键参数确定每个数据块的最优大小，将源数据和目标数据分别分解为多个数据块；

33、哈希计算器：用于对源数据和目标数据的每个数据块分别使用哈希计算器计算哈希值；将计算得出的哈希值分别存储在对应的源数据和目标数据的哈希列表中；

34、校验器：用于比较源数据的哈希列表和目标数据的哈希列表，保证数据的完整性和准确性。

35、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述所述的基于二进制哈希的快速数据校验方法的步骤。

36、本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于二进制哈希的快速数据校验方法的步骤。

37、与现有技术相比，本发明的有益效果在于：

38、本发明基于二进制哈希的快速数据校验方法及系统通过数据分块技术，能够有效处理大型数据集，大大提高了数据校验速率；并且减少了计算和存储开销，有效提升数据校验的效率。

技术特征：

1.一种基于二进制哈希的快速数据校验方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于二进制哈希的快速数据校验方法，其特征在于，所述s1步骤的所述关键参数包括：

3.根据权利要求1所述的基于二进制哈希的快速数据校验方法，其特征在于，所述s4步骤的使用校验器比较源数据的哈希列表和目标数据的哈希列表的方法包括：

4.根据权利要求3所述的基于二进制哈希的快速数据校验方法，其特征在于，对于每个检测到的两个列表中相应位置的哈希值不一致的情况，由校验器记录以下信息：

5.根据权利要求4所述的基于二进制哈希的快速数据校验方法，其特征在于，对于每个检测到的两个列表中相应位置的哈希值不一致的情况，由校验器生成详细的错误报告，所述错误报告包括：

6.根据权利要求5所述的基于二进制哈希的快速数据校验方法，其特征在于，对于每个检测到的两个列表中相应位置的哈希值不一致的情况，由校验器提供修复建议，所述修复建议包括：

7.一种基于二进制哈希的快速数据校验系统，执行如权利要求1-6任一项所述的基于二进制哈希的快速数据校验方法，其特征在于，包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6任一项所述的基于二进制哈希的快速数据校验方法的步骤。

9.一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于二进制哈希的快速数据校验方法的步骤。

技术总结
本发明提供一种基于二进制哈希的快速数据校验方法及系统，方法包括：通过数据分块器使用动态分块算法分别处理源数据和目标数据，分别评估源数据和目标数据的数据集整体大小和复杂度，根据关键参数确定每个数据块的最优大小，将源数据和目标数据分别分解为多个数据块；对源数据和目标数据每个数据块分别使用哈希计算器计算哈希值；将计算出的哈希值分别存储在源数据和目标数据的哈希列表中；使用校验器比较源数据的哈希列表和目标数据的哈希列表，保证数据完整性和准确性。本发明基于二进制哈希的快速数据校验方法及系统通过数据分块技术，能够有效处理大型数据集，大大提高了数据校验速率；并且减少了计算和存储开销，有效提升数据校验的效率。

技术研发人员：钟浩,邹昌根,吴汉楚
受保护的技术使用者：上海掌数科技有限公司
技术研发日：
技术公布日：2024/3/24