基于数据对比的多数据源对账方法、系统及计算机设备与流程

本发明属于数据处理，尤其涉及一种基于数据对比的多数据源对账方法、系统及计算机设备。

背景技术：

1、目前，现有的技术方案已经存在数据对账的方案，但是这些方案无法满足多数据源下数据内容差异化对比。

2、专利申请公布号【cn115146121a】，一种多数据对账校验方法及装置，包括：获取多个源数据和多个目标数据，所述多个源数据和所述多个目标数据一一对应；利用目标函数分别对所述多个源数据和所述多个目标数据进行计算，得到分别对应的源校验和和目标校验和；响应于所述源校验和和所述目标校验和相同，数据校验结果一致；响应于所述源校验和和所述目标校验和不同，对所述多个源数据和所述多个目标数据中所对应的数据逐一进行校验。如此，在本技术中，利用目标函数计算得到源校验和和目标校验和，将源校验和和目标校验和进行对比得到数据校验结果，从而实现了将源数据和目标数据批量进行数据比对，进而提高了数据对账的效率。

3、专利申请公布号【cn114356890a】，一种保护隐私的数据一致性校验方法及系统。该校验系统包括服务方设备和使用方设备。其中，使用方设备，将具有第一数据格式的源数据和具有第二数据格式的目的数据分别作为两组待比对数据执行以下操作，得到第一组表征数据和第二组表征数据：针对任意一个待比对数据，基于设定的转换规则，将待比对数据转换为具有设定数据格式的中间态数据，并确定中间态数据对应的表征数据。接着，使用方设备将第一组表征数据和第二组表征数据发送至服务方设备。服务方设备，比较接收的第一组表征数据和第二组表征数据之间是否存在差异，并将比对结果反馈给使用方设备。使用方设备根据比对结果确定源数据和目的数据之间是否一致。

4、专利申请公布号【cn105988889a】，一种数据校验方法及装置，方法包括：从第一数据集中获取若干第一数据；从第二数据集中获取与所述若干第一数据相对应的若干第二数据；分别读取各个第一数据及各个第二数据的识别信息；将所述第一数据的识别信息进行运算处理以得到第一数值，将所述第二数据的识别信息进行相同的运算处理以得到第二数值；校验所述第一数值与所述第二数值是否一致。以上方法缩减数据校验的运算量，减小机器计算资源的开销。

5、通过上述分析，现有技术存在的问题及缺陷为：现有的技术方案对服务器cpu和内存要求比较高，并且数据获取太慢，导致大数据量的对账时间过长。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于数据对比的多数据源对账方法、系统及计算机设备。

2、本发明是这样实现的，一种基于数据对比的多数据源对账方法，所述基于数据对比的多数据源对账方法，包括以下步骤：

3、第一步，通过生成hashcode对原始数据进行拆分成为带编号的小数据块，实现对账双方的原始数据化整为零；

4、第二步，通过对比编号相同的小数据块中的hashcode，完成原始数据的对账工作。

5、进一步，所述基于数据对比的多数据源对账方法通用的数据差异化对比方案，将对比的两者数据中每条记录生成hashcode，通过对比hashcode完成两者数据的差异对比。

6、进一步，所述基于数据对比的多数据源对账方法生成对账数据的hashcode和数据分块，从而通过对比相同编号的小数据块来完成整体数据的对账工作。

7、进一步，所述基于数据对比的多数据源对账方法通过目标函数计算来完成对账工作的；使用的是对数据生成hashcode并对数据进行拆分，通过对比拆分数据来进一步完成数据对账的。

8、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于数据对比的多数据源对账方法。

9、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于数据对比的多数据源对账方法。

10、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于数据对比的多数据源对账方法。

11、本发明的另一目的在于提供一种实施所述基于数据对比的多数据源对账方法的基于数据对比的多数据源对账系统，所述基于数据对比的多数据源对账系统包括：

12、数据拆分模块，用于通过生成hashcode对原始数据进行拆分成为带编号的小数据块，实现对账双方的原始数据化整为零；

13、对账执行模块，用于通过对比编号相同的小数据块中的hashcode，完成原始数据的对账工作。

14、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于数据对比的多数据源对账系统。

15、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于数据对比的多数据源对账系统。

16、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

17、第一、本发明提出了一种通用数据差异化对比方法，通过对比较数据的每条记录进行哈希运算，生成相应唯一的hashcode，这些hashcode可以确保数据的唯一性和不可变性，即可作为数据的指纹，然后通过分析两组数据中各记录的hashcode差异，实现数据差异性的精确识别。

18、本发明通过生成hashcode对原始数据进行拆分成为带编号的小数据块。由此，将账务双方的原始数据化整为零，并通过对比编号相同的小数据块中的hashcode，提高对比效率，进而完成原始数据的对账工作。本发明生成对账数据的hashcode和数据分块，借助对比相同编号的小数据块，实现整体数据的对账，提升对账效率，提供了一种优秀的o(1)复杂度解决方案。

19、专利申请公布号【cn115146121a】与本发明在实现方案中都能适配多数据源对账，但该方案是通过目标函数计算来完成对账工作的。本发明主要使用的是对数据生成hashcode并对数据进行拆分，通过对比拆分数据来进一步完成数据对账的。

20、第二，本发明的技术方案转化后的预期收益和商业价值为：提出了一种卓越的o(1)时间复杂度算法，实现了数据差异化对比的高效处理，适用于各类差异化对比场景。

21、本发明的技术方案填补了国内外业内技术空白：本发明提出了一种基于数据对比的多数据源对账方法、系统及计算机设备。通过生成hashcode对原始数据进行拆分成为带编号的小数据块，实现对账双方的原始数据化整为零；通过对比编号相同的小数据块中的hashcode，完成原始数据的对账工作。这种方法提高了对账效率，降低了数据校验的复杂度。本发明的技术方案提出了一种通用数据差异化对比方法，通过对比较数据的每条记录进行哈希运算，生成相应唯一的hashcode，确保数据的唯一性和不可变性，实现数据差异性的精确识别。

22、本发明的技术方案通过生成hashcode对原始数据进行拆分成为带编号的小数据块，提高对比效率，完成原始数据的对账工作。本发明生成对账数据的hashcode和数据分块，借助对比相同编号的小数据块，实现整体数据的对账，提升对账效率。本发明适用于各类差异化对比场景，具有卓越的o(1)时间复杂度算法，降低了数据校验的运算量，减少了机器计算资源的开销。

23、本发明填补了国内外业内技术空白，具有较高的实用价值和创新性。本发明旨在提供一种高效、可靠的多数据源对账方法、系统及计算机设备，以解决现有技术中数据校验速度慢、对服务器cpu和内存要求高的问题。通过创新的数据拆分和对比方法，实现了原始数据的高效对账，提高了数据处理速度和准确性。本发明将为大数据时代各类数据对账场景提供有力支持，具有广泛的应用前景。

24、本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：现有技术中对服务器cpu和内存要求较高，数据获取速度慢，导致大数据量对账时间过长。本发明提供的方法有效解决了这一问题，降低了数据校验的运算量，减少了机器计算资源的开销。

25、第三，本发明提供的基于数据对比的多数据源对账方法中，显著的技术进步主要体现在以下几个方面：

26、1)高效的数据处理:

27、使用hashcode而不是完整数据来进行比较，显著提高了数据处理的速度。

28、数据的拆分成小数据块使得并行处理成为，进一步提升了效率。

29、2)减少计算资源消耗:

30、散列函数通常设计得非常高效，能够快速生成固定长度的输出，这意味着对于大数据集，其处理时间和资源消耗都相对较少。

31、3)提高对账准确性:

32、hashcode的使用减少了因为数据传输或人工处理错误导致的对账差异。

33、通过对小数据块的比较，可以精确地定位到数据不一致的位置，便于快速排错和修正。

34、4)易于发现和解决数据不一致问题:

35、通过对每个数据块分别生成hashcode，不一致的数据块可以被迅速识别出来，使得数据核对和修复工作更为直接和容易。

36、5)可扩展性和灵活性:

37、这种方法可以适用于任何大小和类型的数据对账，只要数据可以生成hashcode。

38、它也容易适应不同的数据格式和结构，因为它依赖于散列值而非数据本身的格式。

39、6)自动化和可重复性:

40、整个过程可以被编程为自动化流程，减少了人工参与，降低了犯错的风险，并确保每次对账都能以相同的方式执行，提高了结果的可重复性。

41、7)增强数据安全性:

42、在不暴露原始数据内容的情况下，通过hashcode进行比较可以增强数据的安全性，尤其是在不同组织之间进行对账时。

43、这些技术进步使得基于数据对比的多数据源对账方法在处理大量数据时更加有效，减少了对账时间，提高了对账准确性，并且降低了对账成本。尤其是在金融、电子商务和大数据分析等需要大量数据对账的行业中，这些进步具有重要的实际应用价值。