图像差异比对方法及装置与流程

本技术涉及图像比对，具体涉及一种图像差异比对方法及装置。

背景技术：

1、在例如国际单证业务等业务中，客户需提交纸质资料，业务人员会将纸质资料扫描为影像，集中提交给业务专家进行审核。但是这些资料可能存在不符合要求的地方，需返工修改，因此可能存在同一笔影像多次提交的情况。在现有的情形下，每次都需要对影像进行全量审核，存在重复的人力劳动，效率不高。因此若能通过图像比对的方法确定影像之间存在差异之处，再针对存在差异部分进行审核，即可提高审核效率。

2、现有的图像比对技术主要可分为两类，一类是针对图像像素点进行比较；另一类是基于图像整体的相似度进行比较。其中，针对图像像素点的对比方法，一般应先将图像二值化，然后逐个对两张图像的每个像素点进行比对，如果一样则认为没有差异，否则不一样则认为该像素点为差异部分。该种方法虽然可以找到不同影像间的差异部分，但是对原始影像要求较高，需要两张影像的大小、分辨率都一致，只要有一点偏差，对比结果就不能达到预期。一般适用于基于影像本身修改后与原始影像的对比，例如批注后影像与原影像对比找到批注的部分。

3、而基于图像整体的相似度的比对方法主要有md5、直方图、psnr、ssim和深度学习等。该类方法的核心是计算出图像的某种特征，通过图像特征的对比，进而计算原始图像的相似度。该类方法虽然具有较高的泛化能力，但仅能计算影像整体的相似度，不能够找到具体的差异部分，且存在一定的误判风险，某些安全要求较高的领域不能适用。

4、由此可见，现有的图像比对方法存在适用性差、准确度较低等问题。

技术实现思路

1、为了解决现有技术中存在的问题，第一方面，本技术提供一种图像差异比对方法，包括：

2、基于待比对的第一图像、第二图像以及预先创建的特征区域识别模型确定至少一对特征区域图像，每对特征区域图像包括所述第一图像中的一个第一特征区域以及所述第二图像中具有相同内容的一个第二特征区域；所述特征区域识别模型是基于预先采集的多个目标图像以及深度学习算法训练得到的；

3、从所述至少一对特征区域图像中确定多个角点及各角点的坐标，并基于所述角点的坐标对待比对的所述第一图像和/或所述第二图像进行几何变换；

4、对视角变换后的第一图像和第二图像分别进行去噪处理，得到去噪后的第一图像和第二图像；

5、对去噪后的第一图像和第二图像进行像素点比对和差异区域轮廓识别，得到所述第一图像和第二图像的差异区域。

6、在一实施例中，所述基于待比对的第一图像、第二图像以及预先创建的特征区域识别模型确定至少一对特征区域图像，包括：

7、根据所述第一图像以及所述特征区域识别模型确定所述第一图像中的至少一个第一特征区域及其对应的内容识别结果；

8、根据所述第二图像以及所述特征区域识别模型确定所述第二图像中的至少一个第二特征区域及其对应的内容识别结果；

9、根据所述内容识别结果将所述第一特征区域和所述第二特征区域进行匹配，得到至少一对特征区域图像。

10、在一实施例中，训练所述特征区域识别模型的步骤包括：

11、获取多个包含有预设特征区域的样本图像，以及所述样本图像中的特征区域对应的内容标识；

12、基于所述样本图像及对应的内容标识对预先创建的深度学习模型进行训练，得到所述特征区域识别模型。

13、在一实施例中，所述从所述至少一对特征区域图像中确定多个角点及各角点的坐标，并基于所述角点的坐标对待比对的所述第一图像和/或所述第二图像进行几何变换，包括：

14、分别从每对特征区域图像的第一特征区域中确定多个第一角点及所述第一角点在所述第一图像中的第一坐标，以及分别从每对特征区域图像的第二特征区域中确定多个第二角点及所述第二角点在所述第二图像中的第二坐标；

15、针对每对特征区域图像，根据所述第一坐标以及所述第二坐标对所述第一角点和所述第二角点进行匹配，得到多组锚点；

16、根据所述多组锚点及其坐标构建几何变换矩阵；

17、根据所述几何变换矩阵对所述第一图像或所述第二图像进行几何变换，得到视角相同的第一图像和第二图像。

18、在一实施例中，所述对视角变换后的第一图像和第二图像分别进行去噪处理，得到去噪后的第一图像和第二图像，包括：

19、对视角变换后的第一图像和第二图像进行平滑模糊处理；

20、对经过平滑模糊处理后的第一图像和第二图像进行灰度转换和二值化转换；

21、对二值化转换后的第一图像和第二图像进行开运算处理，得到去噪后的第一图像和第二图像。

22、在一实施例中，所述对去噪后的第一图像和第二图像进行像素点比对和差异区域轮廓识别，得到所述第一图像和第二图像的差异区域，包括：

23、对去噪后的第一图像和第二图像分别进行腐蚀变化和膨胀变化，得到第一腐蚀图像、第一膨胀图像、第二腐蚀图像和第二膨胀图像；

24、根据所述第一腐蚀图像和所述第二膨胀图像中对应像素点的颜色确定第一图像相比于第二图像的第一差异像素点；

25、根据所述第二腐蚀图像和所述第一膨胀图像中对应像素点的颜色确定第二图像相比于第一图像的第二差异像素点；

26、根据所述第一差异像素点、所述第二差异像素点以及所述几何变换矩阵确定第一图像中的差异区域以及所述第二图像中的差异区域。

27、在一实施例中，所述根据所述第一腐蚀图像和所述第二膨胀图像中对应像素点的颜色确定第一图像相比于第二图像的第一差异像素点，包括：

28、判断所述第一腐蚀图像的第一像素点是否为黑色；若是，则确定所述第一像素点不是差异像素点；若否，则判断所述第二膨胀图像中与所述第一像素点对应的第二像素点是否为白色；若是，则所述第一像素点不是差异像素点；若否，则确定所述第一像素点是差异像素点；

29、所述根据所述第二腐蚀图像和所述第一膨胀图像中对应像素点的颜色确定第二图像相比于第一图像的第二差异像素点，包括：

30、判断所述第二腐蚀图像的第二像素点是否为黑色；若是，则确定所述第二像素点不是差异像素点；若否，则判断所述第一膨胀图像中与所述第二像素点对应的第一像素点是否为白色；若是，则所述第二像素点不是差异像素点；若否，则确定所述第二像素点是差异像素点。

31、在一实施例中，所述根据所述第一差异像素点、所述第二差异像素点以及所述几何变换矩阵确定第一图像中的差异区域以及所述第二图像中的差异区域，包括：

32、对所述第一差异像素点在去噪后的第一图像中的轮廓进行识别，得到第一轮廓坐标；以及所述第二差异像素点在去噪后的第二图像中的轮廓进行识别，得到第二轮廓坐标。

33、基于所述几何变换矩阵对所述第一轮廓坐标或所述第二轮廓坐标进行几何变换，得到所述第一图像中的差异区域以及所述第二图像中的差异区域。

34、第二方面，本技术提供一种图像差异比对装置，包括：

35、特征区域确定模块，用于基于待比对的第一图像、第二图像以及预先创建的特征区域识别模型确定至少一对特征区域图像，每对特征区域图像包括所述第一图像中的一个第一特征区域以及所述第二图像中具有相同内容的一个第二特征区域；所述特征区域识别模型是基于预先采集的多个目标图像以及深度学习算法训练得到的；

36、几何变换模块，用于从所述至少一对特征区域图像中确定多个角点及各角点的坐标，并基于所述角点的坐标对待比对的所述第一图像和/或所述第二图像进行几何变换；

37、去噪模块，用于对视角变换后的第一图像和第二图像分别进行去噪处理，得到去噪后的第一图像和第二图像；

38、差异识别模块，用于对去噪后的第一图像和第二图像进行像素点比对和差异区域轮廓识别，得到所述第一图像和第二图像的差异区域。

39、在一实施例中，所述特征区域确定模块包括：

40、特征区域识别单元，用于根据所述第一图像以及所述特征区域识别模型确定所述第一图像中的至少一个第一特征区域及其对应的内容识别结果；以及根据所述第二图像以及所述特征区域识别模型确定所述第二图像中的至少一个第二特征区域及其对应的内容识别结果；

41、特征区域匹配单元，用于根据所述内容识别结果将所述第一特征区域和所述第二特征区域进行匹配，得到至少一对特征区域图像。

42、在一实施例中，所述图像差异比对装置还包括：

43、样本获取模块，用于获取多个包含有预设特征区域的样本图像，以及所述样本图像中的特征区域对应的内容标识；

44、模型训练模块，用于基于所述样本图像及对应的内容标识对预先创建的深度学习模型进行训练，得到所述特征区域识别模型。

45、在一实施例中，所述几何变换模块包括：

46、角点检测单元，用于分别从每对特征区域图像的第一特征区域中确定多个第一角点及所述第一角点在所述第一图像中的第一坐标，以及分别从每对特征区域图像的第二特征区域中确定多个第二角点及所述第二角点在所述第二图像中的第二坐标；

47、角点匹配单元，用于针对每对特征区域图像，根据所述第一坐标以及所述第二坐标对所述第一角点和所述第二角点进行匹配，得到多组锚点；

48、几何变换矩阵确定单元，用于根据所述多组锚点及其坐标构建几何变换矩阵；

49、几何变换单元，用于根据所述几何变换矩阵对所述第一图像或所述第二图像进行几何变换，得到视角相同的第一图像和第二图像。

50、在一实施例中，所述去噪模块包括：

51、模糊处理单元，用于对视角变换后的第一图像和第二图像进行平滑模糊处理；

52、图像转换单元，用于对经过平滑模糊处理后的第一图像和第二图像进行灰度转换和二值化转换；

53、开运算处理单元，用于对二值化转换后的第一图像和第二图像进行开运算处理，得到去噪后的第一图像和第二图像。

54、在一实施例中，所述差异识别模块包括：

55、腐蚀膨胀转换单元，用于对去噪后的第一图像和第二图像分别进行腐蚀变化和膨胀变化，得到第一腐蚀图像、第一膨胀图像、第二腐蚀图像和第二膨胀图像；

56、差异像素点确定单元，用于根据所述第一腐蚀图像和所述第二膨胀图像中对应像素点的颜色确定第一图像相比于第二图像的第一差异像素点；以及根据所述第二腐蚀图像和所述第一膨胀图像中对应像素点的颜色确定第二图像相比于第一图像的第二差异像素点；

57、差异区域确定单元，用于根据所述第一差异像素点、所述第二差异像素点以及所述几何变换矩阵确定第一图像中的差异区域以及所述第二图像中的差异区域。

58、在一实施例中，所述差异像素点确定单元具体用于：

59、判断所述第一腐蚀图像的第一像素点是否为黑色；若是，则确定所述第一像素点不是差异像素点；若否，则判断所述第二膨胀图像中与所述第一像素点对应的第二像素点是否为白色；若是，则所述第一像素点不是差异像素点；若否，则确定所述第一像素点是差异像素点；以及

60、判断所述第二腐蚀图像的第二像素点是否为黑色；若是，则确定所述第二像素点不是差异像素点；若否，则判断所述第一膨胀图像中与所述第二像素点对应的第一像素点是否为白色；若是，则所述第二像素点不是差异像素点；若否，则确定所述第二像素点是差异像素点。

61、在一实施例中，所述差异区域确定单元具体用于：

62、对所述第一差异像素点在去噪后的第一图像中的轮廓进行识别，得到第一轮廓坐标；以及所述第二差异像素点在去噪后的第二图像中的轮廓进行识别，得到第二轮廓坐标。

63、基于所述几何变换矩阵对所述第一轮廓坐标或所述第二轮廓坐标进行几何变换，得到所述第一图像中的差异区域以及所述第二图像中的差异区域。

64、第三方面，本技术提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术提供的任一图像差异比对方法。

65、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本技术提供的任一图像差异比对方法。

66、第五方面，本技术提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现本技术提供的任一图像差异比对方法。

67、本技术的图像差异比对方法及装置，能够找到并标注不同影像间的差异部分。相比于像素点对比方法，本技术能够处理存在一定程度变形的影像，例如对同一张纸质资料两次扫描得到的存在一定的透视、旋转和平移等空间差异的两张影像，适用场景更广泛；相比于图像相似度方法，本技术能够找到不同影像间具体差异的部分，不仅仅是整体相似度，差异识别的精确度得到提升。