图片比对方法及电子设备、计算机可读存储介质与流程
本申请涉及电子设备技术领域，尤其涉及一种图片比对方法及电子设备、计算机可读存储介质。
背景技术：
由于版权人的图像创作作品(如摄像作品、绘制作品等)在网上一经发表，极易被他人复制并侵权，因此，我国图像创作作品侵权案屡屡发生且逐年增长。
在实践中发现，针对图像创作作品的维权周期通常较长，其主要的原因是图像创作作品的侵权事实认定花费时间较久，而图像创作作品的侵权事实认定主要在于涉案的图像创作作品的比对。所以，如何快速对涉案的图像创作作品进行比对成为了行业亟需解决的技术问题。
技术实现要素：
本申请实施例公开了一种图片比对方法及电子设备、计算机可读存储介质，能够提高图片比对效率。
本申请实施例第一方面公开一种图片比对方法，包括：
分别获取第一图片对应的第一特征点信息和第二图片对应的第二特征点信息；
对所述第一特征点信息及所述第二特征点信息进行匹配，确定所述第一图片中与所述第二图片匹配的目标图像区域；
根据所述第一特征点信息及所述第二特征点信息确定所述目标图像区域与所述第二图片之间的第一变换关系，并根据所述第一变换关系对所述目标图像区域进行变换，得到第三图片；其中，所述第三图片的尺寸与所述第二图片的尺寸相同；
计算所述第三图片和所述第二图片之间的相似度。
作为一种可选的实施方式，在本申请实施例第一方面中，所述第一特征点信息包括所述第一图片中的多个第一特征点的坐标和描述子，所述第二特征点信息包括所述第二图片中的多个第二特征点的坐标和描述子；
所述对所述第一特征点信息及所述第二特征点信息进行匹配，确定所述第一图片中与所述第二图片匹配的目标图像区域，包括：
根据所述多个第一特征点的描述子和所述多个第二特征点的描述子，得到多个匹配特征点对，每个匹配特征点对包括具有匹配关系的第二特征点及第一特征点，将所述多个匹配特征点对中包含的多个第一特征点作为有效的第一特征点；
根据多个所述有效的第一特征点确定所述第一图片中与所述第二图片匹配的目标图像区域；
所述根据所述第一特征点信息及所述第二特征点信息确定所述目标图像区域与所述第二图片之间的第一变换关系，包括：
根据所述多个匹配特征点对确定第二变换关系，所述第二变换关系为每一所述第二特征点的坐标变换至具有匹配关系的第一特征点的坐标的变换关系；
根据所述第二变换关系确定第一变换关系；所述第一变换关系为每一有效的所述第一特征点的坐标变换至具有匹配关系的第二特征点的坐标的变换关系。
作为一种可选的实施方式，在本申请实施例第一方面中，所述计算所述第三图片和所述第二图片之间的相似度，包括：
获取所述第三图片和所述第二图片的颜色相似度；
获取所述第三图片和所述第二图片的结构相似度；
根据所述颜色相似度和所述结构相似度，确定所述第三图片和所述第二图片的相似度。
作为一种可选的实施方式，在本申请实施例第一方面中，所述获取所述第三图片和所述第二图片的颜色相似度，包括：
分别获取所述第三图片对应的第一颜色直方图和所述第二图片对应的第二颜色直方图；
对所述第一颜色直方图和所述第二颜色直方图进行归一化处理，得到所述第三图片和所述第二图片的颜色相似度。
作为一种可选的实施方式，在本申请实施例第一方面中，所述获取所述第三图片和所述第二图片的结构相似度，包括：
分别获取所述第三图片对应的第一像素向量和所述第二图片对应的第二像素向量；
获取所述第一像素向量和所述第二像素向量的差异指数；
根据所述差异指数，确定所述第三图片和所述第二图片的结构相似度。
作为一种可选的实施方式，在本申请实施例第一方面中，所述分别获取所述第三图片对应的第一像素向量和所述第二图片对应的第二像素向量，包括：
分别对所述第三图片和所述第二图片进行切割，得到所述第三图片对应的多个第一子区域和所述第二图片对应的多个第二子区域；
获取每一所述第一子区域的像素均值，并根据每一所述第一子区域的像素均值得到所述第三图片对应的第三像素向量；
获取每一所述第二子区域的像素均值，并根据每一所述第二子区域的像素均值得到所述第二图片对应的第四像素向量；
根据预设的像素区间，分别对所述第三像素向量和所述第四像素向量进行离散化处理，得到所述第三像素向量对应的第一像素向量和所述第四像素向量对应的第二像素向量。
作为一种可选的实施方式，在本申请实施例第一方面中，所述根据所述颜色相似度和所述结构相似度，确定所述第三图片和所述第二图片的相似度，包括：
分别获取所述颜色相似度对应的第一数值区间和所述结构相似度对应的第二数值区间；
根据所述第一数值区间和所述第二数值区间，从预设的融合函数中确定目标融合函数；
利用所述目标融合函数对所述颜色相似度和所述结构相似度进行融合，得到所述第三图片和所述第二图片的相似度。
作为一种可选的实施方式，在本申请实施例第一方面中，所述计算所述第三图片和所述第二图片之间的相似度，包括：
按照预设尺寸，对所述第三图片进行切块，得到所述第三图片对应的多个第一子图像块；
按照所述预设尺寸，对所述第二图片进行切块，得到所述第二图片对应的多个第二子图像块；
并将同一位置处的第一子图像块和第二子图像块作为一组子图像块；
利用卷积神经网络模型和决策神经网络模型，计算每组子图像块的相似度；
根据每组子图像块的相似度，得到所述第三图片和所述第二图片的相似度。
作为一种可选的实施方式，在本申请实施例第一方面中，所述根据每组子图像块的相似度，得到所述第三图片和所述第二图片的相似度，包括：
根据每组子图像块的相似度，得到相似度分数矩阵；
对所述相似度分数矩阵求平均，得到所述第三图片和所述第二图片的相似度。
作为一种可选的实施方式，在本申请实施例第一方面中，所述卷积神经网络模型包括第一双通道卷积神经网络、第二双通道卷积神经网络以及第三双通道卷积神经网络；所述利用卷积神经网络模型和决策神经网络模型，计算每组子图像块的相似度，包括：
对一组子图像块中的第一子图像块及第二子图像块进行压缩，并通过所述第一双通道卷积神经网络提取压缩后的第一子图像块及第二子图像块的特征，得到第一特征向量；
选取所述第一子图像块的中间图像区域，以及选取所述第二子图像的中间图像区域，并通过所述第二双通道卷积神经网络提取所述第一子图像块的中间图像区域及所述第二子图像的中间图像区域的特征，得到第二特征向量；
对所述第一子图像块及第二子图像块进行灰度化处理，并通过所述第三双通道卷积神经网络提取灰度化处理后的第一子图像块及第二子图像块的特征，得到第三特征向量；
对所述第一特征向量、所述第二特征向量以及所述第三特征向量进行拼接融合，得到第四特征向量；
利用所述决策神经网络模型处理所述四特征向量，得到一组子图像块中的第一子图像块及第二子图像相似度。
本申请实施例第二方面公开一种电子设备，包括：
获取单元，用于分别获取第一图片对应的第一特征点信息和第二图片对应的第二特征点信息；
处理单元，用于对所述第一特征点信息及所述第二特征点信息进行匹配，确定所述第一图片中与所述第二图片匹配的目标图像区域；以及，根据所述第一特征点信息及所述第二特征点信息确定所述目标图像区域与所述第二图片之间的第一变换关系，并根据所述第一变换关系对所述目标图像区域进行变换，得到第三图片；其中，所述第三图片的尺寸与所述第二图片的尺寸相同；以及，计算所述第三图片和所述第二图片之间的相似度。
本申请实施例第三方面公开一种电子设备，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请实施例第一方面的任意一种方法。
本申请实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例第一方面的任意一种方法。
本申请实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本申请实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比，本申请实施例具有以下有益效果：
本申请实施例中，分别获取第一图片对应的第一特征点信息和第二图片对应的第二特征点信息；对第一特征点信息及第二特征点信息进行匹配，确定第一图片中与第二图片匹配的目标图像区域；根据第一特征点信息及第二特征点信息确定目标图像区域与第二图片之间的第一变换关系，并根据第一变换关系对目标图像区域进行变换，得到第三图片；其中，第三图片的尺寸与所述第二图片的尺寸相同；计算所述第三图片和所述第二图片之间的相似度。通过实施该方法，可以基于第一特征点信息和第二特征点信息，确定第一图片中与第二图片匹配的目标图像区域以及目标图像区域与第二图片之间的第一变换关系，进而利用第一变换关系对目标图像区域进行变换，得到尺寸与第二图片尺寸的第三图片，第三图片和第二图片的相似度即为第一图片和第二图片的相似度。由于该方法不需要考虑图片的各种剪裁、缩放、旋转等变换问题，所以，可以有效提高图片的比对效率。此外，直接将尺寸相同的第三图片与第二图片进行比对，可以提高比对的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例公开的一种图片比对方法的流程示意图；
图1b是一种将每一第二特征点的坐标变换为每一有效的第一特征点的坐标的示意图；
图1c是一种将目标图像区域变换为第三图片的示意图；
图2a是本申请实施例公开的一种图片比对方法的流程示意图；
图2b是一种第三子区域的颜色直方图的示意图；
图2c是获取第一像素向量的示意图；
图3a是本申请实施例公开的一种图片比对方法的流程示意图；
图3b是一组子图像块的示意图；
图3c是一种获取相似度分数矩阵的示意图；
图3d是一种获取每组子图像块的相似度方法的流程示意图；
图3e是获取一组子图像块的相似度的示意图；
图4是本申请实施例公开的一种电子设备的结构示意图；
图5是本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定顺序。本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，图像创作作品的维权周期通常较长，其主要的原因是图像创作作品的侵权事实认定花费时间较久，而图像创作作品的侵权事实认定主要在于涉案的图像创作作品的比对。所以，如何快速对涉案的图像创作作品进行比对成为了行业亟需解决的技术问题。本申请实施例公开的图片比对方法可以基于第一特征点信息和第二特征点信息，确定第一图片中与第二图片匹配的目标图像区域以及目标图像区域与第二图片之间的第一变换关系，再利用第一变换关系对目标图像区域进行变换，得到尺寸与第二图片尺寸的第三图片，最后通过计算第三图片和第二图片的相似度得到第一图片和第二图片的相似度。由于该方法不需要考虑图片的各种剪裁、缩放、旋转等变换问题，所以，有效提高了图片的比对效率。
本申请实施例公开了一种图片比对方法及电子设备、计算机可读存储介质，有利于提高图片比对效率。下面结合附图进行详细描述。
首先对本申请涉及的专有名词以及算法进行解释说明，如下：
特征点(如下文中的第一特征点和第二特征点)指的是图片中比较显著的点，如轮廓点、较暗区域的亮点、较亮区域中的暗点等。
描述子(如下文中的第一特征点的描述子、第二特征点的描述子)是刻画特征点的一个数据结构，一个描述子的维数可以是多维的。
颜色直方图(如下文中的第一颜色直方图、第二颜色直方图)包括多个颜色区间，用于图片中处于不同颜色区间的像素数量。需要说明的是，本申请实施例公开的颜色直方图的颜色空间为rgb颜色空间。
一种快速特征点提取和描述的算法(orientedfastandrotatedbrief，orb)采用角点检测算法(featuresfromacceleratedsegmenttest,fast)检测图片的特征点，采用特征描述子提取算法brief计算特征点的描述子。采用fast算法检测图片的特征点的具体过程为：从图片中选取任一像素点u；获取像素点u周围预设个数的像素点；若像素点u周围预设个数的像素点中存在数量大于等于数量阈值的连续相邻的目标像素点，则像素点u为特征点。需要说明的是，目标像素点和像素点u的像素差值的绝对值大于像素阈值。
采用brief算法计算特征点的描述子的具体过程为：从图片中选取任一特征点v；在特征点v的邻域内，选择n对像素点pi、qi(i＝1,2,…,n)。然后比较每个点对的灰度值的大小。如果i(pi)>i(qi)，则生成二进制串中的1，否则为0。所有的点对都进行比较，则生成长度为n的二进制串，这个二进制串则为特征点v的描述子。需要说明的是，n一般取128、256或512。需要说明的是，特征点v的邻域的确定方式可以是以特征点v为圆心，以半径d为半径的圆形邻域，或者，以特征点v为中心，预设尺寸的矩形邻域，本申请实施例不做限定。
暴力(bruteforce，bf)算法的思想是将目标串s的第一个字符与模式串t的第一个字符进行匹配，若相等，则继续比较s的第二个字符和t的第二个字符；若不相等，则比较s的第二个字符和t的第一个字符，依次比较下去，直到得出最后的匹配结果。bf算法是一种蛮力算法。
请参阅图1a，图1a为本申请实施例公开的一种图片比对方法的流程示意图。包括：
101、分别获取第一图片对应的第一特征点信息和第二图片对应的第二特征点信息。
在本申请实施例中，第一特征点信息包括第一图片对应的多个第一特征点的坐标和描述子，第二特征点信息包括第二图片对应的多个第二特征点的坐标和描述子，该坐标可指的是特征点在图片中的像素坐标，描述子可用于描述特征点的特征。在一些实施例中，终端设备可以利用orb算法提取第一图片的第一特征点的坐标和描述子。需要说明的是，对于第二图片对应的第二特征点的坐标和描述子的获取方式，请参照上述对于第一图片的介绍，本申请实施例不再赘述。
102、对第一特征点信息及第二特征点信息进行匹配，确定第一图片中与第二图片匹配的目标图像区域。
基于步骤101下面的描述，在一些实施例中，对第一特征点信息及第二特征点信息进行匹配，确定第一图片中与第二图片匹配的目标图像区域可以包括：根据多个第一特征点的描述子和多个第二特征点的描述子，得到多个匹配特征点对，每个匹配特征点对包括具有匹配关系的第二特征点及第一特征点，将多个匹配特征点对中包含的多个第一特征点作为有效的第一特征点；根据多个有效的第一特征点确定第一图片中与第二图片匹配的目标图像区域。
在一些实施例中，根据多个第一特征点的描述子和多个第二特征点的描述子，得到多个匹配特征点对可以包括：利用暴力(bruteforce，bf)算法比对多个第一特征点的描述子和多个第二特征点的描述子，得到多个匹配特征点对。在一些实施例中，利用bf算法比对多个第一特征点的描述子和多个第二特征点的描述子的具体过程如下：将任一第二特征点的描述子依次与第一特征点的描述子进行比对，直至找到匹配该第二特征点的描述子的第一特征点的描述子，若所有的第一特征点的描述子均与该第二特征点的描述子不匹配，则终止该第二特征点的描述子的比对，并按照该方法比对下一个第二特征点的描述子，直至所有的第二特征点的描述子均完成比对。
可选的，目标图像区域可以包含所有有效的第一特征点。需要说明的是，目标图像区域可以为第一图片的部分或者全部，目标图像区域的形状可以与第二图片的形状相同，示例性的，若第二图片为矩形，则目标图像区域也为矩形，第二图片为圆形，则目标图像区域也为圆形。
103、根据第一特征点信息及第二特征点信息确定目标图像区域与第二图片之间的第一变换关系。
在一些实施例中，根据多个匹配特征点对确定第二变换关系，第二变换关系为每一第二特征点的坐标变换至具有匹配关系的第一特征点的坐标的变换关系；根据第二变换关系确定第一变换关系；第一变换关系为每一有效的第一特征点的坐标变换至具有匹配关系的第二特征点的坐标的变换关系。
示例性的，请参阅图1b，图1b是一种将每一第二特征点的坐标变换为每一有效的第一特征点的坐标的示意图。图1b所示的第二图片中的第二特征点包括(0，0)、(0，k1)、(w1，0)、(w1，k1)，目标图像区域中的第一特征点包括(0，0)、(0，k2)、(w2，0)、(w2，k2)。其中，第二特征点(0，0)经过第二变换关系可以变换为与其具备匹配关系的第一特征点(0，0)、第二特征点(0，k1)经过第二变换关系可以变换为与其具备匹配关系的第一特征点(0，k2)，第二特征点(w1，0)经过第二变换关系可以变换为与其具备匹配关系的第一特征点(w2，0)，第二特征点(w1，k1)经过第二变换关系可以变换为与其具备匹配关系的第一特征点(w2，k2)。
104、根据第一变换关系对目标图像区域进行变换，得到第三图片；其中，第三图片的尺寸与第二图片的尺寸相同。
可以理解的是，根据第一变换关系对每一有效的第一特征点的坐标进行变换，以实现对目标图像区域的变换。请参阅图1c，图1c是一种将目标图像区域变换为第三图片的示意图。图1c所示的目标图像区域包括第一特征点包括(0，0)、(0，k2)、(w2，0)、(w2，k2)，第一特征点(0，0)经过第一变换关系可以转换为(0，0)，第一特征点(0，k2)经过第一变换关系可以转换为(0，k1)，第一特征点(w2，0)经过第一变换关系可以转换为(w1，0)，第一特征点(w2，k2)过第一变换关系可以转换为(w1，k1)。
105、计算第三图片和第二图片之间的相似度。
在一些实施例中，计算第三图片和第二图片之间的相似度可以包括但不限于以下实现方式：
方式一、根据第三图片与第二图片的颜色相似度和/或结构相似度，得到第三图片和第二图片之间的相似度。其中，颜色相似度和结构相似度均为衡量第三图片和第二图片的相似度的指标。
方式二、根据第三图片和第二图片的余弦相似度，得到第三图片和第二图片之间的相似度。其中，余弦相似度为衡量第三图片和第二图片的相似度的指标。
通过实施上述方法，可以基于第一特征点信息和第二特征点信息，确定第一图片中与第二图片匹配的目标图像区域以及目标图像区域与第二图片之间的第一变换关系，进而利用第一变换关系对目标图像区域进行变换，得到尺寸与第二图片尺寸的第三图片，此时，第三图片和第二图片的相似度即为第一图片和第二图片的相似度。由于该方法不需要考虑图片的各种剪裁、缩放、旋转等变换问题，所以，可以有效提高图片的比对效率。
请参阅图2a，图2a是本申请实施例公开的一种图片比对方法的流程示意图。包括：
201、分别获取第一图片对应的第一特征点信息和第二图片对应的第二特征点信息。
202、对第一特征点信息及第二特征点信息进行匹配，确定第一图片中与第二图片匹配的目标图像区域。
203、根据第一特征点信息及第二特征点信息确定目标图像区域与第二图片之间的第一变换关系。
204、根据第一变换关系对目标图像区域进行变换，得到第三图片；其中，第三图片的尺寸与第二图片的尺寸相同。
其中，关于步骤201-步骤204的详细描述，请参照实施例中步骤101-步骤104的描述，此处不再赘述。
205、获取第三图片和第二图片的颜色相似度。
在一些实施例中，获取第三图片和第二图片的颜色相似度可以包括：分别获取第三图片对应的第一颜色直方图和第二图片对应的第二颜色直方图；对第一颜色直方图和第二颜色直方图进行归一化处理，得到第三图片和第二图片的颜色相似度。
在一些实施例中，获取第三图片对应的第一颜色直方图可以包括：切割第三图片得到多个第三子区域；获取每一第三子区域的颜色直方图；根据每一第三子区域的颜色直方图得到第三图片对应的第一颜色直方图。请参阅图2b，图2b是一种第三子区域的颜色直方图的示意图。
需要说明的是，第三子区域的颜色直方图的颜色区间与第一颜色直方图的颜色区间相同。在一些实施例中，根据每一第三子区域的颜色直方图得到第三图片对应的第一颜色直方图可以包括：根据每一第三子区域的颜色直方图，计算每一颜色区间对应的平均像素数量，根据每一颜色区间对应的平均像素数量得到第三图片对应的第一颜色直方图。需要说明的是，在本申请实施例中，第二颜色直方图的获取方式可以参照第一颜色直方图的获取方式，此处不再赘述。
实践中发现，很多图片的差别很大，但是图片的全图颜色统计相似，为克服这一问题，本申请采用分块统计的方法计算第三图片/第二图片的颜色直方图的方法，有利于提高比对精度。
在一些实施例中，对第一颜色直方图和第二颜色直方图进行归一化处理可以包括：利用归一化函数对第一颜色直方图和第二颜色直方图进行归一化处理。
可选的，归一化函数可以为
为解决上述问题，本申请实施例公开了另一种归一化函数：
206、获取第三图片和第二图片的结构相似度。
在一些实施例中，获取第三图片和第二图片的结构相似度可以包括：分别获取第三图片对应的第一像素向量和第二图片对应的第二像素向量；获取第一像素向量和第二像素向量的差异指数；将差异指数确定为第三图片和所第二图片的结构相似度。其中，差异指数为用于衡量第三图片和第二图片差异程度的参数，差异指数越大，第三图片和第二图片的相似度越小。需要说明的是，第一像素向量用于指示第三图片的结构特征，第二像素向量用于指示第二图片的结构特征。
在一些实施例中，分别获取第三图片对应的第一像素向量和第二图片对应的第二像素向量，可以包括：分别对第三图片和第二图片进行切割，得到第三图片对应的多个第一子区域和第二图片对应的多个第二子区域；获取每一第一子区域的像素均值和每一第二子区域的像素均值；根据每一第一子区域的像素均值得到第三图片对应的第三像素向量；根据每一第二子区域的像素均值得到第二图片对应的第四像素向量；根据预设的像素区间，分别对第三像素向量和第四像素向量进行离散化处理，得到第三像素向量对应的第一像素向量和第四像素向量对应的第二像素向量。需要说明的是，预设的像素区间均处于0-255之间，预设的像素区间的个数可以为10、15或者20等，此处不做限定。
在一些实施例中，根据预设的像素区间，对第三像素向量进行离散化处理，可以包括：从预设的像素区间中确定第三像素向量中的每一维向量对应的目标像素区间；利用目标像素区间的序列号离散化第三像素向量，得到第三像素向量对应的第一像素向量。在一些实施例中，预设的像素区间的序列号可以根据像素区间的像素大小依次设置。可选的，像素越小的像素区间的序列号越小或越大，本申请实施例不做限定。示例性的，若预设的像素区间的个数为10个，预设的像素区间可以包括(0,25)、(25,50),(50,75)、(75,100)，(100,125)、(125,150)、(150,175)、(175,200)、(200,225)以及(225,255)，预设的像素区间的序列号从0开始编号，像素越小的像素区间的序列号越小，则(0,25)对应的序列号为0，(25,50)对应的序列号为1，(50,75)对应的序列号为2，(75,100)对应的序列号为3，(100,125)对应的序列号为4，(125,150)对应的序列号为5，(125,150)对应的序列号为6，(150,175)对应的序列号为7，(175,200)对应的序列号为8，(200,225)对应的序列号为9，(225,255)对应的序列号为10。
在一些实施例中，第三像素向量的维数可以与第一子区域的个数相同，第四像素向量的维数可以与第二子区域的个数相同。示例性的，以第三像素向量为例进行说明：将第三图片切割为100x100即10000个第一子区域，计算每一个第一子区域的像素均值，可以得到一个10000维的向量，即第三图片对应的第三像素向量。需要说明的是，对于第三图片和第二图片的切割规格一样，即第四像素向量也为一个10000维的向量。
示例性的，以第一像素向量为例取进行介绍，请参阅图2c，图2c是获取第一像素向量的示意图。图2c的预设的像素区间的序列号从0开始编号，参照上述描述，此处不再赘述。像素越小的像素区间对应的序列号越小。图2c包括4x4即16个像素点，将4x4的像素点切割为4个2x2的第一子区域，计算每一第一子区域的像素均值，得到一个4维的第三像素向量，该第三像素向量(120，61.75，37.25，206.5)，分别获取每一维的目标像素区间的序列号，得到一个4维的第一像素向量(4，2，1，9)。需要说明的是，第二像素向量的获取方式可以参照第一像素向量的获取方式，此处不再赘述。
在一些实施例中，获取第一像素向量和第二像素向量的差异指数可以包括但不限于以下实现方式：
方式一、计算第一像素向量和第二像素向量的欧式距离，并将第一像素向量和第二像素向量的欧式距离作为差异指数。示例性的，第一像素向量(x1，x2，x3，x4...xn)，第二像素向量(y1，y2，y3，y4...yn)，第一像素向量和第二像素向量的
方式二、计算第一像素向量和第二像素向量的曼哈顿距离，并将第一像素向量和第二像素向量的曼哈顿距离作为差异指数。示例性的，第一像素向量(x1，x2，x3，x4...xn)，第二像素向量(y1，y2，y3，y4...yn)，第一像素向量和第二像素向量的
方式三、计算第一像素向量和第二像素向量的编辑距离，并将第一像素向量和第二像素向量的编辑距离作为差异指数。示例性的，第一像素向量(4，2，1，9)，第二像素向量为(4，2，2，8)，将第一像素向量中的第三维的1变为第二像素向量中的第三维的2，需要变动1次，将第一像素向量中的第四维的9变为第二像素向量中的第四维的8，需要变动1次，则第一像素向量和第二像素向量的编辑距离＝1+1。
在一些实施例中，根据差异指数，确定第三图片和第二图片的结构相似度，可以包括：获取差异指数所处的指数区间，将差异指数所处的指数区间对应的相似度作为第三图片和第二图片的结构相似度。可以理解的是，电子设备可以预设有多个指数区间，每一指数区间对应一个相似度。
207、根据颜色相似度和结构相似度，确定第三图片和第二图片的相似度。
根据颜色相似度和结构相似度，确定第三图片和第二图片的相似度可以包括但不限于以下实现方式：
方式一、计算颜色相似度和结构相似度平均值，得到第三图片和第二图片的相似度。
方式二、分别获取颜色相似度对应的第一权重以及结构相似度对应的第二权重；利用第一权重乘以颜色相似度得到第一计算值；利用第二权重乘以结构相似度得到第二计算值；累加第一计算值和第二计算值得到第三图片和第二图片的相似度。
方式三、分别获取颜色相似度对应的第一数值区间和结构相似度对应的第二数值区间；根据第一数值区间和第二数值区间，从预设的融合函数中确定目标融合函数；利用目标融合函数对颜色相似度和结构相似度进行融合，得到第三图片和第二图片的相似度。
在一些实施例中，本申请中的预设的融合函数可以包括(1)
通过实施上述方法，可以基于第一特征点信息和第二特征点信息，确定第一图片中与第二图片匹配的目标图像区域以及目标图像区域与第二图片之间的第一变换关系，进而利用第一变换关系对目标图像区域进行变换，得到尺寸与第二图片尺寸的第三图片，此时，第三图片和第二图片的相似度即为第一图片和第二图片的相似度。由于该方法不需要考虑图片的各种剪裁、缩放、旋转等变换问题，所以，可以有效提高图片的比对效率。另外，本申请实施例综合颜色相似度和结构相似度，确定第三图片和第二图片的相似度，有利于提高比对精度。
请参阅图3a，图3a是本申请实施例公开的一种图片比对方法的流程示意图。包括：
301、分别获取第一图片对应的第一特征点信息和第二图片对应的第二特征点信息。
302、对第一特征点信息及第二特征点信息进行匹配，确定第一图片中与第二图片匹配的目标图像区域。
303、根据第一特征点信息及第二特征点信息确定目标图像区域与第二图片之间的第一变换关系。
304、根据第一变换关系对目标图像区域进行变换，得到第三图片；其中，第三图片的尺寸与第二图片的尺寸相同。
其中，关于步骤301-步骤304的详细描述，请参照实施例中步骤101-步骤104的描述，此处不再赘述。
305、按照预设尺寸，对第三图片进行切块，得到第三图片对应的多个第一子图像块。
306、按照预设尺寸，对第二图片进行切块，得到第二图片对应的多个第二子图像块。
在本申请实施例中，第一子图像块和第二子图像块的大小可以是一样的。示例性的，若第三图片和第二图片的尺寸为e×f，预设尺寸为64×64，则将e×f的第三图片切割为多个64×64的第一子图像块，以及将e×f的第二图片切割为多个64×64的第二子图像块。
307、将同一位置处的第一子图像块和第二子图像块作为一组子图像块。
请参阅图3b，图3b是一组子图像块的示意图。如图3b所示，包括第三图片以及该第三图片对应的多个第一子图像块，第二图片以及该第二图片对应的多个第二子图像块。
308、利用卷积神经网络模型和决策神经网络模型，计算每组子图像块的相似度。
309、根据每组子图像块的相似度，得到第三图片和第二图片的相似度。
在一些实施例中，根据每组子图像块的相似度，得到第三图片和第二图片的相似度可以包括：根据每组子图像块的相似度，得到相似度分数矩阵；对相似度分数矩阵求平均，得到第三图片和第二图片的相似度。示例性的，请参阅图3c，图3c是一种获取相似度分数矩阵的示意图。
如图3d所示，在一个实施例中，卷积神经网络模型可以包括第一双通道卷积神经网络、第二双通道卷积神经网络以及第三双通道卷积神经网络；利用卷积神经网络模型和决策神经网络模型，计算每组子图像块的相似度，可以包括以下步骤：
411、对一组子图像块中的第一子图像块及第二子图像块进行压缩，并通过第一双通道卷积神经网络提取压缩后的第一子图像块及第二子图像块的特征，得到第一特征向量。
在一些实施例中，压缩后的第一子图像块和压缩后的第二子图像块的尺寸一样。示例性的，在第一子图像块和第二子图像块均为64×64的尺寸时，压缩后的第一子图像块和压缩后的第二子图像块的尺寸可以均为32×32。
412、选取第一子图像块的中间图像区域，以及选取第二子图像的中间图像区域，并通过第二双通道卷积神经网络提取第一子图像块的中间图像区域及第二子图像的中间图像区域的特征，得到第二特征向量。
示例性的，第一子图像块和第二子图像块的中间图像区域可以均为处于中间位置且尺寸为32×32。
基于步骤411，对第一子图像块及第二子图像块进行压缩，得到的第一特征向量可用于表征小分辨率下图像的特征；基于步骤412，选取第一子图像块和第二子图像块的中间图像区域所得到的第二特征向量可用于表征大分辨率下图像的特征。
413、对第一子图像块及第二子图像块进行灰度化处理，并通过第三双通道卷积神经网络提取灰度化处理后的第一子图像块及第二子图像块的特征，得到第三特征向量。
可以理解的是，对第一子图像块及第二子图像块进行灰度化处理可以包括：将第一子图像块/第二子图像块对应的rgb三通道原图转化为一通道的灰度图像。由于灰度化处理的第一子图像块及第二子图像块弱化了图片颜色特征的影响，所以第三特征向量可用于表征图像的结构特征，适用于颜色失真场景中相似度的计算。
在本申请实施例中，利用双通道卷积神经网络(第一双通道卷积神经网络、第二双通道卷积神经网络以及第三双通道卷积神经网络)，对不同图片的特征进行提取和融合，极大地提高了图片相似度的计算效率。
414、对第一特征向量、第二特征向量以及第三特征向量进行拼接融合，得到第四特征向量。
415、利用决策神经网络模型处理第四特征向量，得到一组子图像块中的第一子图像块及第二子图像相似度。
需要说明的是，由于第四特征向量是由第一特征向量、第二特征向量以及第三特征向量进行拼接融合得到的，所以第四特征向量中包括三种不同维度的特征。因此，基于第四特征向量得到的第一子图像块及第二子图像相似度的准确性更好。
进一步的，决策神经网络模型包括第一全连接层、第二全连接层以及和归一化层，利用决策神经网络模型处理四特征向量，得到一组子图像块中的第一子图像块及第二子图像相似度，可以包括：根据第一全连接层对应的第一权重矩阵和第一偏置，对第四特征向量执行权重赋值操作，得到第五特征向量；根据第二全连接层对应的第二权重矩阵和第二偏置，对第五特征向量进行权重赋值操作，得到第六特征向量；利用归一化层对应的预设函数，对第六特征向量执行归一化操作，得到一组子图像块中的第一子图像块及第二子图像相似度。
请参阅图3e，图3e是获取一组子图像块的相似度的示意图。如图3e所示，包括第一子图像块a和第二子图像块b，对第一子图像块a进行压缩得到图像块a1，对第二子图像块b进行压缩得到图像块b1；选取第一子图像块a的中间图像区域得到a2，选取第二子图像块b的中间图像区域得到b2；对第一子图像块a进行灰度处理得到a3，对第二子图像块b进行灰度处理得到b3。其中，a1和b1通过第一双通道卷积神经网络，得到第一特征向量，a2和b2通过第二双通道卷积神经网络，得到第二特征向量，a3和b3通过第三双通道卷积神经网络，得到第三特征向量。然后，在对第一特征向量、第二特征向量以及第三特征向量进行融合，得到第四特征向量，最后第四特征向量通过决策神经网络模型，得到一组子图像块中的第一子图像块及第二子图像相似度。
请参阅图4，图4是本申请实施例公开的一种电子设备的结构示意图。包括：
获取单元401，用于分别获取第一图片对应的第一特征点信息和第二图片对应的第二特征点信息；
处理单元402，用于对第一特征点信息及第二特征点信息进行匹配，确定第一图片中与第二图片匹配的目标图像区域；以及，根据第一特征点信息及第二特征点信息确定目标图像区域与第二图片之间的第一变换关系，并根据第一变换关系对目标图像区域进行变换，得到第三图片；其中，第三图片的尺寸与第二图片的尺寸相同；以及，计算第三图片和第二图片之间的相似度。
在一些实施例中，第一特征点信息包括第一图片中的多个第一特征点的坐标和描述子，第二特征点信息包括第二图片中的多个第二特征点的坐标和描述子；处理单元402用于对第一特征点信息及第二特征点信息进行匹配，确定第一图片中与第二图片匹配的目标图像区域的方式具体可以为：处理单元402，用于根据多个第一特征点的描述子和多个第二特征点的描述子，得到多个匹配特征点对，每个匹配特征点对包括具有匹配关系的第二特征点及第一特征点，将多个匹配特征点对中包含的多个第一特征点作为有效的第一特征点；根据多个有效的第一特征点确定第一图片中与第二图片匹配的目标图像区域；
处理单元402用于根据第一特征点信息及第二特征点信息确定目标图像区域与第二图片之间的第一变换关系的方式具体可以为：处理单元402，用于根据多个匹配特征点对确定第二变换关系，第二变换关系为每一第二特征点的坐标变换至具有匹配关系的第一特征点的坐标的变换关系；根据第二变换关系确定第一变换关系；第一变换关系为每一有效的第一特征点的坐标变换至具有匹配关系的第二特征点的坐标的变换关系。
在一些实施例中，处理单元402用于计算第三图片和第二图片之间的相似度的方式具体可以为：处理单元402，用于获取第三图片和第二图片的颜色相似度；获取第三图片和第二图片的结构相似度；根据颜色相似度和结构相似度，确定第三图片和第二图片的相似度。
在一些实施例中，处理单元402用于获取第三图片和第二图片的颜色相似度的方式具体可以为：处理单元402，用于分别获取第三图片对应的第一颜色直方图和第二图片对应的第二颜色直方图；对第一颜色直方图和第二颜色直方图进行归一化处理，得到第三图片和第二图片的颜色相似度。
在一些实施例中，处理单元402用于获取第三图片和第二图片的结构相似度的方式具体可以为：处理单元402，用于分别获取第三图片对应的第一像素向量和第二图片对应的第二像素向量；获取第一像素向量和第二像素向量的差异指数；根据差异指数，确定第三图片和第二图片的结构相似度。
在一些实施例中，处理单元402用于分别获取第三图片对应的第一像素向量和第二图片对应的第二像素向量的方式具体可以为：处理单元402，用于分别对第三图片和第二图片进行切割，得到第三图片对应的多个第一子区域和第二图片对应的多个第二子区域；获取每一第一子区域的像素均值和每一第二子区域的像素均值；根据每一第一子区域的像素均值得到第三图片对应的第三像素向量；根据每一第二子区域的像素均值得到第二图片对应的第四像素向量；根据预设的像素区间，分别对第三像素向量和第四像素向量进行离散化处理，得到第三像素向量对应的第一像素向量和第四像素向量对应的第二像素向量。
在一些实施例中，处理单元402用于根据颜色相似度和结构相似度，确定第三图片和第二图片的相似度的方式具体可以为：处理单元402，用于分别获取颜色相似度对应的第一数值区间和结构相似度对应的第二数值区间；根据第一数值区间和第二数值区间，从预设的融合函数中确定目标融合函数；利用目标融合函数对颜色相似度和结构相似度进行融合，得到第三图片和第二图片的相似度。
在一些实施例中，处理单元402用于计算第三图片和第二图片之间的相似度的方式具体可以包括：处理单元402，用于按照预设尺寸，对第三图片进行切块，得到所述第三图片对应的多个第一子图像块；按照预设尺寸，对第二图片进行切块，得到第二图片对应的多个第二子图像块；将同一位置处的第一子图像块和第二子图像块作为一组子图像块；利用卷积神经网络模型和决策神经网络模型，计算每组子图像块的相似度；根据每组子图像块的相似度，得到所述第三图片和所述第二图片的相似度。
在一些实施例中，处理单元402用于根据每组子图像块的相似度，得到第三图片和第二图片的相似度的方式具体可以包括：处理单元402，用于根据每组子图像块的相似度，得到相似度分数矩阵；对相似度分数矩阵求平均，得到第三图片和第二图片的相似度。
在一些实施例中，所述卷积神经网络模型包括第一双通道卷积神经网络、第二双通道卷积神经网络以及第三双通道卷积神经网络；处理单元402用于利用卷积神经网络模型和决策神经网络模型，计算每组子图像块的相似度，的方式具体可以包括：处理单元402，用于对一组子图像块中的第一子图像块及第二子图像块进行压缩，并通过第一双通道卷积神经网络提取压缩后的第一子图像块及第二子图像块的特征，得到第一特征向量；选取第一子图像块的中间图像区域，以及选取第二子图像的中间图像区域，并通过第二双通道卷积神经网络提取第一子图像块的中间图像区域及第二子图像的中间图像区域的特征，得到第二特征向量；对第一子图像块及第二子图像块进行灰度化处理，并通过第三双通道卷积神经网络提取灰度化处理后的第一子图像块及第二子图像块的特征，得到第三特征向量；对第一特征向量、第二特征向量以及第三特征向量进行拼接融合，得到第四特征向量；利用决策神经网络模型处理四特征向量，得到一组子图像块中的第一子图像块及第二子图像相似度。
请参阅图5，图5是本申请实施例公开的一种电子设备的结构示意图。如图5所示，该电子设备可以包括：
存储有可执行程序代码的存储器501；
与存储器501耦合的处理器502；
其中，处理器502调用存储器501中存储的可执行程序代码，执行上述实施例中的方法。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现上述实施例中的方法。
本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行上述实施例中的方法。
本申请实施例公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行图1～图3任意一种基于无人机的电力巡检方法。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
在本申请所提供的实施例中，应理解，“与a对应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。
在本申请的各种实施例中，应理解，“a和/或b”的含义指的是a和b各自单独存在或者a和b同时存在的情况均包括在内。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-onlymemory，rom)、随机存储器(randomaccessmemory，ram)、可编程只读存储器(programmableread-onlymemory，prom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory，otprom)、电子抹除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种图片比对方法及电子设备、计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
- 还没有人留言评论。精彩留言会获得点赞！