图像匹配方法、装置、电子设备及存储介质与流程
本申请涉及计算机图像识别技术领域，具体而言，涉及一种图像匹配方法、装置、电子设备及存储介质。
背景技术：
图像块匹配技术是计算机视觉等领域的热点领域，并在图像融合(imagefusion)、图像超分辨率(imagesuperresolution)、立体视觉(stereovision)等邻域中广泛应用。如何快速且高质量的完成两幅图像之间的图像块最相似块匹配，是图像块匹配技术的研究重点。
现有图像块匹配的主流技术主要包括patchmatch、csh、treecann等。其中，treecann是采用了传统的降维和建树的思路，但是降维过程非常耗时，且kdtree对高维数据建立查询二叉树非常敏感，特别是对高分辨率图像耗时巨大，造成了该方法在前期建树过程较长。
针对上述问题，目前尚未有有效的技术解决方案。
技术实现要素：
本申请实施例的目的在于提供一种图像匹配方法、装置、电子设备及存储介质，可以提高匹配效率。
第一方面，本申请实施例提供了一种图像匹配方法，包括：
对第一图像中的每一第一像元的预设邻域进行特征描述，以获取对应的第一图块的第一局部直方图，其中，每一所述第一图块由所述第一图像中的一对应第一像元及该第一像元的预设邻域构成；
对每一第一局部直方图进行降维，以得到第一降维直方图空间；
根据所述第一降维直方图空间构建二叉树结构；
对第二图像中的至少一第二像元的预设邻域进行特征描述，以获取对应第二图块的第二局部直方图，其中，所述第二图块由所述第二图像中的对应第二像元及该第二像元的预设邻域构成；
对每一第二局部直方图进行降维，以得到对应的第二降维局部直方图；
根据每一所述第二降维局部直方图以及所述二叉树结构查询所述第一图像中的与每一所述第二图块相似度最高的第一图块。
可选地，在本申请实施例所述的图像匹配方法中，所述至少一第二像元包括所述第二图像的每一第二像元，或者所述至少一第二像元包括所述第二图像的部分第二像元。
可选地，在本申请实施例所述的图像匹配方法中，所述对第一图像中的每一第一像元的预设邻域进行特征描述，以获取对应的每一第一图块的第一局部直方图，包括：
采用公式hist(x)＝f(x)计算所述第一图像的每一第一像元对应的第一图块的第一局部直方图，其中，x表示[0，255]的离散灰度等级值，f(x)表示离散灰度等级值x在对应所述第一图块中出现的频率。
可选地，在本申请实施例所述的图像匹配方法中，所述对每一第一局部直方图进行降维，以得到第一降维直方图空间，包括：
将每一所述第一局部直方图的256维的描述向量合并为m维的描述向量，以得到对应的第一降维局部直方图，其中，该m小于256。
可选地，在本申请实施例所述的图像匹配方法中，所述方法还包括以下步骤：
对每一所述第一图块进行二进制描述，以得到对应的第一二进制空间，第一二进制空间包括每一第一图块的二进制特征向量；
对每一所述第二图块进行二进制描述，以得到对应的第二二进制空间，第二二进制空间包括每一第二图块的二进制特征向量；
所述根据每一所述第二降维局部直方图以及所述二叉树结构查询所述第一图像中的与每一所述第二图块相似度最高的第一图块，包括：
根据每一第二图块的第二降维局部直方图及二进制特征向量、所述二叉树结构、所述第一二进制空间查询所述第一图像中与每一所述第二图块相似度最大的第一图块。
本申请实施例通过将降维直方图空间与二进制空间的二进制特征向量相结合，进一步地提高了图像匹配的精确度。
可选地，在本申请实施例所述的图像匹配方法中，所述根据每一第二图块的第二降维局部直方图及二进制特征向量、所述二叉树结构、所述第一二进制空间查询所述第一图像中与每一所述第二图块相似度最大的第一图块，包括：
根据每一第二图块的第二降维局部直方图在所述二叉树结构上查找相似度最大的目标节点；
将每一所述第一图块的以所述目标节点为中心的预设范围内的多个节点对应的二进制特征向量分别与所述第二图块的二进制特征向量进行对比，以筛选相似度最高的第一图块。
可选地，在本申请实施例所述的图像匹配方法中，将以所述目标节点为中心的预设范围内的多个节点对应的二进制特征向量分别与所述第二图块的二进制特征向量进行对比，以筛选相似度最高的第一图块，包括：
将每一所述第一图块的以所述目标节点为中心的预设范围内的多个节点对应的二进制特征向量分别与所述第二图块的二进制特征向量进行对比，并以汉明距离作为相似度函数，筛选出多个相似度大于预设阈值的候选图块；
对多个所述候选图块进行二进制汉明距离排序，以选择出二进制汉明距离最小的候选图块作为与对应第二图块相似度最大的第一图块。
可选地，在本申请实施例所述的图像匹配方法中，所述对每一所述第一图块进行二进制描述，以得到对应的第一二进制空间，第一二进制空间包括每一第一图块的二进制特征向量，包括：
每一所述第一图块的二进制描述如下：
当像元i的像素值小于像元j的像素值时，将像元i的像素值二值化为0；
当像元i的像素值大于或等于像元j的像素值时，将像元i的像素值二值化为1；
其中，j∈ni，i表示第一图像中的待描述的像元，j表示像元i的邻域像元，ni表示像元i的邻域范围；当第一图像的每个第一图块的局部结构都描述完成，得到对应的第一二进制空间。
第二方面，本申请实施例提供了一种图像匹配装置，包括：
第一获取模块，对第一图像中的每一第一像元的预设邻域进行特征描述，以获取对应的每一第一图块的第一局部直方图，其中，所述第一图块由所述第一图像中的一对应第一像元及该第一像元的预设邻域构成；
第一降维模块，用于对每一第一局部直方图进行降维，以得到第一降维直方图空间；
构建模块，用于根据所述第一降维直方图空间构建二叉树结构；
第二获取模块，用于对第二图像中的至少一第二像元的预设邻域进行特征描述，以获取对应第二图块的第二局部直方图，其中，所述第二图块由所述第二图像中的对应第二像元及该第二像元的预设邻域构成；
第二降维模块，用于对每一第二局部直方图进行降维，以得到对应的第二降维局部直方图；
查询模块，用于根据每一所述第二降维局部直方图以及所述二叉树结构查询所述第一图像中的与每一所述第二图块相似度最高的第一图块。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请实施例通过对第一图像中的每一第一像元的预设邻域进行特征描述，以获取对应的每一第一图块的第一局部直方图，其中，所述第一图块由所述第一图像中的一对应第一像元及该第一像元的预设邻域构成；对每一第一局部直方图进行降维，以得到第一降维直方图空间；根据所述第一降维直方图空间构建二叉树结构；对第二图像中的至少一第二像元的预设邻域进行特征描述，以获取对应第二图块的第二局部直方图，其中，所述第二图块由所述第二图像中的对应第二像元及该第二像元的预设邻域构成；对每一第二局部直方图进行降维，以得到对应的第二降维局部直方图；根据每一所述第二降维局部直方图以及所述二叉树结构查询所述第一图像中的与每一所述第二图块相似度最高的第一图块；从而实现对第二图块的相似度最大的第二图块的查找，由于其采用将局部直方图进行降维，从而降低了kd-tree对高维数据结构的敏感性，能够提高匹配效率。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像匹配方法的一种流程图。
图2为本申请实施例提供的图像匹配方法的另一种流程图。
图3为本申请实施例提供的图像匹配装置的第一种结构示意图。
图4为本申请实施例提供的图像匹配装置的第二种结构示意图。
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本本申请一些实施例中的一种图像匹配方法的流程图，该方法包括以下步骤：
s101、对第一图像中的每一第一像元的预设邻域进行特征描述，以获取对应的每一第一图块的第一局部直方图，其中，所述第一图块由所述第一图像中的一对应第一像元及该第一像元的预设邻域构成。
s102、对每一第一局部直方图进行降维，以得到第一降维直方图空间。
s103、根据所述第一降维直方图空间构建二叉树结构。
s104、对第二图像中的至少一第二像元的预设邻域进行特征描述，以获取对应第二图块的第二局部直方图，其中，所述第二图块由所述第二图像中的对应第二像元及该第二像元的预设邻域构成。
s105、对每一第二局部直方图进行降维，以得到对应的第二降维局部直方图。
s106、根据每一所述第二降维局部直方图以及所述二叉树结构查询所述第一图像中的与每一所述第二图块相似度最高的第一图块。
在该步骤s101中，该第一像元也即是像素点，是组成数字化影像的最小单元。该预设邻域可以为n*n的邻域。该第一局部直方图是基于每一第一图像块的灰度统计信息计算得到的。
具体地，在一些实施例中，该步骤s101具体包括：采用公式hist(x)＝f(x)计算该第一图像的每一第一像元对应的第一图块的第一局部直方图，其中，x表示[0，255]的离散灰度等级值，f(x)表示离散灰度等级值x在对应的第一图块中出现的频率。
其中，在该步骤s102中，将每一所述第一局部直方图的256维的描述向量合并为m维的描述向量，以得到对应的第一降维局部直方图，其中，该m小于256。当然，可以理解地，m可以为64，当然也可以将第一局部直方图的256维的描述向量合并为其他维的描述向量，例如m还可以等于128或者32等。其中，可以采用以下公式来实现描述向量的合并：
其中，在该步骤s103中，可以通过构建二叉树结构来实现快速查找最邻近元素，二叉树结构kd-tree是一种高维空间数据结构。可以采用降维后的第一降维直方图空间hb来构建二叉树结构kd-tree。
具体地，在一些实施例中，该步骤s103包括以下子步骤：
s1031、计算该第一降维直方图空间中的n(例如，为64)个维度的每一维度中的最大向量值与最小向量值的差值，并从该n个维度筛选出差值最大的维度dim_max；s1032、将dim_max所在维度作为局部直方图向量空间的切分维度，以将第一降维直方图空间hb作划分为两个子空间hb1以及hb2。重复步骤s1031以及步骤s1032，直至该二叉树结构kd-tree创建完成。
其中，在该步骤s104中，该第二像元也即是像素点，是组成数字化影像的最小单元。该预设邻域可以为n*n的邻域。该第二局部直方图是基于每一第二图像的灰度统计信息计算得到的。可以采用与步骤s101相同的方式来获取该第二图像的第二局部直方图，因此不做赘述。其中，至少一第二像元包括所述第二图像的每一第二像元，或者所述至少一第二像元包括所述第二图像的部分第二像元。
其中，在该步骤s105中，采用与步骤s102相同的方式对每一第二局部直方图进行降维，并且降维的比例也相同，得到第二降维直方图空间，第二降维直方图空间包括第二图像的每一第二图块的第二降维局部直方图。
其中，在该步骤s106中，可以使用每一第二图块的第二局部降维直方图在kd-tree结构上找到最相似节点。其中，该最相似节点是指直方图欧氏距离计算公式最小的节点，其中每一节点对应一个第二像元。此处，直方图欧氏距离计算公式如下：
由上可知，本申请实施例通过对第一图像中的每一第一像元的预设邻域进行特征描述，以获取对应的每一第一图块的第一局部直方图，其中，所述第一图块由所述第一图像中的一对应第一像元及该第一像元的预设邻域构成；对每一第一局部直方图进行降维，以得到第一降维直方图空间；根据所述第一降维直方图空间构建二叉树结构；对第二图像中的至少一第二像元的预设邻域进行特征描述，以获取对应第二图块的第二局部直方图，其中，所述第二图块由所述第二图像中的对应第二像元及该第二像元的预设邻域构成；对每一第二局部直方图进行降维，以得到对应的第二降维局部直方图；根据每一所述第二降维局部直方图以及所述二叉树结构查询所述第一图像中的与每一所述第二图块相似度最高的第一图块；从而实现对第二图块的相似度最大的第二图块的查找，由于其采用将局部直方图进行降维，从而降低了kd-tree对高维数据结构的敏感性，提高了匹配效率。
请参照图2，图2是本申请另一些实施例中的一种图像匹配方法的流程图。在该实施例中，为了提高最相似块的查询精度，不再仅仅使用局部直方图向量，还增加使用每一第一图像以及第二图像二进制空间中的元素进行对比，以提高精确度。该图像匹配方法的流程图包括以下步骤：
s201、对第一图像中的每一第一像元的预设邻域进行特征描述，以获取对应的第一图块的第一局部直方图，其中，每一所述第一图块由所述第一图像中的一对应第一像元及该第一像元的预设邻域构成。
s202、对每一第一局部直方图进行降维，以得到第一降维直方图空间。
s203、根据所述第一降维直方图空间构建二叉树结构。
s204、对每一所述第一图块进行二进制描述，以得到对应的第一二进制空间，第一二进制空间包括每一第一图块的二进制特征向量。
s205、对第二图像中的至少一第二像元的预设邻域进行特征描述，以获取对应第二图块的第二局部直方图，其中，所述第二图块由所述第二图像中的对应第二像元及该第二像元的预设邻域构成。
s206、对每一第二局部直方图进行降维，以得到对应的第二降维局部直方图。
s207、对每一所述第二图块进行二进制描述，以得到对应的第二二进制空间，第二二进制空间包括每一第二图块的二进制特征向量；
s208、根据每一第二图块的第二降维局部直方图及二进制特征向量、所述二叉树结构、所述第一二进制空间查询所述第一图像中与每一所述第二图块相似度最大的第一图块。
其中，该步骤s201-步骤s203与步骤s101-步骤s103对应，该步骤s205-步骤s206与步骤s104-步骤s105对应，因此无需过多描述。
其中，在该步骤s204中，可以用二进制描述子表达图像块的结构特征。每一所述第一图块的二进制描述如下：
当像元i的像素值小于像元j的像素值时，将像元i的像素值二值化为0；
当像元i的像素值大于或等于像元j的像素值时，将像元i的像素值二值化为1；
其中，j∈ni，i表示第一图像中的待描述的像元，j表示像元i的邻域像元，ni表示像元i的邻域范围；当第一图像的每个第一图块的局部结构都描述完成，得到对应的第一二进制空间bb。
其中，在该步骤s207中，可以采用与该步骤s204相同的方法来对该第二图像的每一第二图块的二进制描述，以获取对应的第二二进制空间包括每一第二图块的二进制特征向量。
其中，在该步骤s208中，可以先采用第二图块的第二降维局部直方图来进行初步查找，然后通过图块的二进制特征向量来实现精确定位，从而得到每一第二图块的相似度最大的第一图块。
具体地，该步骤s208包括：s2081、根据每一第二图块的第二降维局部直方图在所述二叉树结构上查找相似度最大的目标节点；s2082、将以目标节点为中心的预设范围内的多个节点对应的二进制特征向量分别与第二图块的二进制特征向量进行对比，以筛选相似度最高的第一图块。
其中，在该步骤s2081中，该相似度最大的目标节点可以采用相似度对比函数来查找，具体地，相似度对比函数采用直方图欧氏距离。该目标节点为与该待匹配的第二图块的直方图欧氏距离最小的节点。此处，直方图欧氏距离计算公式如下：
其中，在该步骤s2082中，可以将该待匹配的第二图块二进制特征向量与该预设范围内的多个节点对应的二进制特征向量来进行汉明距离的计算，选择出汉明距离最小的节点，从而找到与该待匹配的第二图块最相似的第一图块。具体地，该步骤s2082包括：将以所述目标节点为中心的预设范围内的多个节点对应的二进制特征向量分别与所述第二图块的二进制特征向量进行对比，并以汉明距离作为相似度函数，筛选出多个相似度大于预设阈值的候选图块；对多个所述候选图块进行二进制汉明距离排序，以选择出二进制汉明距离最小的候选图块作为与对应第二图块相似度最大的第一图块。
其中，如果该至少一第二像元包括第二图像的每一第二像元，或者所述至少一第二像元包括所述第二图像的多个第二像元；则不断重复该步骤s208，以使得每一第二像元对应的第二图块的相似度最大的第一图块均被查找到。当然，如果该至少一第二像元仅包括一个第二像元，则只需要执行一次即可。
由上可知，在上述实施例的基础上，本申请实施例通过将降维直方图空间与二进制空间相结合，进一步地提高了图像匹配的精确度。
请参照图3，图3是本申请一些实施例中的一种图像匹配装置的结构示意图，该图像匹配装置，包括：第一获取模块301、第一降维模块302、构建模块303、第二获取模块304、第二降维模块305以及查询模块306。
其中，该第一获取模块301对第一图像中的每一第一像元的预设邻域进行特征描述，以获取对应第一图块的第一局部直方图，其中，所述第一图块由所述第一图像中的一对应第一像元及该第一像元的预设邻域构成。该第一像元也即是像素点，是组成数字化影像的最小单元。该预设邻域可以为n*n的邻域。该第一局部直方图是基于每一第一图像块的灰度统计信息计算得到的。
具体地，在一些实施例中，该第一获取模块301用于：采用公式hist(x)＝f(x)计算该第一图像的每一第一像元对应的第一图块的第一局部直方图，其中，x表示[0，255]的离散灰度等级值，f(x)表示离散灰度等级值x在对应的第一图块中出现的频率。
其中，该第一降维模块302用于对每一第一局部直方图进行降维，以得到第一降维直方图空间。将每一所述第一局部直方图的256维的描述向量合并为m维的描述向量，以得到对应的第一降维局部直方图。当然，可以理解地，例如m可以等于64、128或者32等。其中，可以采用以下公式来实现描述向量的合并：
其中，该构建模块303用于根据所述第一降维直方图空间构建二叉树结构。二叉树结构kd-tree是一种高维空间数据结构。可以通过构建二叉树结构来实现快速查找最邻近元素。可以采用降维后的第一降维直方图空间hb构建二叉树结构kd-tree。
第二获取模块304用于对第二图像中的至少一第二像元的预设邻域进行其中，该特征描述，以获取对应第二图块的第二局部直方图，其中，所述第二图块由所述第二图像中的对应第二像元及该第二像元的预设邻域构成。
其中，该第二降维模块305用于对每一第二局部直方图进行降维，以得到对应的第二降维局部直方图。
其中，该查询模块306用于根据每一所述第二降维局部直方图以及所述二叉树结构查询所述第一图像中的与每一所述第二图块相似度最高的第一图块。可以使用每一第二图块的第二局部降维直方图在kd-tree结构上找到最相似节点。其中，该最相似节点是指直方图欧氏距离计算公式最小的节点，其中每一节点对应一个第二像元。此处，直方图欧氏距离计算公式如下：
由上可知，本申请提供的装置通过对第一图像中的每一第一像元的预设邻域进行特征描述，以获取对应的每一第一图块的第一局部直方图，其中，所述第一图块由所述第一图像中的一对应第一像元及该第一像元的预设邻域构成；对每一第一局部直方图进行降维，以得到第一降维直方图空间；根据所述第一降维直方图空间构建二叉树结构；对第二图像中的至少一第二像元的预设邻域进行特征描述，以获取对应第二图块的第二局部直方图，其中，所述第二图块由所述第二图像中的对应第二像元及该第二像元的预设邻域构成；对每一第二局部直方图进行降维，以得到对应的第二降维局部直方图；根据每一所述第二降维局部直方图以及所述二叉树结构查询所述第一图像中的与每一所述第二图块相似度最高的第一图块；从而实现对第二图块的相似度最大的第二图块的查找，由于其采用将局部直方图进行降维，从而降低了kd-tree对高维数据结构的敏感性，能够快速建树及查询，提高了匹配效率。
请参照图4，图4是本申请一些实施例中的图像匹配装置的结构示意图，该图像匹配装置，其在图3所示实施例的基础上，增加了第一描述模块307以及第二描述模块308。
其中，该第一描述模块307对每一所述第一图块进行二进制描述，以得到对应的第一二进制空间，第一二进制空间包括每一第一图块的二进制特征向量。
其中，该第二描述模块308对每一所述第二图块进行二进制描述，以得到对应的第二二进制空间，第二二进制空间包括每一第二图块的二进制特征向量。
对应地，该查询模块306用于根据每一第二图块的第二降维局部直方图及二进制特征向量、所述二叉树结构、所述第一二进制空间查询所述第一图像中与每一所述第二图块相似度最大的第一图块。
请参照图5，图5为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备4，包括：处理器401和存储器402，处理器401和存储器402通过通信总线403和/或其他形式的连接机构(未标出)互连并相互通讯，存储器402存储有处理器401可执行的计算机程序，当计算设备运行时，处理器401执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
本申请实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(staticrandomaccessmemory,简称sram)，电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory,简称eeprom)，可擦除可编程只读存储器(erasableprogrammablereadonlymemory,简称eprom)，可编程只读存储器(programmablered-onlymemory,简称prom)，只读存储器(read-onlymemory,简称rom)，磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！