一种图像间共同视觉模式挖掘方法
【专利摘要】本发明涉及一种图像间共同视觉模式（CommonVisualPattern,CVP）挖掘方法，该方法具体步骤：步骤一：获取图像间可能特征匹配对集合，并计算匹配对间的相似值，进而构建一个无向图G，知求图G的最大子图即得所求，再将其形式化为局部最优问题；步骤二：明确局部最优问题的求解方式；步骤三：用候选模式初始化优化获取法得局部最优问题初始解；步骤四：用候选模式扩展法扩展初始解；步骤五：用最终模式生成法得最终解。该方法采用候选模式初始化优化获取法、扩展法和最终模式生成法分别解决CVP计算复杂度问题、鲁棒性问题和精度问题，实现图像间CVP挖掘。该方法可广泛应用于2D点集匹配及目标检测等多个领域。
【专利说明】一种图像间共同视觉模式挖掘方法
【技术领域】
[0001]本发明涉及计算机视觉领域和图像检索领域，是一种基于图论的图像间共同视觉模式挖掘方法。
【背景技术】
[0002]共同视觉模式(Common Visual Pattern, CVP)是两幅图像在视觉内容上一致,空间布局上相似的共同部分，如附图1的连线所示。和局部特征相比，CVP从更高的层面上对图像进行表示和描述，是高层的图像检索/语义基元。CVP挖掘有着非常重要的应用，如目标识别，2D/3D点集匹配，局部近似图像检索和数据库组织与展示等。
[0003]共同视觉模式挖掘一般分为以下两个步骤:首先提取图像的局部特征，确立两幅图像之间的特征匹配对，特征匹配对可以采用基于特征向量距离的直接匹配或者基于视觉关键词的匹配。然后从这些匹配对中找出属于同一模式的匹配对，即确定共同模式所在的区域。共同视觉模式挖掘是一个十分具有挑战的问题，这归于以下三个方面的原因。第一，一定程度的图像质量变化和几何形变经常发生，如遮挡、裁剪、光照对比度变化、放缩、旋转和视角变化，甚至非刚体扭曲等。这些变换使得图像的共同视觉模式不仅在视觉内容上出现差异，而且在2D空间布局上也不一致。第二，事先不知道共同视觉模式的位置、形状和数量等。第三，共同视觉模式具有各种可能的出现方式，如一对一、一对多和多对多等，如附图1所示。
[0004]CVP挖掘的核心问题是如何确立属于同一模式的特征匹配对。目前研究者们主要采用图匹配理论来解决这一问题，主要的研究方法分为:谱分析方法，二次规划方法和超图匹配方法。
[0005]1.谱分析方法
Shapiro和Brady提出用谱分析的方法确立两幅图像之间的CVP,Leordeanu对这一方法进行了优化，其理论依据和执行步骤如下:首先确立两幅图像之间的特征匹配对并计算两两匹配对的相似值。然后构建一个无向图G , G的每一个顶点表示一个匹配对，顶点之间边的权值设为匹配对之间的相似值。由于位于同一 CVP的匹配对空间相邻并具有相似的几何变换，它们之间的相似值高。那么对于来说，一个CVP就是它的一个最大子图。Cour改进了 Leordeanu的方法,通过加入更多的限制条件提高了运算的时间性能，并对矩阵进行归一化处理提高了求解的精度。基于谱分析方法具有最好的时间性能。
[0006]2.二次规划方法
Chui把图匹配问题看作混合变量的最优化问题并采用模拟退火算法对问题求解。Berg把图匹配问题看为二次规划问题，然后近似为线性规划问题，最后用局部梯度递减算法求解。Jiang和Li在二次规划的基础上对图匹配问题加入一系列的几何约束，然后以线性规划的方式求解。
[0007]3.超图匹配方法 与已有算法度量两两匹配对之间的相似性不同，超图匹配的方法衡量多个(3个或以上)匹配对之间的相似性以提高图匹配的精度。Zass最早提出超图匹配的思想，他认为常规意义上的图匹配并不能从全局上衡量图顶点的相似性，于是提出超图匹配概念并用克罗内克积(Kronecker Product)求解问题。Duchenne 提出张量匹配(Tensor Matching)的超图匹配问题，该方法可以看为是Leordeanu方法在高阶图空间的扩展。
[0008]上述这些算法虽然已经比较成熟，但是这些方法在各自的应用领域中存在相应的问题。其中，基于谱分析方法具有最好的时间性能，但是它们对噪声敏感并且只能挖掘图像间一对一的CVP。基于二次规划的方法一般需要严格的图匹配限制条件，并且也只能挖掘图像间一对一的CVP，因此不能求解无限制条件下的图匹配问题。除此以外，这些算法的目标函数一般都很复杂，求解的时间复杂度都很高。基于超图匹配方法虽然考虑更多匹配对之间的关系，但是在求解的过程中不能有效地加入一些限制条件，同时与常规图匹配相比具有更高的时间复杂度。
【发明内容】
[0009]本发明实施例是提供一种图像间共同视觉模式挖掘方法，可以高效鲁棒地获得两幅图像间的共同视觉模式。
[0010]本发明解决上述技术问题的技术方案如下:一种图像间共同视觉模式挖掘方法，其特征在于，该方法具体步骤如下:
步骤一 JfCVP挖掘转化为图匹配问题，对于给定的分别从两幅图像上获取的两个局部特征集合，先获取两幅图中可能的特征匹配对集合，再利用度量几何变换一致性方式计算任意两个匹配对之间的相似值，然后根据特征匹配对集合和匹配对间的相似值构建一个相应的无向图，求解无向图的最大子图即可得到两幅图像间的CVP,最后将求解最大子图问题形式化为局部最优问题；
步骤二:利用复制方程明确化局部最优问题的求解方式；
步骤三:利用候选模式初始优化获取方法得到局部最优问题的初始解，也即初始化的
CVP ；
步骤四:利用候选模式引导扩展方法扩展初始化的CVP ；
步骤五:利用层次凝聚的最终模式生成方法去除错误的挖掘，并完善正确的CVP，实现对图像间共同视觉模式的挖掘。
[0011]本发明的有益效果是:本发明所述的一种图像间共同视觉模式挖掘方法，该方法首先基于图匹配，将图像间共同视觉模式挖掘问题转化为最大化子图求解问题，进而形式化为局部最优问题，目标函数简单；进而，利用复制方程明确了局部最优问题的迭代求解过程，简单可行；接着，利用候选模式初始化优化获取方法获取局部最优问题的初始解，所使用的方法利用了模式内的相似性和模式间的差异性，以聚类的方式获得初始化解，能够显著地减少CV搜索空间以及迭代次数；然后，利用候选模式引导扩展方法对初始化的CVP进行扩展，降低了时间复杂度，提高了挖掘的鲁棒性；最后，用最终模式生成方法以层次凝聚的方式去除和完善CVP，提高了 CVP的挖掘精度。总之，该方法可广泛用于2D点集匹配和目标检测等领域，完成对图像间共同视觉模式的挖掘。
[0012]在上述技术方案的基础上，本发明还可以做如下改进。[0013]进一步，所述CVP求解问题被形式化为求解下式(I)的局部最优问题:
【权利要求】
1.一种图像间共同视觉模式挖掘方法，其特征在于，该方法具体步骤如下: 步骤一 JfCVP挖掘转化为图匹配问题，对于给定的分别从两幅图像上获取的两个局部特征集合，先获取两幅图中可能的特征匹配对集合，再利用度量几何变换一致性方式计算任意两个匹配对之间的相似值，然后根据特征匹配对集合和匹配对间的相似值构建一个相应的无向图，求解无向图的最大子图即可得到两幅图像间的CVP,最后将求解最大子图问题形式化为局部最优问题； 步骤二:利用复制方程明确化局部最优问题的求解方式； 步骤三:利用候选模式初始优化获取方法得到局部最优问题的初始解，也即初始化的CVP ； 步骤四:利用候选模式引导扩展方法扩展初始化的CVP ； 步骤五:利用层次凝聚的最终模式生成方法去除错误的挖掘，并完善正确的CVP，实现对图像间共同视觉模式的挖掘。
2.根据权利要求1所述一种图像间共同视觉模式挖掘方法，其特征在于，所述共同视觉模式挖掘问题是基于图匹配通过局部最优化问题求解的，具体步骤如下: 1)对于给定的分别从两幅图像I和I.上获取的局部特征集合P和δ，获取/和之间可能的特征匹配对集合*7 = ^I =(j；0-1e € β I ； 2)计算任意两个匹配对之间的相似值； 3)构建一个无向图G,顶点个数等于集合C*中匹配对个数，每个顶点代表一个匹配对，两个顶点S和j之间的权重为和的相似值； 4)将挖掘包含》个特征匹配对的J和/间的CVP等价化为求解无向图σ中具有》个顶点的最大子图T。
3.根据权利要求1所述一种图像间共同视觉模式挖掘方法，其特征在于，所述两个匹配对之间的相似值是利用度量几何变换一致性方式计算得到的。
4.根据权利要求1所述一种图像间共同视觉模式挖掘方法，其特征在于，所述最大子图求解问题被形式化为求解局部最优问题，每个CVP对应一个局部最优解。
5.根据权利要求1所述一种图像间共同视觉模式挖掘方法，其特征在于，所述局部最优问题的求解方式，对于初始化得到的每个向量即CVP初始解，通过迭代执行复制方程可获取权利要求3的相应局部最优解，也即一个CVP。
6.根据权利要求1所述一种图像间共同视觉模式挖掘方法，其特征在于，所述CVP初始解的获取方法采用的是候选模式初始优化获取方法，利用模式的内部相似性与模式之间的差异性同时结合聚类算法得到初始化的CVP。
7.根据权利要求1所述一种图像间共同视觉模式挖掘方法，其特征在于，所述候选模式引导扩展方法，利用二次优化性质和CVP空间布局，针对初始化过程只能得到部分CVP同时零碎且有误配的事实，通过期望最大化的方式对初始化的CVP进行引导扩展。
8.根据权利要求1所述一种图像间共同视觉模式挖掘方法，其特征在于，所述最终模式生成方法，利用层次凝聚方法去除错误挖掘，并完善正确的挖掘，得到最终的CVP。
【文档编号】G06T5/50GK103593846SQ201310592358
【公开日】2014年2月19日 申请日期:2013年11月22日 优先权日:2013年11月22日
【发明者】宋云, 李雪玉, 曾叶, 曹鹏, 朱晋 申请人:长沙理工大学