一种图像匹配方法和装置的制造方法
【技术领域】
[0001]本发明涉及图像匹配技术领域，具体涉及一种图像匹配方法和装置。
【背景技术】
[0002]在计算机视觉研究中，图像匹配是一个非常基本的内容。由于图有着非常好的表现力，并且可以保存图像中的重要信息，因而近些年来，图匹配作为图像匹配的一种方法广泛应用于社交网络、数据分析、复杂物体识别以及视频分析等领域。
[0003]可以应对非刚性物体以及发生形变的图像匹配有着更加广泛的通用性。但是由于其在数学上是二次分配问题，也就是NP难的，故有很多方法对其进行了尝试。然而，如何保证图匹配过程中特征点和边的不冗余性以及如何正确进行匹配都是需要进一步解决。
【发明内容】
[0004]本申请提供一种能够保证图像匹配过程中特征点的不冗余性以及图像的正确匹配的图像匹配方法和装置。
[0005]根据第一方面，一些实施例中提供一种图像匹配方法，包括步骤:获取一帧模板图像;获取多帧目标图像;根据所述模板图像获取一组模板特征，所述一组模板特征包括多个模板特征;基于每帧目标图像的像素灰度特征，从每帧目标图像中提取一组目标特征，并且所述一组目标特征包括多个目标特征;根据模板图像的所述一组模板特征和每帧目标图像的一组目标特征，计算模板图像与每帧目标图像的图像相似度，获得多个图像相似度;根据所述多个图像相似度，获得所述多个图像相似度的最大值;获得所述最大值对应的目标图像，以所述最大值对应的目标图像为与所述模板图像匹配的图像。
[0006]根据第二方面，一种实施例中提供一种图像匹配装置，包括:第一图像获取单元，所述第一图像获取单元用于获取模板图像;第二图像获取单元，所述第二图像获取单元用于获取多帧目标图像;模板特征获取单元，所述模板特征获取单元用于根据所述模板图像获取一组模板特征，其中所述一组模板特征包括多个模板特征；目标特征提取单元，所述目标特征提取单元用于基于每帧目标图像的像素灰度特征从每帧目标图像中提取一组目标特征，并且所述一组目标特征包括多个目标特征;相似度计算单元，所述相似度计算单元用于根据模板图像的所述一组模板特征和每帧目标图像的一组目标特征，计算模板图像与每帧目标图像的图像相似度，获得多个图像相似度;匹配单元，所述匹配单元根据所述多个图像相似度，获得所述多个图像相似度的最大值，并获得所述最大值对应的目标图像，以所述最大值对应的目标图像为与所述模板图像匹配的图像。
[0007]上述实施例的图像匹配方法和装置中，通过模板特征与目标特征之间的相似度分别计算模板图像与每个目标图像之间的图像相似度来进行图像匹配，可以保证图像匹配过程中特征的不冗余性，保证图像的正确匹配，提高图像匹配的准确度。
【附图说明】
[0008]图1为本发明一些实施例的图像匹配方法的流程示意图；
[0009]图2为本发明一些实施例的模板图像及模板特征点的示意图；
[0010]图3为本发明一些实施例的目标图像的示意图；
[0011]图4为图3中的图像及从中搜索出的与图2中的模板特征点相匹配的匹配特征点的示意图；
[0012]图5为本发明一些实施例的图像匹配装置的框图结构示意图。
【具体实施方式】
[0013]下面通过【具体实施方式】结合附图对本发明作进一步详细说明。
[0014]本发明的实施例涉及图像匹配的方法和装置。例如，一些实施例中，该图像匹配方法和装置可以用于从多帧图像中识别出与另一帧图像或者该另一帧图像中的特定目标相同或者近似的目标。本文中，将作为识别的标的的图像(例如，前述的“另一帧图像”)称之为“模板图像”，前述特定目标称之为“感兴趣目标”，而将需要从中识别出与模板图像或者感兴趣目标相同或者近似的图像称之为“目标图像”。
[0015]本发明的实施例中，一般地，可以以模板图像为模板，从模板图像中获得表征该模板图像或者其中的感兴趣目标的特征(本文中称之为“模板特征”)，这些模板特征可以是可以表征该模板图像或者该感兴趣目标的点(本文中称之为“模板特征点”)和/或边(本文中称之为“模板特征边”)；此外，从目标图像中提取特征(本文中称之为“目标特征”)，该目标特征也可以是点(本文中称之为“目标特征点”)和/或边(本文中称之为“目标特征边”)；然后，根据模板特征和目标特征，计算模板图像与每帧目标图像之间的相似度，并比较获得的相似度的大小，以相似度的最大值对应的目标图像为与模板图像相匹配的匹配图像。本发明的一些实施例中，这里所说的“边”可以是图像中两个点之间的线段。
[0016]图1为本发明一些实施例的图像匹配方法的流程示意图。如图1所示，在步骤10，可以获取模板图像。本发明的实施例中，模板图像可以是当前实时通过各种成像装置获得的图像，也可以是预先已经获得并且存储在使用本发明的图像匹配方法和装置的系统的存储器中的图像。因此，步骤10中，可以通过各种成像装置获得模板图像，也可以从存储器中读出模板图像。
[0017]获得了模板图像之后，在步骤11中，可以根据该模板图像获取一组模板特征。这些模板特征可以是该模板图像或者该模板图像中的感兴趣目标的图像中有特别的特征(位置、灰度、角度等等)、将蕴含模板图像或者感兴趣目标的信息和特性、可以表征该模板图像或者感兴趣目标的点和/或边。该组模板特征可以包括多个模板特征，其体现了模板图像或者感兴趣目标的特征。
[0018]本发明的一些实施例中，该组模板特征可以通过接收用户的输入而获得。例如，用户可以通过输入装置在模板图像上点击选择模板图像或者感兴趣目标的特征。本发明实施例的图像匹配装置接收用户的输入，并根据用户的输入获得一组模板特征。
[0019]本发明的另一些实施例中，该组模板特征也可以由本发明的图像匹配装置根据模板图像或者感兴趣目标的像素灰度特征(例如，灰度均值、梯度、方差、灰度分布特征、等等)从模板图像中提取出来。
[0020]本发明的实施例中，前述的“一组模板特征”可以包含用户输入的或者从模板图像中提取出的特征的全部，也可以只包含用户输入的或者从模板图像中提取出的特征中的一部分。
[0021]图2显示了本发明一些实施例中的模板图像，其中感兴趣目标为该模板图像中的汽车。图2中，点A1、A2、A3、A4、A5、A6、A7、A8、A9和AlO是用户输入的或者根据感兴趣目标(图2中为汽车)的像素灰度特征提取出的模板特征点。图2中，为了能够清楚地显示，模板特征点Al-AlO被示意性地表示为不同大小的圆。应当理解，这些圆只是为了示意性地表示模板特征点，而并非对模板特征点的大小、位置、形状等等的限制。图2中，还可以以点A1、A2、A3、A4、A5、A6、A7、A8、A9和A1中任意两个点之间的线段作为模板特征边。
[0022]本发明的一些实施例中，以图2作模板图像，以图3(下文详述)作为一个目标图像，图2中的汽车作为感兴趣目标，根据本发明实施例的图像匹配方法和装置，可以将图3与图2中的汽车进行匹配。
[0023]图1的实施例中，在步骤20，可以获取多帧目标图像。与步骤10中类似，目标图像可以是当前实时通过各种成像装置获得的图像，也可以是预先已经获得并且存储在使用本发明的图像匹配方法和装置的系统的存储器中的图像。因此，步骤20中，可以通过各种成像装置获得目标图像，也可以从存储器中读出目标图像。
[0024]图3显示了本发明一些实施例中获取的目标图像。
[0025]获得了目标图像之后，在步骤21中，可以基于目标图像的像素灰度特征，从每帧目标图像中提取一组目标特征。从目标图像中提取目标特征的方法可以使用本领域中多种适合的图像特征提取方法。例如，一些实施例中，可以使用最大稳定极值区域法(MSER)、尺度不变特征变换法(SIFT)、海森算子(Hess ian)法、哈里斯仿射法(Harris Affine)或者直方图属性关联图(HARG)法从每帧目标图像中提取一组目标特征。
[0026]本发明的实施例中，前述的“一组目标特征”可以包含从目标图像中提取出的特征的全部，也可以只包含从目标图像中提取出的特征的一部分。
[0027]获得了模板图像的模板特征和每帧模板图像的目标特征之后，在步骤30中，可以根据模板图像的该一组模板特征和每帧目标图像的该组目标特征，计算出模板图像与每帧目标图像的图像相似度，从而获得多个图像相似度。
[0028]本发明的一些实施例中，对于每一帧目标图像，在计算其与模板图像的图像相似度时，可以按照下列步骤进行(