专利名称：一种基于多特征融合的指定目标检索方法及系统的制作方法
技术领域：
本发明涉及图像处理与信息检索技术领域，尤其涉及一种基于多特征融合的指定目标检索方法及系统。
背景技术：
随着“平安城市”和“智慧城市”等大型安防监控系统的建设，监控视频的数据量日益庞大，如何从海量的图像和视频数据中快速、准确的检索出需要的图像和视频成为ー个日益重要的问题。例如，随着全国公路交通建设的快速发展和机动车辆的普及，与道路和机动车辆相关的刑事和治安案件逐年上升，特别是经由城际公路网进行的肇事逃逸、盗抢机动车辆、车辆走私等更是日益猖獗，这不仅给社会治安造成了极大的威胁，同时也破坏了安定团结 的政治局面，因而引起了国家有关部委的高度重视，建立ー个跨部门、跨地区的嫌疑车辆智能查控综合应用系统是公安信息系统建设发展的必然趋势。基于内容的图像和视频检索技术通过提取图像中用户感兴趣的特征，包括顔色、纹理、形状等ー些视觉特征，对用户输入的图像在海量图像中进行检索，实现了真正的图像视觉内容特征的检索，这种方式是对以关键字检索的重大突破，提高了工作科技含量、改进了管理方式、加强了执法监瞀、提高了治安防范水平，例如中国专利一种综合多特征图像检索方法(公开号CN101551823，
公开日2009-10-07)将得到的颜色、纹理和形状特征通过加权相加合成总的相似度；ー种多特征融合的外观设计专利图像检索方法(公开号CN101847163A，
公开日2010-09-29)将各个特征归一化后的距离加权融合，得到最終的图像间相似度。现有的图像和视频检索主要有以下几点不足I、速度慢现有多特征融合技术都是针对图像和图像之间的比较，随着视频逐步高清化的趋势，采有这种方法，速度极慢，不能应用到视频的实时检索当中。2、目标的缩放和旋转等变化误检率极高现有技术多采用HSV顔色、边缘和纹理的组合来检索，由于这三种特征对目标的缩放和旋转等变化误检率极高，很难实用。3、现有技术都是针对图像和图像之间的比较，不能针对图像中的指定目标(比如车辆、行人和动物等)进行精确比对。4、现有的多特征融合技术是将顔色、边缘和纹理通过并联的方式，采用加权求和来得到最終置信度，由于颜色、边缘和纹理不具有可比性，这种加权求和的方式会产生极大的误差。
发明内容
本发明的方面和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。为克服现有多特征融合检索方法中存在的速度慢、将各个特征不利因素累加、误检率高等问题，本发明提供了一种基于多特征融合的指定目标检索方法及系统，通过级联的方式充分利用各个特征的优势，从粗到精逐步确定检索的目标，可以逐步精确确定指定目标样例图像和待检索图像中的相似区域，而不再是两副图像之间的直接对比，达到了快速和高效准确检索的效果，节省了人力物力。本发明解决上述技术问题所采用的技术方案如下根据本发明的ー个方面，提供一种基于多特征融合的指定目标检索方法，其包括以下步骤SI.获取待检索图像；S2.通过将所述待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果所述顔色相似度超过设定的顔色相似度阈值则进入下ー步骤；否则，结束对所述待检索图像的检索；S3.将待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少ー项；S4.在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与所述指定目标的综合相似度。根据本发明的ー个优选实施例，在所述步骤S2中，同时利用基于颜色的模板匹配来确定所述待检索图像中和样例图像最相似的匹配区域；在所述步骤S3中，通过从所述待检索图像的所述匹配区域中提取辅助特征与所述样例图像的辅助特征进行比对，来确定所述辅助特征相似度。根据本发明的ー个优选实施例，在所述步骤S2中，先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于顔色的模板匹配。根据本发明的ー个优选实施例，在所述步骤S2中，通过颜色直方图进行所述基于顔色的模板匹配。根据本发明的ー个优选实施例，在所述步骤S3中，所述辅助特征采用纹理特征，所述纹理特征包括下列特征中的ー项或多项灰度共生矩阵的纹理特征、旋转缩放不变纹理特征。根据本发明的ー个优选实施例，在所述步骤S4中，进行综合判定的方法如下 如果所述纹理特征相似度大于设定的纹理特征相似度阈值，则所述综合相似度由纹理特征相似度决定或以纹理特征相似度为主；否则，综合相似度中顔色相似度所占的比重提闻;如果综合相似度大于设定的综合相似度阈值，则认为所述待检索图像中包含与所述指定目标相似的检索目标，否则不包含。根据本发明的另ー个方面，提供一种基于多特征融合的指定目标检索系统，其包括检索模块，所述检索模块包括图像接收模块，用于获取待检索图像；顔色比对模块，用于通过将所述待检索图像与包含指定目标的样例图像进行基于顔色的模板匹配，来确定颜色相似度，如果所述顔色相似度超过设定的顔色相似度阈值则进入辅助特征比对模块进行处理；辅助特征比对模块，用于将所述待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少ー项；综合判定模块，用于在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与所述指定目标的综合相似度。根据本发明的ー个优选实施例，所述颜色比对模块设置为同时利用基于颜色的模板匹配来确定所述待检索图像中和所述样例图像最相似的匹配区域；所述辅助特征比对模块设置为通过从所述待检索图像的所述匹配区域中提取辅助特征与所述样例图像的辅助特征进行比对，来确定所述辅助特征相似度。优选地，所述颜色比对模块设置为先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于顔色的模板匹配。当然，所述检索模块还可设置为执行上述基于多特征融合的指定目标检索方法特征中的其它ー项或多项步骤。、
本发明克服了现有多特征融合检索方法中存在的将各个特征不利因素累加的问题，通过级联的方式充分利用各个特征的优势，从粗到精逐步确定检索的目标，同时通过级联检索的方法可以逐步精确确定样例图像和要检索图像中的相似区域，而不再是两副图像之间的直接对比，达到了快速和高效准确检索的效果，节省了人力物力。具体而言，相对于现有技术，本发明可带来如下有益效果I、本发明通过级联检索的方法，可以使检索速度大大提高。2、利用本发明，可以去掉形状特征(如边缘特征)而采用纹理特征作为辅助特征，采用更健壮、对缩放和旋转变化有很好检测的SIFT(或SURF)算法，准确度可大大提高。3、本发明通过基于顔色的模板匹配方法首先从图像中获取目标的大致区域，然后再采用更为精确的辅助特征(可采用纹理特征，如旋转缩放不变特征)对目标区域精确比对，从而获得目标的精确相似度。4、本发明可通过将颜色、辅助特征通过串联、并联相结合的级联方式，最后根据两个相似度是否大于设定的阈值来取最終的置信度，不但大大提高了检索速度，同时避免了现有技术对颜色、边缘和纹理等不具有可比性的特征直接采用加权求和所导致的误差。本发明的基于多特征融合的指定目标级联检索技术，主要应用于图像和视频检索技术中，可应用于公安刑侦破案，解决海量视频数据检索的问题，减轻人工检索工作量。通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。
下面通过參考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中图I为根据本发明ー个实施例的多特征融合级联检索方法的总流程图。图2为图I中的粗检索流程图。图3为根据本发明ー个实施例的检索模块的结构示意图。
具体实施方式
本发明提供一种基于多特征融合的指定目标(比如车辆、行人和动物等)检索系统，该检索系统可以是一台主机或专门的设备，也可以是ー个网络系统，或者是可以安装于主机或专门设备中的软件系统，关键是其包括检索模块，如图3所示，检索模块包括图像接收模块，用于获取待检索图像；顔色比对模块，用于通过将待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果颜色相似度超过设定的顔色相似度阈值则进入辅助特征比对模块进行处理；辅助特征比对模块，用于将待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，辅助特征包括纹理特征和形状特征中的至少ー项；综合判定模块，用于在颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与指定目标的综合相似度。在优选实施例中，顔色比对模块设置为同时利用基于颜色的模板匹配来确定待检索图像中和样例图像最相似的匹配区域；辅助特征比对模块设置为通过从待检索图像的匹配区域中提取辅助特征与样例图像的辅助特征进行比对，来确定辅助特征相似度。顔色比对模块可设置为先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于顔色的模板匹配。在下面的实施例中，以辅助特征采用纹理特征为例进行说明，当然本领域普通技术人员也可以采用形状特征(例如边缘特征)作为辅助特征，也可以同时采用纹理特征和形状特征作为辅助特征，这些都在本发明的范围之内。如图I和图2所示，本发明通过图像或视频数据输入获取待检索图像后，通过颜色分层并得到分层后的顔色直方图和其它颜色特征进行第一级粗检索，通过粗检索获取最相似的目标区域作为下ー级细检索的目标区域，可以排除大部分顔色特征相差极大的目标，同时由于条件并不苛刻，所以不会漏检目标造成累积误差；在粗检索的基础上结合辅助特征(以纹理特征为例)进行细检索，细检索是进一歩的确认，并不是对粗检索的直接否定；在粗检索和细检索的基础上，通过粗检索和细检索分别得到的相似度，进行综合判定，得出待检索图像中的检索目标与指定目标的综合置信度。如果综合置信度大于一定的阈值则认为是相似的检索目标，否则不是。其具体步骤如下I、获取图像或视频数据；2、色彩空间转换和色彩分层计算；3、第一级粗检索(采用基于颜色的模板匹配技木)在色彩分层的基础上，通过颜色直方图和其它特征进行粗匹配，确定和指定目标最相似的可能区域(匹配区域)；如果颜色相似度超过设定的顔色相似度阈值则进入下一步骤；否则，结束对当前待检索图像的检索。4、第二级细检索提取纹理特征进行精确匹配，通过从待检索图像的匹配区域中提取纹理特征与指定目标样例图像的纹理特征进行比对，来确定纹理特征相似度；5、第三级综合判定结合粗检索和细检索依据一定的规则进行综合判定，得出综 合置信度；如果综合置信度大于设定的阈值则给出置信度，提示工作人员注意，如果小于设定的阈值则认为不可能是指定目标。
该方法的流程图详见图I和图2，如图I所示的具体实施例中，检索模块的处理流程包括下列步骤101.图像或视频数据输入；102.结合输入的检索參数，进行色彩空间转换；103.进行色彩分层计算；104.与样例图像进行颜色比对(即粗检索)；105.从待检索图像中进行纹理特征的提取；
106.与样例图像进行纹理特征比对(即细检索);107.进行颜色和纹理特征的融合判定；108.判断是否符合置信度要求，如果是则给出综合置信度，否则退出。如图2所示的具体实施例中，粗检索的处理流程包括下列步骤201.分层图像输入；202.结合输入的检索參数，将图像按照样例图像的大小划分；203.取出一块图像区域；204.计算HSV (色调、饱和度、亮度)颜色直方图；205. HSV直方图匹配；206.将相似度排序保存；207.判断是否为最后ー块图像区域；208.如果是，则取出最相似的匹配区域，否则回到步骤203，重复进行下一块图像区域的匹配。下面对本实施例的几个步骤依次进行详细描述第一歩、获取图像或视频数据；I)自动查找相对应解码组件对图像或视频进行解码；2)视频根据解码组件自动构建完整的解码链路进行解码，视频解码和播放装置将解码产生的每ー帧发送到检索模块(或分析模块)；3)图像将目录下面的图片依次解码发送到检索模块(或分析模块)。第二步、色彩空间转换和色彩分层计算I)色彩空间转换；由于需要在HSV(色调、饱和度、亮度)顔色空间来对顔色分层，所以首先将图像从RGB (红、绿、蓝)颜色空间转换到HSV颜色空间
i arccos ,ぴ—の项-的(BiG)
「ハハn「l U - J 2^R-GnR-G)+(R-BnG-^B)
I 2^-arccos(R-G)+(R-B) -
I2^KR—Gy%R—G)+(R—By%G—*B)^ 1 \
_ max(7 , G，B) - min(7 ，G，B) 、=7~Z
max(7 + G+ 5)( 2 )
_(3)2)色彩分层计算色彩分层就是将颜色空间映射到一定的子集中，从而提高图像检索速度。一般的图像颜色系统大约有224种颜色，而人眼能够真正辨别的顔色有限，因此在进行图像处理时，需要对颜色空间进行分层，分层的维数大小非常重要，分层维数越高，检索精度就越高，但是检索速度会随之下降。色彩分层分为等量间距颜色分层和非等量间距颜色分层，由于等量间距分层的维数如果过低，则精度会大大下降，如果过高又会造成计算复杂，经过分析和实验，本实施例选用非等量间距颜色分层，步骤如下 根据人的感知能力，把色调H分成8份，饱和度S和亮度V分成3份，根据颜色空间以及人对颜色的主观感知特性进行量化分层，公式如下
0if Zze [316,20]
1if Zze pi, 40]
2if Zze [41,75]
_ 丑=3ザ叫76,155]
し」4ifΛ e [156,190]
5ifΛ e [191,270]
6ifΛ e [271,195]
7ifΛ e [296,315](4)
0if s e
S = < I if
2 if
(5)
0if V e
V I if ve
2if Ve
(6)根据以上方法将颜色空间划分为72种颜色。第三步、第一级粗检索在色彩分层的基础上，通过颜色直方图进行粗匹配，确定和指定目标最相似的可能区域I)检索图像区域划分；针对指定目标的检索，为了使样例目标和要检索图像中的目标更好的匹配，我们在第一级将检索图像划分为ー块块和样例目标差不多大小的区域，水平和垂直移动的步长可以根据检索精度的要求设定，要精度高一点可以将步长设定的小一点，要速度快ー些，可以将步长设定的大ー些。2)颜色模板和特征匹配对每ー个划分的图像区域，根据分割得到的顔色区域，计算样例顔色区域与待检索区域的相似性，这里采用绝对值距离法。设两个顔色区域分别为I、Q，用同心矩形划分方法对图像进行划分，得到ー个η个同心矩形，根据前面分层得到的72维HSV直方图，对应部分的距离Di为A =Z(I^O)O) I)
尸0(7)其中，hi (j)、hq(j)分别对应顔色区域I、Q在第j维直方图的值，对计算结果排序，找出最相似的区域作为匹配区域。
第四步、细检索提取辅助特征(以纹理特征为例)进行精确匹配纹理特征可包括下列特征中的ー项或多项灰度共生矩阵的纹理特征、旋转缩放不变纹理特征(如SIFT特征)。I)灰度共生矩阵的纹理特征首先将彩色图像转换成灰度图像，对于灰度为N级的图像，共生矩阵为N*N维矩阵，即M(ん其中，位于(h，k)的元素mhk的值表示相距(h，k)的灰度为h，而另ー个灰度为k的像素对出现的次数。由纹理共生矩阵提取的四个特征量为反差:C0N=各 Σ (Λ - k、、k( 8 )能量:ASM=ΣΣKO2(9)熵:εντ = _5^>/^(~)(10)相关(011=[[[从 -凡6)]/' (11)其中，％ =Z^ 是矩阵M中每列元素之和严r是每行元素之和；μ χ、μ y、
σ x、σ y分别是mx、my的均值和标准差。在本实施例中的具体步骤如下A、将图像的灰度分为64个灰度等级；B、构造四个方向灰度共生矩阵M(1,0)，M(0,1)，M(l，I)，M(l，-I)C、分别计算每个共生矩阵上的四个纹理特征量；以各特征量的均值和标准差μ
CON、0 CON、P ASM、0 ASM、^ ENT、0 ENT、^ COEΛ 0 COE 作为纹
理特征的八个分量。2) SIFT (尺度不变特征转换)特征SIFT算法是ー种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。其主要检测步骤如下a)检测尺度空间极值点；b)精确定位极值点；c)为甸个关键点指定方向參数；d)关键点描述子的生成 尺度空间的生成尺度空间理论目的是模拟图像数据的多尺度特征，高斯卷积核是实现尺度变换的唯一线性核，于是ー副ニ维图像的尺度空间定义为L(x, y, σ ) = G(x, y σ )*1 (χ，y) (12)其中G(x，y, σ )是尺度可变高斯函数。
权利要求
1.一种基于多特征融合的指定目标检索方法，其特征在于，包括以下步骤 51.获取待检索图像； 52.通过将所述待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入下一步骤； 53.将所述待检索图像与所述样例图像进行辅助特征比对，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项； 54.在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与所述指定目标的综合相似度。
2.根据权利要求I所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S2中，同时利用基于颜色的模板匹配来确定所述待检索图像中和所述样例图像最相似的匹配区域；在所述步骤S3中，通过从所述待检索图像的所述匹配区域中提取辅助特征与所述样例图像的辅助特征进行比对，来确定所述辅助特征相似度。
3.根据权利要求I或2所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S2中，先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于颜色的模板匹配。
4.根据权利要求I或2所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S2中，通过颜色直方图进行所述基于颜色的模板匹配。
5.根据权利要求I所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S3中，所述辅助特征采用纹理特征，所述纹理特征包括下列特征中的一项或多项灰度共生矩阵的纹理特征、旋转缩放不变纹理特征。
6.根据权利要求5所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S4中，进行综合判定的方法如下 如果所述纹理特征相似度大于设定的纹理特征相似度阈值，则所述综合相似度由纹理特征相似度决定或以纹理特征相似度为主；否则，综合相似度中颜色相似度所占的比重提闻。
7.根据权利要求6所述的基于多特征融合的指定目标检索方法，其特征在于，如果综合相似度大于设定的综合相似度阈值，则认为所述待检索图像中包含与所述指定目标相似的检索目标，否则不包含。
8.一种基于多特征融合的指定目标检索系统，其特征在于，包括检索模块，所述检索模块包括 图像接收模块，用于获取待检索图像； 颜色比对模块，用于通过将所述待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入辅助特征比对模块进行处理； 辅助特征比对模块，用于将所述待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项； 综合判定模块，用于在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与所述指定目标的综合相似度。
9.根据权利要求8所述的基于多特征融合的指定目标检索系统，其特征在于，所述颜色比对模块设置为同时利用基于颜色的模板匹配来确定所述待检索图像中和所述样例图像最相似的匹配区域；所述辅助特征比对模块设置为通过从所述待检索图像的所述匹配区域中提取辅助特征与所述样例图像的辅助特征进行比对，来确定所述辅助特征相似度。
10.根据权利要求8或9所述的基于多特征融合的指定目标检索系统，其特征在于，所述颜色比对模块设置为先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于颜色的模板匹配。
全文摘要
本发明提供一种基于多特征融合的指定目标检索方法及系统，包括以下步骤获取待检索图像；通过将待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果颜色相似度超过设定的阈值则进入下一步骤；将待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，辅助特征包括纹理特征和形状特征中的至少一项；最后进行综合判定，得出待检索图像中的检索目标与指定目标的综合相似度。也可从待检索图像的匹配区域中提取辅助特征与指定目标的样例图像进行比对。本发明通过级联的方式，可以从粗到精逐步精确确定样例图像和待检索图像中的相似区域，达到了快速和高效准确检索的效果，节省了人力物力。
文档编号G06F17/30GK102662949SQ201210045569
公开日2012年9月12日 申请日期2012年2月27日 优先权日2012年2月27日
发明者吴金勇, 王一科, 王军, 龚灼 申请人:安科智慧城市技术(中国)有限公司