专利名称：一种监控视频检索方法
技术领域：
本发明属于安全监控领域，尤其涉及一种监控视频检索方法。
背景技术：
随着“平安城市”和“智慧城市”等大型安防监控系统的建设，监控视频的数据量日益庞大，如何从海量的视频数据中快速、准确的检索出所需的视频图像成为一个日益重要的问题。在目前的视频监控平台中，一般是采用纯粹人工的方式检索视频，该方法根据摄像机安装位置或根据视频发生的时间段或根据视频的IP地址来回放以及检索视频。但在嫌疑人或嫌疑车辆的刑侦查找中，由于不知道嫌疑人或嫌疑车辆会在哪个摄像机出现，也不知道嫌疑人或嫌疑车辆被拍摄到的时间，只知道嫌疑人或嫌疑车辆的一些特征，因此若采用纯粹人工的方式从海量的视频中定位嫌疑人或嫌疑车辆的难度较大，耗时费力且容易遗漏。随着计算机技术、图像处理技术以及模式识别技术的发展，视频监控平台中出现了一些基于内容的视频检索系统，比如Visualkek系统。Visualkek系统是美国哥伦比亚大学电子工程系与电信研究中心图像和高级电视实验室共同研究的视频检索系统，该系统主要用于检索互联网的视频数据。由于现有的基于内容的视频检索系统并没有针对安防监控视频进行开发，在对安防监控视频进行检索应用时，存在许多问题(1)索引算法耗时导致整个检索过程远远不能满足实际应用需求；( 特征单一，容易漏检目标；(3)容易受到复杂光照或高速运动物体或镜头运动的影响，导致误检和漏检严重；(4)主要针对场景或镜头来进行匹配，而不是针对场景或镜头中的具体目标，无法应用到刑侦等特定行业中对嫌疑人或目标的查找。
发明内容
本发明实施例提供了一种监控视频检索方法，旨在解决现有的视频检索方法存在的检索耗时、漏检率高以及不能识别场景中局部目标的问题。本发明实施例是这样实现的，一种监控视频检索方法，所述方法包括下述步骤接收检索信息，根据所述检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征；通过颜色分层，解析待检视频图像，以检测所述待检视频图像的差异色区域对应的颜色分割区域的主体色；将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域；提取以所述粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征；根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定所述待检视频图像的综合特征量；根据待检视频图像的综合特征量判断所述待检视频图像是否为查找的视频图像。本发明实施例首先根据用户输入的检索信息获取目标图像的主体色、颜色特征、 纹理特征以及边缘特征，再获取待检视频图像的颜色分割区域的主体色、颜色特征、纹理特征以及边缘特征，通过比较目标图像与待检视频图像的颜色分割区域的主体色对待检视频图像进行粗检索，通过比较目标图像的颜色特征、纹理特征、边缘特征等综合特征量与待检视频图像的颜色特征、纹理特征、边缘特征等综合特征量对进行了粗检索的待检视频图像进行细检索，最后根据细检索的比较结果选择查找的视频图像。由于本发明是在对待检视频图像进行粗检索之后再进行细检索，因此过滤了大量不相关的视频图像，从而节省了视频检索的时间。并且基于多特征的细检索能够降低目标图像的漏检率和误检率，从而能够自适应快速的实现基于内容的海量监控视频的刑侦视频检索。
图1是本发明第一实施例提供的监控视频检索方法流程。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本发明实施例根据用户输入的检索信息获取目标图像的主体色分布、颜色特征、 纹理特征以及边缘特征，再获取视频图像的颜色分割区域的主体色分布、颜色特征、纹理特征以及边缘特征，通过比较目标图像主体色与待检视频图像的颜色分割区域对视频图像进行粗检索，通过比较目标图像的颜色特征、纹理特征、边缘特征等综合特征量与视频图像的颜色特征、纹理特征、边缘特征等综合特征量对进行了粗检索的视频图像进行细检索，最后根据细检索的比较结果选择查找的视频图像。本发明实施例提供了一种监控视频检索方法。所述方法包括接收检索信息，根据所述检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征；通过颜色分层，解析待检视频图像，以检测所述待检视频图像的差异色区域对应的颜色分割区域的主体色；将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域；提取以所述粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征；根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定所述待检视频图像的综合特征量；根据待检视频图像的综合特征量判断所述待检视频图像是否为查找的视频图像。本发明实施例，首先根据用户输入的检索信息获取目标图像的主体色、颜色特征、 纹理特征以及边缘特征，再获取待检视频图像的颜色分割区域的主体色、颜色特征、纹理特征以及边缘特征，通过比较目标图像与待检视频图像的颜色分割区域的主体色对视频图像进行粗检索，通过比较目标图像的颜色特征、纹理特征、边缘特征等综合特征量与待检视频图像的颜色特征、纹理特征、边缘特征等综合特征量对进行了粗检索的视频图像进行细检索，最后根据细检索的比较结果选择查找的视频图像。由于本发明是在对待检视频图像进行粗检索之后再进行细检索，因此过滤了大量不相关的视频图像，从而节省了视频检索的时间。并且基于多特征的细检索能够降低目标图像的漏检率和误检率，从而能够自适应快速的实现基于内容的海量监控视频的刑侦视频检索。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。实施例一图1示出了本发明实施例提供的监控视频检索方法流程，详述如下在步骤Sll中，接收检索信息，根据该检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征。在本实施例中，接收用户输入的检索信息，该检索信息包括样例或草图等目标图像信息。当然，该检索信息还可以包括摄像机唯一标识、地点、时间戳的至少一项，以减少视频检索的工作量。在本实施例中，根据用户输入的图像信息能够确定目标图像的主体色、颜色特征、纹理特征以及边缘特征。在步骤S12中，通过颜色分层，解析待检视频图像，以检测该待检视频图像的差异色区域对应的颜色分割区域的主体色。本实施例中，解析待检视频图像，并根据解析结果检测该待检视频图像的差异色区域，再根据差异色区域获取该差异色区域对应的颜色分割区域的主体色。其中，待检视频图像的差异色区域为该待检视频图像除了背景色区域后的区域。在步骤S13中，将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域。在本实施例中，对待检视频图像进行粗检索将待检视频图像的颜色分割区域的主体色与目标图像的主体色进行比较，再根据预设的匹配阈值判断待检视频图像的颜色分割区域是否存在与目标图像匹配的粗匹配区域，若存在，获取该粗匹配区域，若不存在，继续匹配，直到所有待检视频图像匹配结束。在步骤S14中，提取以粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征。对待检视频图像进行粗检索之后，需要再对粗检索过滤后的待检视频图像进行细检索。在本实施例中，预设宽度、高度阈值，再提取以粗匹配区域为中心，预设宽高区域范围内的待检视频图像的颜色特征、纹理特征以及边缘特征，以便对粗检索过滤后的待检视频图像进行细检索。在步骤S15中，根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定该待检视频图像的综合特征量。在本实施例中，在根据用户输入的检索信息，确定目标图像的颜色特征、纹理特征以及边缘特征之后，结合目标图像的颜色特征、纹理特征以及边缘特征和以粗匹配区域为中心的预设宽高范围内的视频图像的颜色特征、纹理特征以及边缘特征，确定存在粗匹配区域的待检视频图像的综合特征量。在步骤S16中，根据待检视频图像的综合特征量判断该待检视频图像是否为查找的视频图像。在本实施例中，在获取待检视频图像的综合特征量之后，根据待检视频图像的综合特征量判断该待检视频图像是否为查找的视频图像，其中，获取综合特征量的待检视频图像存在与目标图像匹配的粗匹配区域。在本发明第一实施例中，首先根据用户输入的检索信息获取目标图像的主体色、 颜色特征、纹理特征以及边缘特征，再获取待检视频图像的颜色分割区域的主体色、颜色特征、纹理特征以及边缘特征，通过比较目标图像与待检视频图像的颜色分割区域的主体色对待检视频图像进行粗检索，通过比较目标图像的颜色特征、纹理特征、边缘特征等综合特征量与待检视频图像的颜色特征、纹理特征、边缘特征等综合特征量对进行了粗检索的待检视频图像进行细检索，最后根据细检索的比较结果选择查找的视频图像。由于本发明是在对待检视频图像进行粗检索之后再进行细检索，因此过滤了大量不相关的视频图像，从而节省了视频检索的时间。并且基于多特征的细检索能够降低目标图像的漏检率和误检率，从而能够自适应快速的实现基于内容的海量监控视频的刑侦视频检索。实施例二 本实施例主要描述根据用户输入的检索信息如何确定目标图像的颜色特征、纹理特征以及边缘特征，详述如下1、根据检索信息获取目标图像的颜色特征。首先根据预设的转换公式将检索信息的目标图像从RGB颜色空间转换到HSV颜色空间，预设的转换公式具体为
「 _(R-G)+(R-B)_,R
arccos~,(B<Cj)
rm/1Rl TT _ I2^{R-G)*{R-G)+{R-B)*{G-*B)
LUU40」/7—1(R-G)+(R-B) ~
2-arccos~,v ^ v J (B>G)
、2^(R-G)*(R-G)+(R-B)*(G-*B)
max(R, G, B) - min(i , G, B)^ = ^max(i + G + 5)^Γ=—柳)
255其中，R、G、B分别代表像素点的红、绿、蓝颜色分量；H代表色度，S代表饱和度，V 代表亮度。在将目标图像从RGB颜色空间转换到HSV颜色空间之后，需要对HSV颜色空间的颜色进行颜色分层，即将颜色空间的颜色映射到预设的子集中，以提高待检视频图像的检索速度。一般的图像颜色系统大约有沪种颜色，而人眼能够真正辨别的颜色有限，因此在进行图像处理时，需要对颜色空间进行分层，分层维数越高，检索精度越高，但检索速度越慢，反之，若分层维数越低，检索速度越快，但检索精度越低。本实施例采用非等量间距颜色分层，以避免等量间距分层在维数过低时检测精度过低以及在维数过高时计算复杂度过高的问题。其中，根据人的感知能力划分色调、饱和度以及亮度的范围，具体可采用如下的划分方式if Λ e [316,20] if [21,40] if [41,75] if Λ e [76,155] if Λ e [156,190] if Λ e [191,270] if Λ e [271,195] if Λ e [296,315] if
if s e
if ^
if ν e
if ν e
if ν e
根据上述划分方式，将HSV颜色空间的所有颜色划分为8*3*3 = 72种颜色。将已转为HSV颜色空间的目标图像的颜色与上述72种颜色比较，获取目标图像在HSV颜色空间的颜色特征，得到主体色。当然，也可以更改分层的维数以及H、S、V中任一个子集对应的值，比如将H值为0 对应的h e [316，20]更改h e [317，19]，此处不作限定。2、获取目标图像的纹理特征。在本实施例中，彩色图像的纹理特征是根据该彩色图像的灰度图像的共生矩阵特性提取，其中，彩色图像包括目标图像和视频图像。首先将彩色图像转换成灰度图像，再根据该灰度图像的灰度级生成该灰度图像的共生矩阵，假设灰度图像的灰度等级是N级，则共生矩阵为N*N维矩阵。假设生成的共生矩阵为Moj⑦，幻，在共生矩阵中，位于(h，k)的元素mhk的值表示相距(h，k)的灰度为h，而另一个灰度为k的像素对出现的次数。由一个共生矩阵可提取4个特征量，该4个特征量具体如下所示反差分量
权利要求
1.一种监控视频检索方法，其特征在于，所述方法包括下述步骤接收检索信息，根据所述检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征；通过颜色分层，解析待检视频图像，以检测所述待检视频图像的差异色区域对应的颜色分割区域的主体色；将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域；提取以所述粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征；根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定所述待检视频图像的综合特征量；根据待检视频图像的综合特征量判断所述待检视频图像是否为查找的视频图像。
2.如权利要求1所述的方法，其特征在于，所述接收检索信息，根据所述检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征的步骤具体为根据预设的转换公式将目标图像从RGB颜色空间转换到HSV颜色空间，再根据预设子集范围对目标图像HSV颜色空间的颜色进行颜色分层，获取目标图像的颜色特征以及目标图像的主体色；将目标图像转换为预设灰度级的灰度图像，并根据灰度图像的灰度级生成所述灰度图像的共生矩阵，再从生成的共生矩阵提取目标图像的纹理特征；采用索贝尔Sobel边缘算子或罗伯茨Roberts边缘算子检测目标图像对应的灰度图像的边缘，并提取检测的边缘的不变矩作为目标图像的边缘特征。
3.如权利要求1所述的方法，其特征在于，所述通过颜色分层，解析待检视频图像，以检测所述待检视频图像的差异色区域对应的颜色分割区域的主体色步骤具体为根据预设的转换公式将待检视频图像从RGB颜色空间转换到HSV颜色空间，并将颜色空间转换后的待检视频图像根据以下划分方式进行颜色分层
4.如权利要求1所述的方法，其特征在于，所述将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域的步骤具体为获取待检视频图像的颜色分割区域的主体色对应的直方图，再获取目标图像的颜色分割区域的主体色以获取所述目标图像的颜色分割区域的主体色对应的直方图；比较待检视频图像的颜色分割区域的主体色对应的直方图的值与目标图像的颜色分割区域的主体色对应的直方图的值，再根据预设的匹配阈值选取与目标图像匹配的待测视频图像的颜色分割区域。
5.如权利要求1所述的方法，其特征在于，所述提取以所述粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征的步骤具体为获取以所述粗匹配区域为中心的预设宽高范围内对应的像素值，并将获取的像素值作为待检视频图像的颜色特征；将待检视频图像转换为预设灰度级的灰度图像，并根据灰度图像的灰度级生成所述灰度图像的共生矩阵，再从生成的共生矩阵提取灰度图像的纹理特征；采用索贝尔Sobel边缘算子或罗伯茨Roberts边缘算子检测待检视频图像对应的灰度图像的边缘，并提取检测的边缘的不变矩作为待检视频图像的边缘特征。
6.如权利要求1所述的方法，其特征在于，在所述提取以所述粗匹配区域为中心的预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征的步骤之前，进一步包括下述步骤将存在匹配区域的待检视频图像划分为至少一个象限，划分的至少一个象限的区域大小相等或不相等；根据待检视频图像划分的象限定位与目标图像匹配的粗匹配区域。
7.如权利要求1所述的方法，其特征在于，所述根据目标图像的颜色特征、纹理特征、 边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定所述待检视频图像的综合特征量的步骤具体为获取目标图像的颜色特征与待检视频图像的颜色特征之间的距离； 获取目标图像的纹理特征与待检视频图像的纹理特征之间的距离； 获取目标图像的边缘特征与待检视频图像的边缘特征之间的距离； 根据预设的颜色特征权值、预设的纹理特征权值、预设的边缘特征权值、目标图像的颜色特征与待检视频图像的颜色特征之间的距离、目标图像的纹理特征与待检视频图像的纹理特征之间的距离以及目标图像的边缘特征与待检视频图像的边缘特征之间的距离确定待检视频图像的综合特征量。
8.如权利要求1所述的方法，其特征在于，所述根据待检视频图像的综合特征量判断所述待检视频图像是否为查找的视频图像的步骤具体为将待检视频图像的综合特征量与预设的综合特征量阈值进行比较； 若待检视频图像的综合特征量大于等于预设的综合特征量阈值，则判定所述待检视频图像为查找的视频图像；若待检视频图像的综合特征量小于预设的综合特征量阈值，则判定所述待检视频图像不是查找的视频图像。
9.如权利要求8所述的方法，其特征在于，在若待检视频图像的综合特征量大于等于预设的综合特征量阈值，则判定所述待检视频图像为查找的视频图像的步骤之后，进一步包括下述步骤显示判定为查找视频图像的待检视频图像。
10.如权利要求1或9所述的方法，其特征在于，在显示判定为查找视频图像的待检视频图像的步骤之后进一步包括下述步骤更改预设的颜色特征权值、纹理特征权值、边缘特征权值的至少一项。
全文摘要
本发明适用于安全监控领域，提供了一种监控视频检索方法，所述方法包括步骤获取目标图像的主体色、颜色特征、纹理特征以及边缘特征；检测待检视频图像的差异色区域对应的颜色分割区域的主体色；将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域；提取以粗匹配区域为中心，预设范围内的待检视频图像的颜色特征、纹理特征以及边缘特征；根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定待检视频图像的综合特征量；根据待检视频图像的综合特征量判断待检视频图像是否为查找的视频图像。本发明实施例能够降低目标图像的漏检率和误检率。
文档编号H04N7/18GK102509118SQ201110300210
公开日2012年6月20日 申请日期2011年9月28日 优先权日2011年9月28日
发明者吴金勇, 王一科, 王军, 龚灼 申请人:上海诚丰数码科技有限公司, 安科智慧城市技术(中国)有限公司