专利名称：一种视频数据快速特征检索的方法及系统的制作方法
技术领域：
本发明属于视频数据的处理，尤其是一种视频数据快速特征检索的方法及系统。
背景技术：
随着安防技术的不断发展，对于监控视频的数据分析和挖掘的需求也越来越高。现有的技术一般采用实时识别和后期分布式识别处理两种方式来实现。实时识别方式虽然能够保证识别的及时性，需要提前提供待识别的特征；后期分布式识别采用分布式识别方式来分析和搜索保存好的历史视频文件中的特征点，从而找到视频中所需要的目标信息。如图1所示，现有的技术方案，采用分布式的系统架构，由一个识别控制机控制多台识别分析机。识别控制机将需要识别的视频文件分拆成多个视频片断后，依次分配给多台识别分析机进行视频图像的识别，并将识别分析机返回的识别结果进行汇总，得到该视频文件的最终识别结果。这样，一个较大的视频文件的图像识别工作，可以通过多台识别分析机来共同协作完成，从而成倍地提高了视频图像识别的速度，减少了视频图像识别所需的时间。现有的技术方案，虽然解决了单个较大文件的视频文件的图像识别工作，但是对于海量的视频数据的识别，还是存在一定的问题，其中包括识别效率和识别速度。1.现有的技术方案是在需要识别时才进行识别分析，在需要即时提供识别结果的应用场景不能满足时间的要求。2.现有技术只考虑单个视频文件的识别，对于大量视频的快速识别，存在性能的问题。3.按现有技术方案，对于每一次识别的任务，都需要对视频进行是识别分析，效率较低。
发明内容
本发明的目的，就是克服现有技术的不足，提供一种视频数据快速特征检索的方法及系统，本发明可以快速找到具有需求特征在海量视频数据中的位置，从而方便用户查看相关视频数据。为了达到上述目的，采用如下技术方案:一种视频数据快速特征检索的方法，包括以下步骤:在海量视频数据中识别具有特征参数的视频数据；提取视频数据的特征参数以及记录该特征参数在视频数据中位置的元数据；生成特征参数、元数据及与其对应视频数据的名称的对应列表；存储所述对应列表和提取的特征参数至特征元数据索引库；根据需求特征从特征元数据索引库中检索与需求特征匹配的特征参数，通过元数据获取该特征参数对应的视频数据。进一步地，所述识别海量视频数据前，对海量视频数据进行消除冗余图像的预处理。
进一步地，所述海量视频数据中识别具有特征参数的视频数据，包括识别海量视频数据中的人脸区域图像、车辆颜色或车牌区域图像中的一种或多种特征参数。进一步地，所述海量视频数据中识别具有人脸区域图像的视频数据时，将人脸区域图像压缩为一矩阵后，提取该矩阵、该矩阵对应的人脸区域图像在视频数据的路径、该人脸区域图像在视频数据中出现的时间点，所述矩阵中每个元素的值为人脸区域图像中对应区域的灰度平均值。进一步地，所述海量视频数据中识别具有车牌区域图像的视频数据时，将车牌区域图像转换为车牌号码，提取该车牌号码、该车牌号码对应的车牌区域图像在视频数据的路径、该车牌区域图像在视频数据中出现的时间点。一种视频数据快速特征检索的系统，包括:识别模块，其用于在海量视频数据中识别具有特征参数的视频数据；提取模块，其用于提取视频数据的特征参数以及记录该特征参数在视频数据中位置的元数据；列表生成模块，其用于生成特征参数、元数据及与其对应视频数据的名称的对应列表；特征元数据索引库，其用于存储所述对应列表和提取的特征参数；匹配获取模块，其用于根据需求特征从特征元数据索引库中检索与需求特征匹配的特征参数，通过元数据获取该特征参数对应的视频数据。进一步地，还包括预处理模块，其用于识别海量视频数据前，对海量视频数据进行消除冗余图像的预处理。进一步地，所述海量视频数据中识别具有特征参数的视频数据中的特征参数包括人脸区域图像、车辆颜色或车牌区域图像中的一种或多种特征参数。进一步地，所述提取模块包括压缩单元和提取单元，所述压缩单元将人脸区域图像压缩为一矩阵，所述矩阵中每个元素的值为人脸区域图像中对应区域的灰度平均值；所述提取该矩阵、该矩阵对应的人脸区域图像在视频数据的路径、该人脸区域图像在视频数据中出现的时间点。进一步地，所述提取模块还包括转换单元，所述转换单元将车牌区域图像转换为车牌号码，所述提取单元提取该车牌号码、该车牌号码对应的车牌区域图像在视频数据的路径、该车牌区域图像在视频数据中出现的时间点。与现有技术相比，本发明的有益效果在于:1、本发明通过引入特征元数据和预识别，可以实现视频数据特征参数的快速检索识别，对需求特征识别时不需要对海量视频数据重新检索识别，只需要对存有特征参数的特征元数据索引库检索，从而提高了检索的速度。2、本发明通过对海量视频数据进行冗余处理，减少了后续的检索时间，提高了检索速度。
图1是现有视频数据特征检索系统的结构示意图；图2是本发明所述视频数据快速特征检索的方法的步骤流程图3是本发明所述视频数据快速特征检索的方法的另一实施例的步骤流程图；图4是本发明所述视频数据快速特征检索系统的系统结构图；图5是本发明所述视频数据快速特征检索系统另一实施例的系统结构图。图不:10—识别模块；20—提取模块；21—压缩单兀；22—转换单兀；23—提取单元；30—列表生成模块；40—特征元数据索引库；50—匹配获取模块；60—预处理模块。
具体实施例方式下面将结合附图以及具体实施方法来详细说明本发明，在本发明的示意性实施及说明用来解释本发明，但并不作为对本发明的限定。本发明引入了预识别、特征元数据匹配的方法，克服了现有方案存在的重复匹配的缺点，实现海量视频的快速特征搜索定位。如图2所示，其为本发明所述一种视频数据快速特征检索的方法的步骤流程图，其包括以下步骤:SlO:在海量视频数据中识别具有特征参数的视频数据。在一般的监控系统中，海量视频数据均存储在硬盘当中，这些海量数据中存储不同的特征参数，这些特征参数一般为移动目标。比如人、车辆、移动的物品等。而人脸、车牌号为具有明显区别的特征参数，是监控系统中最需要查找的目标。本步骤中，把海量视频数据中具有人脸特征和车牌特征的视频数据查找出来。处理方法主要是通过对视频数据文件中的图像帧进行图像识别。例如若提取人脸作为特征参数，就需要对视频数据文件中的图像进行区域检测，包括利用现有技术对原始彩色图像进行滤噪、二值化后识别具有人脸特征的区域。S20:提取视频数据的人脸区域图像、车辆颜色或车牌区域图像中的一种或多种特征参数，记录人脸、车辆颜色或车牌号在视频数据中的位置。从海量视频数据中识别具有特征参数的视频数据后，针对这些视频数据提取其中与人脸特征或车牌特征相符的图像区域。以车牌为例，主要步骤可能包括:提取视频数据中的图像帧、去掉背景、定位车牌、图像分割、提取车牌部分的图像等。通过现有的提取技术，将车牌区域图像转换为车牌号码。在视频数据中出现车牌号码的图像具有时间点，通过读取视频数据的格式编码，可以取到该车牌在视频数据中的时间信息。将车牌号以文本的形式提取出来，同时将该车牌在哪个视频数据中出现，且出现的时间点也提取出来。即将车牌号码出现的位置信息提取出来。当识别具有人脸区域图像的视频数据时，将人脸区域图像压缩为一 X*X矩阵，所述矩阵中每个元素的值为人脸区域图像中对应区域的灰度平均值，提取该矩阵。与车牌图像同理，提取人脸区域图像在视频数据中出现的时间点。还可以提取针对物品的车辆颜色。将车辆颜色数值化,保存该车辆颜色数值。S30:生成特征参数、元数据及与其对应视频数据的名称的对应列表。将矩阵、车辆颜色数值或车牌号码，矩阵、车辆颜色数值或车牌号码在对应的视频数据中的位置，以及对应视频数据的名称生成对应列表。该列表中，记录了矩阵、车辆颜色数值或车牌号码，矩阵、车辆颜色数值或车牌号码在对应的视频数据中的位置，对应视频数据的名称的一一对应关系。
S40:存储所述对应列表和提取的特征参数至特征元数据索引库。将对应列表及提取的特征参数存储至特征元数据索引库，将例如车牌号码图像、人脸图像、车辆颜色的图像存储在特征元数据索引库中，可以减少视频数据遍历的时间，为后续的调取提供便利。S50:根据需求特征从特征元数据索引库中检索与需求特征匹配的特征参数，通过元数据获取该特征参数对应的视频数据。当需要从海量数据中查找一个车牌号码时，由于特征元素数据索引库中包含了具有车牌号码的图像，直接将需要查找的车牌号码与对应列表中的车牌号码匹配。通过对应列表查找出相同的车牌号码在哪些视频数据中出现，在视频数据中哪个时间点出现。对于人脸图像，将需要匹配的人脸图像转化为x*x矩阵，矩阵中每个元素的值为图像中对应区域的灰度平均值。将需要匹配的矩阵与对应列表中的矩阵比较，将对应列表中匹配结果一致的矩阵对应的视频数据找出来，再根据对应列表的该矩阵在视频数据中出现的时间点，从视频数据中查找到该人脸图像。请参阅图2，在另一实施例中，在步骤SlO之前，还包括以下步骤:SOO:对海量视频数据进行消除冗余图像的预处理。通过冗余图像预处理，将视频数据中前后帧无变化的图像数据删除，减少视频数据的大小，可以减少对海量视频数据中图像帧的检索时间，加快检索特征参数的速度。请参阅图3，其为一种视频数据快速特征检索的系统，包括识别模块10、提取模块20、列表生成模块30、特征元数据索引库40和匹配获取模块50。所述识别模块10用于在海量视频数据中识别具有特征参数的视频数据。这些特征参数包括车牌号码、人脸识别、车辆颜色等。海量视频数据中具有很多包含各种特征参数的视频数据，根据需要查询的特征参数，在海量视频数据中检索具有需求的特征参数。所述提取模块20用于提取视频数据的特征参数以及记录该特征参数在视频数据中位置的元数据。提取模块从海量视频数据中找到具有特征参数的视频数据。例如提取视频数据中的车牌号码、人脸图像或车辆颜色。将视频数据中的车牌号码提取成文本，将人脸图像提取为矩阵，将车辆颜色提取颜色值。请参阅图4，其为提取模块20的结构示意图，其包括压缩单元21、转换单元22和提取单元23。所述压缩单元21将人脸区域图像压缩为一矩阵，所述矩阵中每个元素的值为人脸区域图像中对应区域的灰度平均值。提取模块23提取该矩阵、该矩阵对应的人脸区域图像在视频数据的路径、该人脸区域图像在视频数据中出现的时间点。所述转换单元22将车牌区域图像转换为车牌号码，提取单元23提取该车牌号码、该车牌号码对应的车牌区域图像在视频数据的路径、该车牌区域图像在视频数据中出现的时间点。所述列表生成模块30用于生成特征参数、元数据及与其对应视频数据的名称的对应列表。提取模块20将车牌号码、人脸图像、车辆颜色提取出来后，列表生成模块30把车牌号码、人脸图像的矩阵或车辆颜色的颜色值中的一种或多种特征参数，把这些特征参数所在的视频数据的时间点，把视频数据的名称等相关信息生成一对应列表。生成的对应列表存储在特征元数据索引库40。对应列表中对应的特征参数存储在特征元数据索引库40。例如，当提取模块20提取车牌号码这个特征参数时，特征元数据库索引库40除了有车牌号码、车牌号码图像出现的视频数据的名称，该车牌号码图像在视频数据中出现的时间点外，还包括车牌号码图像。所述匹配获取模块50根据需求特征从特征元数据索引库中检索与需求特征匹配的特征参数，通过元数据获取该特征参数对应的视频数据。当需求特征为某一车牌号时，在海量视频数据中的哪些视频数据中出现了这个车牌号，只需要提供改车牌号码，将车牌号码与特征元数据索引库40中的对应列表的车牌号码进行匹配，当匹配结果一致时，便可以得到相应视频数据地址和该车牌号图像在视频数据中出现的时间点等信息。通过得到的信息，便可到直接调取出该车牌号图像所在的视频数据，并定位到该车牌号在视频数据中出现的时间点供用户查看，用户可以根据这个时间点查看时间点相邻时间的视频信息。进一步地，请参阅图5，在另一实施例中，本系统还包括预处理模块60，其用于在识别海量视频数据前，对海量视频数据进行消除冗余图像的预处理。通过冗余图像处理，将视频数据中前后帧无变化的图像数据删除，减少视频数据的大小，可以减少对海量视频数据中图像帧的检索时间，加快检索特征参数的速度。从而为识别模块10的识别效率提供了便利，加快了识别速度，提高了效率。以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式
以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.一种视频数据快速特征检索的方法，其特征在于，包括以下步骤: 在海量视频数据中识别具有特征参数的视频数据； 提取视频数据的特征参数以及记录该特征参数在视频数据中位置的元数据； 生成特征参数、元数据及与其对应视频数据的名称的对应列表； 存储所述对应列表和提取的特征参数至特征元数据索引库； 根据需求特征从特征元数据索引库中检索与需求特征匹配的特征参数，通过元数据获取该特征参数对应的视频数据。
2.根据权利要求1所述的视频数据快速特征检索的方法，其特征在于:所述识别海量视频数据前，对海量视频数据进行消除冗余图像的预处理。
3.根据权利要求1所述的视频数据快速特征检索的方法，其特征在于:所述海量视频数据中识别具有特征参数的视频数据，包括识别海量视频数据中的人脸区域图像、车辆颜色或车牌区域图像中的一种或多种特征参数。
4.根据权利要求3所述的视频数据快速特征检索的方法，其特征在于:所述海量视频数据中识别具有人脸区域图像的视频数据时，将人脸区域图像压缩为一矩阵后，提取该矩阵、该矩阵对应的人脸区域图像在视频数据的路径、该人脸区域图像在视频数据中出现的时间点，所述矩阵中每个元素的值为人脸区域图像中对应区域的灰度平均值。
5.根据权利要求3所述的视频数据快速特征检索的方法，其特征在于:所述海量视频数据中识别具有车牌区域图像的视频数据时，将车牌区域图像转换为车牌号码，提取该车牌号码、该车牌号码对应的车牌区域图像在视频数据的路径、该车牌区域图像在视频数据中出现的时间点。
6.一种视频数据快速特征检索的系统，其特征在于，包括: 识别模块，其用于在海量视频数据中识别具有特征参数的视频数据； 提取模块，其用于提取视频数据的特征参数以及记录该特征参数在视频数据中位置的元数据； 列表生成模块，其用于生成特征参数、元数据及与其对应视频数据的名称的对应列表; 特征元数据索引库，其用于存储所述对应列表和提取的特征参数； 匹配获取模块，其用于根据需求特征从特征元数据索引库中检索与需求特征匹配的特征参数，通过元数据获取该特征参数对应的视频数据。
7.根据权利要求6所述的视频数据快速特征检索系统，其特征在于:还包括预处理模块，其用于识别海量视频数据前，对海量视频数据进行消除冗余图像的预处理。
8.根据权利要求6所述的视频数据快速特征检索系统，其特征在于:所述海量视频数据中识别具有特征参数的视频数据中的特征参数包括人脸区域图像、车辆颜色或车牌区域图像中的一种或多种特征参数。
9.根据权利要求8所述的视频数据快速特征检索系统，其特征在于:所述提取模块包括压缩单元和提取单元，所述压缩单元将人脸区域图像压缩为一矩阵，所述矩阵中每个元素的值为人脸区域图像中对应区域的灰度平均值；所述提取该矩阵、该矩阵对应的人脸区域图像在视频数据的路径、该人脸区域图像在视频数据中出现的时间点。
10.根据权利要求9所述的视频数据快速特征检索系统，其特征在于:所述提取模块还包括转换单元，所述转换单元将车牌区域图像转换为车牌号码，所述提取单元提取该车牌号码、该车牌号码对应的车牌区域图像在视频数据的路径、该车牌区域图像在视频数据中出现的时间 点。
全文摘要
本发明公开了一种视频数据快速特征检索的方法及系统，所述方法包括以下步骤在海量视频数据中识别具有特征参数的视频数据；提取视频数据的特征参数以及记录该特征参数在视频数据中位置的元数据；生成特征参数、元数据及与其对应视频数据的名称的对应列表；存储所述对应列表和提取的特征参数至特征元数据索引库；根据需求特征从特征元数据索引库中检索与需求特征匹配的特征参数，通过元数据获取该特征参数对应的视频数据。本发明通过预识别海量视频数据，提取海量视频数据中的特征参数及其位置，将需求特征参数直接与特征参数对比快速获得特征参数在视频数据中的位置，加快了检索速度。
文档编号G06F17/30GK103198110SQ201310104919
公开日2013年7月10日 申请日期2013年3月28日 优先权日2013年3月28日
发明者袁峰, 李引, 陈升东 申请人:广州中国科学院软件应用技术研究所