基于样本图像的视频检索方法
【专利摘要】本发明公开了基于样本图像的视频检索方法，以实现以图搜图。其包括以下步骤：步骤1)样本图片导入；步骤2)结构化分析样本图片；步骤3)样本图片信息入库；步骤4)原始视频导入；步骤5)视频转码；步骤6)视频结构化分析；步骤7)视频信息入库；步骤8)样本图片与原始视频信息比对；步骤9)结果展示。本发明的视频检索技术能将复杂的语义描述用直观的图片样本取代，实现海量视频中的“以图搜图”。
【专利说明】基于样本图像的视频检索方法
【技术领域】
[0001]本发明属于视频处理【技术领域】，涉及一种视频分析方法，具体而言涉及基于样本图像的视频检索方法。
【背景技术】
[0002]随着天网工程的推进，产生了海量的监控视频，视频侦查技术已经成为公安最常用的侦查技术之一。但是，如何查阅海量的视频成了视频资源深度应用的瓶颈。
[0003]目前，公安已经开始通过视频检索技术来提高视频查看效率，检索的方式只是语义检索，例如，在视频中查找“一辆远离画面方向的银色的面包车”。但是，很多特征难于用语义进行描述，例如人脸特征、条纹衣服。如果能用图片样本作为输入，实现“以图搜图”，无疑是最直观的方式。
【发明内容】
[0004]为克服现有技术中的缺点，本发明的目的在于提供一种基于样本图像的视频检索方法，该视频检索方法使用简单，表现直观，能提高视频检索的准确率、提高使用效率。
[0005]为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现:
[0006]基于样本图像的视频检索方法，其包括以下步骤:
[0007]步骤I)样本图片导入
[0008]导入所需检索的标的物的样本图片，例如，导入已经获取的嫌疑人照片，作为系统的检索样本；
[0009]步骤2)结构化分析样本图片
[0010]对所述样本图片进行分析，首先对所述标的物的类别进行确认，然后，根据所属类别的特征对所述标的物的特征进行识别；例如首先进行人、车等类别分类，确认所述样本图片是人还是车，如果是人，进行人脸、上下半身衣服颜色、衣服品牌logo、背包、鞋子等特征识别；如果是车，则进行颜色、车牌、车型、车标等识别；
[0011]步骤3)样本图片信息入库
[0012]将结构化的样本图片的信息存入数据库，所述数据库中记录所述标的物的特征信息，以及每一特征信息所对应的权重；
[0013]步骤4)原始视频导入
[0014]从系统的客户端导入所需分析的原始视频；导入的视频往往可能是海量的，可以进行批量导入，导入时视频将从客户端所在PC通过FTP上传到服务器；
[0015]步骤5)视频转码
[0016]目前监控行业视频格式多样，不同厂家往往采用不同的编码格式，为了进行视频分析，将所述原始视频进行解码后重新编码成编码格式为H.264的标准视频；
[0017]步骤6)视频结构化分析
[0018]逐帧对所述标准视频进行分析，将所述标准视频中所有活动目标取出，并以结构化的方式记录所述的活动目标的特征，例如，视频中第10分钟有一辆黄色的甲壳虫轿车经过，车牌号是京Axxxxx ；
[0019]步骤7)视频信息入库
[0020]将结构化描述的所述标准视频的信息入库，供信息检索，所述库中的信息包括所述标准视频中所有活动目标的特征，如:类别、颜色、局部特征等；
[0021]步骤8)样本图片与原始视频信息比对
[0022]所述样本图片与所述原始视频都已经结构化分析完毕后，以所述样本图片的信息作为输入，在所述原始视频分析的结果数据中进行匹配，查找符合条件的目标；
[0023]步骤9)结果展示
[0024]将匹配的结果，按照相似度高低进行排列，并将此结果展示出来；展示时为每个目标提供一张照片，所述照片采用的是这个目标的关键帧，点击照片可以回溯到目标所对应的视频片段，查看该目标的完整活动细节。
[0025]本发明的有益效果是:
[0026]1、以样本图片代替语义描述，使视频检索的输入更加准确，提高视频检索的准确程度；
[0027]2、简化视频检索系统的操作，使整个流程都更加直观；
[0028]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的【具体实施方式】由以下实施例及其附图详细给出。
【专利附图】
【附图说明】
[0029]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0030]图1是本发明的基于样本图像的视频检索方法的流程示意图。
【具体实施方式】
[0031]下面将参考附图并结合实施例，来详细说明本发明。
[0032]实施例1:
[0033]2012年底，福建某市连续发生多起抢劫ATM取款市民的案件，社会影响恶劣。从银行的监控录像，获取了嫌疑目标清晰的正面照片。但是，嫌疑人何来何往？为此，警方调取了周边大量监控视频数据，希望找出端倪。当时处理时，也曾采用视频检索的方法，根据嫌疑人衣服颜色以及可能的运动方向进行检索，大海捞针，找到一段嫌疑人从网吧出来的录像，最后利用嫌疑人的上网记录将其抓获。
[0034]如果通过本实施例的基于样本图像的视频检索方法会是怎样处理呢？参见图1所示:
[0035]步骤I)样本图片导入
[0036]导入所需检索的标的物的样本图片，即导入银行监控中所获取的嫌疑人的正面照片;
[0037]步骤2)结构化分析样本图片[0038]对所述样本图片进行分析，首先对所述标的物的类别进行确认，然后，根据所属类别的特征对所述标的物的特征进行识别。本案中，经过分析，确认画面中的目标类别为“人”。进行深度分析，可以对人脸进行识别、记录体态特征，获取上下半身衣服颜色，以及衣服上的logo等特征；经过分析出来的特征会是比较详细、准确的。特别是人脸特征，按语义是无法描述的，以样本图片作为输入将简单、准确。
[0039]步骤3)样本图片信息入库
[0040]将结构化的样本信息存入数据库，数据库中记录上述结构化分析后的嫌疑人的特征信息，以及每一特征信息所对应的权重。在这个案例中，相比视频检索常用的衣服颜色等特征，人脸应该具有最高的权重。只要人脸特征相符，目标就有较大嫌疑。
[0041]步骤4)原始视频导入
[0042]从系统的客户端，批量导入所需分析的海量原始监控视频，视频从客户端所在PC通过FTP上传到服务器；
[0043]步骤5)视频转码
[0044]由于采集的是案发地点周边不同地点的视频，例如银行、商店、酒店、治安卡口等，视频格式多样，往往采用不同的编码格式，为了进行视频分析，系统需要自动将视频进行解码后重新编码成为标准的H.264编码格式视频；
[0045]步骤6)视频结构化分析
[0046]逐帧对所述标准视频进行分析，将所述标准视频中所有活动目标取出，并以结构化的方式记录所述的活动目标的特征。在这个案例中，我们可以只对“人”进行分析，记录经过探头下所有行人的特征信息，如人脸特征、体态特征、衣服颜色等；
[0047]步骤7)视频信息入库
[0048]将结构化描述的所述标准视频的信息入库，供信息检索，所述库中的信息包括所述标准视频中所有活动目标的特征。库中的信息包括视频中所有目标的类别、颜色、局部特征。
[0049]步骤8)样本图片与原始视频信息比对
[0050]所述样本图片与所述原始视频都已经结构化分析完毕后，以所述样本图片的信息作为输入，在所述原始视频分析的结果数据中进行匹配，查找符合条件的目标；
[0051]步骤9)结果展示
[0052]将匹配的结果，按照相似度高低进行排列，并将此结果展示出来；展示时为每个目标提供一张照片，所述照片采用的是这个目标的关键帧，点击照片可以回溯到目标所对应的视频片段，查看该目标的完整活动细节。
[0053]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.基于样本图像的视频检索方法，其特征在于，通过输入样本图片，在视频中查找符合条件的目标，包括以下步骤: 步骤I)样本图片导入 导入所需检索的标的物的样本图片； 步骤2)结构化分析样本图片 对所述样本图片进行分析，首先对所述标的物的类别进行确认，然后，根据所属类别的特征对所述标的物的特征进行识别； 步骤3)样本图片信息入库 将结构化的样本图片的信息存入数据库，所述数据库中记录所述标的物的特征信息，以及每一特征信息所对应的权重； 步骤4)原始视频导入 导入所需分析的原始视频； 步骤5)视频转码 将所述原始视频进行解码后重新编码成编码格式为H.264的标准视频； 步骤6)视频结构化分析 逐帧对所述标准视频进行分析，将所述标准视频中所有活动目标取出，并以结构化的方式记录所述的活动目标的特征； 步骤7)视频信息入库 将结构化描述的所述标准视频的信息入库，供信息检索，所述库中的信息包括所述标准视频中所有活动目标的特征； 步骤8)样本图片与原始视频信息比对 所述样本图片与所述原始视频都已经结构化分析完毕后，以所述样本图片的信息作为输入，在所述原始视频分析的结果数据中进行匹配，查找符合条件的目标； 步骤9)结果展示 将匹配的结果，按照相似度高低进行排列，并将此结果展示出来。
2.基于样本图像的视频检索方法，其特征在于:在步骤I中，输入的是所需检索的标的物的样本图片，在步骤9中，展示时为每个目标提供一张照片，所述照片采用的是这个目标的关键帧，点击照片可以回溯到目标所对应的视频片段，查看该目标的完整活动细节。
【文档编号】G06F17/30GK103500230SQ201310511206
【公开日】2014年1月8日 申请日期:2013年10月25日 优先权日:2013年10月25日
【发明者】姚领众, 王小帅, 唐智 申请人:苏州千视通信科技有限公司