视频图像检索方法、装置及系统与流程

本发明涉及图像处理及分析领域，具体而言，涉及一种视频图像检索方法、装置及系统。

背景技术：

随着图像处理技术的快速发展，视频数据量越来越多，增加了从海量视频数据中进行图像检索的难度。现有技术在图像检索过程中需要对图像进行临时的解码与分析，但图像解码与分析需要耗费大量的处理时间，这将严重降低图像检索的效率。此外，现有技术中的图像检索过分依赖目标对象检测的效率和准确度，但在视频监控场景中，由于不同的距离、角度以及背景干扰等因素的存在，将会严重降低目标对象检测的准确度和可靠性，同时，目标对象的漏检和误检问题也将会对目标对象检测的准确度和可靠性造成严重影响。

针对现有技术在图像检索过程中需要对图像进行临时解码与分析造成的图像检索效率低的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种视频图像检索方法、装置及系统，以至少解决现有技术在图像检索过程中需要对图像进行临时解码与分析造成的图像检索效率低的技术问题。

根据本发明实施例的一个方面，提供了一种视频图像处理方法，包括：获取目标图片的色彩统计数据，其中，目标图片的色彩统计数据为表征目标图片中第一特征的色彩的数据；对预先存储的视频帧的封装层进行解析，获取视频帧的色彩统计数据，其中，视频帧是在将视频帧的色彩统计数据和视频编码数据进行封装后得到的；将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配，获取匹配结果满足预设条件的目标视频帧；以及按照第一特征对目标视频帧进行图像检索。

进一步地，目标图片的色彩统计数据包括第一特征的色彩信息和第一特征的色彩 信息对应的像素数量，其中，获取目标图片的色彩统计数据包括：获取第一特征的色彩信息；获取视频帧的像素数量；计算第一特征的尺寸在目标图片中所占的百分比；以及计算第一特征的色彩信息对应的像素数量，其中，第一特征的色彩信息对应的像素数量为视频帧的像素数量与百分比的乘积。

进一步地，视频帧的色彩统计数据包括视频帧中每个图像特征的色彩信息和每个图像特征的色彩信息对应的像素数量，其中，将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配包括：将第一特征的色彩信息分别与每个图像特征的色彩信息进行匹配；以及将第一特征的色彩信息对应的像素数量分别与每个图像特征的色彩信息对应的像素数量进行匹配。

进一步地，按照第一特征对目标视频帧进行图像检索包括：将目标视频帧的视频编码数据进行解码，得到解码后的视频图像；判断解码后的视频图像中是否包含第一特征；以及如果判断出解码后的视频图像中包含第一特征，则将解码后的视频图像确定为目标图片的检索结果。

根据本发明实施例的另一个方面，提供了一种视频图像处理系统，包括：摄像机，用于获取视频图像的色彩统计数据和视频编码数据，并将色彩统计数据和视频编码数据封装成视频帧；以及存储服务器，用于获取目标图片的色彩统计数据；对视频帧的封装层进行解析，获取视频帧的色彩统计数据；将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配，获取匹配结果满足预设条件的目标视频帧；以及按照第一特征对目标视频帧进行图像检索，其中，目标图片的色彩统计数据为表征目标图片中第一特征的色彩的数据，视频帧是在将视频帧的色彩统计数据和视频编码数据进行封装后得到的。

进一步地，摄像机用于按照以下方式将色彩统计数据和视频编码数据封装成视频帧：建立色彩统计数据和视频编码数据的对应关系；以及按照对应关系将色彩统计数据和视频编码数据进行封装，得到视频帧。

进一步地，摄像机用于按照以下方式获取视频图像的色彩统计数据：获取视频图像中图像特征的色彩信息；以及将视频图像中的每个像素点进行色彩归类，统计图像特征的色彩信息对应的像素数量。

进一步地，摄像机用于按照以下方式将视频图像中的每个像素点进行色彩归类，统计图像特征的色彩信息对应的像素数量：获取视频图像中第一像素的色彩值；判断第一像素的色彩值与图像特征的色彩信息对应的色彩值是否匹配；以及如果判断出第一像素的色彩值与图像特征的色彩信息对应的色彩值匹配，将第一像素的色彩归类为 图像特征的色彩信息，并累加图像特征的色彩信息对应的像素数量。

根据本发明实施例的另一方面，还提供了一种视频图像处理装置，包括：第一获取模块，用于获取目标图片的色彩统计数据，其中，目标图片的色彩统计数据为表征目标图片中第一特征的色彩的数据；解析模块，用于对预先存储的视频帧的封装层进行解析，获取视频帧的色彩统计数据，其中，视频帧是在将视频帧的色彩统计数据和视频编码数据进行封装后得到的；第二获取模块，用于将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配，获取匹配结果满足预设条件的目标视频帧；以及检索模块，用于按照第一特征对目标视频帧进行图像检索。

进一步地，目标图片的色彩统计数据包括第一特征的色彩信息和第一特征的色彩信息对应的像素数量，其中，第一获取模块包括：第一获取子模块，用于获取第一特征的色彩信息；第二获取子模块，用于获取视频帧的像素数量；第一计算模块，用于计算第一特征的尺寸在目标图片中所占的百分比；以及第二计算模块，用于计算第一特征的色彩信息对应的像素数量，其中，第一特征的色彩信息对应的像素数量为视频帧的像素数量与百分比的乘积。

在本发明实施例中，在视频采集过程中就将视频图像的色彩统计数据保存至存储服务器中，在进行视频图像检索时，首先按照目标图片的色彩统计数据筛选出与目标图片的色彩统计数据相匹配的目标视频帧，然后对目标视频帧的视频编码数据进行解码，得到解码后的视频图像，再从解码后的视频图像中检索出包含目标图片中的第一特征的视频图像，达到了视频图像检索过程中无需对所有的视频图像进行解码与分析的目的，从而实现了提高视频图像检索效率的技术效果，进而解决了现有技术在图像检索过程中需要对图像进行临时解码与分析造成的图像检索效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频图像检索系统的示意图；

图2是根据本发明实施例的数字摄像机中视频图像的数据信息的处理流程示意图；

图3是根据本发明实施例的模拟摄像机中视频图像的数据信息的处理流程示意图；

图4是根据本发明实施例的视频图像检索方法的流程图；以及

图5是根据本发明实施例的视频图像检索装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种视频图像检索系统，图1是根据本发明实施例的视频图像检索系统的示意图，如图1所示，该系统包括：

摄像机10，用于获取视频图像的色彩统计数据和视频编码数据，并将色彩统计数据和视频编码数据封装成视频帧；以及

存储服务器20，用于获取目标图片的色彩统计数据；对视频帧的封装层进行解析，获取视频帧的色彩统计数据；将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配，获取匹配结果满足预设条件的目标视频帧；以及按照第一特征对目标视频帧进行图像检索，其中，目标图片的色彩统计数据为表征目标图片中第一特征的色彩的数据，视频帧是在将视频帧的色彩统计数据和视频编码数据进行封装后得到的。

可选地，该系统还可以包括客户端30，用于可以通过客户端输入目标图片，其中，目标图片为用户根据实际需求想要检索的图片，目标图片可以由用户使用专用客户端输入，该客户端可以为硬件形式，也可以为软件形式。目标图片的检索源由摄像机10(比如数字摄像机或者模拟摄像机)采集的视频图像组成，即从摄像机10采集的视频图像中检索目标图片。摄像机10将采集的视频图像的数据信息(包括视频图像的色彩统计数据和视频编码数据)发送至存储服务器20进行存储，存储服务器20与客户端 30通过网络(有线网络或者无线网络)进行交互。如图1所示，摄像机10将采集到的视频图像进行处理，并将处理后的视频图像的数据信息发送至存储服务器20中进行存储，客户端30将目标图片发送至存储服务器20，存储服务器20执行对目标图片的检索，并将目标图片的检索结果(包括检索图片和检索图片所在的视频标识等)发送至客户端30。可选地，当存储服务器20满足运行软件的需求，可以将存储服务器20与客户端30部署在同一硬件设备上，以降低客户端30与存储服务器20之间的数据传输对于网络带宽的消耗。

存储服务器20用于存储视频图像的数据信息，存储服务器20中可以存储有一个或者多个视频的视频图像的数据信息，其中，不同的视频可以用不同的视频标识区分表示。可选地，存储服务器20中任意一个视频标识对应的视频可以包括多个视频帧，每帧视频图像的数据信息均包括该帧视频图像的色彩统计数据和视频编码数据，且色彩统计数据和视频编码数据以封装格式存储在存储服务器20中，即存储服务器20中存储有多个视频帧的封装数据，其中，视频帧的封装数据为视频帧的色彩统计数据与视频编码数据进行封装后得到的数据。

存储服务器20中任意一个视频标识对应的视频中视频帧均是由摄像机10发送的，可选地，摄像机10用于按照以下方式将采集到的视频图像的色彩统计数据和视频编码数据封装成视频帧，并将封装后的视频帧发送至存储服务器20：建立色彩统计数据和视频编码数据的对应关系；以及摄像机按照对应关系将色彩统计数据和视频编码数据进行封装，得到视频帧。

可选地，视频图像的色彩统计数据包括：视频图像中图像特征的色彩信息以及图像特征的色彩信息对应的像素数量。其中，摄像机10用于按照以下方式获取视频图像的色彩统计数据：摄像机10获取视频图像中图像特征的色彩信息；以及摄像机10将视频图像中的每个像素点进行色彩归类，统计图像特征的色彩信息对应的像素数量。具体地，摄像机10用于执行以下步骤：

步骤S1：获取视频图像中图像特征的色彩信息。摄像机在采集视频图像时，会对每帧视频图像进行色彩甄别以及像素数量的统计，其中，色彩的种类数量取决于像素点的色彩空间计算，该实施例的视频图像的检索方法不关注色彩甄别计算方法本身。可选地，获取视频图像中图像特征的色彩信息可以发生在视频采集过程中，通过色彩甄别以及像素数量统计来获取视频图像中图像特征的色彩信息。获取视频图像中图像特征的色彩信息也可以采取对存储服务器20中存储的视频进行解码，然后对解码后的视频中的每个视频帧进行色彩分析的方式，对解码后的视频中的每个视频帧进行色彩分析包括色彩甄别以及像素数量统计。

步骤S2：通过将视频图像中的每个像素点进行色彩归类，统计视频图像中图像特征的色彩信息对应的像素数量。假设该实施例的色彩甄别算法可以甄别出“红橙黄绿青蓝紫”七种色彩，那么对每帧视频图像的所有像素点进行色彩归类，以便于统计出每种色彩对应的像素数量。

可选地，摄像机10用于按照以下方式将视频图像中的每个像素点进行色彩归类，统计图像特征的色彩信息对应的像素数量：摄像机10获取视频图像中第一像素的色彩值；摄像机10判断第一像素的色彩值与图像特征的色彩信息对应的色彩值是否匹配；以及摄像机10如果判断出第一像素的色彩值与图像特征的色彩信息对应的色彩值匹配，将第一像素的色彩归类为图像特征的色彩信息，并累加图像特征的色彩信息对应的像素数量。即，摄像机10通过执行以下步骤将视频图像中的每个像素点进行色彩归类：

步骤S21：获取视频帧中第一像素的色彩值，其中，第一像素为视频帧图像中的任意一个像素。摄像机10在采集视频图像之后，首先会获取视频图像的YUV数据，通常采集设备(比如摄像机)输出的是NV12格式的视频图像。然后将视频图像的色度空间由YUV转换为RGB空间，假设视频图像像素点的YUV值为(y，u，v)，则转换方式如下式所示：

r＝y+1.13983*(v-128)

g＝y-0.39465*(u-128)-0.58060*(v-128)

b＝y+2.03211*(u-128)

然后将视频图像从RGB空间转换为HSV空间，假设视频图像像素点的RGB值为(r，g，b)，则转换方式如下式所示：

max＝max(r,g,b)

min＝min(r,g,b)

v＝max

步骤S22：判断第一像素的色彩值与图像特征的色彩信息对应的色彩值是否匹配。图像特征的色彩信息对应的色彩值将会存储在预设场景颜色聚类表中。预设场景颜色聚类表为按照实际需求预先根据监控场景建立的不同的颜色聚类表，预设场景颜色聚类表中可以包含一种或者多种色彩，比如预设场景颜色聚类表可以表示为：

color_tab[6]＝(h_i,s_i,v_i),i∈[0:6]

其中，(h_i,s_i,v_i)为“红橙黄绿青蓝紫”这7种色彩中心点在此场景模式下的HSV值。

步骤S23：如果判断出第一像素的色彩值与图像特征的色彩信息对应的色彩值匹配，将第一像素的色彩归类为图像特征的色彩信息，并累加图像特征的色彩信息对应的像素数量。比如，将视频图像的第一像素的色彩值(h，v，s)与预设场景颜色聚类表中某个色彩对应的色彩中心点(h_i,s_i,v_i),i∈[0:6]进行匹配，当匹配成功时，将第一像素的色彩归类与该色彩。

该实施例的视频图像检索系统考虑了图像在不同监控场景下(比如色温、照度等)会存在色偏的情况，如果采用相同的色彩模板进行色彩统计，统计结果的准确度将会受到很大影响。该实施例的视频图像检索系统利用预先建立的预设场景颜色聚类表减少了因图像色彩偏差造成的图像检索准确度下降的问题，达到了提高视频图像检索准确度的效果。

当判断出第一像素的色彩值与图像特征的色彩信息对应的色彩值匹配时，在将第一像素的色彩归类为该色彩的同时，将该图像特征的色彩信息对应的颜色计数器c_i,i∈[0:6]加一。图像特征的色彩信息对应的像素数量的计算方法如下式所示，其中，T为经验值，一般为图像噪声方差：

c_i+＝1,if D((h,s,v),(h_i,s_i,v_i))＜T

上述获取视频图像的色彩统计数据的方法适用于任意视频标识对应的视频中的所有视频帧对应的视频图像。该实施例的视频图像检索系统统计图像全局性的色彩特征，有效地规避了只对目标对象检测造成的图像检索可靠性低的问题，达到了提高视频图像检索可靠性的效果。

可选地，摄像机10在获取视频图像的色彩统计数据之后，会对该视频图像进行编码，得到视频编码数据。摄像机10建立视频图像的色彩统计数据和视频编码数据的对应关系，使得视频图像的色彩统计数据与视频编码数据一一对应；按照该对应关系将视频图像的色彩统计数据和视频编码数据进行封装，得到该视频图像对应的视频帧，其中，视频帧的封装数据。该实施例在格式封装时采用封装格式标准允许的私有封装方法。

摄像机10按照上述方法可以获取任意视频标识对应的视频中的所有视频帧。需要说明的是，对于模拟摄像机和数字摄像机，视频图像的采集、色彩统计数据的计算、编码以及封装流程的执行主体略有不同。图2是根据本发明实施例的数字摄像机中视频图像的数据信息的处理流程示意图，如图2所示，对于数字摄像机，采集视频图像、计算色彩统计数据、编码以及封装流程均在数字摄像机内部完成。图3是根据本发明实施例的模拟摄像机中视频图像的数据信息的处理流程示意图，如图3所示，对于模拟摄像机，模拟摄像机本身只完成采集视频图像的流程，计算色彩统计数据、编码以及封装流程是由视频编码器完成的。

需要说明的是，存储服务器20中的视频图像的数据信息对于常规的实时预览、传输以及存储等没有任何区别，区别在于每帧视频图像的视频编码数据都有对应该帧视频图像的色彩统计数据，且对该帧视频图像色彩统计数据的读取无需对该帧视频图像的视频编码数据解码，只需要对封装层进行解析即可获取，达到了提高视频图像检索效率的效果。

可选地，存储服务器20支持视频图像的数据信息的添加、修改和删除功能，存储服务器20中的视频图像的数据信息可以是预先存储好的，也可以实时进行添加、修改 和删除。在将视频图像的数据信息存储至存储服务器20之后，从存储服务器20中检索目标图片，需要对客户端30发送的目标图片进行色彩解析，其中，色彩解析的计算方法与上述视频图像的色彩统计数据的计算方法相同，此处不再赘述。

目标图片的色彩统计数据包括第一特征的色彩信息和第一特征的色彩信息对应的像素数量。比如，目标图片为包含红色轿车的图片，则第一特征为轿车，第一特征的色彩信息为红色。可选地，获取目标图片的色彩统计数据包括：获取第一特征的色彩信息；以及获取第一特征的色彩信息对应的像素数量。

由于目标图片与存储服务器20中的待检索视频图像在尺寸比例、图像像素上很有可能不一致，所以，需要把目标图片的目标色彩对应的像素数量和存储服务器20中的待检索视频图像的像素数量按照实际比例进行相应的调整，以获得较为确切的目标色彩对应的像素数量。可选地，存储服务器20通过以下方式获取第一特征的色彩信息对应的像素数量：获取存储服务器20中预先存储的视频帧的像素数量；计算第一特征的尺寸在目标图片中所占的百分比；以及计算第一特征的色彩信息对应的像素数量，其中，第一特征的色彩信息对应的像素数量为存储服务器20中视频帧的像素数量与百分比的乘积。

比如，假设目标图片包含了一辆红色的轿车，第一特征为轿车，轿车图片本身为200万像素，第一特征的色彩信息为红色，存储服务器20中视频帧也是200万像素。在此视频场景中，需要对目标图片中第一特征的色彩信息对应的像素数量进行换算，假设轿车在目标图片中所占的百分比为百分之一，则目标图片的第一特征的色彩信息对应的像素数量为2万像素，即目标图片的色彩统计数据为红色，2万像素。

可选地，将目标图片中第一特征的尺寸与存储服务器20中视频图像尺寸进行匹配，可以有两种方法：一种是人工匹配方法；另一种是图像算法匹配方法。人工匹配方法是指由用户查看存储服务器20存储的实时视频，当实时视频中出现了目标物体(比如第一特征，轿车)时，截取图片。对截取下来的图片使用网格方法，计算目标物体在于截取下来的图片中的尺寸比例，从而获得在此视频场景下目标物体的大致像素值。图像算法匹配是指由用户选取一段包含有各类运动物体的视频录像，通过人车物分类算法对人车物进行分类，其中，在机器视觉领域对视频进行人车物分类算法已经很成熟了，此处不再详细介绍。对人车物进行分类算法的结果包括人、车、物各类目标的归一化尺寸，结合存储服务器20中视频图像的像素值便可得出目标物体在该视频场景下的大致像素值。

存储服务器20在获取目标图片的色彩统计数据之后，根据目标图片的色彩统计数据从预先存储的视频帧中获取色彩统计数据与目标图片的色彩统计数据相匹配的目标 视频帧。需要说明的是，匹配结果满足的预设条件优选为目标图片的色彩统计数据为目标视频帧的色彩统计数据的子集，即只要目标图片的色彩统计数据为目标视频帧的色彩统计数据的子集，就可满足目标色彩统计数据与目标视频帧的色彩统计数据相匹配。假设目标图片的色彩统计数据为：红色，2万像素，则只要目标视频帧的色彩统计数据中包括“红色，2万像素”，比如目标视频帧的色彩统计数据为：红色，2万像素；蓝色，2万像素，即可满足目标图片的色彩统计数据与目标视频帧的色彩统计数据相匹配。在从存储服务器中检索目标图片时，需要对视频图像的封装层进行解析，以便于读取视频图像的色彩统计数据。

可选地，存储服务器20可以通过执行以下步骤将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配，以获取匹配结果满足预设条件的目标视频帧：

步骤S4：获取第一视频帧的色彩统计数据，其中，存储服务器20中存储的多个视频帧包括第一视频帧，第一视频帧可以是任意视频标识对应的视频中的任意一个视频帧。获取第一视频帧的色彩统计数据同样包括：获取第一视频帧中第一色彩的色彩信息；以及获取第一色彩对应的像素数量。其中，第一色彩为第一视频帧图像中的某一特征的色彩。

步骤S5：判断第一视频帧的色彩统计数据与目标图片的色彩统计数据是否匹配。具体包括：判断第一色彩的色彩信息与目标色彩的色彩信息是否匹配；以及判断第一色彩对应的像素数量与目标色彩对应的像素数量是否匹配。如果第一视频帧的图像中没有包含目标色彩，或者第一视频帧图像中包含目标色彩，但目标色彩对应的像素数量远远小于目标图片中目标色彩对应的像素数量，则直接跳过该第一视频帧，继续判断存储服务器中的下一个视频帧图像。

步骤S6：如果判断出第一视频帧的色彩统计数据与目标图片的色彩统计数据匹配，将第一视频帧确定为目标视频帧。即第一视频帧图像中包含目标色彩，且第一视频帧图像中目标色彩对应的像素数量与目标图片中目标色彩对应的像素数量相符，则将该第一视频帧确定为目标视频帧。

可选地，存储服务器20获取目标视频帧之后，将按照第一特征对目标视频帧进行图像检索，具体地，存储服务器20可以通过执行以下步骤对目标视频帧进行图像检索：

步骤S7，将目标视频帧的视频编码数据进行解码，得到解码后的视频图像。

在获取目标视频帧之后，存储服务器20对该目标视频帧的视频编码数据进行解码，得到解码后的视频图像。该实施例的存储服务器20根据目标图片的色彩统计数据从预先存储的视频帧中筛选出色彩统计数据与目标图片的色彩统计数据相匹配的目标 视频帧，将色彩统计数据与目标图片的色彩统计数据明显不匹配的视频帧过滤掉，只对目标视频帧的视频编码数据进行解码，避免了解码消耗，克服了现有技术中对所有视频帧图像进行解码造成的图像检索效率低的问题，进而达到了节省大量的计算资源消耗，提高视频图像检索效率的技术效果。

步骤S8，判断解码后的视频图像中是否包含第一特征。

步骤S9，如果判断出解码后的视频图像中包含第一特征，则将解码后的视频图像确定为目标图片的检索结果。

以从任意视频中检索包含红色轿车的目标图片(第一特征为轿车，第一特征的色彩信息为红色，第一特征的色彩信息对应的像素数量为2万像素)为例，在该视频图像的封装层中读取用于描述每帧图像的色彩统计数据，也即每帧视频数据色彩分布情况的私有数据，如果该帧图像中没有红色，或者红色像素数量远远小于2万像素，则直接跳过该帧视频，反之则执行常规的以图搜图算法，即将该帧视频图像的视频编码数据进行解码，得到解码后的视频图像，然后判断解码后的视频图像中是否包含轿车，如果判断出解码后的视频图像中包含轿车，则该帧视频图像为目标图片的检索结果。其中，检索结果可以包括结果图片以及该结果图片对应的视频。

可选地，存储服务器20在得到目标图片的检索结果之后，还用于将检索结果发送给客户端30，进而完成一次以图搜图的完整操作。

该实施例的视频图像检索系统按照目标图片的色彩统计数据从预先存储的视频帧中筛选出与目标图片的色彩统计数据相匹配的目标视频帧，然后对目标视频帧的视频编码数据进行解码，得到解码后的视频图像，再从解码后的视频图像中检索出包含目标图片中的第一特征的视频图像。该实施例的视频图像检索系统解决了现有技术在图像检索过程中需要对图像进行临时解码与分析造成的图像检索效率低的技术问题，达到了提高视频图像检索效率的技术效果。同时，该实施例的视频图像检索系统在视频采集过程中就将所有视频图像的色彩统计数据存储至存储服务器，通过统计视频图像全局性的颜色特征，有效地规避了只对目标对象进行检测造成的可靠性低的问题，而且该实施例的视频图像检索系统利用预先建立的预设场景颜色聚类表，减少了图像色彩偏差造成的准确率下降的问题，进而达到了提高视频图像检索的准确度和可靠性的技术效果。

根据本发明实施例，还提供了一种视频图像检索方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所 示出或描述的步骤。

该实施例的视频图像检索方法由本发明实施例提供的存储服务器执行。图4是根据本发明实施例的视频图像检索方法的流程图，如图4所示，该方法包括如下步骤：

步骤S402，获取目标图片的色彩统计数据，其中，目标图片的色彩统计数据为表征目标图片中第一特征的色彩的数据；

步骤S404，对预先存储的视频帧的封装层进行解析，获取视频帧的色彩统计数据，其中，视频帧是在将视频帧的色彩统计数据和视频编码数据进行封装后得到的；

步骤S406，将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配，获取匹配结果满足预设条件的目标视频帧；以及

步骤S408，按照第一特征对目标视频帧进行图像检索。

上述步骤为目标图片的检索过程，该检索过程可以由本发明实施例的视频图像检索系统中的存储服务器执行，且目标图片可以由本发明实施例的视频图像检索系统中的客户端输入，目标图片的检索源可以由本发明实施例的视频图像检索系统中的摄像机采集。

存储服务器中可以存储有一个或者多个视频的视频图像的数据信息，其中，不同的视频可以用不同的视频标识区分表示。可选地，存储服务器中任意一个视频标识对应的视频可以包括多个视频帧，每帧视频图像的数据信息均包括该帧视频图像的色彩统计数据和视频编码数据，且色彩统计数据和视频编码数据以封装格式存储在存储服务器中，即存储服务器中存储有多个视频帧的封装数据，其中，视频帧的封装数据为视频帧的色彩统计数据与视频编码数据进行封装后得到的数据。

存储服务器中任意一个视频标识对应的视频中视频帧均是由摄像机发送的，可选地，摄像机将采集到的视频图像的色彩统计数据和视频编码数据封装成视频帧，并将封装后的视频帧发送至存储服务器包括：建立色彩统计数据和视频编码数据的对应关系；以及摄像机按照对应关系将色彩统计数据和视频编码数据进行封装，得到视频帧。

可选地，视频图像的色彩统计数据包括：视频图像中图像特征的色彩信息以及图像特征的色彩信息对应的像素数量。其中，摄像机获取视频图像的色彩统计数据包括：

步骤S1：获取视频图像中图像特征的色彩信息。摄像机在采集视频图像时，会对每帧视频图像进行色彩甄别以及像素数量的统计，其中，色彩的种类数量取决于像素点的色彩空间计算，该实施例的视频图像的检索方法不关注色彩甄别计算方法本身。可选地，获取视频图像中图像特征的色彩信息可以发生在视频采集过程中，通过色彩 甄别以及像素数量统计来获取视频图像中图像特征的色彩信息。获取视频图像中图像特征的色彩信息也可以采取对存储服务器中存储的视频进行解码，然后对解码后的视频中的每个视频帧进行色彩分析的方式，对解码后的视频中的每个视频帧进行色彩分析包括色彩甄别以及像素数量统计。

步骤S2：通过将视频图像中的每个像素点进行色彩归类，统计视频图像中图像特征的色彩信息对应的像素数量。假设该实施例的色彩甄别算法可以甄别出“红橙黄绿青蓝紫”七种色彩，那么对每帧视频图像的所有像素点进行色彩归类，以便于统计出每种色彩对应的像素数量。

可选地，摄像机将视频图像中的每个像素点进行色彩归类，统计图像特征的色彩信息对应的像素数量包括以下步骤：

步骤S21：获取视频帧中第一像素的色彩值，其中，第一像素为视频帧图像中的任意一个像素。摄像机在采集视频图像之后，首先会获取视频图像的YUV数据，通常采集设备(比如摄像机)输出的是NV12格式的视频图像。然后将视频图像的色度空间由YUV转换为RGB空间，假设视频图像像素点的YUV值为(y，u，v)，则转换方式如下式所示：

r＝y+1.13983*(v-128)

g＝y-0.39465*(u-128)-0.58060*(v-128)

b＝y+2.03211*(u-128)

然后将视频图像从RGB空间转换为HSV空间，假设视频图像像素点的RGB值为(r，g，b)，则转换方式如下式所示：

max＝max(r,g,b)

min＝min(r,g,b)

v＝max

步骤S22：判断第一像素的色彩值与图像特征的色彩信息对应的色彩值是否匹配。图像特征的色彩信息对应的色彩值将会存储在预设场景颜色聚类表中。预设场景颜色聚类表为按照实际需求预先根据监控场景建立的不同的颜色聚类表，预设场景颜色聚类表中可以包含一种或者多种色彩，比如预设场景颜色聚类表可以表示为：

color_tab[6]＝(h_i,s_i,v_i),i∈[0:6]

其中，(h_i,s_i,v_i)为“红橙黄绿青蓝紫”这7种色彩中心点在此场景模式下的HSV值。

步骤S23：如果判断出第一像素的色彩值与图像特征的色彩信息对应的色彩值匹配，将第一像素的色彩归类为图像特征的色彩信息，并累加图像特征的色彩信息对应的像素数量。比如，将视频图像的第一像素的色彩值(h，v，s)与预设场景颜色聚类表中某个色彩对应的色彩中心点(h_i,s_i,v_i),i∈[0:6]进行匹配，当匹配成功时，将第一像素的色彩归类与该色彩。

该实施例的视频图像检索方法考虑了图像在不同监控场景下(比如色温、照度等)会存在色偏的情况，如果采用相同的色彩模板进行色彩统计，统计结果的准确度将会受到很大影响。该实施例的视频图像检索方法利用预先建立的预设场景颜色聚类表减少了因图像色彩偏差造成的图像检索准确度下降的问题，达到了提高视频图像检索准确度的效果。

当判断出第一像素的色彩值与图像特征的色彩信息对应的色彩值匹配时，在将第一像素的色彩归类为该色彩的同时，将该图像特征的色彩信息对应的颜色计数器c_i,i∈[0:6]加一。图像特征的色彩信息对应的像素数量的计算方法如下式所示，其中，T为经验值，一般为图像噪声方差：

c_i+＝1,if D((h,s,v),(h_i,s_i,v_i))＜T,

上述获取视频图像的色彩统计数据的方法适用于任意视频标识对应的视频中的所有视频帧对应的视频图像。该实施例的视频图像检索方法统计图像全局性的色彩特征，有效地规避了只对目标对象检测造成的图像检索可靠性低的问题，达到了提高视频图像检索可靠性的效果。

可选地，摄像机在获取视频图像的色彩统计数据之后，会对该视频图像进行编码，得到视频编码数据。摄像机建立视频图像的色彩统计数据和视频编码数据的对应关系，使得视频图像的色彩统计数据与视频编码数据一一对应；按照该对应关系将视频图像的色彩统计数据和视频编码数据进行封装，得到该视频图像对应的视频帧，其中，视频帧的封装数据。该实施例在格式封装时采用封装格式标准允许的私有封装方法。

摄像机获取任意视频标识对应的视频中的所有视频帧之后，将其发送至存储服务器。需要说明的是，存储服务器中的视频图像的数据信息对于常规的实时预览、传输以及存储等没有任何区别，区别在于每帧视频图像的视频编码数据都有对应该帧视频图像的色彩统计数据，且对该帧视频图像色彩统计数据的读取无需对该帧视频图像的视频编码数据解码，只需要对封装层进行解析即可获取，达到了提高视频图像检索效率的效果。

可选地，存储服务器支持视频图像的数据信息的添加、修改和删除功能，存储服务器中的视频图像的数据信息可以是预先存储好的，也可以实时进行添加、修改和删除。在将视频图像的数据信息存储至存储服务器之后，从存储服务器中检索目标图片，需要对客户端发送的目标图片进行色彩解析，其中，色彩解析的计算方法与上述视频图像的色彩统计数据的计算方法相同，此处不再赘述。

目标图片的色彩统计数据包括第一特征的色彩信息和第一特征的色彩信息对应的像素数量。比如，目标图片为包含红色轿车的图片，则第一特征为轿车，第一特征的色彩信息为红色。可选地，获取目标图片的色彩统计数据包括：获取第一特征的色彩信息；以及获取第一特征的色彩信息对应的像素数量。

由于目标图片与存储服务器中的待检索视频图像在尺寸比例、图像像素上很有可能不一致，所以，需要把目标图片的目标色彩对应的像素数量和存储服务器中的待检索视频图像的像素数量按照实际比例进行相应的调整，以获得较为确切的目标色彩对应的像素数量。可选地，存储服务器获取第一特征的色彩信息对应的像素数量包括：获取存储服务器中预先存储的视频帧的像素数量；计算第一特征的尺寸在目标图片中所占的百分比；以及计算第一特征的色彩信息对应的像素数量，其中，第一特征的色彩信息对应的像素数量为存储服务器中视频帧的像素数量与百分比的乘积。

比如，假设目标图片包含了一辆红色的轿车，第一特征为轿车，轿车图片本身为200万像素，第一特征的色彩信息为红色，存储服务器中视频帧也是200万像素。在此视频场景中，需要对目标图片中第一特征的色彩信息对应的像素数量进行换算，假设轿车在目标图片中所占的百分比为百分之一，则目标图片的第一特征的色彩信息对应的像素数量为2万像素，即目标图片的色彩统计数据为红色，2万像素。

可选地，将目标图片中第一特征的尺寸与存储服务器中视频图像尺寸进行匹配，可以有两种方法：一种是人工匹配方法；另一种是图像算法匹配方法。人工匹配方法是指由用户查看存储服务器存储的实时视频，当实时视频中出现了目标物体(比如第一特征，轿车)时，截取图片。对截取下来的图片使用网格方法，计算目标物体在于截取下来的图片中的尺寸比例，从而获得在此视频场景下目标物体的大致像素值。图像算法匹配是指由用户选取一段包含有各类运动物体的视频录像，通过人车物分类算法对人车物进行分类，其中，在机器视觉领域对视频进行人车物分类算法已经很成熟了，此处不再详细介绍。对人车物进行分类算法的结果包括人、车、物各类目标的归一化尺寸，结合存储服务器中视频图像的像素值便可得出目标物体在该视频场景下的大致像素值。

存储服务器在获取目标图片的色彩统计数据之后，将会执行步骤S406，即将会根据目标图片的色彩统计数据从预先存储的视频帧中获取色彩统计数据与目标图片的色彩统计数据相匹配的目标视频帧。需要说明的是，匹配结果满足的预设条件优选为目标图片的色彩统计数据为目标视频帧的色彩统计数据的子集，即只要目标图片的色彩统计数据为目标视频帧的色彩统计数据的子集，就可满足目标色彩统计数据与目标视频帧的色彩统计数据相匹配。假设目标图片的色彩统计数据为：红色，2万像素，则只要目标视频帧的色彩统计数据中包括“红色，2万像素”，比如目标视频帧的色彩统计数据为：红色，2万像素；蓝色，2万像素，即可满足目标图片的色彩统计数据与目标视频帧的色彩统计数据相匹配。在从存储服务器中检索目标图片时，需要对视频图像的封装层进行解析，以便于读取视频图像的色彩统计数据。

可选地，视频帧的色彩统计数据包括视频帧中每个图像特征的色彩信息和每个图像特征的色彩信息对应的像素数量，其中，将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配包括：将第一特征的色彩信息与每个图像特征的色彩信息进行匹配；以及将第一特征的色彩信息对应的像素数量与每个图像特征的色彩信息对应的像素数量进行匹配。具体地，步骤S406存储服务器将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配，以获取匹配结果满足预设条件的目标视频帧可以包括以下步骤：

步骤S4：获取第一视频帧的色彩统计数据，其中，存储服务器中存储的多个视频帧包括第一视频帧，第一视频帧可以是任意视频标识对应的视频中的任意一个视频帧。获取第一视频帧的色彩统计数据同样包括：获取第一视频帧中第一色彩的色彩信息；以及获取第一色彩对应的像素数量。其中，第一色彩为第一视频帧图像中的某一特征的色彩。

步骤S5：判断第一视频帧的色彩统计数据与目标图片的色彩统计数据是否匹配。具体包括：判断第一色彩的色彩信息与目标色彩的色彩信息是否匹配，其中，目标色彩为目标图片中第一特征的色彩；以及判断第一色彩对应的像素数量与目标色彩对应的像素数量是否匹配。如果第一视频帧的图像中没有包含目标色彩，或者第一视频帧图像中包含目标色彩，但目标色彩对应的像素数量远远小于目标图片中目标色彩对应的像素数量，则直接跳过该第一视频帧，继续判断存储服务器中的下一个视频帧图像。

步骤S6：如果判断出第一视频帧的色彩统计数据与目标图片的色彩统计数据匹配，将第一视频帧确定为目标视频帧。即第一视频帧图像中包含目标色彩，且第一视频帧图像中目标色彩对应的像素数量与目标图片中目标色彩对应的像素数量相符，则将该第一视频帧确定为目标视频帧。

可选地，步骤S408按照第一特征对目标视频帧进行图像检索包括以下步骤：

步骤S7，将目标视频帧的视频编码数据进行解码，得到解码后的视频图像。

在获取目标视频帧之后，存储服务器对该目标视频帧的视频编码数据进行解码，得到解码后的视频图像。该实施例的存储服务器根据目标图片的色彩统计数据从预先存储的视频帧中筛选出色彩统计数据与目标图片的色彩统计数据相匹配的目标视频帧，将色彩统计数据与目标图片的色彩统计数据明显不匹配的视频帧过滤掉，只对目标视频帧的视频编码数据进行解码，避免了解码消耗，克服了现有技术中对所有视频帧图像进行解码造成的图像检索效率低的问题，进而达到了节省大量的计算资源消耗，提高视频图像检索效率的技术效果。

步骤S8，判断解码后的视频图像中是否包含第一特征。

步骤S9，如果判断出解码后的视频图像中包含第一特征，则将解码后的视频图像确定为目标图片的检索结果。

以从任意视频中检索包含红色轿车的目标图片(第一特征为轿车，第一特征的色彩信息为红色，第一特征的色彩信息对应的像素数量为2万像素)为例，在该视频图像的封装层中读取用于描述每帧图像的色彩统计数据，也即每帧视频数据色彩分布情况的私有数据，如果该帧图像中没有红色，或者红色像素数量远远小于2万像素，则直接跳过该帧视频，反之则执行常规的以图搜图算法，即将该帧视频图像的视频编码数据进行解码，得到解码后的视频图像，然后判断解码后的视频图像中是否包含轿车，如果判断出解码后的视频图像中包含轿车，则该帧视频图像为目标图片的检索结果。其中，检索结果可以包括结果图片以及该结果图片对应的视频。

可选地，存储服务器在得到目标图片的检索结果之后，会将检索结果发送给客户端，进而完成一次以图搜图的完整操作。

该实施例的视频图像检索方法按照目标图片的色彩统计数据从预先存储的视频帧中筛选出与目标图片的色彩统计数据相匹配的目标视频帧，然后对目标视频帧的视频编码数据进行解码，得到解码后的视频图像，再从解码后的视频图像中检索出包含目标图片中的第一特征的视频图像。该实施例的视频图像检索方法解决了现有技术在图像检索过程中需要对图像进行临时解码与分析造成的图像检索效率低的技术问题，达到了提高视频图像检索效率的技术效果。

根据本发明实施例，还提供了一种视频图像检索装置，需要说明的是，该实施例中的视频图像检索装置可以用于执行本发明实施例中的视频图像检索方法，本发明实施例中的视频图像检索方法也可以在该实施例中的视频图像检索装置中执行。

图5是根据本发明实施例的视频图像检索装置的示意图，如图5所示，该视频图像检索装置包括：第一获取模块52，解析模块54，第二获取模块56和检索模块58。

第一获取模块52，用于获取目标图片的色彩统计数据，其中，目标图片的色彩统计数据为表征目标图片中第一特征的色彩的数据。

可选地，目标图片的色彩统计数据包括第一特征的色彩信息和第一特征的色彩信息对应的像素数量，其中，第一获取模块52包括：第一获取子模块，用于获取第一特征的色彩信息；第二获取子模块，用于获取视频帧的像素数量；第一计算模块，用于计算第一特征的尺寸在目标图片中所占的百分比；以及第二计算模块，用于计算第一特征的色彩信息对应的像素数量，其中，第一特征的色彩信息对应的像素数量为视频 帧的像素数量与百分比的乘积。

解析模块54，用于对预先存储的视频帧的封装层进行解析，获取视频帧的色彩统计数据，其中，视频帧是在将视频帧的色彩统计数据和视频编码数据进行封装后得到的。

第二获取模块56，用于将目标图片的色彩统计数据与视频帧的色彩统计数据进行匹配，获取匹配结果满足预设条件的目标视频帧。

可选地，视频帧的色彩统计数据包括视频帧中每个图像特征的色彩信息和每个图像特征的色彩信息对应的像素数量，其中，第二获取模块56包括：第一匹配模块，用于将第一特征的色彩信息与每个图像特征的色彩信息进行匹配；以及第二匹配模块，用于将第一特征的色彩信息对应的像素数量与每个图像特征的色彩信息对应的像素数量进行匹配。

检索模块58，用于按照第一特征对目标视频帧进行图像检索。

可选地，检索模块58包括：解码模块，用于将目标视频帧的视频编码数据进行解码，得到解码后的视频图像；判断模块，用于判断解码后的视频图像中是否包含第一特征；以及确定模块，用于当判断出解码后的视频图像中包含第一特征时，则将解码后的视频图像确定为目标图片的检索结果。

该实施例的视频图像检索装置中的第一获取模块52可以用于执行本发明实施例的视频图像检索方法中的步骤S402，解析模块54可以用于执行本发明实施例的视频图像检索方法中的步骤S404，第二获取模块56可以用于执行本发明实施例的视频图像检索方法中的步骤S406，检索模块58可以用于执行本发明实施例的视频图像检索方法中的步骤S408。通过该实施例的视频图像检索装置，解决了现有技术在图像检索过程中需要对图像进行临时解码与分析造成的图像检索效率低的技术问题，达到了提高视频图像检索效率的技术效果。

通过上述分析，本发明达到以下技术效果：

首先，本发明通过预先将视频图像的色彩统计数据存储至存储服务器，在视频图像检索过程中，首先从存储服务器中筛选出与目标图片的色彩统计数据相匹配的目标视频帧，然后对目标视频帧进行以图搜图算法，得到目标图片的检索结果，本发明只需要对与目标图片的色彩统计数据相匹配的视频帧图像进行解码，避免了对所有视频图像进行解码与分析造成的检索效率低的问题。

其次，本发明通过统计视频图像全局性的色彩信息，有效地规避了只对目标对象 进行检索造成的检索可靠性低的问题。

再次，本发明采用预先建立的预设场景颜色聚类表分析目标色彩对应的像素数量，有效地减少了因图像色彩偏差造成的检索准确率低的问题。

本发明可用于视频图像检索，尤其可有效地提高海量视频图像的检索效率，利用本发明可以有效地减少人工排查成本，缩短海量视频图像中关键事件和目标的定位时间。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。