一种视频处理方法、装置及存储介质与流程

本申请涉及视频处理技术领域，具体而言，涉及一种视频处理方法、装置及存储介质。

背景技术

根据市场调查报告显示，在中国公共场所中有1.76亿个摄像头，预计在2020年摄像头将会增加到6.26亿个，通过摄像头，每秒收集视频的数据量可以达到66tb，数据量非常庞大，但是这些监控摄像头智能化程度不高，通常只能进行常规拍摄，拍摄得到的视频图像信息量较少，且视频图像与相关信息的关联程度较低，当用户需要查找特定目标时，往往需要从庞大的视频库中调阅多段录像，反复查看，花费的时间较多，准确度较低。

技术实现要素：

有鉴于此，本申请的目的在于提供一种视频处理方法、装置及存储介质，可以增加视频图像的信息含量，加强视频图像与相关信息的关联性。

第一方面，本申请实施例提供了一种视频处理方法，其中，包括：

获取视频；

对所述视频进行处理，得到包含有预设目标物的目标图像；

对所述目标图像进行结构化处理，得到所述目标图像中具有预设目标物及其属性特征的结构化数据；

将所述属性特征显示在具有所述预设目标物的目标图像上。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，对所述视频进行处理，得到包含有预设目标物的目标图像，包括：

在所述视频中识别出所述预设目标物，并提取出含有所述预设目标物的图像，作为待测图像；

对所述待测图像进行检测，并根据检测结果赋予所述待测图像质量分数，得到检测后的图像，由检测后的图像构成检测后的图像集；

从检测后的图像集中选择质量分数最高的检测后的图像作为目标图像。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，对所述视频进行处理，得到包含有预设目标物的目标图像，包括：

根据所述预设目标物在所述待测图像中占据面积的大小，得到所述待测图像的面积分数；

根据所述预设目标物在所述待测图像中是否被障碍物遮挡，得到所述待测图像的遮挡分数；

根据所述预设目标物在所述待测图像中的清晰度，得到所述待测图像的清晰度分数；

根据所述面积分数、所述遮挡分数以及所述清晰度分数，赋予所述待测图像质量分数。

结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，其中，对所述待测图像集中的待测图像进行分析，并根据分析结果给每张待测图像赋予一个权值，包括：将所述结构化数据以文本形式进行存储。

结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中，将所述属性特征显示在所述目标图像上，包括：

在所述目标图像上，将所述预设目标物高亮显示；

将所述属性特征显示在所述预设目标物周围。

第二方面，本申请实施例提供了一种视频处理装置，其中，包括：

获取单元，用于获取视频；

图像截取单元，用于对所述视频进行处理，得到包含有预设目标物的目标图像；

结构化处理单元，用于对所述目标图像进行结构化处理，得到所述目标图像中具有预设目标物及其属性特征的结构化数据；

显示单元，用于将所述属性特征显示在具有所述预设目标物的目标图像上。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，图像截取单元进一步用于：

在所述视频中识别出所述预设目标物，并提取出含有所述预设目标物的图像，作为待测图像；

对所述待测图像进行检测，并根据检测结果赋予所述待测图像质量分数，得到检测后的图像，由检测后的图像构成检测后的图像集；

从检测后的图像集中选择质量分数最高的检测后的图像作为目标图像。

结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第二种可能的实施方式，其中，图像截取单元进一步用于：

根据所述预设目标物在所述待测图像中占据面积的大小，得到所述待测图像的面积分数；

根据所述预设目标物在所述待测图像中是否被障碍物遮挡，得到所述待测图像的遮挡分数；

根据所述预设目标物在所述待测图像中的清晰度，得到所述待测图像的清晰度分数；

根据所述面积分数、所述遮挡分数以及所述清晰度分数，赋予所述待测图像质量分数。

第三方面，本申请实施例提供了一种电子设备，其中，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述的一种视频处理方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器运行时执行上述的一种视频处理方法的步骤。

本申请实施例提供的一种视频处理方法，通过对视频图像进行结构化处理，得到包含有预设目标物属性特征的结构化数据，进而将结构化数据显示在目标图像上。与相关技术中视频图像只能提供少量的信息相比，其通过将预设目标物的结构化数据与目标图像结合展示，可以增加视频图像显示的信息内容，加强视频图像中预设目标物与其相应的属性特征的关联性，使用户的查看更加具有针对性，进而提高用户查阅视频图像的效率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种视频处理方法的流程图；

图2示出了本申请实施例所提供的提取目标图像的流程图；

图3示出了本申请实施例所提供的显示车辆属性特征的目标图像的示意图；

图4示出了本申请实施例所提供的一种视频处理装置的功能单元框图；

图5示出了本申请实施例提供的执行一种视频处理方法的电子设备的硬件结构的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于对本实施例进行理解，首先对本申请实施例所公开的一种视频处理方法进行详细介绍。

实施例一

图1为本申请实施例提供的一种视频处理方法的流程图，如图1所示，一种视频处理方法包括以下步骤：

s110、获取视频。

在本步骤中，从加油站、停车场、卡口相机等监控设备中获取视频。

s120、对所述视频进行处理，得到包含有预设目标物的目标图像。

在本步骤中，基于人工神经网络，对视频进行预设目标物的识别，预设目标物可以是行人，机动车，人脸等，识别出预设目标物后，从视频中提取出一帧或多帧包含有预设目标物的图像，对提取出一帧或多帧包含有预设目标物的图像进行筛选，选出一帧清晰的图像作为目标图像。

s130、对所述目标图像进行结构化处理，得到所述目标图像中具有预设目标物及其属性特征的结构化数据。

在本步骤中，基于人工神经网络，识别出预设目标物的属性特征，属性特征可以是人的性别、年龄以及衣着，机动车的车牌、品牌以及颜色，人脸的脸型、表情以及容貌等，进而再对识别出的属性特征进行结构化处理，得到相应的结构化数据。

s140、将所述属性特征显示在具有所述预设目标物的目标图像上。

将属性特征显示在目标图像上，显示方式可以是成环形显示在预设目标物的周围，也可以是集中显示在预设目标物的一侧。

采用本申请实施例的方法，通过将预设目标物的结构化数据与目标图像结合展示，可以增加视频图像显示的信息内容，加强视频图像中预设目标物与其相应的属性特征的关联性，使用户的查看更加具有针对性，进而提高用户查阅视频图像的效率。

图2为本申请实施例提供的提取目标图像的流程图，如图2所示，提取目标图像包括以下步骤：

s121、在所述视频中识别出所述预设目标物，并提取出含有所述预设目标物的图像，作为待测图像。

在本步骤中，预设目标物可以是人、机动车、人脸等，选取一特定预设目标物，根据该特定预设目标物的轮廓以及图像特征值，在所述视频中逐帧识别出预设目标物，并对预设目标物进行追踪，对含有预设目标物的每帧图像进行标记，从所述视频中提取出标记的图像，作为待测图像。

s122、对所述待测图像进行检测，并根据检测结果赋予所述待测图像质量分数，得到检测后的图像，由检测后的图像构成检测后的图像集。

在本步骤中，对待测图像进行检测，根据不同的检测内容，分别给待测图像一个分数。具体方式如下：

根据所述预设目标物在所述待测图像中占据面积的大小，得到所述待测图像的面积分数，预设目标物占据整张图像90％且可以看到完整预设目标物时，为满分，图像占据面积越小，面积分数越低。

根据所述预设目标物在所述待测图像中是否被障碍物遮挡，得到所述待测图像的遮挡分数，预设目标物没有被遮挡时，为满分，当预设目标物被障碍物遮挡时，被遮挡的部分越多，遮挡分数越低。

根据所述预设目标物在所述待测图像中的清晰度，得到所述待测图像的清晰度分数，当可以观察到预设目标物的所有属性特征时，清晰度为满分，预设目标物越模糊，清晰度分数越低。

根据所述面积分数、所述遮挡分数以及所述清晰度分数，结合其对应的权值，计算出所述待测图像质量分数。

将检测后的图像以及其对应的分数构成检测后的图像集。

s123、从检测后的图像集中选择质量分数最高的检测后的图像作为目标图像。

在本步骤中，需要挑选出一张最适宜结构化处理的图像，因此，经过上述对待测图像的质量进行量化后，选取质量分数最高的图像作为目标图像，用来进行接下来的结构化处理。

在得到目标图像后，根据预设目标物的不同类型，得到其对应的结构化数据，具体的：

当预设目标物的类型为机动车时，识别的属性特征包括：颜色、品牌型号、年款、车牌、类型等机动车自身的特征。主副驾驶人员是否使用安全带、主驾驶人员在开车过程中是否使用电话、主副驾驶人员的人脸信息等机动车内人员的属性特征。为了识别假牌车和套牌车，还需要提取机动车的年检标、遮阳板、挂坠、摆件、纸巾盒、天窗、行李架、备胎、撞损痕等个性化属性特征。在识别车牌信息时除了车牌上的字符信息，还会识别车牌的颜色和种类信息。同时将车辆类型按照国标会划分为21大类和车身的13种颜色信息，便于后续的存储和检索。

当所述预设目标物的类型为人时，识别的属性特征包括：性别(男、女)、年龄(小孩、青年、中年以及老年)、样貌(发型、发色以及胡须等)、着装(颜色、纹理、款式以及类型等)、装饰物(眼镜、口罩以及帽子等)、随身物品(雨伞、行李箱以及背包等)，为了保证特征识别的准确率，在识别年龄特征的时候不会考虑预设目标物具体多少岁，而是识别预设目标物所处的年龄阶段。

当所述预设目标物的类型为人脸时，识别的属性特征包括：性别(男、女)、年龄(小孩、青年、中年、老年)、样貌(发型、发色以及胡须等)、表情(喜、怒、哀、乐等)。为了保证特征识别的准确率，在识别年龄特征的时候不会考虑预设目标物具体多少岁，而是识别预设目标物所处的年龄阶段。在另一实施例中，元数据结构还可以包括车辆的基本属性信息，如：摄像头地址、目标进出摄像头的时间、目标在当前监控节点的轨迹信息、目标的外观颜色、目标的车牌号或者是目标的截图中的至少一种。

可以理解的是，上述属性特征可以是根据需要进行初始设定，也可以是在初始设定之后根据用户的需要在已设定的众多属性特征中特别指定需要获取的属性特征。

结构化数据具有固定的数据结构，在进行数据交换时，可以避免因为交换过程中涉及的数据格式差异、数据平台支持的数据结构差异等原因，导致数据交换后的数据无法有效还原原始内容。

当得到目标图像中的结构化数据后，基于预设的格式化语言，将结构化数据以文本形式进行存储，文本形式的结构化数据具有固定的数据结构，并且，结构化数据内容中包括目标图像中预设目标物的属性特征的文字内容，可以用于描述目标图像的预设目标物。

例如，以格式化语言可以将机动车的属性特征描述为：

机动车颜色、机动车品牌、机动车型号、机动车年款等。

以格式化语言可以将人的属性特征描述为：

男人、女人、年龄、发型、发色等。

在本申请实施例中，根据目标图像，提取出目标图像的特征码，根据预设目标物的属性特征以及预设目标物的特征码，赋予预设目标物唯一的标识，根据预设目标物赋予唯一的标识可以便于用户对预设目标物的的跨镜头追踪、以图搜图、行驶轨迹复现、数据挖掘以及检索等，例如，选取含有相同标识的机动车在多个摄像头下拍摄的目标图像，可以从多个角度观察机动车，进而得到机动车更为完整的属性特征，当极为近似的两辆机动车的只有号牌不同时，可以提示该机动车存在套牌的可能。

图3为本申请实施例提供的显示属性特征的目标图像的示意图，如图3所示，在得到目标图像以及预设目标物的结构化数据后，可以将结构化数据中预设目标物的属性特征显示在目标图像上。

具体的，在用户查看目标图像时，可以高亮显示预设目标物，并将预设目标物的属性特征显示在预设目标物周围，如车身颜色、车内信息、品牌型号、车辆号牌、车辆类型、驾驶人等，并在图中示出了每种属性特征可能展示的内容。在相关技术中，用户在查看目标图像时，目标图像显示在一侧，预设目标物的属性特征显示在另一侧或者不显示，属性特征具体是在描述目标图像中哪个目标物让用户难以确认，采用本申请实施例的方法，一方面高亮显示预设目标物，另一方面可以使得预设目标物的属性特征直观的显示在预设目标物的附近，让用户在查看目标图像的同时得知预设目标物的属性特征，使得用户的查阅更加效率。

在本申请实施例中，采用人工神经网络实现上述步骤，通过人工神经网络可以从视频中预测出预设目标物的位置和属性。此外，人工神经网络是多任务学习框架，预设目标物目标的多种属性特征可以同时学习，共享网络，从而极大地降低计算量。针对预设目标物不同视角的检测识别，人工神经网络利用迁移学习，使相邻视角之间互相借鉴特征，达到更优异的识别精度。其中，人工神经网络使用反向传播算法进行学习，采用gpu集群训练参数，进一步地，可以结合神经网络加速技术，如定点化、二值化、网络裁剪、blas技术、并行计算等，实现更加快速的学习。

在本申请实施例中，可以将得到的视频以及结构化数据存储起来，用于数据挖掘和检索，其中，通过结合结构化数据中的预设目标物的属性特征以及预设目标物的特征码，可以进行语义或目标的检索，也可以进行跨境头追踪、以图搜图、行驶轨迹复现等并具有更高的准确率。

在本申请实施例中，可以通过以下方式进行视频以及结构化数据的存储：

首先，对获取的视频进行切割，将切割后的视频存入采用自定义的文件格式的开源分布式文件系统hdfs。为了便于对视频的检索挖掘，还需要存储视频中的图像对应的结构化数据。

随着结构化数据的积累，数据管理系统中可能存有数十亿、甚至数百亿的数据信息，本申请实施例通过采用key-value存储结构的开源分布式系统hbase，实现海量结构化数据的存储，同时也保证了结构化数据的扩展性。

通过上述方式存储海量的视频和结构化数据，在确保底层数据的高可用性、可靠性的前提下为后续的检索和数据挖掘提供有力保障。

在本申请实施例中，可以通过以下方式进行视频以及结构化数据的检索：

在海量的视频中快速检索到所需的信息能够有效提高工作效率，本申请实施例采用分布式集群，多机联合检索的方式，在百亿级的数据中根据任意条件进行检索，平均检索时间仅需2～3秒。

关键字检索是目前最有效、最常用的检索方式，它根据存储的结构化数据进行检索，这些结构化数据会事先与相关图像建立索引，再根据关联程度进行排序。

基于内容的检索是将来的发展趋势，在本申请实施例中通过以图搜图的检索方式进行阐述。

首先，接收用户传入的图片，获取图片的结构化数据以及图片的特征码，根据结构化数据以及特征码，在数据库中分别进行检索，将检索的结果发送给用户。这种检索方式无需用户输入检索的关键字，仅需传入图片即可进行检索，进一步的，本申请实施例采用根据图片的结构化数据以及特征码进行双重检索，提高了检索的准确率。

极速检索是指在海量数据中进行快速检索，在用户在输入时检索关键字时，通过分析用户输入内容的语义信息，实时展示给用户当前的检索结果，用户可以根据检索结果改变检索策略，提高检索效率。

在本申请实施例中，可以通过以下方式进行视频以及结构化数据的数据挖掘：

根据用户的需要，在视频中可以设定一时刻作为起点，再设定另一时刻作为终点，截取从起点到终点之间的视频，并按照时间顺序逐帧进行预设目标物的识别，具体的，通过预设目标物的特征码以及预设目标物的结构化数据，识别预设目标物。将识别出的预设目标物与数据库中的人物进行比对，如果发现是数据库中的黑名单人物，则发出声光提示报警信息，黑名单人物包括记录在案、犯罪嫌疑、在逃或通缉对象等，固定点警务站的警察便可采取行动抓捕犯罪嫌疑人。

在本申请实施例中，可以通过设定定时任务以及挖掘策略在后台进行离线数据挖掘，将挖掘出的信息以统计报表的形式呈现，用户可以随时查阅这些信息。

可选地，数据挖掘可以根据用户的需要对预设目标物进行挖掘，还可以根据用户的操作习惯，对操作界面进行调整，例如经常检索的内容可以推送至较显眼的位置。

基于相同的技术构思，本申请实施例还提供一种视频处理装置、电子设备、以及计算机存储介质等，具体可参见以下实施例。

实施例二

图4为本申请实施例提供的一种视频处理装置的功能单元框图，如图4所示，本申请实施例提供一种视频处理装置，包括：

获取单元210，用于获取视频；

图像截取单元220，用于对所述视频进行处理，得到包含有预设目标物的目标图像；

结构化处理单元230，用于对所述目标图像进行结构化处理，得到所述目标图像中具有预设目标物及其属性特征的结构化数据；

显示单元240，用于将所述属性特征显示在具有所述预设目标物的目标图像上。

可选的，图像截取单元220进一步用于：

在所述视频中识别出所述预设目标物，并提取出含有所述预设目标物的图像，作为待测图像；

对所述待测图像进行检测，并根据检测结果赋予所述待测图像质量分数，得到检测后的图像，由检测后的图像构成检测后的图像集；

从检测后的图像集中选择质量分数最高的检测后的图像作为目标图像。

可选的，图像截取单元220进一步用于：

根据所述预设目标物在所述待测图像中占据面积的大小，得到所述待测图像的面积分数；

根据所述预设目标物在所述待测图像中是否被障碍物遮挡，得到所述待测图像的遮挡分数；

根据所述预设目标物在所述待测图像中的清晰度，得到所述待测图像的清晰度分数；

根据所述面积分数、所述遮挡分数以及所述清晰度分数，赋予所述待测图像质量分数。

实施例三

本申请实施例提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令被处理器运行时执行上述申请实施例中的一种视频处理方法。

实施例四

图5为本申请实施例提供的执行一种视频处理方法的电子设备的硬件结构的示意图，如图5所示，该设备包括：

一个或多个处理器310以及存储器320，图5中以一个处理器310为例。

处理器310和存储器320可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器320作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的一种视频处理方法对应的程序指令/模块。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述申请实施例中的一种视频处理方法。

存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种视频处理方法的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或其他非易失性固态存储器件。在一些实施例中，存储器320可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至运行一种视频处理方法的处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器320中，当被一个或者多个处理器310执行时，执行上述任意申请实施例中的一种视频处理方法。

本申请实施例所提供的进行一种视频处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面申请实施例中所述的方法，具体实现可参见申请实施例，在此不再赘述。

本申请实施例所提供的一种视频处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述申请实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述申请实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述申请实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。