一种通用视频智能分析方法与流程

1.本发明涉及智能视频监控、计算机视觉领域，具体涉及一种通用视频智能分析方法，用于提升视频智能分析应用的开发速度。


背景技术：

2.视频智能分析，如人脸识别、视频结构化分析等应用，一般都会涉及到视频读取、视频延时控制、感兴趣目标的检测、目标轨迹追踪、目标特征描述和视频显示及目标特征记录等关键环节。各环节的主要作用如下：
3.视频读取：读取本地视频文件或来自于录像设备的实时码流，将其解析为视频帧，视频读取可以通过基于cpu的软解码和基于显卡设备的硬解码实现；
4.视频延时控制：很多视频智能分析应用因其计算量大、复杂度高等特点，处理速度往往低于视频读取速度，而在输入视频为实时码流的情况下，长时间的阻塞视频读取往往会造成视频帧解码异常，因此就需要设计视频延时的处理策略以解决该问题；
5.感兴趣目标检测：通过视频智能分析手段从视频帧中捕获感兴趣目标的空间位置、大小等关键信息；
6.目标轨迹追踪：很多视频智能分析任务中都需要捕获感兴趣目标在不同帧中的位置信息，因此就需要跨视频帧描述目标的运动轨迹；
7.目标特征描述：目标特征描述依据智能分析任务的不同而不同，例如人脸识别应用中目标特征描述环节实现人脸检测、对齐、特征提取、匹配等环节，而视频结构化分析应用中目标特征描述环节则实现行人性别、年龄、衣物特征、装饰物特征的描述；
8.视频显示及目标特征记录：经过智能分析的视频需要进行图像显示及目标特征记录等工作，实现分析结果展示及分析结果保存为展示系统提供数据支持。
9.在不同的视频智能分析应用开发环节中，上述几个关键环节均为独立模块，开发速度慢，存在重复开发的问题。


技术实现要素：

10.本发明的目的在于设计一种通用视频智能分析方法，可以支持多种视频智能分析应用，提升新的视频智能分析应用的开发速度，避免重复开发过程中的潜在问题。
11.本发明的技术方案如下：
12.一种通用视频智能分析方法，其特征在于包括以下步骤：
13.(1)首先创建单例模式的vafw，将创建的多个stream对象及engine对象的指针记录到vafw中；
14.(2)各videostream对象负责视频帧读取及跳帧控制，imagestream对象负责图像读取，将读取的图像依据各engine的待处理数据情况选定最优engine送入进行组批；首先送入findengine进行目标检测和追踪，继而将图像分发到各stream，由各stream自己判断是否已达到触发目标分析的条件，对满足条件的目标进行筛选送入analyengine，
analyengine进行组批、分析操作后，将分析结果分发回各stream；
15.(3)显示及结果保存模块从vafw中请求各stream的图像和分析结果，如果某分析目标尚未进行分析，则显示图像时只从stream中请求目标的位置信息；如果某分析目标已经有了分析结果，则在显示图像时同时显示目标的位置和分析信息并予以存储。至此，完成整个视频智能分析过程。
16.本发明的优点在于：通过通用视频智能分析框架的设计与实现，只需根据不同的视频智能分析任务更换目标分析模型，可以快速实现不同视频智能分析任务的开发和实现，减少重复开发工作和规避重复开发过程中的潜在问题。
附图说明
17.图1所示是本发明提供的通用视频智能分析框架。
具体实施方式
18.如图1所示，本发明提出的一种通用视频智能分析方法，设计一个单例模式的分析框架，叫做vafw；一个vafw包括多个stream对象和多个engine对象；stream对象分为两类，分别为videostream和imagestream，表示视频流和图像序列流；engine对象分为两类，分别为findengine和analyengine，findengine实现视频帧中感兴趣目标的检测和轨迹追踪，analyengine实现目标的特征描述。videostream和imagestream分别读取视频帧和图像，并根据其复用帧队列的占用情况决定视频帧的跳帧策略。读取的视频帧由vafw根据各findengine正在处理的视频帧的情况将其送入待处理量最小的findengine，findengine接收到来自于不同stream的图像，将其组批进行目标检测、追踪，并最后将其分发到不同的原有的stream，同时将目标的检测、追踪结果也记录到对应的stream。各stream收到目标的检测、追踪结果及分发的视频帧后，依据其包含的检测目标是否已满足触发目标描述的条件及各追踪目标是否已进行描述，将需要进行描述的目标进行图像质量诊断，选取符合要求的目标快照送入analyengine的输入队列，将来自于不同stream的需要进行分析的图像组批、分析之后再分发到各stream，并将分析结果记录到对应stream中。至此，就完成了整个的视频读取、跳帧控制、目标检测、目标跟踪和目标分析过程。外部显示及记录模块从各stream请求视频帧，如果此时该视频帧尚未完成目标分析过程，则在反馈视频帧的同时也将目标的检测和追踪结果进行返回，如果该视频帧包含的目标是已完成了分析的目标，则此时也将目标的分析结果进行返回。外部程序可以实现目标分析结果的显示和保存以实现展示系统。
19.本发明的具体实现方法如下：
20.(1)首先创建单例模式的vafw，将创建的多个stream对象及engine对象的指针记录到vafw中；
21.(2)各videostream对象负责视频帧读取及跳帧控制，imagestream对象负责图像读取，将读取的图像依据各engine的待处理数据情况选定最优engine送入进行组批；首先送入findengine进行目标检测和追踪，继而将图像分发到各stream，由各stream自己判断是否已达到触发目标分析的条件，对满足条件的目标进行筛选送入analyengine，analyengine进行组批、分析操作后，将分析结果分发回各stream；
22.(3)显示及结果保存模块从vafw中请求各stream的图像和分析结果，如果某分析目标尚未进行分析，则显示图像时只从stream中请求目标的位置信息；如果某分析目标已经有了分析结果，则在显示图像时同时显示目标的位置和分析信息并予以存储。至此，完成整个视频智能分析过程。