一种基于安防视频的智能案情辅助分析系统及方法与流程

本发明属于信息技术领域，尤其涉及一种基于安防视频的智能案情辅助分析系统及方法。

背景技术：

自公安部以“科技强警”课题部署“3111工程项目”(即“平安城市”)试点建设以来，全国地市级城市基本上已经建设了治安视频监控系统。治安视频监控系统的建设为公安机关实现对社会治安状态的“快速反应、精确打击、全面控制”目标提供了有力的科技支撑，特别是通过视频监控系统提供视频信息(实时信息和事后录像)破获了大量的刑事案件。目前治安视频监控系统已经成为公安刑侦和疑犯查询工作中一个不可或缺的技术手段。当前，利用安防视频资源辅助案情分析的方法主要有两种：第一种是通过人工视频回放的方式辅助案件侦查和情报研判，这种方式主要依赖人工浏览视频的方式进行研判，存在效率低、易遗漏、易出错等缺点，但依然是当前市、县级案件侦查和研判的主要手段；第二种是通过构建视频结构化大数据平台，整合治安监控、治安卡口、交警监控、电子警察和智能卡口等各类视频监控资源，通过视频分析手段，提取视频中的目标对象和其运动轨迹，并把这些目标进一步分类为人、车、建筑物、自行车等不同类别以支持视频检索功能。这类系统平台通常被部署在市、省级以上公安系统内网，部署复杂、成本很高，不利于县以下级别公安局、派出所等基层开展应用，造成操作门槛高、普及率很低、效果一般。

技术实现要素：

针对上述问题，本发明提供一种基于安防视频的智能案情辅助分析系统，具有在案情辅助分析更简单、更方便、更有效等优点。

本发明的第二目的是提供一种基于安防视频的智能案情辅助分析方法。

一种基于安防视频的智能案情辅助分析系统，包括与视频源连接的视频文件上传和实时流接入模块，所述视频源提供用于辅助案情分析的视频资源，

用于把视频资源中的目标及运动轨迹有效提取出来的目标检测和对象跟踪模块，

用于各种执行所配置的各类视频分析算法的视频分析算法模块，

用于根据需要合成视频摘要的视频摘要生成模块，

对所辅助分析的案件进行综合管理的案情管理和辅助视频图侦模块，

用于实现案情分析员和本系统的交互操作的人机交互模块，

用于存储和案情有关的信息数据的案情管理数据库，

用于高效存储目标对象、特征信息、摘要视频、运动轨迹的图片快照和视频摘要索引库，

用于保存和案件有关的原始视频文件或实时视频流的原始视频数据库；

人机交互模块在接收案情分析员的命令后，调用案情管理和辅助视频图侦模块；案情管理数据库与图片快照和视频摘要索引库关联，图片快照和视频摘要索引库与原始视频数据库关联；

案情管理和辅助视频图侦模块调用视频分析算法模块、视频摘要生成模块，视频分析算法模块、视频摘要生成模块调用目标检测和对象跟踪模块，目标检测和对象跟踪模块对原始视频库进行分析，视频摘要生成模块、目标检测和对象跟踪模块均将生成结果保存至图片快照和视频摘要索引库，视频分析算法模块将预警返回至案情管理和辅助视频图侦模块；

案情管理和辅助视频图侦模块查询案情管理数据库，案情管理数据库将查询结果返回至案情管理和辅助视频图侦模块，案情管理数据库并保存查询记录；

案情管理和辅助视频图侦模块将分析结果返回人机交互模块。

作为一种优选，视频源包括视频文件和视频流，视频文件包括avi、mpeg4、wmv格式，视频流包括ip摄像头/dvr/nvr提供的实时视频流。

作为一种优选，视频文件上传和实时流接入模块将上传的视频文件存储到原始视频数据库，并把实时视频流通过视频格式编码转成标准的mpeg4视频格式文件再保存到原始视频数据库。

作为一种优选，目标检测和对象跟踪模块通过多目标检测和跟踪算法对视频文件或者实时视频流进行分析、处理，从而输出目标对象的大小、形状、颜色相关信息、图片快照、运动轨迹，并保存入图片快照和视频摘要索引库。

作为一种优选，多目标检测和跟踪算法包括基于多重分形谱(multi-fractalspectrum，mfs)和鲁棒主成分分析(robustprincipalcomponentanalysis,rpca)，实现在对视频源的分析过程中，同时把多个目标对象、目标对象各自的运动轨迹同时分析处理。

作为一种优选，在所述多目标检测和跟踪算法基础上，通过配置灵活植入各类智能视频分析算法，如：所述配置为入侵检测、分类检测、颜色检测、和人群聚集检测算法中的任意一种或几种，设置视频分析算法的触发条件，当视频分析算法的触发条件触发时，驱动案情辅助分析的流程活动。

作为一种优选，视频分析算法模块和视频摘要生成模块包含以下步骤：

(1)接收指令：接收案情管理和辅助视频图帧模块下达针对视频源分析及视频摘要制作的命令；

(2)视频文件或实时视频流被接入到目标检测和对象跟踪模块，该模块首先把原始视频文件存入原始视频数据库，对于实时视频流则对其进行编码，同步转换为一定的视频文件格式存入原始视频数据库。

(3)对视频源上传的文件通过均匀提取的方式进行关键帧提取；

(4)对关键帧进行前景、背景分离操作；

(5)调用目标检测和对象跟踪模块以提取目标对象、目标对象的运动轨迹、目标对象的相关信息、目标对象的图片快照；

(6)根据案情管理和辅助视频图帧模块所配置的视频摘要制作条件，对特定的目标对象，依据目标兑现管的运动轨迹的时间特性，生成所需的视频摘要文件，把这些视频摘要文件写入到图片快照和视频摘要索引库中，进一步建立视频源、运动对象、对象图片快照、运动轨迹、视频摘要文件之间的索引，以供后续检索操作使用；

(7)如果本视频源已经分析完毕，则结束本操作流程；否则，继续重复步骤(3)至步骤(6)，直到视频源分析完毕。

作为一种优选，人机交互模块包括：(1)普通的多条件选择输入或者条件属性输入；(2)自然语言文本输入。

作为一种优选，案情管理和辅助视频图帧模块包含案情的普通管理功能和基于视频分析的辅助图侦功能；所述普通管理功能包括建立案件、修改案件、删除案件、查询案件、上传案件附件；在所述辅助图侦功能中，通过对和案情有关的视频源进行视频分析、视频摘要生成，获取视频的视频内容和结构信息，然后通过建立案情和视频内容、结构信息之间的关联，用于辅助案情分析。

一种基于安防视频的智能案情辅助分析方法，采用上述一种基于安防视频的智能案情辅助分析系统，包括如下步骤：

(1)案情分析员在人机交互界面上输入普通查询文本或者多个固定的选择条件进行查询，如果为普通查询文本，需要进行语义理解，则调用自然语言处理(nlp)算法对该查询文本实现语义理解，并把查询请求映射为合适的关系数据库sql语句序列；否则，直接根据查询选择条件建立其和sql语句序列的关联；

(3)基于步骤(2)中的sql语句序列，查询案情管理数据库，获得和案情相关的视频源标识；

(4)依据视频源标识、结合步骤(2)中的sql语句的查询条件，检索图片快照和视频摘要索引库，以获取符合条件的嫌疑目标的图片快照、视频摘要片段；同时这些内容会以图形的方式被展示到人机交互界面，供案情分析人员做下一步的辅助图侦决策；

(5)案情分析员根据步骤(4)的嫌疑目标的图片快照、特征信息、视频摘要片段，并结合原始视频，进行辅助案情分析；

(6)案情分析员结合案情情况，对嫌疑对象，进行分析决策后的标定、归档工作，并把相应的结果保存到案情管理数据库中对应案件档案；

(7)案情分析人员如果需要继续进行辅助图侦操作，再继续重复上述步骤(2)至步骤(6)，如果决定终止，则流程结束。

本发明的有益效果：

1、本发明以“案情”为中心，以视频文件和ip摄像头等为主要视频源，把目标对象检测、对象跟踪、视频分析算法、视频摘要生成等高新技术融为一体，通过建立“案情、嫌疑目标图片快照、嫌疑目标摘要视频、原始视频”之间的关联关系，克服人工视频回放的案情辅助分析手段的相应弊端，以辅助加速案情分析；并且，该系统为单机系统，不需要多台计算机设备支持，故安装简单、使用方便、经济实用，更适应于更基层的公安局、派出所。

2、目标检测和对象跟踪算法采用基于多重分形谱(multi-fractalspectrum，mfs)和鲁棒主成分分析(robustprincipalcomponentanalysis,rpca)的多目标检测和跟踪算法，可把多个目标对象、他们各自的运动轨迹同时分析处理，从而提升目标提取和对象跟踪的效率。

3、本发明的人机交互模块，通过支持自然语言处理(nlp)和多条件输入，改变了现有方案仅仅支持文本多条件输入的交互模式，提升了案情分析员的用户体验，以及案情的综合管理能力和分析效率。

4、本发明以“案情”为中心，深入分析“案情、嫌疑目标图片快照、嫌疑目标摘要视频、原始视频、智能分析算法、案情分析工作流”直接的关联关系，建立了基于安防视频的智能案情辅助分析工作模型，进一步提升案情分析效率和准确度。

附图说明

图1为一种基于安防视频的智能案情辅助分析系统的示意图。

图2为一种基于安防视频的智能案情辅助分析方法的流程示意图。

图3为一种基于安防视频的智能案情辅助分析系统中的视频分析和视频摘要的流程示意图。

具体实施方式

下面结合附图对本发明做进一步的具体说明。

如图1所示，一种基于安防视频的智能案情辅助分析系统，它包括文件上传和实时流接入模块、目标检测和对象跟踪模块、视频分析算法模块、视频摘要生成模块、案情管理和辅助视频图侦模块、人机交互模块、案情管理数据库、图片快照和视频摘要索引库及原始视频数据库。

视频文件上传和实时流接入模块与视频源连接。视频源提供用于辅助案情分析的视频资源；视频源包括视频文件和视频流；视频文件包括avi、mpeg4、wmv等格式的文件，视频流包括ip摄像头/dvr/nvr等提供的实时视频流。视频源作为基于安防视频的案情分析的信息来源，通过视频文件上传和实时流接入模块被导入系统中进行分析和处理。视频文件上传和实时流接入模块把视频源中上传的视频文件存储到原始视频数据库，并把视频源中上传的实时视频流通过视频格式编码转成标准的mpeg4视频格式文件后再保存到原始视频数据库。

目标检测和对象跟踪模块用于把视频资源中的目标及对象的运动轨迹有效提取出来。在本模块中通过特定的目标检测和对象跟踪算法对原始视频数据库中的视频文件或者来自于视频源的实时视频流进行分析及处理，从而输出运动目标对象(简称目标对象)的大小、形状、颜色等相关信息、目标对象的图片快照、目标对象的运动轨迹等，并保存入图片快照和视频摘要索引库。最后，建立图片快照和视频摘要索引库与原始视频之间的关联。

目标检测和对象跟踪算法为多目标检测和跟踪算法。多目标检测和跟踪算法包括基于多重分形谱(multi-fractalspectrum，mfs)和鲁棒主成分分析(robustprincipalcomponentanalysis，rpca)，实现在对视频源的分析过程中，同时把多个目标对象、目标对象各自的运动轨迹同时分析处理。在本实施例中，在多目标检测和跟踪算法基础上，通过配置灵活植入各类智能视频分析算法，如：入侵检测、分类检测、颜色检测、人群聚集检测等算法，设置视频分析算法的触发条件，当视频分析算法的触发条件触发时，驱动案情辅助分析的流程活动。例如：入侵检测为通过在原始视频中确定区域划定边界，一旦有对象闯入即引发入侵检测事件；分类检测为根据目标对象的大小、形状等特征信息进行分类检测，如人、车分类；颜色检测为根据颜色对特定目标对象实现颜色检测；人群聚集检测为根据视频确定区域内出现的“人体”目标的数目来判定是否出现了“人群聚集”以预测突发群集事件。

视频分析算法模块用于各种执行所配置的各类视频分析算法。视频分析算法模块的执行依赖于目标检测和对象跟踪模块，即：在目标检测和对象跟踪模块的执行过程中通过配置条件触发相关视频分析算法的执行或者在目标检测和对象跟踪模块执行后再触发相关视频分析算法的执行。视频分析算法被上层的案情管理和辅助视频图侦模块所配置和调用，例如：针对一些案情相关视频，配置入侵检测、人群聚集检测等视频分析算法的开启或者关闭选项。视频分析算法的执行结果，会被作为预警响应反映到案情管理和辅助视频图侦模块，以支持案情管理和辅助视频图侦。

视频摘要生成模块用于根据需要合成视频摘要。视频摘要生成模块接收来自案情管理和辅助视频图侦模块的配置请求，依据目标检测和对象跟踪模块的处理输出(包括输出的目标对象的属性信息、目标对象的图片快照和目标对象的运动轨迹等)，把符合条件的目标对象经过一定的视频摘要生成算法形成摘要视频(又称为浓缩视频)，接下来，把摘要视频保存到图片快照和视频摘要索引库中，并建立案情、原始视频、目标对象、摘要视频、目标对象的图片快照之间的关联关系，以便于后续的检索等操作。

案情管理和辅助视频图侦模块用于对案件进行综合管理及对案件辅助分析。案情管理和辅助视频图侦模块包括案情的普通管理功能(案情的普通管理功能包括建立案件、修改案件、删除案件、查询案件、上传案件附件等)和基于视频分析的辅助图侦功能。在辅助图侦功能中，通过对和案情有关的视频源进行视频分析、视频摘要生成等，获取这些视频的视频内容和结构信息，然后通过建立案情和这些视频结构信息之间的关联，用于辅助案情分析。视频的结构信息主要指视频中所包含的运动目标对象在帧内和帧间之间的相对位置，以构成空间意义上的“结构”组成；例如：视频中所包含的目标对象和它们的大小、形状、颜色、类别等属性信息，这些对象在视频帧内和帧间的相对位置所构成的结构。

人机交互模块用于实现案情分析员和本系统进行交互操作，能够给案情分析员提供一种简单、方便、有效的人机交互接口，从而提升案情分析员的用户体验、案情的综合管理能力和分析效率，主要支持自然语言处理(nlp)和多条件输入的多种交互、查询和检索功能。人机交互模块包括两种人机交互接口，一是普通的多条件选择输入或者条件属性输入，例如：通过条件属性为时间、地点、颜色、大小、类别等来筛选符合上述条件的目标对象集合。另一是自然语言文本输入。其中，自然语言文本输入支持自然语言处理，即nlp。例如，案情分析员可以通过在输入框中输入：“2019年3月10日上午9点到12点，在广州天河岗顶出现的穿红色上衣的人”，那么，本方面的人机交互模块中的自然语言处理组件就会把上述输入文本进行准确理解，以合成合适的sql语句，查询符合上述含义的目标结果，并返回给案情分析员。

案情管理数据库用于存储和案情有关的信息数据。

图片快照和视频摘要索引库用于高效存储目标对象、特征信息、摘要视频、运动轨迹。

原始视频数据库用于保存和案件有关的原始视频文件或实时视频流。

人机交互模块在接收案情分析员的命令后，调用案情管理和辅助视频图侦模块；案情管理数据库与图片快照和视频摘要索引库关联，图片快照和视频摘要索引库与原始视频数据库关联；

案情管理和辅助视频图侦模块调用视频分析算法模块、视频摘要生成模块，视频分析算法模块、视频摘要生成模块调用目标检测和对象跟踪模块，目标检测和对象跟踪模块对原始视频库进行分析，视频摘要生成模块、目标检测和对象跟踪模块均将生成结果保存至图片快照和视频摘要索引库，视频分析算法模块将预警返回至案情管理和辅助视频图侦模块；

案情管理和辅助视频图侦模块查询案情管理数据库，案情管理数据库将查询结果返回至案情管理和辅助视频图侦模块，案情管理数据库并保存查询记录；

案情管理和辅助视频图侦模块将分析结果返回人机交互模块。

如图3所示，视频分析和视频摘要生成流程，详细步骤如下：

(1)前置条件：案情分析人员通过人机交互模块下达案情管理和视频分析指令，这些指令被案情管理和辅助视频图帧模块转换为针对视频文件或者实时视频流的视频分析和视频摘要制作的命令。

(2)视频文件或实时视频流被接入到目标检测和对象跟踪模块，该模块首先把原始视频文件存入原始视频数据库，对于实时视频流则对其进行编码，同步转换为一定的视频文件格式(例如mpeg4)存入原始视频数据库。

(3)对视频文件或者视频流通过均匀提取的方式进行关键帧提取，例如：每秒提取4到12帧不等。

(4)对关键帧进行前景、背景(或称为后景)分离操作。

(5)调用目标检测和对象跟踪模块以提取目标对象、目标对象的运动轨迹、目标对象(简称目标对象)的相关信息、目标对象的图片快照等。

(6)根据案情管理和辅助视频图帧模块所配置的视频摘要制作条件，对特定的目标对象，依据目标兑现管的运动轨迹的时间特性，生成所需的视频摘要文件，把这些视频摘要文件写入到图片快照和视频摘要索引库中，进一步建立视频源、运动对象、对象图片快照、运动轨迹、视频摘要文件之间的索引，以供后续检索操作使用。

(7)如果本视频源已经分析完毕，则结束本操作流程；否则，继续重复步骤(3)至步骤(6)，直到视频源分析完毕。

在第(5)步中，更为具体地，在调用目标检测和对象跟踪模块时，先提取目标对象、目标对象的运动轨迹；进一步地，继续提取目标对象的相关信息如：目标对象的颜色、大小、具体的图片等，以及目标对象所在帧的图片快照、运动轨迹的相关描述信息、时间戳等相关信息，并存入到图片快照和视频摘要索引库中，并建立视频源、目标对象、目标对象的图片快照、目标对象的运动轨迹之间的索引；更进一步地，根据案情管理和辅助视频图帧模块所配置的条件，执行一定的视频分析算法，如：入侵检测、目标分类、人车分离、人群聚集检测等算法，并通过把事件信息写入到案情管理数据库来触发报警事件。

在上述步骤(4)和(5)在计算机视觉领域中被称为视频的前背景分离、目标检测与跟踪、目标提取等，有许多具体的实现方法，例如：背景差分法、光流法、卡尔曼滤波、均值漂移、深度学习法、graphcuts等。本发明在实验过程中，采用了背景差分法、多重分形谱(multi-fractalspectrum，mfs)和鲁棒主成分分析(robustprincipalcomponentanalysis,rpca)等实现。

如图2所示，一种基于安防视频的智能案情辅助分析方法，采用上述一种基于安防视频的智能案情辅助分析系统，具体包括以下步骤：

(1)前置条件：如图3所示的视频分析和视频摘要制作流程已经执行完毕，和案情相关的视频资源已经完成视频分析、视频摘要处理，已获得相应的数据输出并存入相应的数据库中。

(2)案情分析员(如刑侦人员)在人机交互界面上输入普通查询文本或者多个固定的选择条件进行查询；如果为普通查询文本，需要进行语义理解，则调用自然语言处理(nlp)算法对该查询文本进行语义理解处理，并把查询请求映射为合适的关系数据库sql语句序列；否则，直接根据查询选择条件建立其和sql语句序列的关联。

(3)基于步骤(2)中的sql语句序列，查询案情管理数据库，获得和案情相关的视频源标识(视频源id)。

(4)依据视频源id、结合步骤(2)中的sql语句的查询条件，检索图片快照和视频摘要索引库，以获取符合条件的嫌疑目标的图片快照、视频摘要片段以及其他相关信息；同时这些内容会以图形的方式被展示到人机交互界面，供案情分析人员做下一步的辅助图侦决策。

(5)案情分析员根据步骤(4)的嫌疑目标的图片快照、特征信息、视频摘要片段等，并结合原始视频，进行辅助案情分析。

(6)案情分析员结合案情情况，对嫌疑对象(或目标)，进行分析决策后的标定、归档工作，并把相应的结果保存到案情管理数据库中对应案件档案。

(7)案情分析人员如果需要继续进行辅助图侦操作，再继续重复上述步骤(2)至步骤(6)，如果决定终止，则流程结束。

上述实施例为发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。