一种智能视频分析与监控系统的制作方法

本发明涉及视频监控技术领域，尤其涉及一种智能视频分析与监控系统。

背景技术：

随着模式识别技术的发展，针对视频中前景目标的检测、识别、跟踪等智能分析技术被广泛应用于智能视频监控系统中。从模拟视频监控系统到数字视频监控系统，再到如今如此普及的网络视频监控系统，不断被应用于城市交通管理、公安监控、厂房监督、小区治安等领域，视频监控系统已经成为当今社会生活中不可或缺的一部分。尤其是近年来随着智慧城市、智慧交通、智慧社区等领域迅速发展，更是促进了智能视频分析技术的发展。

目前绝大多数的视频监控系统都是从前端设备获取视频数据后直接解码并显示，仅在后台将解码后的图片录制成录像文件，以作存档，备事后取证，同时需要不间断的有监控工作人员在监控室盯着屏幕，以防在发生异常事件时可及时挽救或制止，但是工作人员总是会有疲惫期或者疏忽的时候，不能及时发现视频中发生的事件，甚至可能导致无法挽回的后果，这就促使智能视频分析系统的发展。智能视频分析系统直接实时分析摄像机前端拍摄的监控视频画面，用户可根据需求和目的设置警戒区域和触发报警的规则，分析结果满足规则后则报警，可在事情即将发生或未发生之前发现，能够做到有效预防或制止，与此同时将该图像画面进行存储留档以备取证，并将报警的详细信息存入数据库，以便后期进行查询。但是对视频进行实时智能分析耗费资源，且视频监控系统中通常有几十路甚至更多路视频，故而如何针对大量的监控视频同时进行实时的视频分析，有着重大意义。

技术实现要素：

本发明所解决的技术问题在于提供一种智能视频分析与监控系统，以解决上述背景技术中的缺点。

本发明所解决的技术问题采用以下技术方案来实现：

一种智能视频分析与监控系统，包括前端设备、视频存储服务器、视频分析服务器及客户端，其中，前端设备与视频存储服务器连接，视频存储服务器与视频分析服务器连接，视频分析服务器与客户端连接；前端设备包括网络摄像头与交换机，视频存储服务器包括视频流获取模块、视频存储模块，视频分析服务器包括视频数据接收模块、视频解码模块、视频分析模块、视频显示模块、报警规则设置模块、数据库操作模块及报警信息推送模块；客户端包括历史报警信息查询模块与报警响应模块；智能视频分析具体步骤如下：

1）通过网络摄像头采集监控区域的视频；

2）视频存储服务器中的视频流获取模块通过ffmpeg工具从交换机解析rtsp地址，以获取视频流，而后由视频存储模块将视频数据存储到视频存储服务器内；

3）视频分析服务器中，视频分析模块利用cuda架构的并行计算能力，使用图像并行处理方法直接对保存在视频存储服务器中的图像数据进行分析，若分析判断前景目标在警戒区域内的行为满足报警条件，则产生报警信号；同时保存图像留档取证，并将报警详细信息（报警地址、报警时间、报警图片存储位置等）保存到数据库中；报警后，所述报警信息推送模块发送报警信号给客户端；

视频分析模块分析图片包括图像预处理、背景建模、背景更新、目标检测、目标特征值提取、目标分析：

①使用高斯滤波、图像增强等图像预处理技术对解码后的图像进行预处理，以有效消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性；

②使用基于vibe的在线背景建模方法进行建立背景模型，在进行视频分析之前，只需少量背景图像样本就能够建立基于该背景的模型，该背景建模有效克服了离线背景建模方法建模耗时长的缺陷；

③使用步骤②中建立的背景模型，从预处理后的图像中提取运动中的前景目标，而后在提取该前景目标基于像素的特征值；

④将步骤③中提取的特征值与在警戒区域内设置针对该特征的报警条件进行比较，若不满足报警条件后则不报警；若达到报警条件，则产生警报信号，保存该图像取证，同时将报警的详细信息（例如报警时间、地点、图像存储路径等）存储于数据库中；

4）网络摄像头监控区域的背景为动态，故而使用一成不变的背景模型进行智能视频分析准确率通常很低，为克服这一困难，在背景建模技术中，采用背景更新策略，实时更新背景模型，以适应动态背景的变化，当网络摄像头的经纬度不变时，若检测到有前景目标超过一定时间范围始终被检测为运动目标，则将该前景目标更新为背景，有效避免因同一目标长时间报警的现象，也能够及时发现新产生报警的目标；当网络摄像头的经纬度在巡航过程中不断变化时，则在网络摄像头转到新位置时立刻重新进行背景建模，对新的监控区域建立新的背景模型；

5）对于视频监控中的视频，采用qt渲染技术能够同时显示至少五十路视频，满足对几十路摄像头同时进行实时分析且监控的需求，同时为了更为直观看监控区域，利用qt绘画功能将监控区域的边框使用白色多边形显示，若该区域产生报警信号，则使用红色多边形显示监控区域边框，以在视觉上提示工作人员有报警信息产生。

在本发明中，所述网络摄像头为支持rtsp协议的摄像头，包括枪型摄像头、球型摄像头、半球型摄像头，且支持云台控制功能的摄像头具有巡航功能。

有益效果：本发明采用cuda硬解码技术，有效降低cpu资源的占用率，cuda硬解码技术是基于gpu实现，故解码后的视频图像存储于显存中，再使用基于cuda的图像并行处理方法分析图像，无需将图像从显存拷贝到内存中，不仅减少显存与内存之间的数据交换，更进一步降低cpu资源的占用率，且并行处理技术加速分析过程，有效减少分析的时间消耗，为实现实时分析提供保障。

附图说明

图1为本发明的较佳实施例的结构示意图。

图2为本发明的较佳实施例中的报警规则设置流程图。

图3为本发明的较佳实施例中的智能视频分析与报警工作流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1～3的一种智能视频分析与监控系统，包括前端设备、视频存储服务器、视频分析服务器及客户端，其中，前端设备与视频存储服务器连接，视频存储服务器与视频分析服务器连接，视频分析服务器与客户端连接；前端设备包括网络摄像头与交换机，视频存储服务器包括视频流获取模块、视频存储模块，视频分析服务器包括视频数据接收模块、视频解码模块、视频分析模块、视频显示模块、报警规则设置模块、数据库操作模块及报警信息推送模块；客户端包括历史报警信息查询模块与报警响应模块。

在本实施例中，所述网络摄像头为支持rtsp协议的摄像头，包括枪型摄像头、球型摄像头、半球型摄像头，且支持云台控制功能的摄像头具有巡航功能。

在本实施例中，所述视频存储服务器中，视频流获取模块通过ffmpeg工具从前端设备解析rtsp地址，获取视频流，而后由视频存储模块将视频数据存储到服务器内。

在本实施例中，所述视频分析服务器中，报警规则设置模块用于对前端设备监控的警戒区域内某种特征值设置报警条件，且球型网络摄像头具有巡航功能，可在不同经纬度位置处设置多个警戒区域，每个警戒区域独立设置报警条件，系统则对每个警戒区域分时间段进行巡航监测。

在本实施例中，视频数据接收模块从视频存储服务器中获取视频数据，而后由视频解码模块将接收到的视频数据使用cuda硬解码技术进行解码，解码后的图像数据保存在显存中。

在本实施例中，视频分析模块充分利用cuda架构的并行计算能力，使用图像并行处理方法直接对保存在显存中的图像数据进行分析，若分析判断前景目标在警戒区域内的行为满足报警条件，则产生报警信号；同时保存图像留档取证，并将报警详细信息（报警地址、报警时间、报警图片存储位置等）保存到数据库中；报警后，所述报警信息推送模块发送报警信号给客户端。

在本实施例中，所述视频显示模块，将所述显存中的图像数据以及报警相关数据拷贝到内存中后，使用qt渲染技术显示视频图像。

在本实施例中，所述客户端中，历史报警信息查询模块远程连接数据库，按照查询条件对数据库中的报警详细信息进行模糊搜索，报警响应模块接收到报警信号后，做出相应的报警处理，如声控报警等。

在本实施例中，智能视频分析具体步骤如下：

1）网络摄像头采集监控区域的视频；

2）视频存储服务器中的视频流获取模块通过ffmpeg工具从前端设备解析rtsp地址，以获取视频流，而后由视频存储模块将视频数据存储到视频存储服务器内；

3）视频分析服务器中，视频分析模块利用cuda架构的并行计算能力，使用图像并行处理方法直接对保存在视频存储服务器中的图像数据进行分析，若分析判断前景目标在警戒区域内的行为满足报警条件，则产生报警信号；同时保存图像留档取证，并将报警详细信息（报警地址、报警时间、报警图片存储位置等）保存到数据库中；报警后，所述报警信息推送模块发送报警信号给客户端；

视频分析模块分析图片包括图像预处理、背景建模、背景更新、目标检测、目标特征值提取、目标分析：

①使用高斯滤波、图像增强等图像预处理技术对解码后的图像进行预处理，以有效消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性；

②使用基于vibe的在线背景建模方法进行建立背景模型，在进行视频分析之前，只需少量背景图像样本就能够建立基于该背景的模型，该背景建模有效克服了离线背景建模方法建模耗时长的缺陷；

③使用步骤②中建立的背景模型，从预处理后的图像中提取运动中的前景目标，而后在提取该前景目标基于像素的特征值；

④将步骤③中提取的特征值与在警戒区域内设置针对该特征的报警条件进行比较，若不满足报警条件后则不报警；若达到报警条件，则产生警报信号，保存该图像取证，同时将报警的详细信息（例如报警时间、地点、图像存储路径等）存储于数据库中；

4）网络摄像头监控区域的背景为动态，故而使用一成不变的背景模型进行智能视频分析准确率通常很低，为克服这一困难，在背景建模技术中，采用背景更新策略，实时更新背景模型，以适应动态背景的变化，当网络摄像头的经纬度不变时，若检测到有前景目标超过一定时间范围始终被检测为运动目标，则将该前景目标更新为背景，有效避免因同一目标长时间报警的现象，也能够及时发现新产生报警的目标；当网络摄像头的经纬度在巡航过程中不断变化时，则在网络摄像头转到新位置时立刻重新进行背景建模，对新的监控区域建立新的背景模型；

5）对于视频监控中的视频，采用qt渲染技术能够同时显示至少五十路视频，满足对几十路摄像头同时进行实时分析且监控的需求，同时为了更为直观看监控区域，利用qt绘画功能将监控区域的边框使用白色多边形显示，若该区域产生报警信号，则使用红色多边形显示监控区域边框，以在视觉上提示工作人员有报警信息产生。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。