一种异常事件报警高清视频智能处理器的制造方法与工艺

本发明适用于公共安全及反恐防暴领域，具体涉及一种异常事件报警高清视频智能处理器。本发明可对1080P及以上的高清视频流进行采集、编码、智能分析、报警、压缩、网络化传输等功能。

背景技术：
随着高速数字信号处理（DSP）性能的增强，视频智能分析算法可以由CPU处理转到DSP实时处理，智能视频分析实现平台由纯软件视频分析逐渐往嵌入式方向发展，嵌入式视频分析可以在前端直接对视频信息进行处理，具有高实时性。目前采用DSP和图像处理算法实现嵌入式视频分析是主流方法，应用中具有代表性的是DM642、DM643X等系列DSP平台。但是，随着智能视频分析应用环境越来越复杂，其算法的复杂性越来越高，而目前DSP的处理能力有限，已经不能满足某些复杂图像处理算法的需要。而更具智能的行为识别和理解更是需要大量的计算机资源，进行图像处理结果、模型、数据库保存数据之间的大量计算，从而对异常行为作出智能判断。因此，DSP的处理能力已成为瓶颈，难以开发功能强、性能高的DSP智能视频分析产品。国内出现了专门从事智能视频分析技术的公司或智能视频监控产品，如，中佳天威的ATM机智能监控系统、智安邦的仓库安防智能监控系统、北京富尼泰达的哨兵管控系统、汉王智能视频分析系统等等，都针对不同的领域，制定了相应的解决方案。但由于智能分析产品的环境适应性是一个制约产品工程化应用的瓶颈问题，而目前大部分智能视频监控系统的核心算法技术仍然掌握在美国以及欧洲地区等先进国家手中，市面上的所谓智能监控设备缺乏针对性，不能很好解决环境适应性问题，实用性不强。中国专利文献公开号CN203482326U公开了名称为《智能视频监控报警装置》的发明专利申请技术，该发明专利申请技术的技术方案是：包括DSP模块、无线模块、视频存储模块和图像传感器。图像传感器获取视频信号；DSP模块控制整个装置，并且能够对视频进行实时处理，监测异常事件；视频存储模块存储存在有异常事件的视频段；无线模块可以通过无线网络发送图像和报警信息给服务器，也可以向用户手机发送报警短信。在《智能视频监控报警装置》的发明专利中采用单一的DSP模块（常用的DM642模块）完成整个装置控制、视频实时处理、监测异常事件等多项工作，对复杂场景异常事件监测实际计算量需求来说，DSP处理能力有限，影响其报警准确度。

技术实现要素：
本发明要解决的技术问题在于，针对现有DSP视频分析产品难以适应复杂场景应用，智能视频监控的实现算法复杂、软件体系日益庞大，提供一种异常事件报警高清视频智能处理器。本发明的异常事件报警高清视频智能处理器包括视频A/D处理单元、智能视频分析单元DSP、H.264视频编码单元、中央处理单元ARM以及多个外设和总线接口，视频A/D处理单元与智能视频分析单元DSP相连接，智能视频分析单元DSP分别与H.264视频编码单元、中央处理单元ARM相连接，H.264视频编码单元中央处理单元ARM相连接，异常事件报警高清视频智能处理器数据传输及处理程序步骤为：S1：高清视频通过HD-SDI接口接入视频A/D处理单元，实现数字化处理，输出数字化的视频数据流到智能视频分析单元DSP；S2：智能视频分析单元DSP实现对数字图像的分析，实现目标检测和特征提取功能；S3：H.264视频编码单元接收智能视频分析单元DSP输出的叠加了分析数据的视频流，实现数字视频的编码压缩；S4：中央处理单元ARM实现设备各组成部分协调运行控制、设备各类接口的管理、视频的本地显示、数据的网络化传输，同时结合预警规则、异常事件模型，实现异常事件判定。本发明的异常事件报警高清视频智能处理器采用分布式混合架构模式，基于ARM+DSP硬件平台，充分利用DSP和ARM的硬件处理特性，降低了DSP图像处理分析压力及对DSP的性能要求，避免了由此带来的硬件成本大幅增加。在DSP上实现基本的背景建模、目标检测等通用算法，不同的应用场合的时间判断、预测逻辑在ARM上实现，这样针对不同应用领域只需定制修改ARM上的业务逻辑，使得DSP上图像处理算法具有重用性。同时进行基于业务规则的异常事件建模。通过深入分析反恐处突领域典型应用场景的业务规则模型，实现模型的形式化语义表达，针对典型监控场景建立丰富的先验知识库，利用视频图像处理得到的目标属性语义化处理，实现模型的匹配与判定。对事件的判定结果进行分析，总结出发展规律和趋势，在此基础上实现对事件的预测，根据事件判断发出报警，大大降低了误报率。附图说明图1为本发明的异常事件报警高清视频智能处理器的结构示意图；图2为本发明的LINK链接示意图；图3为本发明的工作流程图。具体实施方式下面将结合附图和实施例对本发明进行详细说明。如图1所示，本发明的异常事件报警高清视频智能处理器，基于TMS320DM8168实现。TMS320-DM8168是TIDavinci系列数字多媒体处理芯片，集成了4个内核和多个外设和总线接口。主要包括视频A/D处理单元11、智能视频分析单元DSP12、H.264视频编码单元13、中央处理单元ARM14。各处理单元由软件包装为LINK链接。外围高清视频采集设备15采集的高清视频通过HD-SDI接口接入视频A/D处理单元11。外设和总线接口包括：支持2路HDMI视频输入接口，或4路8BITHD-SDI视频输入，可接收多达16个通道的标清视频输入；1个1或2通道PCIe接口；2个千兆以太网接口；2个SATA接口和1个SD接口；1个HDMI输出，1个数字视频输出，1个模拟视频输出；1个GPMC接口，可连接NANDFLASH；3个UART，1个SPI，3个McASP；2个USB接口。视频A/D处理单元11采用TI公司的VPSSM3，用于视频的捕获、显示、缩放、转换滤波等。将接入并实现数字化处理，输出数字化视频数据流到智能视频分析单元DSP12。智能视频分析单元DSP12采用TI公司的C674xDSP，主频可达1GHz，处理能力可达8000/6000MIPS/MFLOPS。对数字化视频流进行数字图像分析、目标检测和特征功能提取，将叠加了分析数据的视频流传送给H.264视频编码单元13，将提取的参数数据和目标及特征数据传输给中央处理单元ARM14并接收其传输的智能预警规则信息。H.264视频编码单元13采用TI公司的VIDEOM3，进行数字视频的编码压缩，可用于MPEG、H264、VC-1、AVS等格式的编解码。中央处理单元ARM14采用TI公司的CortexA8ARM，主频可达1.2GHz，会接收来自H.264视频编码单元13的视频编码流，从外部IP网络接收智能预警规则和异常事件模型参数并向其传输编码、数据、报警流，实现设备各组成部分协调运行控制、设备各类接口管理、视频本地显示、数据网络化传输、预警规则、异常事件模型管理及异常事件判定等功能。中央处理单元ARM14运行于linux系统下，而视频A/D处理单元11、智能视频分析单元DSP12、H.264视频编码单元13运行于TI的BIOS系统下，各核共享DDR内存，相互之间可通过信号量和邮箱、内存共享机制进行同步控制和数据传递。如图2所示，本发明的LINK链接示意图。本发明应用开发基于TI公司的DVRRDK开发工具包，目前使用版本为3.0.0.0。在DVRRDK中，各软件处理单元包装为LINK，并赋予相应的输入输出控制参数。建立应用时，根据需要确定所需的LINK及其控制参数，按顺序前后关联起来，就能达到要求。图2中视频采集111、视频处理帧输出112、位流输出113为针对视频A/D处理单元11建立的LINK；DSP帧输入121、DSP处理122为针对智能视频分析单元DSP12建立的LINK；视频位流输入131、视频编码132、视频位流输出133为针对H.264视频编码单元13建立的LINK；ARM输入141为针对中央处理单元ARM14建立的LINK。应用从视频端口输入，视频帧送至智能视频分析单元DSP12进行分析处理，处理帧经压缩再送至中央处理单元ARM14，中央处理单元ARM14就可经网络将视频流和分析数据送出。图中视频采集111实现视频采集，运行于视频A/D处理单元11，DSP处理122进行视频分析处理，运行于智能视频分析单元DSP12，视频编码132实现视频的H264压缩编码，运行于H.264视频编码单元13，别的LINK用于各单元之间的数据传递。本发明工作流程如图3所示，步骤21为初始动作，实现预警规则及异常事件参数初始化设置。步骤22通过高清视频设备进行高清视频采集，经过视频编码之后输入智能视频分析单元DSP12进行步骤23DSP图像处理分析，并采用目标检测、类型识别、目标跟踪等算法，进行步骤24对采集数据进行是否为所需特征数据的判断，如果该判断是肯定的，则进行步骤25对目标特征数据的自动提取，重点采用帧间差分实现运动目标的提取，并通过边缘提取、像素统计、运动块匹配等实现人群的密度、位置、动向等特征提取，并通过在视频图像上叠加标示直观显示人群的密度分布。如果该判断是否定的，则继续输入步骤23继续进行数据分析。步骤26为提取出来的特征数据输入中央处理单元ARM14，在此单元中有基于业务规则建立的贝叶斯网络模型，此模型建立方法为分析人工通过现场视频分析、判定、预警异常事件的业务规则，明确需要智能判定的具体事件。针对具体事件，构建事件判定贝叶斯网络拓扑结构。收集具体事件的分析判定信息，处理后得到网络的参数，即各节点的相应概率，完成网络的构建。步骤27异常事件模板匹配为借助贝叶斯网络推理功能将信息在网络中传播，计算网络中各节点的后验概率，异常事件威胁度判定步骤如下：S1：设定异常事件分析与预警贝叶斯网络特征层、中间层及事件层，特征层元素{，，…，}为完备数据集，代表特征层每一个特征元素，中间层元素记为{，，…，}，代表中间层每一个特征元素，事件层元素记为C，其中处于某一状态记为，则某一的计算异常事件概率P公式为：=由上式展开得到公式：=S2：确立异常事件分析与预警贝叶斯网络的关系矩阵，记录元素A的n个可能的状态{}，代表特征层每一个特征元素对应的每个具体状态，元素B的m个可能的状态{}，代表中间层每一个特征元素对应的每个具体状态，则元素A与B的关系矩阵记为，大小为n*m；元素对应事件层C，其和中间层的关系矩阵记为；S3：根据特征层与中间层的依赖关系计算中间层变量的值，依赖关系矩阵为，表示当与特征层信息相关的中间层事件集合{}取某个特定的取值组合{}时特征层取值为的概率；S4：根据中间层与事件层的依赖关系计算中间层变量的值，依赖关系矩阵为，其中)表示事件层事件C取值为的时候，中间层取值为的概率；S5：重复执行步骤S3、S4，直到把事件层的所有异常事件概率值P（C=）均计算出来；S6：根据计算出的异常事件层概率值得到人群聚集区块的威胁大小。步骤28为异常事件类型判定，通过后验概率对事件作出类型判断。步骤29为判定事件是否异常，若判断为异常，则执行步骤31输出相应的事件及预警信息，若判断为无异常，则进行步骤30丢弃本组数据，重新接收特征信息进行判断。步骤32为判断是否正确报警，正确则执行步骤33在线优化先验数据库。先验数据模型的优化包括参数优化以及参数结构优化，优化方式包括在线优化和离线优化。在事件正确判断的情况下，可以根据各节点的后验概率对各节点的参数进行在线优化；判断不正确则执行步骤34，总结判断因素，对网络的结构进行调整。步骤35为结束工作。