智慧园区监控保护系统的制作方法

本发明涉及智慧园区和监控安防领域，尤其涉及一种智慧园区监控保护系统。

背景技术：

智慧园区解决方案以建设“可持续发展的智慧园区”为目标，融合物联网、互联网、大数据等新技术，实现园区从单场景智能迈向整体智慧化，最终实现全方位、精益化园区管理。

园区中的文物是旅游资源不可或缺的重要组成部分。文物设施可以推动旅游事业的有序和谐发展文物设施作为一项重要的旅游资源，充分利用它、保护它，可以推动旅游事业的有序和谐发展。

实际生活中，许多文物因超负荷地进行游客接待缺少严格的监管而遭到游客破坏。同时，人为监管费时费力，且在旅游区地段设立相应的警示、宣传和标识也并不能很好的阻止有些游客的恶意破坏和损毁文物的行为，因此，伴随着民众性多方位旅游活动的兴起和旅游业的迅猛超常的发展，为园区监控保护工作带来越来越大挑战。

技术实现要素：

针对现有技术之不足，本发明提供了一种智慧园区监控保护系统，包括园区摄像机、园区管理云平台和园区报警设备，园区管理云平台分别与园区摄像机和园区报警设备之间具有通信连接；

园区管理云平台包括视频处理模块、图像分析模块、动作分析模块、行为预测模块、意图识别模块和警报生成模块；

园区摄像机对目标监视范围内的场景进行实时监控，并将监控过程中实时采集到的区域监控视频发送至园区管理云平台；

视频处理模块对所述区域监控视频进行图像帧分割以得到若干视频图像帧，并对所有视频图像帧进行锐化处理以提高每个视频图像帧的图像对比度得到场景分析图像集；

图像分析模块的区域识别单元根据所有场景分析图像的图像序列和像素特征获取每个场景分析图像中在时间域上发生变化的若干运动像素点，并根据若干运动像素点识别每个场景分析图像的图像运动区域；

图像分析模块的特征分析单元对每个场景分析图像的图像运动区域进行行人检测以识别每个游客的面部所在区域，并根据人体结构相关性和每个游客的面部所在区域进行特征分析以得到每个游客的人体表征信息和在图像坐标系上的位姿坐标；

图像分析模块的置信度分析单元根据每个游客在图像坐标系上的位姿坐标进行坐标变换以得到每个游客的实际位姿坐标，并根据每个游客的实际位姿坐标对每个游客的行为倾向进行分析以得到对应游客的行为置信度；

图像分析模块的结构分析单元在确定所述行为置信度大于预设置信阈值时，对相应游客的人体表征信息中的外轮廓特征进行结构分析以得到对应游客的若干骨骼关键点；

动作分析模块根据每个骨骼关键点的位置信息和不同骨骼关键点所处区域的区域相关性得到若干位置关联的骨骼关键点之间的方向特征向量，并根据所有方向特征向量得到对应游客的静态动作特征；

行为预测模块根据每个游客的若干静态动作特征和对应场景分析图像的图像序列得到每个游客的动作特征序列，并根据每个游客的动作特征序列对每个游客的肢体运动轨迹进行预测以得到对应游客的行为预测轨迹；

意图识别模块根据每个游客的预测运动轨迹对每个游客下一时刻的动作进行意图识别以得到对应游客的行为意图；

警报生成模块在确定所述行为意图具有破坏倾向时，根据报警设备标识符生成相应的警报指令，并将其发送至对应的园区报警设备以供园区报警设备在游客破坏园区设施之前发出警报声。

根据一个优选实施方式，所述园区摄像机包括：球形摄像机、半球形摄像机、枪式摄像机、一体化摄像机、红外摄像机。

根据一个优选实施方式，图像分析模块的区域识别单元根据所有场景分析图像的图像序列和像素特征获取每个场景分析图像中在时间域上发生变化的若干运动像素点包括：

区域识别单元获取每个场景分析图像中每个像素点的像素特征和位置信息，并根据每个像素点的像素特征在色度空间中的颜色分量识别图像序列中同一位置上的像素点在时间域上的像素值差；

区域识别单元将在时间域上的像素值差大于差值阈值的像素点作为运动像素点。

根据一个优选实施方式，图像分析模块的特征分析单元对每个场景分析图像的图像运动区域进行行人检测以识别每个游客的面部所在区域包括：

特征分析单元对每个场景分析图像的图像运动区域进行特征点提取以得到每个图像运动区域的若干区域特征点；

特征分析单元根据每个区域特征点的位置信息计算每个区域特征点之间的相对距离和相对角度以得到每个区域特征点之间的几何特征向量，并根据每个区域特征点之间的几何特征向量进行曲率分析以得到每个图像运动区域的若干特征点局部轮廓特征；

特征分析单元将每个图像运动区域的若干特征点局部轮廓特征与标准人脸轮廓特征进行匹配以识别每个游客的面部所在区域。

根据一个优选实施方式，图像分析模块的特征分析单元根据人体结构相关性和每个游客的面部所在区域进行特征分析以得到每个游客的人体表征信息和在图像坐标系上的位姿坐标包括：

特征分析模块根据每个游客的面部所在区域对每个游客的面部结构进行分析以得到每个游客的面部五官特征；

特征分析单元根据人体结构相关性和每个游客的面部所在区域对每个图像运动区域进行人体识别以得到每个游客的人像所在区域；

特征分析单元对每个游客的人像所在区域进行特征提取以得到每个游客的人体轮廓特征，并对每个游客的人体轮廓特征进行形状识别以得到每个游客的姿态信息。

根据一个优选实施方式，图像分析模块的特征分析单元根据人体结构相关性和每个游客的面部所在区域进行特征分析以得到每个游客的人体表征信息和在图像坐标系上的位姿坐标包括：

特征分析单元根据每个游客的人体轮廓特征和面部五官特征为每个游客构建对应的人体表征信息；

特征分析单元根据每个游客的姿态信息和每个游客的人像所在区域与对应场景分析图像中目标监控文物设施的相对距离得到每个游客在图像坐标系上的位姿坐标。

根据一个优选实施方式，图像分析模块的置信度分析单元根据每个游客在图像坐标系上的位姿坐标进行坐标变换以得到每个游客的实际位姿坐标包括：

置信度分析单元根据对应场景分析图像的视差信息将每个游客在图像坐标系上的位姿坐标变换至对应的场景空间坐标系中以得到每个游客的实际位姿坐标。

根据一个优选实施方式，所述视差信息为场景分析图像以目标监控文物设施为参照物的拍摄角度和拍摄距离。

根据一个优选实施方式，图像分析模块的置信度分析单元根据每个游客的实际位姿坐标对每个游客的行为倾向进行分析以得到对应游客的行为置信度包括：

置信度分析单元根据每个游客的实际位姿坐标获取对应游客身体占据行为跟踪空间的空间占比，并将所述空间占比转化为对应游客的行为置信度。

根据一个优选实施方式，警报生成模块在确定所述行为意图具有破坏倾向时，根据报警设备标识符生成相应的警报指令包括：

警报生成模块根据园区摄像机的摄像机标识符从数据库中获取对应地点的报警设备标识符，并根据所述报警设备标识符生成相应的报警指令。

本发明具有以下有益效果：

本发明通过对目标监控区域内的游客的行为进行实时监测与分析，在检测到游客的实际所处位置超过预设的行为跟踪空间时，对该游客的行为进行预测，以实现对施加于文物设施的不正当行为的实时感知与报警，使得相关报警设备的报警结果更加准确，能够有效提高相关管理人员的园区监管效率。

附图说明

图1为一示例性实施例提供的智慧园区监控保护系统的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

参见图1，在一个实施例中，本发明的智慧园区监控保护系统包括园区摄像机、园区管理云平台和园区报警设备。园区管理云平台分别与园区摄像机和园区报警设备之间具有通信连接。所述园区摄像机用于对目标监视范围内的场景进行实时监控，其包括球形摄像机、半球形摄像机、枪式摄像机、一体化摄像机、红外摄像机。

园区管理云平台包括视频处理模块、图像分析模块、动作分析模块、行为预测模块、意图识别模块和警报生成模块。

视频处理模块用于对接收到的区域监控视频进行图像帧分割以得到若干视频图像帧，并对所有视频图像帧进行锐化处理以提高每个视频图像帧的图像对比度得到场景分析图像集。

图像分析模块包括区域识别单元、特征分析单元、置信度分析单元和结构分析单元。

区域识别单元用于根据所有场景分析图像的图像序列和像素特征获取每个场景分析图像中在时间域上发生变化的若干运动像素点，并根据若干运动像素点识别每个场景分析图像的图像运动区域。

特征分析单元用于对每个场景分析图像的图像运动区域进行行人检测以识别每个游客的面部所在区域，并根据人体结构相关性和每个游客的面部所在区域进行特征分析以得到每个游客的人体表征信息和在图像坐标系上的位姿坐标。

置信度分析单元用于根据每个游客在图像坐标系上的位姿坐标进行坐标变换以得到每个游客的实际位姿坐标，并根据每个游客的实际位姿坐标对每个游客的行为倾向进行分析以得到对应游客的行为置信度。

结构分析单元用于在确定所述行为置信度大于预设置信阈值时，对相应游客的人体表征信息中的外轮廓特征进行结构分析以得到对应游客的若干骨骼关键点。

动作分析模块用于根据每个骨骼关键点的位置信息和不同骨骼关键点所处区域的区域相关性得到若干位置关联的骨骼关键点之间的方向特征向量，并根据所有方向特征向量得到对应游客的静态动作特征。

行为预测模块用于根据每个游客的若干静态动作特征和对应场景分析图像的图像序列得到每个游客的动作特征序列，并根据每个游客的动作特征序列对每个游客的肢体运动轨迹进行预测以得到对应游客的行为预测轨迹。

意图识别模块用于根据每个游客的预测运动轨迹对每个游客下一时刻的动作进行意图识别以得到对应游客的行为意图。

警报生成模块用于在确定所述行为意图具有破坏倾向时，根据报警设备标识符生成相应的警报指令，并将其发送至对应的园区报警设备以供园区报警设备在游客破坏园区设施之前发出警报声。

下面对本发明的工作原理进行具体说明。本发明所执行的设施监控保护方法具体包括以下步骤：

s1、园区摄像机对目标监视范围内的场景进行实时监控，并将监控过程中实时采集到的区域监控视频发送至园区管理云平台。

可选地，所述目标监视范围为管理人员预先设置的园区摄像机监视的区域范围。

可选地，所述园区摄像机包括：球形摄像机、半球形摄像机、枪式摄像机、一体化摄像机、红外摄像机。

s2、园区管理云平台的视频处理模块对所述区域监控视频进行图像帧分割以得到若干视频图像帧，并对所有视频图像帧进行锐化处理以提高每个视频图像帧的图像对比度得到场景分析图像集。

s3、图像分析模块的区域识别单元根据所有场景分析图像的图像序列和像素特征获取每个场景分析图像中在时间域上发生变化的若干运动像素点，并根据若干运动像素点识别每个场景分析图像的图像运动区域。

可选地，所述图像序列为每个场景分析图像按照在时间域上的先后顺序排列。

具体地，图像分析模块的区域识别单元根据所有场景分析图像的图像序列和像素特征获取每个场景分析图像中在时间域上发生变化的若干运动像素点包括：

区域识别单元获取每个场景分析图像中每个像素点的像素特征和位置信息，并根据每个像素点的像素特征在色度空间中的颜色分量识别图像序列中同一位置上的像素点在时间域上的像素值差；

区域识别单元将在时间域上的像素值差大于差值阈值的像素点作为运动像素点。

可选地，所述像素值差为同一像素点在不同时间点上的色度差异；所述差值阈值为系统预先设置的用于判断像素点是否发生运动的数值。

可选地，区域识别单元根据每个像素点的像素特征在色度空间中的颜色分量识别图像序列中同一位置上的像素点在时间域上的像素值差，其中，利用像素点的颜色分量来确定像素是否发生运动使得判断结果更加准确，消除图像亮度对判断结果的影响。

s4、图像分析模块的特征分析单元对每个场景分析图像的图像运动区域进行行人检测以识别每个游客的面部所在区域，并根据人体结构相关性和每个游客的面部所在区域进行特征分析以得到每个游客的人体表征信息和在图像坐标系上的位姿坐标。

可选地，所述人体结构相关性为人的身体各部位的关联关系，其包括人的四肢与躯干的结构相关性和面部与躯干的结构相关性。

具体地，图像分析模块的特征分析单元对每个场景分析图像的图像运动区域进行行人检测以识别每个游客的面部所在区域包括：

特征分析单元对每个场景分析图像的图像运动区域进行特征点提取以得到每个图像运动区域的若干区域特征点；

特征分析单元根据每个区域特征点的位置信息计算每个区域特征点之间的相对距离和相对角度以得到每个区域特征点之间的几何特征向量，并根据每个区域特征点之间的几何特征向量进行曲率分析以得到每个图像运动区域的若干特征点局部轮廓特征；

特征分析单元将每个图像运动区域的若干特征点局部轮廓特征与标准人脸轮廓特征进行匹配以识别每个游客的面部所在区域。

可选地，所述标准人脸轮廓特征为人的脸部共有的轮廓特征，其包括嘴部轮廓特征、眼部轮廓特征、鼻部轮廓特征、眉部轮廓特征和脸部外廓特征。

具体地，图像分析模块的特征分析单元根据人体结构相关性和每个游客的面部所在区域进行特征分析以得到每个游客的人体表征信息和在图像坐标系上的位姿坐标包括：

特征分析模块根据每个游客的面部所在区域对每个游客的面部结构进行分析以得到每个游客的面部五官特征；

特征分析单元根据人体结构相关性和每个游客的面部所在区域对每个图像运动区域进行人体识别以得到每个游客的人像所在区域；

特征分析单元对每个游客的人像所在区域进行特征提取以得到每个游客的人体轮廓特征，并对每个游客的人体轮廓特征进行形状识别以得到每个游客的姿态信息。

具体地，图像分析模块的特征分析单元根据人体结构相关性和每个游客的面部所在区域进行特征分析以得到每个游客的人体表征信息和在图像坐标系上的位姿坐标包括：

特征分析单元根据每个游客的人体轮廓特征和面部五官特征为每个游客构建对应的人体表征信息；

特征分析单元根据每个游客的姿态信息和每个游客的人像所在区域与对应场景分析图像中目标监控文物设施的相对距离得到每个游客在图像坐标系上的位姿坐标。

可选地，所述目标监控文物设施为管理人员目标要保护的园区文物设施。

可选地，特征分析单元根据每个游客的姿态信息和每个游客的人像所在区域与对应场景分析图像中目标监控文物设施的相对距离得到每个游客在图像坐标系上的位姿坐标，其中，所述相对距离为对应场景分析图像中游客的人像所在区域与目标监控文物设施之间的二维平面距离。

s5、图像分析模块的置信度分析单元根据每个游客在图像坐标系上的位姿坐标进行坐标变换以得到每个游客的实际位姿坐标，并根据每个游客的实际位姿坐标对每个游客的行为倾向进行分析以得到对应游客的行为置信度。

具体地，图像分析模块的置信度分析单元根据每个游客在图像坐标系上的位姿坐标进行坐标变换以得到每个游客的实际位姿坐标包括：

置信度分析单元根据对应场景分析图像的视差信息将每个游客在图像坐标系上的位姿坐标变换至对应的场景空间坐标系中以得到每个游客的实际位姿坐标。

可选地，所述实际位姿坐标包括对应游客的多个骨骼关键点坐标。

可选地，图像分析模块的置信度分析单元根据每个游客在图像坐标系上的位姿坐标进行坐标变换以得到每个游客的实际位姿坐标还包括：

其中，s为游客在场景空间坐标系中的实际位姿坐标，δ为空间转换误差，j为骨骼关键点索引，m为骨骼关键点坐标，rj(θ,β)为第j个骨骼关键点的坐标变换函数，θ为拍摄角度，β为拍摄距离，tj为骨骼关键点的深度信息，vj(xj,yj,0)为游客在图像坐标系上的骨骼关键点坐标。

可选地，所述实际位姿坐标为游客在实际环境中身体各部位所处的空间位置。

可选地，所述视差信息为场景分析图像以目标监控文物设施为参照物的拍摄角度和拍摄距离。

具体地，图像分析模块的置信度分析单元根据每个游客的实际位姿坐标对每个游客的行为倾向进行分析以得到对应游客的行为置信度包括：

置信度分析单元根据每个游客的实际位姿坐标获取对应游客身体占据行为跟踪空间的空间占比，并将所述空间占比转化为对应游客的行为置信度。

可选地，上述行为跟踪空间为系统预先设置的安全管理平台进行游客行为预测和跟踪的预设空间范围。

s6、图像分析模块的结构分析单元在确定所述行为置信度大于预设置信阈值时，对相应游客的人体表征信息中的外轮廓特征进行结构分析以得到对应游客的若干骨骼关键点。

可选地，图像分析模块的结构分析单元在确定所述行为置信度大于预设置信阈值时，对相应游客的人体表征信息中的外轮廓特征进行结构分析以得到对应游客的若干骨骼关键点，即在游客身体所处位置到达一定的距离范围内时，安全管理平台才对该游客的行为动作进行跟踪和预测，节约计算资源。

可选地，所述骨骼关键点包括手部关键点、手腕关键点、手肘关键点、脚部关键点、脚踝关键点、腿部关键点、头部关键点、臀部关键点、臀部中央关键点、膝盖关键点和肩部关键点。

s7、动作分析模块根据每个骨骼关键点的位置信息和不同骨骼关键点所处区域的区域相关性得到若干位置关联的骨骼关键点之间的方向特征向量，并根据所有方向特征向量得到对应游客的静态动作特征。

可选地，所述区域相关性为不同骨骼关键点所属的人体各部位之间的生理结构相关性，例如，人的上肢区域由手部关键点、手腕关键点、手肘关键点和肩部关键点构成。

s8、行为预测模块根据每个游客的若干静态动作特征和对应场景分析图像的图像序列得到每个游客的动作特征序列，并根据每个游客的动作特征序列对每个游客的肢体运动轨迹进行预测以得到对应游客的行为预测轨迹。

s9、意图识别模块根据每个游客的预测运动轨迹对每个游客下一时刻的动作进行意图识别以得到对应游客的行为意图。

s10、警报生成模块在确定所述行为意图具有破坏倾向时，根据报警设备标识符生成相应的警报指令，并将其发送至对应的园区报警设备以供园区报警设备在游客破坏园区设施之前发出警报声。

可选地，警报生成模块在确定所述行为意图具有破坏倾向时，根据报警设备标识符生成相应的警报指令包括：

警报生成模块根据园区摄像机的摄像机标识符从数据库中获取对应地点的报警设备标识符，并根据所述报警设备标识符生成相应的报警指令。

本发明通过对目标监控区域内的游客的行为进行实时监测与分析，在检测到游客的实际所处位置超过预设的行为跟踪空间时，对该游客的行为进行预测，以实现对施加于文物设施的不正当行为的实时感知与报警，使得相关报警设备的报警结果更加准确，提高相关管理人员的园区监管效率，当预测到游客的行为具有破坏倾向时，在游客将要对文物设施造成破坏前发出警报以驱散游客，避免文物设施遭到他人破坏。

另外，虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。另外，本文讨论的特定模块执行动作包括该特定模块本身执行动作，或者替换地该特定模块调用或以其他方式访问执行该动作的另一个组件或模块(或结合该特定模块一起执行动作)。因此，执行动作的特定模块可以包括执行动作的特定模块本身和/或执行动作的该特定模块调用或以其他方式访问的另一模块。

更一般地，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在实施例中，这些模块中的一个或多个可以一起在片上系统(soc)中实现。soc可以包括集成电路芯片(其包括处理器、微控制器、微处理器、数字信号处理器等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。本文描述的技术的特征是与载体无关的，意味着这些技术可以在具有各种处理器的各种计算平台上实现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。