基于深度学习的视频行为识别安防系统

1.本发明涉及视频行为安防技术领域，具体为基于深度学习的视频行为识别安防系统。


背景技术：

2.游戏和动作是儿童日常活动的基本表现形式，提高运动能够促进儿童自身运动技能、认知与自我概念的发展，攀爬属于儿童基本的运动形式，能够锻炼儿童的平衡能力，还可以提高儿童的空间定位能力，游乐园中就有许多攀爬型的游乐园设备，如攀爬网，对儿童具有吸引力，也能锻炼拓展儿童的身体素质，增强儿童的四肢活动能力和四肢协调性；
3.然而，对于儿童来说，在攀爬网上玩耍存在很多危险情况：首先，儿童在攀爬到边缘区域时，若双脚不慎离开攀爬网，由于上肢力量不足，容易从攀爬网边缘摔下来，攀爬网具有一定高度，由于儿童骨骼相较于成人而言较脆弱，从高处坠落容易发生骨折等创伤；其次，攀爬网上往往不只一个孩子玩耍，互相之间难免会有碰撞，若儿童正好在危险区域被撞倒，也可能会发生坠落事故，现有技术中，虽然在不断地改善提高攀爬网设备的安全程度，但对于儿童而言仍存在安全隐患，需要对儿童在攀爬网上的运动状态进行实时监测和识别，并进行安全防护。
4.所以，人们需要基于深度学习的视频行为识别安防系统来解决上述问题。


技术实现要素：

5.本发明的目的在于提供基于深度学习的视频行为识别安防系统，以解决上述背景技术中提出的问题。
6.为了解决上述技术问题，本发明提供如下技术方案：基于深度学习的视频行为识别安防系统，其特征在于：所述系统包括：图像采集处理模块、目标图像获取模块、系统管理中心、静态分析模块、动态趋势预测模块、危险警报模块和安全防卫终端；
7.所述图像采集处理模块利用深度相机获取儿童在攀爬网上的实时图像，通过卷积神经网络识别算法识别图像；将对应图像及其识别结果输出至所述目标图像获取模块，所述目标图像获取模块用于获取儿童骨骼关节点二维图像；所述静态分析模块用于对关节点进行定位，通过支持向量机分析提取儿童至攀爬网边缘的相对距离；所述动态趋势预测模块用于获取部分关键关节点，依据部分关键关节点在图像中的变化轨迹预测儿童的攀爬移动方向；所述危险警报模块用于在预测到儿童有坠落可能时通过危险警报器发出警报信号；所述安全防卫终端用于接收警报信号并进行安全防卫。
8.进一步的，所述图像采集处理模块包括图像获取单元、主处理单元和图像识别输出单元，所述图像获取单元用于获取深度相机拍摄的儿童攀爬深度图；所述主处理单元用于利用卷积网络识别算法对图像进行识别；所述图像识别输出单元用于输出处理后的图像至所述目标图像处理模块。
9.进一步的，所述目标图像获取模块包括骨骼数据提取单元、攀爬网建模单元和关
节点投影单元，所述骨骼数据提取单元用于提取图像中儿童的骨骼关节点数据；所述攀爬网建模单元用于以攀爬网为中心建立二维坐标系；所述关节点投影单元用于通过透视投影相机将关节点投影到二维模型中，获取儿童骨骼关节点在模型中的二维图像。
10.进一步的，所述静态分析模块包括关节点定位单元和相对距离提取单元，所述关节点定位单元用于获取二维模型中的骨骼关节点位置坐标；所述相对距离提取单元用于依据整体关节点坐标分析提取儿童到攀爬网边缘的相对距离。
11.进一步的，所述动态趋势预测模块包括关键关节点分析单元、偏转角度测量单元和移动方向预测单元，所述关键关节点分析单元用于在相对距离安全前提下，依据相对距离获取关键关节点，关键关节点为离攀爬网边缘最近的一侧关节点；所述偏转角度测量单元用于测量单个关节点的整体移动轨迹偏转角度；所述移动方向预测单元用于依据偏转角度预测儿童的整体移动方向；所述危险警报模块包括坠落危险预测单元和语音提醒单元，所述坠落危险预测单元用于依据预测数据分析儿童是否有坠落攀爬网的危险；在预测到有危险时利用所述语音提醒单元提醒安全防卫人员对对应儿童进行安全防护将预测结果传输到所述系统管理中心中，所述系统管理中心包括危险频次统计单元，通过所述危险频次统计单元统计预测结果中儿童处于或前往对应危险区域次数，设置危险次数阈值，将统计结果传输到所述语音提醒单元，当儿童处于或前往对应危险区域次数超出阈值时，利用所述语音提醒单元通知安全防卫人员对对应区域进行安全加固。
12.进一步的，所述利用卷积网络识别算法对图像进行识别，包括以下步骤：
13.s1：在采集的图像中获取儿童骨骼动作序列；
14.s2：将该序列可视化为一系列骨骼彩色图，将骨骼彩色图叠加得到骨骼能量图；
15.s3：使用卷积神经网络模型从骨骼能量图和深度图两组通道的图像中提取攀爬动作的时空特征。
16.进一步的，在步骤s3中：建立多重卷积神经网络模型，输入序列im，获得一系列彩色图像集合为将每个图像标准化为n
×
n像素，对所有输入图像采用均值去除，然后每个彩色图像由cnn处理，对于图像输出yc后，根据公式：
[0017][0018]
进行归一化后获得后验概率，其中，l表示第l个动作类别，l表示动作类别总数，根据类分数公式获得所有cnn输出的平均值，prob(l|lc)表示图像属于第l个动作类别的概率，l个动作类别被存储在所述系统管理中心中，依据所有cnn输出的平均值判断图像属于的动作类别，与所述系统管理中心中存储的动作类别进行匹配，提取攀爬动作的时空特征，匹配后输出图像及其特征，cnn指卷积神经网络，结合深度图和骨骼能量图建立了双流卷积神经网络模型，丰富了提取的特征信息，卷积神经网络可直接输入经过简单预处理后的图像并提取特征，输出识别分类结果，使用softmax归一化在多分类任务下生成样本属于各类别的概率，提高了儿童攀爬动作识别的正确率。
[0019]
进一步的，利用所述骨骼数据提取单元提取图像中儿童的骨骼关节点数据，利用
攀爬网建模单元以攀爬网中心为原点建立二维坐标系，获取到攀爬网的长度为a，宽度为b，设定水平方向的危险区域为距攀爬网中心大于a
界
的区域，垂直方向的危险区域为距攀爬网中心大于b
界
的区域，通过所述关节点投影单元将关节点投影到二维坐标系中，利用所述关节点定位单元获取到儿童骨骼关节点的位置坐标集合为(x，y)＝{(x1，y1)，(x2，y2)，...，(xn，yn)}，筛选出横坐标绝对值最大的关节点，关节点坐标为(x
max
，yj)，比较a
界
和x
max
：若|x
max
|＜a
界
，判断儿童未进入水平方向的危险区域；若|x
max
|≥a
界
，判断儿童已进入水平方向的危险区域；筛选出纵坐标绝对值最大的关节点，关节点坐标为(xi，y
max
)，比较b
界
和y
max
：若|y
max
|≥b
界
，判断儿童未进入垂直方向的危险区域；若|y
max
|＜b
界
，判断儿童已进入垂直方向的危险区域，在判断出儿童已进入危险区域后，发送语音提醒信息至所述安全防卫终端，通过儿童的骨骼关节点与攀爬网的相对距离衡量儿童当前是否处于攀爬网的危险区域中，进行静态行为识别，目的在于帮助及时提醒安全防卫人员危险情况，以达到对儿童进行安全监控的目标，同时为后续预测儿童移动方向提供关键关节点位置，有利于对儿童进行动态安全监测。
[0020]
进一步的，在判断儿童未进入攀爬网上的危险区域时，将坐标为(x
max
，yj)的关节点作为水平方向的关键关节点，将坐标为(xi，y
max
)的关节点作为垂直方向的关键关节点，利用所述关键关节点分析单元获取对应关键关节点的移动变化轨迹，分别获取到水平和垂直方向关键关节点轨迹的始末位置连接向量坐标为(x，y)和(x’，y’)，利用所述偏转角度测量单元测量关键关节点的整体移动轨迹偏转角度：根据下列公式计算水平方向的关键关节点在水平方向上的偏转角度α：
[0021][0022]
根据下列公式计算垂直方向的关键关节点在竖直方向上的偏转角度β：
[0023][0024]
将关键关节点的整体移动轨迹偏转角度传输到所述移动方向预测单元中。
[0025]
进一步的，利用所述移动方向预测单元预测儿童的移动方向：若x
max
＞0&α＜90
°
或x
max
＜0&α＞90
°
，预测儿童往攀爬网水平方向的危险区域移动；若x
max
＞0&α＞90
°
或x
max
＜0&α＜90
°
，预测儿童往攀爬网水平方向危险区域的相反方向移动；若y
max
＞0&β＜90
°
或y
max
＜0&β＞90
°
，预测儿童往攀爬网垂直方向的危险区域移动；若y
max
＞0&β＞90
°
或y
max
＜0&β＜90
°
，预测儿童往攀爬网垂直方向危险区域的相反方向移动，在预测到儿童往危险区域移动时，利用所述语音提醒单元发送警报信号至所述安全防卫终端，利用所述危险频次统计单元统计到预测结果中儿童处于或前往对应危险区域次数为w，设置危险次数阈值为w
阈
，若w》w
阈
，说明危险次数超出阈值，利用所述语音提醒单元通知安全防卫人员对对应区域进行安全加固，偏转角度都是相对于正方向的偏转角度，通过儿童关键关节点的变化轨迹获取儿童攀爬的整体方向、计算关键关节点在水平和竖直方向上的偏转角度的目的在于预测儿童是否正在靠近危险区域，以便提前提醒安全防卫人员，让儿童到网中央玩耍，避免从危险区域摔下，从一个节点变化预测到整体动作变化，通过局部变化推测整体，减轻了行为识别工作难度。
[0026]
与现有技术相比，本发明所达到的有益效果是：
[0027]
本发明通过深度相机拍摄获取儿童在攀爬网上的图像，通过双流卷积神经网络识别算法识别图像：结合深度图和骨骼能量图建立了双流卷积神经网络模型，丰富了提取的特征信息，卷积神经网络可直接输入经过简单预处理后的图像并提取特征，输出识别分类结果，使用softmax归一化在多分类任务下生成样本属于各类别的概率，提高了儿童攀爬动作识别的正确率；提取儿童的骨骼关节点数据，通过儿童的骨骼关节点与攀爬网的相对距离衡量儿童当前是否处于攀爬网的危险区域中以进行静态行为识别，获取关键关节点，通过儿童关键关节点的变化轨迹获取儿童攀爬的整体方向，从一个节点变化预测到整体动作变化，通过局部变化推测整体，减轻了行为识别工作难度，帮助安全防卫人员及时提醒儿童到网中央玩耍，避免从危险区域摔下，提高了攀爬安全性。
附图说明
[0028]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0029]
图1是本发明基于深度学习的视频行为识别安防系统的结构图；
[0030]
图2是本发明基于深度学习的视频行为识别安防系统的模块组成图；
[0031]
图3是本发明基于深度学习的视频行为识别安防系统的行为识别流程图。
具体实施方式
[0032]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0033]
请参阅图1-3，本发明提供技术方案：基于深度学习的视频行为识别安防系统，其特征在于：系统包括：图像采集处理模块、目标图像获取模块、系统管理中心、静态分析模块、动态趋势预测模块、危险警报模块和安全防卫终端；
[0034]
图像采集处理模块利用深度相机获取儿童在攀爬网上的实时图像，通过卷积神经网络识别算法识别图像；将对应图像及其识别结果输出至目标图像获取模块，目标图像获取模块用于获取儿童骨骼关节点二维图像；静态分析模块用于对关节点进行定位，通过支持向量机分析提取儿童至攀爬网边缘的相对距离；动态趋势预测模块用于获取部分关键关节点，依据部分关键关节点在图像中的变化轨迹预测儿童的攀爬移动方向；危险警报模块用于在预测到儿童有坠落可能时通过危险警报器发出警报信号；安全防卫终端用于接收警报信号并进行安全防卫。
[0035]
图像采集处理模块包括图像获取单元、主处理单元和图像识别输出单元，图像获取单元用于获取深度相机拍摄的儿童攀爬深度图；主处理单元用于利用卷积网络识别算法对图像进行识别；图像识别输出单元用于输出处理后的图像至目标图像处理模块。
[0036]
目标图像获取模块包括骨骼数据提取单元、攀爬网建模单元和关节点投影单元，骨骼数据提取单元用于提取图像中儿童的骨骼关节点数据；攀爬网建模单元用于以攀爬网为中心建立二维坐标系；关节点投影单元用于通过透视投影相机将关节点投影到二维模型中，获取儿童骨骼关节点在模型中的二维图像。
[0037]
静态分析模块包括关节点定位单元和相对距离提取单元，关节点定位单元用于获
取二维模型中的骨骼关节点位置坐标；相对距离提取单元用于依据整体关节点坐标分析提取儿童到攀爬网边缘的相对距离。
[0038]
动态趋势预测模块包括关键关节点分析单元、偏转角度测量单元和移动方向预测单元，关键关节点分析单元用于在相对距离安全前提下，依据相对距离获取关键关节点，关键关节点为离攀爬网边缘最近的一侧关节点；偏转角度测量单元用于测量单个关节点的整体移动轨迹偏转角度；移动方向预测单元用于依据偏转角度预测儿童的整体移动方向；危险警报模块包括坠落危险预测单元和语音提醒单元，坠落危险预测单元用于依据预测数据分析儿童是否有坠落攀爬网的危险；在预测到有危险时利用语音提醒单元提醒安全防卫人员对儿童进行安全防护，安全防卫人员在接收到提醒信息后前往图像中的儿童所在位置查看儿童情况：若儿童未从危险区域坠落但处于危险区域中，提醒儿童到攀爬网中央玩耍；若儿童从危险区域坠落，及时查看儿童身体，处理异常情况；将预测结果传输到系统管理中心中，系统管理中心包括危险频次统计单元，通过危险频次统计单元统计预测结果中儿童处于或前往对应危险区域次数，设置危险次数阈值，将统计结果传输到语音提醒单元，当儿童处于或前往对应危险区域次数超出阈值时，利用语音提醒单元通知安全防卫人员对对应区域进行安全加固。
[0039]
利用卷积网络识别算法对图像进行识别，包括以下步骤：
[0040]
s1：在采集的图像中获取儿童骨骼动作序列；
[0041]
s2：将该序列可视化为一系列骨骼彩色图，将骨骼彩色图叠加得到骨骼能量图；
[0042]
s3：使用卷积神经网络模型从骨骼能量图和深度图两组通道的图像中提取攀爬动作的时空特征。
[0043]
在步骤s3中：建立多重卷积神经网络模型，输入序列im，获得一系列彩色图像集合为为将每个图像标准化为n
×
n像素，对所有输入图像采用均值去除，然后每个彩色图像由cnn处理，对于图像输出yc后，根据公式：
[0044][0045]
进行归一化后获得后验概率，其中，l表示第l个动作类别，l表示动作类别总数，根据类分数公式获得所有cnn输出的平均值，prob(l|lc)表示图像属于第l个动作类别的概率，l个动作类别被存储在系统管理中心中，依据所有cnn输出的平均值判断图像属于的动作类别，与系统管理中心中存储的动作类别进行匹配，提取攀爬动作的时空特征，匹配后输出图像及其特征，cnn指卷积神经网络，结合深度图和骨骼能量图建立了双流卷积神经网络模型，丰富了提取的特征信息，卷积神经网络可直接输入经过简单预处理后的图像并提取特征，输出识别分类结果，使用softmax归一化在多分类任务下生成样本属于各类别的概率，能够有效提高对儿童攀爬动作识别的正确率。
[0046]
利用骨骼数据提取单元提取图像中儿童的骨骼关节点数据，利用攀爬网建模单元以攀爬网中心为原点建立二维坐标系，获取到攀爬网的长度为a，宽度为b，设定水平方向的危险区域为距攀爬网中心大于a
界
的区域，垂直方向的危险区域为距攀爬网中心大于b
界
的区
域，通过关节点投影单元将关节点投影到二维坐标系中，利用关节点定位单元获取到儿童骨骼关节点的位置坐标集合为(x，y)＝{(x1，y1)，(x2，y2)，...，(xn，yn)}，筛选出横坐标绝对值最大的关节点，关节点坐标为(x
max
，yj)，比较a
界
和x
max
：若|x
max
|＜a
界
，判断儿童未进入水平方向的危险区域；若|x
max
|≥a
界
，判断儿童已进入水平方向的危险区域；筛选出纵坐标绝对值最大的关节点，关节点坐标为(xi，y
max
)，比较b
界
和y
max
：若|y
max
|＜b
界
，判断儿童未进入垂直方向的危险区域；若|y
max
|≥b
界
，判断儿童已进入垂直方向的危险区域，在判断出儿童已进入危险区域后，发送语音提醒信息至安全防卫终端，通过儿童的骨骼关节点与攀爬网的相对距离衡量儿童当前是否处于攀爬网的危险区域中，进行静态行为识别，目的在于帮助及时提醒安全防卫人员危险情况，以达到对儿童进行安全监控的目标，同时为后续预测儿童移动方向提供关键关节点位置，便于对儿童进行动态安全监测。
[0047]
在判断儿童未进入攀爬网上的危险区域时，将坐标为(x
max
，yj)的关节点作为水平方向的关键关节点，将坐标为(xi，y
max
)的关节点作为垂直方向的关键关节点，利用关键关节点分析单元获取对应关键关节点的移动变化轨迹，分别获取到水平和垂直方向关键关节点轨迹的始末位置连接向量坐标为(x，y)和(x’，y’)，利用偏转角度测量单元测量关键关节点的整体移动轨迹偏转角度：根据下列公式计算水平方向的关键关节点在水平方向上的偏转角度α：
[0048][0049]
根据下列公式计算垂直方向的关键关节点在竖直方向上的偏转角度β：
[0050][0051]
将关键关节点的整体移动轨迹偏转角度传输到移动方向预测单元中。
[0052]
利用移动方向预测单元预测儿童的移动方向：若x
max
＞0&α＜90
°
或x
max
＜0&α＞90
°
，预测儿童往攀爬网水平方向的危险区域移动；若x
max
＞0&α＞90
°
或x
max
＜0&α＜90
°
，预测儿童往攀爬网水平方向危险区域的相反方向移动；若y
max
＞0&β＜90
°
或y
max
＜0&β＞90
°
，预测儿童往攀爬网垂直方向的危险区域移动；若y
max
＞0&β＞90
°
或y
max
＜0&β＜90
°
，预测儿童往攀爬网垂直方向危险区域的相反方向移动，在预测到儿童往危险区域移动时，利用语音提醒单元发送警报信号至安全防卫终端，利用危险频次统计单元统计到预测结果中儿童处于或前往对应危险区域次数为w，设置危险次数阈值为w
阈
，若w》w
阈
，说明危险次数超出阈值，利用语音提醒单元通知安全防卫人员对对应区域进行安全加固，偏转角度都是相对于正方向的偏转角度，通过儿童关键关节点的变化轨迹获取儿童攀爬的整体方向、计算关键关节点在水平和竖直方向上的偏转角度的目的在于预测儿童是否正在靠近危险区域，以便提前提醒安全防卫人员，让儿童到网中央玩耍，避免从危险区域摔下，从一个节点变化预测到整体动作变化，通过局部变化推测整体，有效地减轻了行为识别工作难度。
[0053]
实施例一：利用骨骼数据提取单元提取图像中儿童的骨骼关节点数据，利用攀爬网建模单元以攀爬网中心为原点建立二维坐标系，获取到攀爬网的长度为a＝2，宽度为b＝1.5，单位为：米，设定水平方向的危险区域为距攀爬网中心大于a
界
＝0.6的区域，垂直方向的危险区域为距攀爬网中心大于b
界
＝0.47的区域，通过关节点投影单元将关节点投影到二
维坐标系中，利用关节点定位单元获取到儿童骨骼关节点的位置坐标集合为(x，y)＝{(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)}＝{(0，0.4)，(0.1，0.3)，(0，0.2)，(0.4，0)，(0.5，0.2)}，筛选出横坐标绝对值最大的关节点，关节点坐标为(x
max
，yj)＝(0.5，0.2)，比较a
界
和x
max
：|x
max
|＜a
界
，判断儿童未进入水平方向的危险区域；筛选出纵坐标绝对值最大的关节点，关节点坐标为(xi，y
max
)＝(0，0.4)，比较b
界
和y
max
：|y
max
|＜b
界
，，判断儿童未进入垂直方向的危险区域。
[0054]
实施例二：在判断儿童未进入攀爬网上的危险区域时，将坐标为(x
max
，yj)＝(0.5，0.2)的关节点作为水平方向的关键关节点，将坐标为(xi，y
max
)＝(0，0.4)的关节点作为垂直方向的关键关节点，利用关键关节点分析单元获取对应关键关节点的移动变化轨迹，分别获取到水平和垂直方向关键关节点轨迹的始末位置连接向量坐标为(x，y)＝(-0.3，-0.2)，和(x’，y’)＝(0.2，-0.1)，利用偏转角度测量单元测量关键关节点的整体移动轨迹偏转角度：根据公式计算水平方向的关键关节点在水平方向上的偏转角度α≈146
°
，根据公式计算垂直方向的关键关节点在竖直方向上的偏转角度β≈117
°
，将关键关节点的整体移动轨迹偏转角度传输到移动方向预测单元中，利用移动方向预测单元预测儿童的移动方向：x
max
＞0&α＞90
°
，预测儿童往攀爬网水平方向危险区域的相反方向移动；y
max
＞0&β＞90
°
，预测儿童往攀爬网垂直方向危险区域的相反方向移动。
[0055]
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。