本发明涉及一种基于深度相机的人体行为识别方法。
背景技术：
目前的安保监控系统，多采用二维成像相机对公共区域进行视频监控，二维成像相机只能成平面图像，不能得到深度信息；因此，监控到的图像中只存在人体行为的投影，无法通过其精确辨识人体行为。而通过多个二维成像相机获取的二维图像，重建成立体视觉进行视频监控，则增加了硬件成本和软件开发的工作量。
因此，有必要提供一种基于深度相机的人体行为识别方法。
技术实现要素：
本发明所解决的技术问题是，针对现有技术的不足，提供一种基于深度相机的人体行为识别方法，利用安装在不同方位的深度相机对公共区域进行多视角视频监控，提取出各个人体图像，然后利用识别算法辨识人体行为，成本低，精确度高，实时性强。
本发明所提供的技术方案为：
一种基于深度相机的人体行为识别方法，包括以下步骤：
步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；
步骤2、对多个深度相机采集的点云数据进行三维重建，获得重建后的监控图像序列；此处为成熟的现有技术，参见参考文献[1]、[2]、[3]。
步骤3、首先提取监控图像序列中的人体图像，得到人体图像序列；然后提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；最后划分时间窗口，并计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积；
步骤4、根据前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；如果身体部位向前运动，则面部轮廓在该面的投影面积最大；如果人体向一边转身，则面部轮廓在该边的投影面积会变大，因此，通过上面得到的人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，可以粗略判断行为类别；在连续时间窗口中，若前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积发生变化，则将这些时间窗口内的图像帧提取出来；
步骤5、通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。
进一步地，所述步骤3中，每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积包括以下步骤：
3.1)根据canny算法，提取出每一帧人体图像中的轮廓h，h＝1,2,3分别表示面部轮廓、上肢轮廓、下肢轮廓；
3.2)根据以下公式计算任一帧人体图像中的轮廓h在y-z平面、x-z平面和x-y平面的投影面积：
其中，x,y,z为深度相机得到图像具有三个维度；
本发明先将每个时间窗口采集的所有图像中的轮廓h的投影面积求和，再除以所有时间窗口采集的图像中的轮廓h的投影面积之和，得到每个时间窗口中轮廓h在y-z平面、x-z平面和x-y平面的投影面积，这样计算可以适当提高精度。
进一步地，所述步骤5包括以下步骤：
5.1)由深度相机采集的深度图像序列获取人体关节点的运动轨迹；
深度相机例如kinect采集的深度图像自动会给标注出人体15个关节点，这些关节点为头部，颈部，左右肩膀，左右肘部，左右手，躯干中心点、左右踝关节，左右膝，左右髋关节，人体的各个部位通过关节点相互连接形成一种树形结构。
5.2)分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为；例如：通过前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化，发现下肢面积变小，则粗略判断行为类别为跳跃行为，再根据脚踝、膝盖之间的相对速度和相对加速度是否符合跳跃行为的特征，判定是否为跳跃行为。每一类行为具有其独特的特征，例如：奔跑行为，左膝和右膝的相对速度、左踝关节和右踝关节的相对速度明显大于其他动作，因此可以根据是否符合行为的特征，精准判定是否为此类行为。如果直接对每个时间窗口中的每一帧图像都计算关节点之间的相对速度和相对加速度判别，则运算量很大，系统实时性受到影响；本发明仅对提取出的投影面积发生变化的时间窗口内的图像帧进行计算，能有效减少计算量，提高系统的实时性。
图像帧中关节点之间的相对速度和相对加速度计算公式如下：
其中，ti为该图像帧采集的时刻，n为该图像帧采集的时刻所在的时间窗口采集的图像总帧数fp′(ti)和fq′(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的一阶导数，即关节点p和q在ti时刻的速度；fp″(ti)和fq″(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的二阶导数，即关节点p和q在ti时刻的加速度；δvp,q和δap,q表示通过加权处理后的关节点p和q的相对速度，每一帧的权重可以认为是相同的，加权处理的作用是使每两个节点间计算得到的相对速度和加速度有统一的量纲，类似于正则化处理。
进一步地，所述步骤4中，5种典型人体行为及其相应的特征为：
跳跃：δv左膝，右膝和δv左踝关节，右踝关节均大于阈值t1，δa左膝，右膝大于阈值t2；
奔跑：δv左踝关节，右踝关节、δv左膝，右髋部和δv左膝，右膝均大于阈值t3，δa左膝，右膝大于阈值t4；
步行：δv左膝，左踝关节、δv右髋关节，左踝关节和δv右膝，右踝关节大于阈值t5；
跳跃：δv左踝关节，左髋关节、δv右踝关节，左膝、δv右膝，左踝关节、δv左膝，左踝关节和δv右膝，右踝关节均大于阈值t6，δa左膝，右膝大于阈值t7；
拳击：δv左踝关节，右踝关节、δv右踝关节，右膝、δv左膝，左踝关节和δv左膝，右踝关节均大于阈值t8，δa左手，左肘、δa右手，右肘和δa左膝，左踝关节均大于阈值t9；
所述阈值t1～t9根据经验确定。
进一步地，所述步骤4中，根据试验确定阈值为t1～t9分别为：1.5、40、5.5、60、3.5，5.0、40、7.0和30。
进一步地，所述基于深度相机的人体行为识别方法，还包括步骤6，通过安装在深度相机上的无线通信模块将人体行为识别结果发送给安保控制中心，如果有危险行为则出发报警。
有益效果：
本发明利用安装在不同方位的深度相机对公共区域进行多视角视频监控，提取出各个人人体图像，然后利用识别算法辨识人体行为，成本低，精确度高，实时性强。
附图说明
图1为系统示意图。
具体实施方式
本发明公开了一种基于深度相机的人体行为识别方法，包括以下步骤：
步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；
步骤2、对多个深度相机采集的点云数据进行三维重建，获得重建后的监控图像序列；此处为成熟的现有技术，参见参考文献[1]、[2]、[3]。
步骤3、首先提取监控图像序列中的人体图像，得到人体图像序列；然后提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；最后划分时间窗口，并计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积；
计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积包括以下步骤：
3.1)根据canny算法，提取出每一帧人体图像中的轮廓h，h＝1,2,3分别表示面部轮廓、上肢轮廓、下肢轮廓；
3.2)根据以下公式计算任一帧人体图像中的轮廓h在y-z平面、x-z平面和x-y平面的投影面积：
其中，x,y,z为深度相机得到图像具有三个维度；
本发明先将每个时间窗口采集的所有图像中的轮廓h的投影面积求和，再除以所有时间窗口采集的图像中的轮廓h的投影面积之和，得到每个时间窗口中轮廓h在y-z平面、x-z平面和x-y平面的投影面积，这样计算可以适当提高精度。
步骤4、根据前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；
步骤5、通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。
5.1)由深度相机采集的深度图像序列获取人体关节点的运动轨迹；
深度相机例如kinect采集的深度图像自动会给标注出人体15个关节点，这些关节点为头部，颈部，左右肩膀，左右肘部，左右手，躯干中心点、左右踝关节，左右膝，左右髋关节，人体的各个部位通过关节点相互连接形成一种树形结构；
5.2)分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为；如果直接对每个时间窗口中的每一帧图像都计算关节点之间的相对速度和相对加速度判别，则运算量很大，系统实时性受到影响；本发明仅对提取出的投影面积发生变化的时间窗口内的图像帧进行计算，能有效减少计算量，提高系统的实时性。
图像帧中关节点之间的相对速度和相对加速度计算公式如下：
其中，ti为该图像帧采集的时刻，n为该图像帧采集的时刻所在的时间窗口采集的图像总帧数fp′(ti)和fq′(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的一阶导数，即关节点p和q在ti时刻的速度；fp″(ti)和fq″(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的二阶导数，即关节点p和q在ti时刻的加速度；δvp,q和δap,q表示通过加权处理后的关节点p和q的相对速度，每一帧的权重可以认为是相同的，加权处理的作用是使每两个节点间计算得到的相对速度和加速度有统一的量纲，类似于正则化处理。
5种典型人体行为及其相应的特征为：
跳跃：δv左膝，右膝和δv左踝关节，右踝关节均大于阈值t1，δa左膝，右膝大于阈值t2；
奔跑：δv左踝关节，右踝关节、δv左膝，右髋部和δv左膝，右膝均大于阈值t3，δa左膝，右膝大于阈值t4；
步行：δv左膝，左踝关节、δv右髋关节，左踝关节和δv右膝，右踝关节大于阈值t5；
跳跃：δv左踝关节，左髋关节、δv右踝关节，左膝、δv右膝，左踝关节、δv左膝，左踝关节和δv右膝，右踝关节均大于阈值t6，δa左膝，右膝大于阈值t7；
拳击：δv左踝关节，右踝关节、δv右踝关节，右膝、δv左膝，左踝关节和δv左膝，右踝关节均大于阈值t8，δa左手，左肘、δa右手，右肘和δa左膝，左踝关节均大于阈值t9；
根据试验确定阈值为t1～t9分别为：1.5、40、5.5、60、3.5，5.0、40、7.0和30。
本发明利用安装在不同方位的深度相机对公共区域进行多视角视频监控，提取出各个人人体图像，然后利用识别算法辨识人体行为，成本低，精确度高，实时性强。
参考文献：
[1]赵中溥.基于深度相机的三维人体快速重建系统[d].青岛大学.2015.
[2]周瑾.基于kinect深度相机的三维人体重建技术研究.杭州电子科技大学.2012
[3]华东交通大学.申请号：2016108195882.名称：一种公共区域人体行为监控方法。