摔倒检测方法、装置、电子设备及计算机程序产品与流程

本技术涉及计算机视觉，具体涉及一种摔倒检测方法、装置、电子设备及计算机程序产品。

背景技术：

1、传统的摔倒检测常采用穿戴式传感器或环境传感器进行摔倒检测，并在检测到摔倒行为时发起警报，以便为无法对摔倒作出反应的对象提供及时的救助。但由于单个穿戴式传感器仅能针对一个检测对象进行检测，因此，此种检测方法的设备成本较高。

2、目前，现有技术中提出了一种基于计算机视觉的摔倒检测方法，其采用姿态估计算法提取每一帧图像中目标的关键骨骼点数据；利用摔倒检测卷积识别网络根据每一帧图像中关键骨骼点数据的变化情况进行摔倒检测，获得摔倒检测结果。

3、上述方案存在以下问题：

4、摔倒检测卷积识别网络输出结果的准确性受到输入样本集的影响，而对于监控视频场景下获取到的视频帧，其常常存在因视角限制导致的图像遮挡和图像变形的问题，这就导致依赖于输入样本集的摔倒检测卷积识别网络无法对摔倒行为作出准确检测。

技术实现思路

1、本技术实施例提供一种摔倒检测方法、装置、电子设备及计算机程序产品，用以解决摔倒检测卷积识别网络因输入样本集的图像遮挡和图像变形问题，无法作出准确检测的技术问题。

2、第一方面，本技术实施例提供一种摔倒检测方法，包括：

3、在视频帧中筛选得到有效视频帧；所述有效视频帧中，检测对象相对于前一帧视频帧的质心偏移量大于预设偏移阈值；

4、根据所述检测对象的高度属性对所述有效视频帧进行尺寸矫正并确定所述检测对象的空间比例属性；所述高度属性通过对所述检测对象进行属性检测确定；

5、根据所述空间比例属性对所述检测对象在每一有效视频帧中的三维姿态信息进行填充，得到无遮挡视频帧；所述检测对象在每一无遮挡视频帧中的三维姿态信息均包含有预设数量的关节点坐标；

6、基于所述无遮挡视频帧，利用摔倒检测模型得到所述检测对象的摔倒检测结果。

7、在一个实施例中，所述在视频帧中筛选得到有效视频帧，包括：

8、获取每一视频帧的质心坐标；

9、遍历每一视频帧，对比当前视频帧的质心坐标与前一帧视频帧的质心坐标，当质心坐标的纵坐标的偏移量小于预设偏移阈值时，确定当前视频帧为无效视频帧；

10、结束遍历后，将所有无效视频帧从所述视频帧中删去，得到所述有效视频帧。

11、在一个实施例中，所述获取每一视频帧的质心坐标，包括：

12、利用初级检测网络识别每一视频帧的质心坐标；

13、所述初级检测网络包括：特征提取卷积网络、特征金字塔网络和头部网络；

14、其中，所述特征提取卷积网络用于提取所述视频帧中的人体特征图；所述特征金字塔网络用于对所述特征提取卷积网络输出的人体特征图进行采样，输出多尺度人体特征图；所述头部网络用于对所述多尺度人体特征图进行预测；所述多尺度人体特征图中包含有人体边界框信息；所述人体边界框的对角线交点为所述质心坐标。

15、在一个实施例中，所述在视频帧中筛选得到有效视频帧，还包括：

16、在结束遍历之前，利用所述初级检测网络识别每一视频帧的质量分数并将质量分数小于质量得分阈值的视频帧标记为无效视频帧。

17、在一个实施例中，所述根据所述检测对象的高度属性对所述有效视频帧进行尺寸矫正之前，包括：

18、识别所述有效视频帧中的所有待检测对象；所述待检测对象包含多个检测对象；

19、利用行人重识别算法在所有待检测对象中识别出所述检测对象；

20、对所述检测对象进行属性检测，得到所述检测对象的高度属性。

21、在一个实施例中，所述高度属性包括：性别、年龄段和身高信息；

22、所述根据所述检测对象的高度属性对所述有效视频帧进行尺寸矫正并确定所述检测对象的空间比例属性，包括：

23、根据所述检测对象的性别和年龄段确定所述检测对象的空间比例属性；

24、所述检测对象的空间比例属性和身高信息对所述有效视频帧进行尺寸矫正。

25、在一个实施例中，所述根据所述空间比例属性对所述检测对象在每一有效视频帧中的三维姿态信息进行填充，得到无遮挡视频帧，包括：

26、利用人体姿态估计算法提取每一有效视频帧中的三维姿态信息；

27、确定所述三维姿态信息中是否存在缺失的关节点坐标；

28、当存在缺失的关节点坐标时，基于所述空间比例属性将所述缺失的关节点坐标增加至所述三维姿态信息中，得到无遮挡视频帧。

29、在一个实施例中，所述基于所述无遮挡视频帧，利用摔倒检测模型得到所述检测对象的摔倒检测结果之前，包括：

30、基于所述无遮挡视频帧分别构建运动特征矩阵和动作特征矩阵；所述运动特征矩阵用于描述关节点的时序变化，所述动作特征矩阵用于描述关节点的相对位置变化；

31、基于特征融合后的所述运动特征矩阵和所述动作特征矩阵训练得到所述摔倒检测模型。

32、在一个实施例中，所述基于所述无遮挡视频帧分别构建运动特征矩阵和动作特征矩阵，包括：

33、根据每一无遮挡视频帧的人体宽高比、颈部移动速度、人体质心高度、中心变化率以及高度变化率构建所述运动特征矩阵；其中，所述人体宽高比为鼻部关节点与脚踝关节点的纵坐标比值，所述颈部移动速度通过相邻两帧无遮挡视频帧中颈部关节点和鼻部关节点的坐标计算得到；所述人体质心高度为人体质心与人体海拔最低点的距离；所述中心变化率为相邻两帧无遮挡视频帧中人体中心纵坐标的变化率，所述人体中心纵坐标基于鼻部关节点与脚踝关节点的纵坐标确定；所述高度变化率为人体高度与人体平均高度的比值，所述人体平均高度为所有无遮挡视频帧中的人体高度的均值；

34、根据每一关节点在每一无遮挡视频帧中的速度构建所述动作特征矩阵。

35、在一个实施例中，所述基于特征融合后的所述运动特征矩阵和所述动作特征矩阵训练得到所述摔倒检测模型，包括：

36、构建时序网络；所述时序网络用于学习所述运动特征矩阵中的时序特征；

37、构建特征网络；所述特征网络用于学习所述动作特征矩阵中的动作关联特征；

38、利用所述时序网络和所述特征网络构建所述摔倒检测模型；

39、所述摔倒检测模型包括：并行的时序网络和特征网络、特征融合层、全连接层和多损失函数优化网络；所述特征融合层用于对所述时序网络和所述特征网络的输出执行向量合并；所述全连接层用于根据所述特征融合层的输出迭代训练权重参数，所述多损失函数优化网络用于度量摔倒检测模型输出的预测值和真实值之间的差距。

40、第二方面，本技术实施例提供一种摔倒检测装置，包括：

41、视频预处理模块，用于：在视频帧中筛选得到有效视频帧；所述有效视频帧中，检测对象相对于前一帧视频帧的质心偏移量大于预设偏移阈值；

42、空间信息矫正模块，用于：根据所述检测对象的高度属性对所述有效视频帧进行尺寸矫正并确定所述检测对象的空间比例属性；并根据所述空间比例属性对所述检测对象在每一有效视频帧中的三维姿态信息进行填充，得到无遮挡视频帧；所述检测对象在每一无遮挡视频帧中的三维姿态信息均包含有预设数量的关节点坐标；

43、摔倒检测模块，用于：基于所述无遮挡视频帧，利用摔倒检测模型得到所述检测对象的摔倒检测结果。

44、在一个实施例中，所述摔倒检测装置，还包括：模型训练模块；

45、所述模型训练模块，用于：基于所述无遮挡视频帧分别构建运动特征矩阵和动作特征矩阵；所述运动特征矩阵用于描述关节点的时序变化，所述动作特征矩阵用于描述关节点的相对位置变化；并基于特征融合后的所述运动特征矩阵和所述动作特征矩阵训练得到所述摔倒检测模型。

46、第三方面，本技术实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的摔倒检测方法的步骤。

47、第四方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的摔倒检测方法的步骤。

48、本技术实施例提供的摔倒检测方法，通过对视频进行筛选获取有效视频帧，通过比较相邻两帧视频帧的质心偏移量和预设偏移阈值，对摔倒行为的视频帧进行初步筛选，减少无关视频帧的干扰；并通过检测对象的高度属性对有效视频帧进行尺寸矫正，以解决监控视频下检测对象的高度信息被压缩的问题，进而得到检测对象正确的空间比例属性，根据正确的空间比例属性补齐每一有效视频帧中检测对象缺失的三维姿态信息，令得到的无遮挡视频帧中包含有检测对象所有关键的关节点坐标，以解决检测对象被遮挡的问题，使得用于摔倒检测的视频帧进一步排除了因视角限制引入的干扰，从而提高摔倒检测结果的准确度。