跌倒行为的检测方法、系统、设备及存储介质与流程

本发明涉及跌倒行为检测的，尤其涉及一种跌倒行为的检测方法、系统、设备及存储介质。

背景技术：

1、随着社会老龄化趋势日益加剧，公众对老年人日常生活中的安全问题倍加关注。例如，人们普遍期望能够及时检测出老年人独自在家时是否发生跌倒等意外情况。因此，在现实生活中，如何有效、准确地检测跌倒事件并及时为老年人提供救助成为一个亟待解决的问题。

2、然而现有的识别方法是采用摄像头采集视频流数据，然后通过视觉处理技术来建模，通过模拟人体的相对位置来判断视频中的人是否跌倒。但是，在识别的过程中，需要基于光照、人体的轮廓、运行信息等来判断。而人体的轮廓特征数据量十分大，在提取过程中，由于数据量非常大，使得误差相对会偏高。即受到衣服的影响，导致提取的人体轮廓不精准。使得在后续识别的过程中会对结果造成影响。

技术实现思路

1、基于此，有必要针对上述问题，提出了一种跌倒行为的检测方法、装置、计算机设备及存储介质，以解决上述问题。

2、一种跌倒行为的检测方法，所述方法包括：

3、获取待检测的视频图像数据，对所述待检测的视频图像数据进行分段处理，获得分段后的视频图像数据；

4、将所述分段后视频图像数据输入至关键点深度网络模型进行特征提取，获得提取后的二维关节预测位置的坐标集合，其中所述提取后的二维关节预测位置的坐标集合包括头部、肩部、手肘、手腕、髋部、膝盖和脚踝的特征点坐标；

5、将所述分段后的视频图像数据输入至深度回归模型中进行预测处理，获得预测后的关节深度的坐标集合；

6、依据所述提取后的二维关节预测位置的坐标集合和所述预测后的关节深度的坐标集合生成三维人体姿势；

7、对所述三维人体姿势进行重心计算，获得人体重心与地面的距离值；

8、计算重心置信度，若置信度小于阈值，则判断为跌倒。

9、在本技术的至少一个实施例中，所述将所述分段后视频图像数据输入至关键点深度网络模型进行特征提取，获取提取后的二维关节预测位置的坐标集合，其中提取后的二维关节预测位置的坐标集合包括头部、肩部、手肘、手腕、髋部、膝盖和脚踝的特征点坐标的具体步骤还包括：

10、将所述视频图像数据输入至关键点深度网络模型内，所述关键点深度网络模型输出二维预测热图；

11、对所述二维预测热图进行峰值位置提取，获得提取后的二维关节预测位置的坐标集合。

12、在本技术的至少一个实施例中，所述将所述视频图像数据输入至关键点深度网络模型内，所述关键点深度网络模型输出二维预测热图的具体步骤还包括：

13、获取损失测量预测热图；

14、对所述视频图像数据进行高斯核渲染，获得渲染后的二维热图；

15、依据所述渲染后的二维热图和所述损失测量预测热图进行损失函数计算所述渲染后的二维热图和所述损失测量预测热图的距离：

16、

17、其中，y2d为提取后的二维关节预测位置的坐标，y^hm为损失测量预测热图，g(y2d)为渲染后的二维热图。

18、在本技术的至少一个实施例中，所述方法还包括：

19、对所述关键点深度网络模型进行残差学习，计算公式如下：

20、h(x)＝f(x)+x.

21、y＝f(x，{wi})+x；

22、其中，x为层的输入向量，y为层的输出向量，wi为权重矩阵中的权重，为需要学习的残差映射。

23、在本技术的至少一个实施例中，所述计算重心置信度，若置信度小于阈值，则判断为跌倒的具体步骤还包括：

24、若置信度小于阈值，则依据所述提取后的二维关节预测位置的坐标集合和所述预测后的关节深度计算髋部关键点到地面的距离，获得第一距离；

25、则依据所述提取后的二维关节预测位置的坐标集合和所述预测后的关节深度计算髋部关键点到膝盖关键点的距离，获得第二距离；

26、判断所述第二距离是否大于所述第一距离；

27、若所述第二距离大于所述第一距离，则判定为跌倒。

28、在本技术的至少一个实施例中，所述方法还包括：

29、若所述第二距离不大于所述第一距离，则判定为未跌倒。

30、一种跌倒行为的检测系统，所述系统包括：

31、获取模块，用于获取视频图像数据；

32、分段模块，对视频图像数据进行分段处理；

33、关键点深度网络模型提取模块，用于提取分段后视频图像数据中的二维关节预测位置特征；

34、深度回归模块，用于预测分段后的视频图像数据中的关节深度特征；

35、三维图像生成模块，用于生成三维人体姿势；

36、计算模块，对三维人体姿势进行重心计算；

37、判断模块，用于判断三维人体姿势是否跌倒；

38、所述跌倒行为的检测系统执行以下步骤：

39、获取待检测的视频图像数据，对所述待检测的视频图像数据进行分段处理，获得分段后的视频图像数据；

40、将所述分段后视频图像数据输入至关键点深度网络模型进行特征提取，获得提取后的二维关节预测位置的坐标集合，其中所述提取后的二维关节预测位置的坐标集合包括头部、肩部、手肘、手腕、髋部、膝盖和脚踝的特征点坐标；

41、将所述分段后的视频图像数据输入至深度回归模型中进行预测处理，获得预测后的关节深度的坐标集合；

42、依据所述提取后的二维关节预测位置的坐标集合和所述预测后的关节深度的坐标集合生成三维人体姿势；

43、对所述三维人体姿势进行重心计算，获得人体重心与地面的距离值；

44、计算重心置信度，若置信度小于阈值，则判断为跌倒。

45、一种跌倒行为的检测系统，所述系统包括：

46、获取模块，用于获取视频图像数据；

47、分段模块，对视频图像数据进行分段处理；

48、关键点深度网络模型提取模块，用于提取分段后视频图像数据中的二维关节预测位置特征；

49、深度回归模块，用于预测分段后的视频图像数据中的关节深度特征；

50、三维图像生成模块，用于生成三维人体姿势；

51、计算模块，对三维人体姿势进行重心计算；

52、判断模块，用于判断三维人体姿势是否跌倒；

53、所述跌倒行为的检测系统执行以下步骤：

54、获取待检测的视频图像数据，对所述待检测的视频图像数据进行分段处理，获得分段后的视频图像数据；

55、将所述分段后视频图像数据输入至关键点深度网络模型进行特征提取，获得提取后的二维关节预测位置的坐标集合，其中所述提取后的二维关节预测位置的坐标集合包括头部、肩部、手肘、手腕、髋部、膝盖和脚踝的特征点坐标；

56、将所述分段后的视频图像数据输入至深度回归模型中进行预测处理，获得预测后的关节深度的坐标集合；

57、依据所述提取后的二维关节预测位置的坐标集合和所述预测后的关节深度的坐标集合生成三维人体姿势；

58、对所述三维人体姿势进行重心计算，获得人体重心与地面的距离值；

59、计算重心置信度，若置信度小于阈值，则判断为跌倒。

60、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

61、获取待检测的视频图像数据，对所述待检测的视频图像数据进行分段处理，获得分段后的视频图像数据；

62、将所述分段后视频图像数据输入至关键点深度网络模型进行特征提取，获得提取后的二维关节预测位置的坐标集合，其中所述提取后的二维关节预测位置的坐标集合包括头部、肩部、手肘、手腕、髋部、膝盖和脚踝的特征点坐标；

63、将所述分段后的视频图像数据输入至深度回归模型中进行预测处理，获得预测后的关节深度的坐标集合；

64、依据所述提取后的二维关节预测位置的坐标集合和所述预测后的关节深度的坐标集合生成三维人体姿势；

65、对所述三维人体姿势进行重心计算，获得人体重心与地面的距离值；

66、计算重心置信度，若置信度小于阈值，则判断为跌倒。

67、一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

68、获取待检测的视频图像数据，对所述待检测的视频图像数据进行分段处理，获得分段后的视频图像数据；

69、将所述分段后视频图像数据输入至关键点深度网络模型进行特征提取，获得提取后的二维关节预测位置的坐标集合，其中所述提取后的二维关节预测位置的坐标集合包括头部、肩部、手肘、手腕、髋部、膝盖和脚踝的特征点坐标；

70、将所述分段后的视频图像数据输入至深度回归模型中进行预测处理，获得预测后的关节深度的坐标集合；

71、依据所述提取后的二维关节预测位置的坐标集合和所述预测后的关节深度的坐标集合生成三维人体姿势；

72、对所述三维人体姿势进行重心计算，获得人体重心与地面的距离值；

73、计算重心置信度，若置信度小于阈值，则判断为跌倒。

74、实施本发明实施例，将具有如下有益效果：

75、本发明提出一种跌倒行为的检测方法，服务器对输入的视频图像数据进行分析。服务器首先对视频进行分段，然后通过关键点检测和深度回归模型提取关键特征。之后，它综合这些数据生成三维姿态，并计算重心位置和置信度。最终，服务器根据这些计算判断是否发生跌倒，并可以触发相应的警报系统。通过结合二维关节位置和深度信息生成三维人体姿态，相较于传统的二维图像分析，能更精确地反映人体的实际状态，其次，采用人体的关键特征进行重心判断，使得精准度更高。