跌倒侦测方法、装置、系统和计算机设备与流程

本技术涉及智能驾驶，特别是涉及一种跌倒侦测方法、装置、系统和计算机设备。

背景技术：

1、通常情况下，车辆中出现有人跌倒受伤情况，驾驶人员可及时停车处理。而对于无人驾驶车辆，由于车辆中无驾驶人员，因此需要对车辆内人员是否出现跌倒进行自动侦测。

2、相关技术中，采用侦测出的人体骨架点信息进行跌倒侦测，然而，在车辆中同时存在多个对象的情境下，由于多个对象之间可能存在遮挡问题，导致无法侦测到人体骨架点信息，进而无法侦测出跌倒行为。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种跌倒侦测方法、装置、系统、计算机设备、计算机可读存储介质和计算机程序产品，能够在多个对象情境下自动侦测出是否存在跌倒行为。

2、第一方面，本技术提供了一种跌倒侦测方法，包括：

3、获取对目标对象拍摄得到的深度图像序列，根据深度图像序列中深度图像的拍摄时序，按照预设规则将深度图像序列切分为在前图像序列和在后图像序列；

4、将深度图像序列输入跌倒侦测模型，采用跌倒侦测模型分别对在前图像序列和在后图像序列进行卷积处理，得到在前卷积结果和在后卷积结果；基于在前卷积结果对在后卷积结果进行补充；分别对在前卷积结果和补充后的在后卷积结果进行卷积处理，得到在前特征图和在后特征图；基于在前特征图和在后特征图进行分类处理，得到跌倒侦测模型输出的跌倒预测信息；

5、基于跌倒预测信息，确定目标对象的跌倒侦测结果。

6、在其中一个实施例中，基于在前卷积结果对在后卷积结果进行补充，包括：

7、获取在后图像序列中包括的深度图像数量以及在后卷积结果中包括的卷积图数量；

8、根据深度图像数量和卷积图数量，确定卷积图补充数量；

9、在在前卷积结果中确定出数量与卷积图补充数量匹配的目标在前卷积结果；

10、将目标在前卷积结果补充入在后卷积结果中，得到补充后的在后卷积结果。

11、在其中一个实施例中，基于在前特征图和在后特征图进行分类处理，得到跌倒侦测模型输出的跌倒预测信息，包括：

12、融合在前特征图和在后特征图；

13、对融合后的特征图进行分类处理，得到在前图像序列对应的活动值和在后图像序列对应的活动值，将在前图像序列对应的活动值和在后图像序列对应的活动值作为跌倒侦测模型输出的跌倒预测信息。

14、在其中一个实施例中，跌倒预测信息包括在前图像序列对应的活动值和在后图像序列对应的活动值；基于跌倒预测信息，确定目标对象的跌倒侦测结果，包括：

15、在在后图像序列对应的活动值大于在前图像序列对应的活动值的情况下，确定目标对象的跌倒侦测结果为跌倒。

16、在其中一个实施例中，将深度图像序列输入跌倒侦测模型，包括：

17、对深度图像序列中的每张深度图像进行图像增强处理，得到增强深度图像序列；图像增强处理包括随机翻转、对比增强、透视变换和仿射变换中的至少一种；

18、将增强深度图像序列输入跌倒侦测模型。

19、在其中一个实施例中，深度图像序列有多个，多个深度图像序列由目标空间内部署在多个不同位置处的深度感测相机拍摄得到，方法还包括：

20、获取多个深度图像序列各自对应的跌倒侦测结果；

21、在任一跌倒侦测结果指示目标对象发生跌倒的情况下，生成跌倒提示信息。

22、在其中一个实施例中，跌倒侦测模型的训练步骤，包括：

23、获取对样本对象拍摄得到的样本深度图像序列，并获取样本深度图像序列对应的跌倒标签，根据样本深度图像序列中样本深度图像的拍摄时序，按照预设规则将样本深度图像序列切分为样本在前图像序列和样本在后图像序列；

24、将样本深度图像序列输入预训练的通用侦测模型，采用通用侦测模型分别对样本在前图像序列和样本在后图像序列进行卷积处理，得到样本在前卷积结果和样本在后卷积结果；基于样本在前卷积结果对样本在后卷积结果进行补充；分别对样本在前卷积结果和补充后的样本在后卷积结果进行卷积处理，得到样本在前特征图和样本在后特征图；基于样本在前特征图和样本在后特征图进行分类处理，得到通用侦测模型输出的分类预测信息；

25、基于分类预测信息和跌倒标签，计算模型损失，基于模型损失对通用侦测模型的模型参数进行调整，直至满足预设停止条件，得到跌倒侦测模型。

26、第二方面，本技术还提供了一种跌倒侦测装置，包括：

27、获取模块，用于获取对目标对象拍摄得到的深度图像序列，根据深度图像序列中深度图像的拍摄时序，按照预设规则将深度图像序列切分为在前图像序列和在后图像序列；

28、处理模块，用于将深度图像序列输入跌倒侦测模型，采用跌倒侦测模型分别对在前图像序列和在后图像序列进行卷积处理，得到在前卷积结果和在后卷积结果；基于在前卷积结果对在后卷积结果进行补充；分别对在前卷积结果和补充后的在后卷积结果进行卷积处理，得到在前特征图和在后特征图；基于在前特征图和在后特征图进行分类处理，得到跌倒侦测模型输出的跌倒预测信息；

29、确定模块，用于基于跌倒预测信息，确定目标对象的跌倒侦测结果。

30、第三方面，本技术还提供了一种跌倒侦测系统，其特征在于，系统包括：

31、深度感测相机，用于对目标对象拍摄得到深度图像序列，并将深度图像序列发送至人工智能运算平台；

32、人工智能运算平台，用于获取深度图像序列，根据深度图像序列中深度图像的拍摄时序，按照预设规则将深度图像序列切分为在前图像序列和在后图像序列；将深度图像序列输入跌倒侦测模型，采用跌倒侦测模型分别对在前图像序列和在后图像序列进行卷积处理，得到在前卷积结果和在后卷积结果；基于在前卷积结果对在后卷积结果进行补充；分别对在前卷积结果和补充后的在后卷积结果进行卷积处理，得到在前特征图和在后特征图；基于在前特征图和在后特征图进行分类处理，得到跌倒侦测模型输出的跌倒预测信息；基于跌倒预测信息，确定目标对象的跌倒侦测结果，并将跌倒侦测结果发送至主控制器。

33、主控制器，用于接收跌倒侦测结果，根据跌倒侦测结果，生成跌倒提示信息。

34、第四方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

35、获取对目标对象拍摄得到的深度图像序列，根据深度图像序列中深度图像的拍摄时序，按照预设规则将深度图像序列切分为在前图像序列和在后图像序列；

36、将深度图像序列输入跌倒侦测模型，采用跌倒侦测模型分别对在前图像序列和在后图像序列进行卷积处理，得到在前卷积结果和在后卷积结果；基于在前卷积结果对在后卷积结果进行补充；分别对在前卷积结果和补充后的在后卷积结果进行卷积处理，得到在前特征图和在后特征图；基于在前特征图和在后特征图进行分类处理，得到跌倒侦测模型输出的跌倒预测信息；

37、基于跌倒预测信息，确定目标对象的跌倒侦测结果。

38、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

39、获取对目标对象拍摄得到的深度图像序列，根据深度图像序列中深度图像的拍摄时序，按照预设规则将深度图像序列切分为在前图像序列和在后图像序列；

40、将深度图像序列输入跌倒侦测模型，采用跌倒侦测模型分别对在前图像序列和在后图像序列进行卷积处理，得到在前卷积结果和在后卷积结果；基于在前卷积结果对在后卷积结果进行补充；分别对在前卷积结果和补充后的在后卷积结果进行卷积处理，得到在前特征图和在后特征图；基于在前特征图和在后特征图进行分类处理，得到跌倒侦测模型输出的跌倒预测信息；

41、基于跌倒预测信息，确定目标对象的跌倒侦测结果。

42、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

43、获取对目标对象拍摄得到的深度图像序列，根据深度图像序列中深度图像的拍摄时序，按照预设规则将深度图像序列切分为在前图像序列和在后图像序列；

44、将深度图像序列输入跌倒侦测模型，采用跌倒侦测模型分别对在前图像序列和在后图像序列进行卷积处理，得到在前卷积结果和在后卷积结果；基于在前卷积结果对在后卷积结果进行补充；分别对在前卷积结果和补充后的在后卷积结果进行卷积处理，得到在前特征图和在后特征图；基于在前特征图和在后特征图进行分类处理，得到跌倒侦测模型输出的跌倒预测信息；

45、基于跌倒预测信息，确定目标对象的跌倒侦测结果。

46、上述跌倒侦测方法、装置、系统、计算机设备、存储介质和计算机程序产品，通过获取对目标对象拍摄得到的深度图像序列，将深度图像序列输入跌倒侦测模型，得到跌倒侦测模型输出的跌倒预测信息，由于跌倒过程是个动作连续变化的过程，深度图像序列能够反映出目标对象在一段时间内的动作变化，因此，采用跌倒侦测模型是对深度图像序列进行处理，有利于自动侦测出跌倒行为。由于在前图像序列和在后图像序列是根据深度图像序列中深度图像的拍摄时序，按照预设规则对深度图像序列切分得到，跌倒侦测模型对在前图像序列和在后图像序列分别进行处理，模型处理过程中，在后图像序列对应的卷积结果复用了在前图像序列对应的卷积结果，有利于识别出在前图像序列与在后图像序列之间的动作变化，无论单个对象场景还是多个对象场景，都可以侦测出是否出现跌倒行为。