一种跌倒动作的识别方法、装置及系统与流程

1.本发明涉及跌倒动作的识别领域，涉及一种跌倒动作的识别方法、装置及系统。


背景技术：

2.随着国内人口老龄化的增长，独居老人的健康监护变得越来越重要，当老人发生跌倒时，如果能够得到及时的救治，就避免老人被二次伤害。因此，监护装置对于跌倒动作的识别是至关重要的。
3.在现有技术中，对于跌倒动作的识别主要是基于可穿戴设备、基于环境传感器和基于计算机视觉进行识别。其中，由于基于可穿戴设备不利于老人的生活行动，且在忘记佩带时无法实时检测；而基于环境传感器容易受到周围环境的干扰，且设备昂贵，准确率低下，因此，现有技术中普遍基于计算机视觉进行跌倒动作的识别。在深度学习领域，用于跌倒行为检测的方法主要为双流法和3d cnn，双流法是将光流信息与rgb信息进行融合，以提高检测精度；3dcnn使用3d卷积核从连续的rgb视频序列中提取时序特征。
4.但是，现有技术仍存在如下缺陷：(1)需要预先计算光流信息，降低了算法的效率；(2)连续帧输入网络时，连续帧之间信息存在冗余，3d卷积计算量大；(3)由于网络的帧序列通常为20-30帧，网络很难提取长期的时序关系。
5.因此，当前需要一种跌倒动作的识别方法、装置及系统，从而克服现有技术中存在的上述缺陷。


技术实现要素：

6.针对现存的上述技术问题，本发明的目的在于提供一种跌倒动作的识别方法、装置及系统，从而提升跌倒动作的识别效率。
7.本发明提供了一种跌倒动作的识别方法，所述识别方法包括：根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络；所述训练数据集为ur fall数据集；所述第一跌倒识别网络包括trn时序网络以及backbone网络；获取待识别的动作图像组；根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果。
8.在一个实施例中，根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络，具体包括：将预设的训练数据集输入第一跌倒识别网络中的backbone网络，从而提取出所述训练数据集的特征数据组；所述特征数据组包括多个特征数据；根据第一跌倒识别网络中的trn时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，并根据所述时间关系将输出的结果进行拼接，从而获得训练识别结果；根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络。
9.在一个实施例中，根据第一跌倒识别网络中的trn时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，具体包括：将所述多个特征数据
输入第一跌倒识别网络中的trn时序网络中，以使所述trn时序网络根据预设的时间复合函数，分别获取所述多个特征数据在多个时间尺度上的第一时间复合函数以作为对应的时间关系；其中，所述时间复合函数为：式中，v为输入的视频，有n帧有序帧，其中fi表示第i帧，这里和g
θ
分别为mlp中对应的函数。
10.在一个实施例中，将预设的训练数据集输入第一跌倒识别网络中的backbone网络，从而提取出所述训练数据集的特征数据组，具体包括：根据预设的输入要求，对预设的训练数据集进行缩放以获取输入数据集；所述输入数据集对应于所述训练数据集；通过第一跌倒识别网络中的backbone网络，提取所述输入数据集中的图像特征，获得特征数据组。
11.在一个实施例中，根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络，具体包括：根据所述训练识别结果计算损失值，并根据所述损失值判断所述第一跌倒识别网络是否收敛；若不收敛，则反向传递所述损失值以根据所述损失值调整所述第一跌倒识别网络的参数，并重复上述步骤；若收敛，则将所述第一跌倒识别网络输出为跌倒识别网络。
12.在一个实施例中，根据所述时间关系将输出的结果进行拼接，从而获得训练识别结果，具体包括：将各个时间关系对应的第一时间复合函数进行累加以获得训练识别结果。
13.在一个实施例中，在根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果之后，还包括：当识别结果为检测到跌倒行为时，向用户发送提示信息。
14.本发明还提供了一种跌倒动作的识别装置，所述识别装置包括模型训练单元、图像获取单元以及跌倒识别单元，其中，所述模型训练单元用于根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络；所述训练数据集为ur fall数据集；所述第一跌倒识别网络包括trn时序网络以及backbone网络；所述图像获取单元用于获取待识别的动作图像组；所述跌倒识别单元用于根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果。
15.在一个实施例中，模型训练单元还用于：将预设的训练数据集输入第一跌倒识别网络中的backbone网络，从而提取出所述训练数据集的特征数据组；所述特征数据组包括多个特征数据；根据第一跌倒识别网络中的trn时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，并根据所述时间关系将输出的结果进行拼接，从而获得训练识别结果；根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络。
16.在一个实施例中，所述识别装置还包括跌倒提示单元，所述跌倒提示单元用于在识别结果为检测到跌倒行为时，向用户发送提示信息。
17.本发明还提供了一种跌倒动作的识别系统，所述识别系统包括行为识别模块、数据存储模块以及一个或多个摄像头，所述行为识别模块分别与所述数据存储模块以及所述摄像头通信连接，所述数据存储模块用于存储所有数据，所述摄像头用于采集待识别的动作图像组，并将所述动作图像组发送给所述行为识别模块，所述行为识别模块用于执行如前所述的跌倒动作的识别方法。
18.在一个实施例中，所述识别系统还包括用户交互模块，所述用户交互模块与所述
行为识别模块通信连接，所述用户交互模块用于在识别结果为检测到跌倒行为时，向用户发送提示信息。
19.相比于现有技术，本发明实施例具有如下有益效果：
20.本发明提供了一种跌倒动作的识别方法、装置及系统，通过trn时序网络加强卷积神经网络的时序处理能力，并使用该卷积神经网络对获取到的待识别的动作图像组进行识别分类，该识别方法、装置及系统提升了跌倒动作的识别效率。
21.进一步地，本发明提供的一种跌倒动作的识别方法、装置及系统还通过在识别结果为检测到跌倒行为时，向用户发送提示信息，从而提升了安全性。
附图说明
22.下文将结合说明书附图对本发明进行进一步的描述说明，其中：
23.图1示出了根据本发明的一种跌倒动作的识别方法的一个实施例的流程图；
24.图2示出了根据本发明的一种跌倒动作的识别装置的一个实施例的结构图；
25.图3示出了根据本发明的一种跌倒动作的识别系统的一个实施例的结构图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.具体实施例一
28.本发明实施例首先描述了一种跌倒动作的识别方法。图1示出了根据本发明的一种跌倒动作的识别方法的一个实施例的流程图。
29.如图1所示，该方法包括如下步骤：
30.s1：根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络。
31.所述训练数据集为ur fall数据集。所述第一跌倒识别网络包括trn时序网络以及backbone网络。
32.在一个实施例中，根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络，具体包括：将预设的训练数据集输入第一跌倒识别网络中的backbone网络，从而提取出所述训练数据集的特征数据组；所述特征数据组包括多个特征数据；根据第一跌倒识别网络中的trn时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，并根据所述时间关系将输出的结果进行拼接，从而获得训练识别结果；根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络。
33.在使用跌倒识别网络对待识别的动作图像组进行识别分类之前，首先需要根据预设的训练数据集对初始卷积神经网络(本文中描述为“第一跌倒识别网络”)进行训练，以获得跌倒识别网络。因此，本发明实施例首先将预设的训练数据集输入第一跌倒识别网络中的backbone网络以初步提取训练数据集的空间特征，从而获取对应的特征数据组。在一个
实施例中，所述特征数据组包括多个特征数据。
34.在一个实施例中，将预设的训练数据集输入第一跌倒识别网络中的backbone网络，从而提取出所述训练数据集的特征数据组，具体包括：根据预设的输入要求，对预设的训练数据集进行缩放以获取输入数据集；所述输入数据集对应于所述训练数据集；通过第一跌倒识别网络中的backbone网络，提取所述输入数据集中的图像特征，获得特征数据组。
35.由于对于跌倒动作的识别需要对一系列的图像进行分析判断，且图像之间的时间和空间关系紧密，因此，在对跌倒动作进行识别时，往往会存在大量时序特征分析带来的算力负荷问题，但是，现有技术中用于识别的网络模型往往对时序的处理能力不强，无法有效或高效地完成识别分类。对此，本发明实施例在对用于跌倒识别的网络模型的设计时，特意在backbone网络的基础上新增了trn时序网络，从而提升第一跌倒识别网络的时序处理能力。
36.由于trn时序网络会先对多个图像进行分组，再针对每组进行分析处理以获取各组的结果以及结果之间的时间关系，因此，在获得结果和结果之间的时间关系后，需要根据时间关系将输出的结果进行拼接，从而获得训练识别结果。
37.在一个实施例中，根据第一跌倒识别网络中的trn时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，具体包括：将所述多个特征数据输入第一跌倒识别网络中的trn时序网络中，以使所述trn时序网络根据预设的时间复合函数，分别获取所述多个特征数据在多个时间尺度上的第一时间复合函数以作为对应的时间关系。
38.其中，所述时间复合函数为：
[0039][0040]
式中，v为输入的视频，有n帧有序帧，其中fi表示第i帧，这里和分别为mlp中对应的函数。
[0041]
在获取训练识别结果后，需要对训练识别结果进行验证以计算当前的第一跌倒识别网络的损失值，从而根据损失值以及预设的阈值判断当前第一跌倒识别网络是否收敛，进而确定是否要继续训练。
[0042]
当判断认为当前的第一跌倒识别网络不收敛时，需要继续进行网络模型训练，则将前一步骤中计算所得的损失值进行反向传递，从而根据该损失值修正当前第一跌倒识别网络的模型参数，并进入下一轮训练，如此重复，直至判断认为第一跌倒识别网络收敛。
[0043]
当判断认为当前的第一跌倒识别网络收敛时，则说明当前的第一跌倒识别网络可以直接用于跌倒动作的识别分类，此时可以输出该第一跌倒识别网络为预设的跌倒识别网络，从而用于后续的识别应用。
[0044]
在一个实施例中，根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络，具体包括：根据所述训练识别结果计算损失值，并根据所述损失值判断所述第一跌倒识别网络是否收敛；若不收敛，则反向传递所述损失值以根据所述损失值调整所述第一跌倒识别网络的参数，并重复上述步骤；若收敛，则将所述第一跌倒识别网络输出为跌倒识别网络。
[0045]
在一个实施例中，根据所述时间关系将输出的结果进行拼接，从而获得训练识别
结果，具体包括：将各个时间关系对应的第一时间复合函数进行累加以获得训练识别结果。
[0046]
s2:获取待识别的动作图像组。
[0047]
为了进行跌倒动作的识别，首先需要通过架设摄像头以实时采集获取待识别的动作图像组。其中，动作图像组包括若干幅动作图像。
[0048]
s3:根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果。
[0049]
由于，在深度学习领域，用于跌倒行为检测的方法主要为双流法和3d cnn，双流法是将光流信息与rgb信息进行融合，以提高检测精度；3d cnn则使用3d卷积核从连续的rgb视频序列中提取时序特征，但是上述两种方法仍存在如下缺陷：需要预先计算光流信息，降低了算法的效率；连续帧输入网络时，连续帧之间信息存在冗余，3d卷积计算量大；由于网络的帧序列通常为20-30帧，网络很难提取长期的时序关系。
[0050]
对此，本发明实施例采用预设的跌倒识别网络进行识别分类，其中，所述跌倒识别网络是由trn时序网络以及backbone网络训练构成的卷积神经网络，通过trn时序网络能够在多个时间尺度上学习和发现可能的时间关系，从而增强网络的时序处理能力。
[0051]
在一个实施例中，在根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果之后，还包括：当识别结果为检测到跌倒行为时，向用户发送提示信息。
[0052]
本发明实施例描述了一种跌倒动作的识别方法，通过trn时序网络加强卷积神经网络的时序处理能力，并使用该卷积神经网络对获取到的待识别的动作图像组进行识别分类，该识别方法提升了跌倒动作的识别效率；进一步地，本发明实施例描述的一种跌倒动作的识别方法还通过在识别结果为检测到跌倒行为时，向用户发送提示信息，从而提升了安全性。
[0053]
具体实施例二
[0054]
除上述方法外，本发明实施例还描述了一种跌倒动作的识别装置。图2示出了根据本发明的一种跌倒动作的识别装置的一个实施例的结构图。
[0055]
如图所示，该识别装置包括模型训练单元11、图像获取单元12以及跌倒识别单元13。
[0056]
其中，模型训练单元11用于根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络。所述训练数据集为ur fall数据集；所述第一跌倒识别网络包括trn时序网络以及backbone网络。
[0057]
图像获取单元12用于获取待识别的动作图像组。
[0058]
跌倒识别单元13用于根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果。
[0059]
在一个实施例中，模型训练单元还用于：将预设的训练数据集输入第一跌倒识别网络中的backbone网络，从而提取出所述训练数据集的特征数据组；所述特征数据组包括多个特征数据；根据第一跌倒识别网络中的trn时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，并根据所述时间关系将输出的结果进行拼接，从而获得训练识别结果；根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络。
[0060]
在一个实施例中，所述识别装置还包括跌倒提示单元，所述跌倒提示单元用于在识别结果为检测到跌倒行为时，向用户发送提示信息。
[0061]
本发明实施例描述了一种跌倒动作的识别装置，通过trn时序网络加强卷积神经网络的时序处理能力，并使用该卷积神经网络对获取到的待识别的动作图像组进行识别分类，该识别装置提升了跌倒动作的识别效率；进一步地，本发明实施例描述的一种跌倒动作的识别装置还通过在识别结果为检测到跌倒行为时，向用户发送提示信息，从而提升了安全性。
[0062]
具体实施例三
[0063]
除上述方法和装置外，本发明还描述了一种跌倒动作的识别系统。图3示出了根据本发明的一种跌倒动作的识别系统的一个实施例的结构图。
[0064]
如图所示，该识别系统包括行为识别模块1、数据存储模块2以及一个或多个摄像头3，所述行为识别模块1分别与所述数据存储模块2以及所述摄像头3通信连接，所述数据存储模块2用于存储所有数据，所述摄像头3用于采集待识别的动作图像组，并将所述动作图像组发送给所述行为识别模块1，所述行为识别模块1用于执行如前所述的跌倒动作的识别方法。
[0065]
在一个实施例中，所述识别系统还包括用户交互模块，所述用户交互模块与所述行为识别模块1通信连接，所述用户交互模块用于在识别结果为检测到跌倒行为时，向用户发送提示信息。
[0066]
本发明实施例描述了一种跌倒动作的识别系统，通过trn时序网络加强卷积神经网络的时序处理能力，并使用该卷积神经网络对获取到的待识别的动作图像组进行识别分类，该识别系统提升了跌倒动作的识别效率；进一步地，本发明实施例描述的一种跌倒动作的识别系统还通过在识别结果为检测到跌倒行为时，向用户发送提示信息，从而提升了安全性。
[0067]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。