跌倒检测方法、装置、设备终端和可读存储介质与流程

1.本技术涉及图像数据处理领域，具体涉及一种跌倒检测方法、装置、设备终端和可读存储介质。


背景技术：

2.openpose为一个基于骨骼点识别的关键点识别技术，其中，openpose依赖于paf通道输出，在复杂场景下，当人体跌倒时，例如昏暗、背景混乱等场景下容易出现误判情况，极易将雨伞架或桌子腿识别成人体一部分，从而影响到对人体跌倒行为的识别准确度。


技术实现要素：

3.鉴于此，本技术提供一种跌倒检测方法、装置、设备终端和可读存储介质，能够提高对复杂场景下的人体跌倒行为的识别准确度。
4.一种跌倒检测方法，包括：基于yolov5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像；将预设数量的人形目标数据帧图输像入至预设时间段网络进行判断，以得到对应的人体动作类别信息；根据人体动作类别信息，判断对应人体是否处于跌倒状态。
5.在一个实施例中，yolov5目标检测模型包括依次连接的输入层、特征提取层、预测输出层和图像输出处理层，基于yolov5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像的步骤包括：基于输入层、特征提取层和预测输出层，对输入的视频帧图像数据中的行人进行检测，得到初步人形目标图像；基于图像输出处理层，对初步人形目标图像的大小进行调整，以得到正方形的人形目标图像。
6.在一个实施例中，基于图像输出处理层，对初步人形目标图像的大小进行调整，以得到正方形的人形目标图像的步骤包括：基于图像输出处理层，获取初步人形目标图像，判断初步人形目标图像是否为正方形；若否，则获取初步人形目标图像中的最长边；根据初步人形目标图像中的最长边计算缩放系数，根据缩放系数对初步人形目标图像进行缩放，得到缩放后的初步人形目标图像；以缩放后的初步人形目标图像的最长边为基准边长，输出正方形的人形目标图像。
7.在一个实施例中，以缩放后的初步人形目标图像的最长边为基准边长，输出正方形的人形目标图像的步骤包括：
以缩放后的初步人形目标图像的最长边为基准边长，生成对应的黑色正方形背景图；将缩放后的初步人形目标图像中的最长边与黑色正方形背景图中的一边相对齐，生成并输出正方形的人形目标图像。
8.在一个实施例中，特征提取层和预测输出层之间还设置有平滑网络层，特征提取层和预测输出层之间还设置有平滑网络层，基于yolov5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像的步骤包括：基于输入层和特征提取层，对输入的视频帧图像数据进行处理，提取得到对应目标的中间特征图；获取相邻视频帧图像数据中同一目标各自对应的中间特征图；基于平滑网络层对输入的各个中间特征图进行平滑处理，获取相邻视频帧图像数据中同一目标各自对应中间特征图之间的速度、位置、加速度以及面积的变化信息；将变化信息输入到预测输出层进行特征融合，以输出得到初步人形目标图像；基于图像输出处理层，对初步人形目标图像的大小进行调整，以得到正方形的人形目标图像。
9.在一个实施例中，yolov5目标检测模型中对应的损失函数为：其中，loss为yolov5目标检测模型中对应的损失函数，l
cls
为分类损失，为l
cls
的对应系数，l
obj
为目标损失，为l
obj
的对应系数，l
loc
为平滑处理损失，为l
loc
的对应系数，c为目标检测框中的关键坐标点数目，t为中间特征图对应的视频帧图像数据的总帧数，t为帧变量，表示第t帧视频帧图像数据所对应的目标检测框经过所述平滑处理后的预测值，i表示关键坐标点变量，y
i,t
表示第t帧视频帧图像数据所对应的目标检测框的真实值。
10.在一个实施例中，特征提取层包括backbone单元、空间效率度量单元和neck单元，基于输入层和特征提取层，对输入的视频帧图像数据进行处理，提取得到对应目标的中间特征图的步骤包括：基于输入层和backbone单元，对输入的视频帧图像数据进行切片操作以及卷积操作，以获得初始特征图；基于空间效率度量单元，对初始特征图进行空间特征增强处理，以得到对应的增强特征图；基于neck单元对增强特征图进行二次特征提取，以得到对应目标的中间特征图。
11.此外，还提供一种跌倒检测装置，包括：图像生成单元，用于基于yolov5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像；类别信息生成单元，用于将预设数量的人形目标数据帧图输像入至预设时间段网
络进行判断，以得到对应的人体动作类别信息；状态判断单元，用于根据人体动作类别信息，判断对应人体是否处于跌倒状态。
12.此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述跌倒检测方法。
13.此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时实施上述跌倒检测方法。
14.上述跌倒检测方法通过基于yolov5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像；将预设数量的人形目标数据帧图输像入至预设时间段网络进行判断，以得到对应的人体动作类别信息；根据所述人体动作类别信息，判断对应人体是否处于跌倒状态，将yolov5目标检测模型与预设时间段网络结合起来，直接通过利用yolov5目标检测模型直接对输入的视频帧图像数据中的行人进行检测识别，得到人形目标图像，然后将人形目标图像进一步输入到预设时间段网络进行进一步的判断识别，上述跌倒检测方法不需要依赖于人体的骨骼点识别，克服了单纯依赖基于骨骼点识别的跌倒检测方法所存在的准确度不高以及应用场景有限的缺点，相对于依赖于骨骼点识别的跌倒检测方法，上述跌倒检测方法基于算法层面，速度和精度大大提高。
附图说明
15.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1是本技术实施例提供的一种跌倒检测方法的流程示意图；图2是本技术实施例提供的一种yolov5目标检测模型的结构框图；图3是本技术实施例提供的一种得到正方形的人形目标图像的流程示意图；图4是本技术实施例提供的另一种得到正方形的人形目标图像的流程示意图；图5是本技术实施例提供的又一种得到正方形的人形目标图像的流程示意图；图6是本技术实施例提供的一种得到初步人形目标图像的流程示意图；图7是本技术实施例提供的一种得到对应目标的中间特征图的流程示意图；图8是本技术实施例提供的一种跌倒检测装置的结构框图。
具体实施方式
17.下面结合附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而非全部实施例。基于本技术中的实施例。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
18.如图1所示，提供一种跌倒检测方法，该检测方法包括：步骤s110，基于yolov5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像。
19.其中，yolov5目标检测模型为预先训练好的目标模型，在训练过程中，训练数据集通常采用coco2017，其中只针对行人部分进行训练，并且通过旋转图像的方式在训练时对
图像进行顺时针和逆时针90度的随机扩增，从而增强yolov5目标检测模型对跌倒状态下的人体的检测能力。
20.其中，输入的视频帧图像数据中，基于yolov5目标检测模型，对输入的每个视频帧图像中的行人进行检测，以输出得到对应的人形目标图像。
21.步骤s120，将预设数量的人形目标数据帧图输像入至预设时间段网络进行判断，以得到对应的人体动作类别信息。
22.其中，预设时间段网络为tsn（temporal segment networks），tsn采样一系列短片段，每个片段都将给出其本身对于行为类别的初步预测，从这些片段的“共识”来得到视频级的预测结果。
23.本实施例中，通过将预设数量的人形目标数据帧图输像入至预设时间段网络进行判断，进而得到对应的人体动作类别信息。
24.步骤s130，根据人体动作类别信息，判断对应人体是否处于跌倒状态。
25.其中，人体动作类别信息包括人体的姿态信息，通过对人体的姿态信息的变化程度，可判断人体是否处于跌倒状态。
26.在一个实施例中，yolov5目标检测模型对输入的视频帧图像数据中的行人进行检测，每秒钟检测预设数量帧数的视频帧图像（例如每秒钟30帧视频帧图像），得到对应的人形目标图像，然后进一步将对应的人形目标图像输入预设时间段网络进行判断，得到人体动作类别信息，最后根据人体动作类别信息，判断对应人体是否处于跌倒状态。
27.在一个实施例中，预设时间段网络中的主干网络可采用修改为更为轻量的mobilenetv3网络，从整体上提高上述跌倒检测方法的检测速度。
28.上述跌倒检测方法通过基于yolov5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像；将预设数量的人形目标数据帧图输像入至预设时间段网络进行判断，以得到对应的人体动作类别信息；根据所述人体动作类别信息，判断对应人体是否处于跌倒状态，将yolov5目标检测模型与预设时间段网络结合起来，直接通过利用yolov5目标检测模型直接对输入的视频帧图像数据中的行人进行检测识别，得到人形目标图像，然后将人形目标图像进一步输入到预设时间段网络进行进一步的判断识别，上述跌倒检测方法不需要依赖于人体的骨骼点识别，克服了单纯依赖基于骨骼点识别的跌倒检测方法所存在的准确度不高以及应用场景有限的缺点，相对于依赖于骨骼点识别的跌倒检测方法，上述跌倒检测方法基于算法层面，速度和精度大大提高。
29.在一个实施例中，如图2所示，yolov5目标检测模型包括依次连接的输入层11、特征提取层12、预测输出层13和图像输出处理层14，如图3所示，步骤s110包括：步骤s111，基于输入层、特征提取层和预测输出层，对输入的视频帧图像数据中的行人进行检测，得到初步人形目标图像。
30.目标各自对应的输入特征图进行比较，以得到当前视频帧的变化信息，该变化信息通常包括对应目标的位置、速度和加速度信息。
31.然而，行人跌倒时，视频帧图像往往存在更大的抖动，对于行人是否跌倒的动态检测还需要进一步考虑行人目标的形态变化，即对通常的平滑网络进行改进，增加形态变化参数检测，例如，通过对各个中间特征图（即检测框）的面积进行比较，以确定行人目标的形态变化。
32.步骤s116，将变化信息输入到预测输出层进行特征融合，以输出得到初步人形目标图像。
33.其中，在将变化信息输入到预测输出层时，通常在预测输出层中的融合层（fusion layer）进行融合。
34.步骤s117，基于图像输出处理层，对初步人形目标图像的大小进行调整，以得到正方形的人形目标图像。
35.其中，图3以及图4中的步骤s112与步骤s117相同，这里不再赘述步骤s117。
36.本实施例中，从目标的位置、速度、加速度和检测框面积信息的变化构建对应的平滑网络层，能够进一步提高对视频帧图像中的行人进行检测的准确度，得到更为准确的正方形的人形目标图像。
37.在一个实施例中，yolov5目标检测模型中对应的损失函数为：其中，loss为yolov5目标检测模型中对应的损失函数，l
cls
为分类损失，为l
cls
的对应系数，l
obj
为目标损失，为l
obj
的对应系数，l
loc
为平滑处理损失，为l
loc
的对应系数，c为目标检测框中的关键坐标点数目，t为中间特征图对应的视频帧图像数据的总帧数，t为帧变量，表示第t帧视频帧图像数据所对应的目标检测框经过所述平滑处理后的预测值，i表示关键坐标点变量，y
i,t
表示第t帧视频帧图像数据所对应的目标检测框的真实值。
38.在一个实施例中，如图3所示，特征提取层12包括backbone单元12a、空间效率度量单元12b和neck单元12c，如图7所示，步骤s111包括：步骤s111a，基于输入层和backbone单元，对输入的视频帧图像数据进行切片操作以及卷积操作，以获得初始特征图。
39.步骤s111b，基于空间效率度量单元，对初始特征图进行空间特征增强处理，以得到对应的增强特征图。
40.步骤s111c，基于neck单元对增强特征图进行二次特征提取，以得到对应目标的中间特征图。
41.本实施例中，通过进一步设置空间效率度量单元，即针对每个主干网络提取出来的特征分支（即对应的初始特征图），通过空间效率度量单元进行空间特征增强处理，能够从整体上扩大检测网络的感受野，从整体上提高上述跌倒检测方法的准确度。
42.此外，如图8所示，还提供一种跌倒检测装置200，包括：图像生成单元210，用于基于yolov5目标检测模型，对输入的视频帧图像数据中的行人进行检测，以输出得到人形目标图像；类别信息生成单元220，用于将预设数量的人形目标数据帧图输像入至预设时间段网络进行判断，以得到对应的人体动作类别信息；
状态判断单元230，用于根据人体动作类别信息，判断对应人体是否处于跌倒状态。
43.此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述跌倒检测方法。
44.此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时实施上述跌倒检测方法。
45.上述跌倒检测装置200中各个单元的划分仅用于举例说明，在其他实施例中，可将上述跌倒检测装置200按照需要划分为不同的单元，以完成上述跌倒检测装置200的全部或部分功能。关于的上述跌倒检测装置200具体限定可以参见上文中对于方法的限定，在此不再赘述。
46.即，以上仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。
47.另外，对于特性相同或相似的结构元件，本技术可采用相同或者不相同的标号进行标识。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
48.在本技术中，“例如”一词是用来表示“用作例子、例证或说明”。本技术中被描述为“例如”的任何一个实施例不一定被解释为比其它实施例更加优选或更加具优势。为了使本领域任何技术人员能够实现和使用本技术，本技术给出了以上描述。在以上描述中，为了解释的目的而列出了各个细节。
49.应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实施例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。