一种摔倒报警方法、装置及设备与流程

本发明涉及防摔倒监控领域，具体而言，涉及一种摔倒报警方法、装置及设备。

背景技术：

根据世界疾病控制与预防组织统计，世界上超过65岁的老人，每年有l/3会摔倒，其中有一半为再发性摔倒，摔倒率随年龄增长而增长；摔倒的老年人中有20％-30％的人发生中度和重度损伤(髋骨骨折和头创伤)，60％活动受限或不能活动，造成巨大的医疗负担和健康伤害。医院里，病人摔倒不及时救治也会产生很严重的后果。减小老年人以及病人摔倒带来的伤害问题已成为国际上新的研究热点。医学研究标明：减小人摔倒时给身体带来的冲击可以有效减轻摔倒事故带来的伤害；而对于已经摔倒的老人及病人，救助等待时间的长短直接决定了患病的程度。

目前主要的摔倒自动检测报警系统主要通过自动检测人体上躯干部位的加速度信息及位姿信息，综合人体加速度、位姿、运动时间三者之间的关系，正确判断人体是否摔倒以及是否需要求救。

然而，需要佩戴额外的设备这一限定，大大阻碍了现有方案的实现效果，并且设备佩戴较为繁琐，老年人或病人此前没有接触过此类装置的话不易操作，且设备佩戴位置有严格要求，普通人不易掌握，可能额外需专业人员上门安装。另外，老年人或病人大多行动不便，很可能发生由于身体状况没有来得及佩戴设备的情况，此时一旦危险发生，不能及时报警，后果将不堪设想，如果要保证这种情况下系统正常工作，人身体需要24小时佩戴设备，影响了老年人和病人的舒适程度。

技术实现要素：

本发明的目的在于提供一种摔倒报警方法、装置及设备，以改善上述问题。

为了实现上述目的，本发明采用的技术方案如下：

第一方面，一种摔倒报警方法，所述摔倒报警方法包括：

获取采集区域内的环境视频；

将所述环境视频处理成多帧第一图像序列；

将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型，得到所述环境视频中人体对应的热度图像；

获取所述热度图像的多个关键点，将所述多个关键点按预设规则生成第一关键点序列；

根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒；

当判断所述人体摔倒时，生成报警信息。

进一步地，所述将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型，得到所述环境视频中人体对应的热度图像的步骤之前，还包括对所述基于深度学习算法的人体姿态估计模型进行训练的步骤：

获取人体图片，对图片中的人体的轮廓进行标注；

构建深度学习网络；

将所述人体图片输入所述深度学习网络进行训练，以得到所述基于深度学习算法的人体姿态估计模型。

进一步地，所述根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒的步骤之前还包括建立关键点序列模型的步骤，所述建立关键点序列模型的步骤包括：

获取人体在不同姿态时对应的第二图像序列，获取所述第二图像序列对应的第二关键点序列，所述姿态包括摔倒行为和未摔倒行为；

根据第二图像序列对应的姿态对所述第二关键点序列进行标记，获取所述第二关键点序列对应的人体姿态变化，以得到所述关键点序列模型。

进一步地，所述获取人体在不同姿态时对应的第二图像序列，获取所述第二图像序列对应的第二关键点序列的步骤，包括：

获取人体姿态模型视频，将所述视频处理成多帧所述第二图像序列；

获取多帧连续的所述第二图像序列的所述第二关键点序列。

进一步地，所述获取多帧连续的第二图像序列的第二关键点序列的步骤包括：

记录多帧连续的所述第二图像序列中每一所述第二图像序列对应的时间；

获取所述多帧连续的所述第二图像序列中每一所述第二图像序列对应的第二关键点序列。

进一步地，所述根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒的步骤，包括：

当连续的多帧所述第一图像序列对应的所述第一关键点序列的变化大于连续的多帧所述第二图像序列对应的所述第二关键点序列的变化的阈值时判断所述人体摔倒。

第二方面，一种摔倒报警装置，所述摔倒报警装置包括：

视频获取模块，用于获取采集区域内的环境视频；

图像分割模块，用于将所述环境视频处理成多帧第一图像序列；

热度图像获取模块，用于将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型，得到所述环境视频中人体对应的热度图像；

关键点检测模块，用于获取所述热度图像的多个关键点，将所述多个关键点按预设规则生成第一关键点序列；

摔倒行为判断模块，用于根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒；

报警模块，用于当判断所述人体摔倒时，生成报警信息。

进一步地，所述报警装置还包括：

人体估计模型训练模块，用于获取人体图片，对图片中的人体的轮廓进行标注；构建深度学习网络；将所述人体图片输入所述深度学习网络进行训练，以得到所述基于深度学习算法的人体姿态估计模型。

进一步地，所述报警装置还包括：

关键点序列模型模块，用于获取人体在不同姿态时对应的第二图像序列，获取所述第二图像序列对应的第二关键点序列，所述姿态包括摔倒行为和未摔倒行为；根据第二图像序列对应的姿态对所述第二关键点序列进行标记，获取所述第二关键点序列对应的人体姿态变化，以得到所述关键点序列模型。

第三方面，一种摔倒报警设备，所述摔倒报警设备包括：

存储器；

处理器；以及

摔倒报警装置，所述摔倒报警装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组，摔倒报警装置包括：

视频获取模块，用于获取采集区域内的环境视频；

图像分割模块，用于将所述环境视频处理成多帧第一图像序列；

热度图像获取模块，用于将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型，得到所述环境视频中人体对应的热度图像；

关键点检测模块，用于获取所述热度图像的多个关键点，将所述多个关键点按预设规则生成第一关键点序列；

摔倒行为判断模块，用于根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒；

报警模块，用于当判断所述人体摔倒时，生成报警信息；

人体估计模型训练模块，用于获取人体图片，对图片中的人体的轮廓进行标注，构建深度学习网络，将所述人体图片输入所述深度学习网络进行训练，以得到所述基于深度学习算法的人体姿态估计模型；

关键点序列模型模块，用于获取人体在不同姿态时对应的第二图像序列，获取所述第二图像序列对应的第二关键点序列，所述姿态包括摔倒行为和未摔倒行为；根据第二图像序列对应的姿态对所述第二关键点序列进行标记，获取所述第二关键点序列对应的人体姿态变化，以得到所述关键点序列模型。

本发明提供了一种摔倒报警方法、装置及设备，该方法应用于该装置，该设备包括该装置，该方法包括：获取采集区域内的环境视频；将环境视频处理成多帧第一图像序列；将每一帧第一图像序列输入到基于深度学习算法的人体姿态估计模型，得到环境视频中人体对应的热度图像；获取热度图像的多个关键点，将多个关键点按预设规则生成第一关键点序列；根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒；当判断人体摔倒时，生成报警信息。通过采集环境视频中的人体，获取人体姿态的变化，在判断人体摔倒时生成报警信息，无需人体佩戴，不影响人体活动的同时对人体状态进行检测。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的摔倒报警设备与多个摄像装置的交互的示意图；

图2为本发明实施例提供的摔倒报警设备的方框示意图；

图3-图5，为本发明实施例提供的摔倒报警装置的功能模块示意图；

图6为本发明实施例提供的摔倒报警方法应用于摔倒报警设备的流程图；

图7为本发明实施例提供的建立人体姿态估计模型的步骤；

图8-图10为本发明实施例提供的建立关键点序列模型的步骤。

图标：100-摔倒报警设备；110-摔倒报警装置；112-视频获取模块；113-图像分割模块；114-热度图像获取模块；115-关键点检测模块；116-摔倒行为判断模块；117-报警模块；118-人体估计模型训练模块；119-关键点序列模型模块；120-存储器；130-处理器；140-通信单元；200-摄像装置；300-网络。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参阅图1，为本发明实施例提供的摔倒报警设备100与多个摄像装置200的交互的示意图。摔倒报警设备100可通过网络300与多个摄像装置200进行通信，以实现摔倒报警设备100与多个摄像装置200之间的数据通信或交互。

请参阅图2，为本发明实施例提供的摔倒报警设备100的方框示意图。摔倒报警设备100包括摔倒报警装置110、存储器120、处理器130和通信单元140。存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。摔倒报警装置110包括至少一个可以软件或固件(firmware)的形式存储于存储器120中或固化在摔倒报警设备100的操作系统(operatingsystem，os)中的软件功能模块。处理器130用于执行存储器120中存储的可执行模块，例如摔倒报警装置110所包括的软件功能模块及计算机程序等。

其中，所述存储器120可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器120用于存储程序，处理器130在接收到执行指令后，执行所述程序。通信单元140用于通过网络300建立摔倒报警设备100与多个摄像装置200之间的通信连接，并用于通过网络300收发数据。

请参阅图3，为本发明实施例提供的摔倒报警装置110的功能模块示意图。摔倒报警装置110包括：视频获取模块112、图像分割模块113、热度图像获取模块114、关键点检测模块115、摔倒行为判断模块116及报警模块117。

其中，

视频获取模块112，用于获取采集区域内的环境视频。

本实施例中，视频获取模块112用于获取摄像装置200采集的视频信息。该摄像装置200可以为安装在独居老年人家中及医院病房及楼道内的摄像头，采集实时图像信息，上传至摔倒报警设备100进行后续处理。摄像头安装保证无监控死角，以此保证一旦有摔倒行为发生能及时报警，通知相关医护人员进行救治。可以清楚的是，该环境视频可以为摄像装置200采集到人体出现时，对人体追踪拍摄所获得的视频。

图像分割模块113，用于将环境视频处理成多帧第一图像序列。

本实施例中，图像分割模块113用于将视频获取模块112获取的视频进行分割处理，得到多张连续的图像信息，图像信息包括图像。可以清楚的是，可以根据具体的运用场景，设置每秒提取多帧图像。例如，设置为每秒内提取6帧图像，当然可以为了具体精度要求更改提取图像帧数。

热度图像获取模块114，用于将每一帧第一图像序列输入到基于深度学习算法的人体姿态估计模型，得到环境视频中人体对应的热度图像。

本实施例中，热度图像获取模块114用于将图像分割模块113分割的图像输入到基于深度学习算法的人体姿态估计模型，生成对应的热度图。具体实施时，基于深度学习算法的人体姿态估计模型使用的是深度学习框架caffe(convolutionalarchitectureforfastfeatureembedding，卷积神经网络框架)。

关键点检测模块115，用于获取热度图像的多个关键点，将多个关键点按预设规则生成第一关键点序列。

本实施例中，关键点检测模块115用于根据热度图像获取模块114获取的热度图得到包括鼻子、脖子、肩膀等在内的多个关键点，该关键点可在具体运用场景中设置在不同部位，并按一定顺序组成关键点序列。可以清楚的是，该预设的规则可以是根据具体场景设置的。例如，可将关键点按人体轮廓顺序连接。

摔倒行为判断模块116，用于根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒。

本实施例中，将第一图像序列对应的第一关键点序列放入关键点序列模型中，当连续的多帧所述第一图像序列对应的所述第一关键点序列的变化大于关键点序列模型中连续的多帧所述第二图像序列对应的所述第二关键点序列的变化的阈值时，判断所述人体摔倒，该阈值可以根据具体环境参数设置。在具体实施过程中，采集到连续的图像对应的关键点序列，根据关键点序列判断人体姿态变化。

具体实施时，人体不同姿态情况下，各关键点信息包括关键点位置、各关键点与中心点角度等具有不同的模式，例如，人在摔倒的情况下，整个身体各个关键点与中心点角度，将与站立或行走情况下有很大的变化。另外，由于人的行为是一个连续过程，是一连串不同姿态的变化，在此，充分考虑时间信息，将原本的二维信息扩展到三维。

报警模块117，用于当判断人体摔倒时，生成报警信息。

具体实施时，连续的第一图像对应的关键点序列对应的人体姿态为摔倒行为时生成报警信息。该报警信息可以是发送到与摔倒报警设备100连接的客户端，以便于提示医护人员及时进行救治。

请参阅图4，为本发明实施例提供的摔倒报警装置110的功能模块示意图。进一步地，摔倒报警装置110还包括人体估计模型训练模块118。

人体估计模型训练模块118，用于获取人体图片，对图片中的人体的轮廓进行标注，构建深度学习网络300，将人体图片输入深度学习网络300进行训练，以得到基于深度学习算法的人体姿态估计模型。

本实施例中，获取大量带有人体数据的图片，将该图片中的人体轮廓进行标注，构建深度学习网络300，将人体图片输入深度学习网络300进行训练，得到基于深度学习算法的人体姿态估计模型。

请参阅图5，为本发明实施例提供的摔倒报警装置110的功能模块示意图。进一步地，摔倒报警装置110还包括关键点序列模型模块119。

关键点序列模型模块119，用于获取人体在不同姿态时对应的第二图像序列，获取第二图像序列对应的第二关键点序列，姿态包括摔倒行为和未摔倒行为；根据第二图像序列对应的姿态对第二关键点序列进行标记，获取第二关键点序列对应的人体姿态变化，以得到关键点序列模型。

具体实施时，在进行关键点检测前还要对关键点序列模型，进行训练，训练过程如下：

准备数据：在此采用coco数据集，并对图片中的人物进行标注。将数据转换为lmdb格式，便于输入caffe。

构建深度学习网络300，并把网络300结构写为caffe接受的prototxt格式。

采用vgg-19model初始化网络300，并开始训练。

进一步地，用于获取人体在不同姿态时对应的第二图像序列，获取第二图像序列对应的第二关键点序列具体包括：

获取人体姿态模型视频，将视频处理成多帧第二图像序列；获取多帧连续的第二图像序列的第二关键点序列。

具体实施时，该获取的不同姿态时对应的第二图像序列为已知的人体姿态模型视频，将人体姿态模型视频进行处理生成多帧第二图像序列，在第二图像序列中关键点进行标记得到关键点序列，及第二关键点序列对应的人体姿态变化。

进一步地，记录多帧连续的第二图像序列中每一第二图像序列对应的时间；获取多帧连续的第二图像序列中每一第二图像序列对应的第二关键点序列。

具体实施时，需要对每一第二图像序列的时间进行标记，以得到多帧连续的第二图像对应的关键点序列的变化，以此判断人体的姿态变化。

请参阅图6，为本发明实施例提供的摔倒报警方法应用于摔倒报警设备100的流程图。所述方法包括以下步骤：

步骤s101，获取采集区域内的环境视频。

可以理解地，通过视频获取模块112可以执行步骤s101。

步骤s102，将环境视频处理成多帧第一图像序列。

可以理解地，通过图像分割模块113可以执行步骤s102。

步骤s103，将每一帧第一图像序列输入到基于深度学习算法的人体姿态估计模型，得到环境视频中人体对应的热度图像。

可以理解地，通过热度图像获取模块114可以执行步骤s103。

步骤s104，获取热度图像的多个关键点，将多个关键点按预设规则生成第一关键点序列。

可以理解地，通过关键点检测模块115可以执行步骤s104。

步骤s105，根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒。

可以理解地，通过摔倒行为判断模块116可以执行步骤s105。

步骤s106，当判断人体摔倒时，生成报警信息。

可以理解地，通过报警模块117可以执行步骤s106。

请参阅图7，为本发明实施例提供的建立人体姿态估计模型的步骤。可以理解的，通过人体估计模型训练模块118可以执行一下步骤。

所述步骤包括：

步骤s201，获取人体图片，对图片中的人体的轮廓进行标注。

步骤s202，构建深度学习网络300。

步骤s203，将人体图片输入深度学习网络300进行训练，以得到基于深度学习算法的人体姿态估计模型。

请参阅图8-图10，为本发明实施例提供的建立关键点序列模型的步骤。可以理解的，通过关键点序列模型模块119可以执行一下步骤。

所述步骤包括：

步骤s301，获取人体在不同姿态时对应的第二图像序列，获取第二图像序列对应的第二关键点序列，姿态包括摔倒行为和未摔倒行为。

步骤s302，根据第二图像序列对应的姿态对第二关键点序列进行标记，获取第二关键点序列对应的人体姿态变化，以得到关键点序列模型。

所述步骤s301具体包括步骤s3011和步骤s3012。

步骤s3011，获取人体姿态模型视频，将视频处理成多帧第二图像序列。

步骤s3012，获取多帧连续的第二图像序列的第二关键点序列。

所述步骤s3012包括步骤s30121和步骤s30122。

步骤s30121，记录多帧连续的第二图像序列中每一第二图像序列对应的时间。

步骤s30122，获取多帧连续的第二图像序列中每一第二图像序列对应的第二关键点序列。

综上所述，本发明提供了一种摔倒报警方法、装置及设备，涉及防摔倒监控领域。该方法应用于该装置，该设备包括该装置，该方法包括：获取采集区域内的环境视频；将环境视频处理成多帧第一图像序列；将每一帧第一图像序列输入到基于深度学习算法的人体姿态估计模型，得到环境视频中人体对应的热度图像；获取热度图像的多个关键点，将多个关键点按预设规则生成第一关键点序列；根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒；当判断人体摔倒时，生成报警信息。通过采集环境视频中的人体，获取人体姿态的变化，在判断人体摔倒时生成报警信息，无需人体佩戴，不影响人体活动的同时对人体状态进行检测。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。