一种基于深度学习图像处理的摔倒检测方法与流程

文档序号:16071057发布日期:2018-11-24 13:13阅读:2017来源:国知局

本发明涉及健康监测领域,特别是涉及一种基于深度学习图像处理的摔倒检测方法。



背景技术:

当今中国正跑步进入老龄化社会,60岁以上的老人数量快速增多,独居、孤寡的“空巢老人”也正以前所未有的速度增长。预计到2020年,全国60岁以上老年人口将增加到2.55亿人左右,占总人口比重提升到17.8%左右;高龄老年人将增加到2900万人左右。随着第一代独生子女的父母陆续进入老年,中国传统家庭结构的逐渐瓦解,相关研究估计到2030年中国空巢老人将增加到两亿多,占到中国老龄人口的九成。独居老人一方面缺少精神上的慰藉,另一方面行动能力有限,如果发生意外更是难以及时通知到儿女或亲人。近年来独居老人家中意外死亡事件频发,相关研究表明,老人摔倒后若能及时得到帮助,可以有效降低80%的死亡风险和26%的住院长期治疗风险。

国内外针对物联网环境下基于摄像头的摔倒检测研究还是比较少的,基于深度学习图像处理的摔倒检测方法更是没有。传统的对于摔倒检测的研究,其主流设计都是基于可穿戴设备和相关传感器,通过穿戴设备获得数据做进一步处理,以及采用不同类型的传感设备和相关算法构建针对不同具体应用的摔倒检测系统。基于穿戴设备、环境传感器的摔倒检测系统具有高入侵性、低精度、鲁棒性差,以及受环境影响大等缺点。近年来随着计算机视觉和数字图像处理技术的不断发展,基于视觉的摔倒检测成为一类重要方法。人工智能的快速发展和机器学习、深度学习研究的不断深入,深度学习在智能化方面优势明显,让更加智能化的摔倒检测成为可能。



技术实现要素:

本发明主要解决的技术问题是提供一种基于深度学习图像处理的摔倒检测方法,以改善现有的摔倒检测方法应用成本高、低精度、鲁棒性差等不足。

本发明的技术方案是:

(1)采用深度神经网络模型deepercut提出人体部件的候选区域,每个候选区域作为一个节点,所有的节点组成一个密集连接图,节点之间的关联性作为图节点之间的权重,将其作为一个优化问题,将属于同一个人的部件(节点)归为一类,每个人作为一个单独类。通过deepercut模型检测出人体的14个关键点从而确定人的体态。

(2)通过预先录制的大量视频,其中包括多种摄像头、多种角度、多种场景和多种人体行为,人体行为包括各种姿势的摔倒和下蹲、弯腰、坐躺等疑似摔倒的动作行为,将视频按帧切成总计数万张图片。

(3)将这些张图片通过deepercut模型进行预测,获得数万条标记人体关键点的数据,其中每一条数据包括14个点的位置坐标和置信,之后再给每一条数据标上摔倒还是没有摔倒的标记。

(4)使用keras通过深度神经网络模型对这一万多条数据进行训练,输出模型,再用模型对后续的图片作摔倒判断。其中denselayer是常用的全连接层,其实现的运算是output=activation(dot(input,kernel)+bias),其中activation是逐元素计算的激活函数,kernel是本层的权值矩阵,bias为偏置向量。在前五层使用的激活函数是tanh,而最后一层使用了softmax函数进行分类。

本方法主要利用fasterrcnn的思想,在特征提取部分,采用目前较为先进的特征提取网络resnet152,这首先保证了特征提取,也就是检测人体部分的准确性,而在寻找候选框部分采用的特征金字塔网络也能极大的提高检测速度。

本发明实施例提供的基于深度学习图像处理的摔倒检测方法,通过摄像头拍摄的高频次的图片传到服务器端,服务器端通过deepcut深度神经网络模型进行人体关键点检测,将输出的人体关键点检测图数据输入到深度神经网络中,通过事先准备的人体各类情况下关键点分布的训练数据训练出的模型作摔倒判断,在图像处理方面每张图片处理速度在0.2秒左右,具有很强的实时性。

本发明的有益效果是:快速准确地检测摔倒事件。

附图说明

图1是本发明实施案例的系统框架示意图;

图2示出了一种人体关键点的分布示意图;

图3示出了实施例中的实际人体关键点检测效果;

图4示出了实施例中的深度神经网络结构;

图5示出了实施例中训练模型在测试数据上的训练准确率变化图;

图6示出了实施例中部分对单张图片作摔倒判断的结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图和实施例,对本发明进行进一步详细说明,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明

参照图1所示,本发明不依靠穿戴设备和传感器,摄像头拍摄的高频次的图片传到服务器端,服务器端做摔倒判断,若检测到摔倒,通过微信或短信向家人发出通知。具体包括以下步骤:

s1:通过deepercut模型检测出人体的14个关键点从而确定人的体态。

s2:预先录制了大量视频,其中包括多种摄像头,多种角度,多种场景,多种人体行为,人体行为包括各种姿势的摔倒和下蹲、弯腰、坐躺等疑似摔倒的动作行为,将视频按帧切成总计数万张图片。

s3:将这些张图片通过deepercut模型进行预测,获得数万条标记人体关键点的数据,其中每一条数据包括14个点的位置坐标和置信,之后再给每一条数据标上摔倒还是没有摔倒的标记。

s4:使用keras通过深度神经网络模型对这一万多条数据进行训练,输出模型。

s5:用模型对后续的图片作摔倒判断。

如步骤s1所述,人体的14个关键点分布如图2所示,实际检测效果如图3所示,14个关键点可以确定人的体态。

如步骤s2所述,大量的图片可以提高训练模型的泛化能力,从而更准确地判断摔倒。

如步骤s3所述,大量的图片可以得到一系列人体关键点的坐标数据和置信,将每张图片打上标记,从而可以输入神经网络作训练。

如步骤s4所述,图4显示了深度神经网络的结构,其中denselayer是常用的全连接层,其实现的运算是output=activation(dot(input,kernel)+bias),其中activation是逐元素计算的激活函数,kernel是本层的权值矩阵,bias为偏置向量。在前五层使用的激活函数是tanh,而最后一层使用了softmax函数进行分类。将训练数据输入神经网络,输出模型,图5显示了训练模型在测试数据上的训练准确率变化图,最终准确率稳定在98%左右。

如步骤s5所述,使用模型对后续图片作摔倒判断,图6显示了部分检测结果,图6中fall为检测到跌倒,notfall表示未检测到跌倒。



技术特征:

技术总结
本发明公开了一种基于深度学习图像处理的摔倒检测方法,该方法不依靠穿戴设备和传感器,通过摄像头拍摄的高频次的图片传到服务器端,服务器端通过Deepcut深度神经网络模型进行人体关键点检测,将输出的人体关键点检测图数据输入到深度神经网络中,通过事先准备的人体各类情况下关键点分布的训练数据训练出的模型作摔倒判断,在图像处理方面每张图片处理速度在0.2秒左右,具有很强的实时性。通过上述方式,本发明能够有效地检测到摔倒事件。不同状态的摔倒和人体的其他各个形态实例检测表明,提出的方法可以有效地检测摔倒事件。本发明可以应用在智慧城市的智慧家居系统中,保障老人的居家安全。

技术研发人员:沈磊贤;张卿云;曹国旭;庞佳逸;徐鹤;李鹏
受保护的技术使用者:南京邮电大学
技术研发日:2018.06.07
技术公布日:2018.11.23
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1