一种基于自适应跟随的跌倒检测方法与流程

本发明涉及机器视觉领域和机器人领域，具体涉及一种基于自适应跟随的跌倒检测方法。

背景技术：

现今人口老龄化社会中，空巢老人数量日益增加，而跌倒一直是困扰老人的一大问题之一。老人跌倒发生率高，问题往往很严重，这已经成为了当今时代的一个严重的医疗问题和社会问题。根据世界卫生组织研究，65岁以上的人群中有28％至35％的人每年遭受一次跌倒，这个数字在70岁以上的人群中增加到42％。根据世界卫生组织的数据，老年人住院50％以上都是因为跌倒，老人非自然死亡中跌倒原因占40％左右。因此，对独居老人意外跌倒时进行自动检测并发出报警信息，具有重要的现实意义。

目前最新的跌倒检测技术可以分为三类：一种时基于穿戴式传感器的跌倒检测技术；一种是基于环境传感器的跌倒检测；一种是基于视觉的跌倒检测。穿戴式存在诸多缺点，穿戴带来不便、误报率高、经常需要充电。环境传感器，是指利用红外、声音、震动等传感器判断跌倒事件的发生，但这类技术缺点是检测准确率普遍不高，且安装复杂。基于视觉的跌倒检测技术是利用一个或多个摄像头提取到的人体轮廓运动特征来进行识别，但是容易受到光照强度和观察视角的影响，所以识别率很低。

技术实现要素：

为了解决上述的技术问题，本发明提供了一种基于自适应跟随的跌倒检测方法。

为了解决上述技术问题，本发明采取以下的技术方案：

s1，搭建基于ros的机器人平台。

s2，利用rgbd深度摄像头生成空间的深度三维数据，机器人探测前方人体并以一定距离进行跟随。

s3，利用神经网络模型对rgb图像中的人体进行姿态估计，提取人体关键部位的骨骼关节点坐标，关键部位包括鼻子、颈部、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋、髋中点、右髋、左膝、右膝、左脚踝、右脚踝、左大脚趾、右大脚趾、左小脚趾、右小脚趾、左脚跟、右脚跟一共25个关节点。

s4，根据人体关节点空间位置以及空间运动量，利用跌倒检测算法，对人体姿态进行判断，符合跌倒判定条件，系统进行报警。

利用跌倒检测模型步骤s3还进一步建立了图像坐标系：

以摄像头获取的rbg图像的左上角坐标为坐标原点(0,0)，沿图像水平向右方向为x轴正方向，沿图像竖直向下方向为y轴正方向。

结合当前帧图像获取时间t与图像坐标(x，y)，形成连续视频时空特征坐标系(x，y，t)，将人体骨架特征点信息与时间关联，形成骨架特征点时空位置数据集。

所述跌倒检测算法对于跌倒具有以下判定条件：

第一检测特征中，vspinemid为人体中心点下降速度，vt为预设的速度阈值。第二检测特征中，hbase为两髋中心离地面的距离，ht为预设的距离阈值，tnow为当前帧时间，tfirst为第一检测特征检测到的帧时间，t为预设的时间长度。若满足第一检测特征后，又满足第二检测特征时，判断人体跌倒。

所述的跌倒检测算法具体包括以下步骤：

步骤一：计算人体中心点下降速度vspinemid，如果下降速度超过阈值vt，标记第一检测特征已检测。

步骤二：如果已检测第一检测特征，开始第二检测，计算两髋中心对地面距离hbase。

步骤三：如果检测不到髋节点或者两髋中心对地面距离值hbase低于ht，判断人体跌倒。

步骤四：如果距离hbase从标记第一检测已检测起t时间内不低于ht，或者人体中心点上升，取消第一检测特征已检测标记。回到步骤一。

其中vspinemid计算方法：

yi(t)为帧时间t时人体骨架节点i的y轴坐标，t0为上一帧时间，t1为当前帧时间。

为了计算hbase，先得到地面方程ax+by+c＝0，其中a、b和c为地面方程的参数，则计算两髋中心离地面的距离hbase：

本发明可实时跟随并监控人体，并对人体姿态进行估计，能够快速、精确检测出人体跌倒；通过对摄像头图像的采集-分析-判断，判断结果实时发送到远程终端，实时监控人体的跌倒事件。

附图说明

图1机器人工作节点示意图；

图2人体骨架特征点图；

图3人体姿态估计神经网络示意图；

图4跌倒检测算法流程图。

具体实施方式

以下结合附图对本发明作进一步说明：

该发明机器人平台整体工作流如附图1所示。首先启动主核心系统、摄像头驱动、底部运动驱动，再启动人体跟随节点、人体跌倒检测节点、报警处理节点。摄像头驱动发布深度图像和rgb图像话题，底部运动驱动等待其他节点发布控制信息。人体跟随节点订阅深度图像话题，判断三维空间中物体的远近，如果深度摄像头前方一定距离出现人体，发布电机控制信息，控制机器人跟随人体。人体跌倒检测节点订阅rgb图像话题，利用神经网络模型获取人体骨骼特征点。根据人体关节点空间位置以及空间运动量，利用跌倒检测算法，见图4，对人体姿态进行判断，符合跌倒判定条件，节点发布报警话题信息。报警处理节点订阅报警话题，处理报警信息，发送到远程终端。

人体跌倒检测节点中，神经网络模型将提取出人体骨骼特征点在rgb图像中的坐标，关键部位包括鼻子、颈部、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋、髋中点、右髋、左膝、右膝、左脚踝、右脚踝、左大脚趾、右大脚趾、左小脚趾、右小脚趾、左脚跟、右脚跟一共25个关节点。如图2所示为获取的人体骨骼信息，具体包括25个关节点pi(t)＝{(xi(t),yi(t))|i＝0,1,2,…,24}，对应的标记分别为鼻子0、颈部1、左眼16、右眼15、左耳18、右耳17、左肩5、右肩2、左手肘6、右手肘3、左手腕7、右手腕4、左髋12、髋中点8、右髋9、左膝13、右膝10、左脚踝14、右脚踝11、左大脚趾19、右大脚趾22、左小脚趾20、右小脚趾23、左脚跟21、右脚跟24。

人体骨架信息由神经网络模型检测得到，神经网络模型示意图如图3所示。神经网络整体流程为将输入的图片经过10层vgg19网络转化成图像特征f,再分成两个分支分别预测每个点的关键点置信度和亲和度向量。其中s是置信度网络,l是亲和度向量场网络：

s¹＝ρ¹(f)

l¹＝φ¹(f)

损失函数为两个网络的ground_truth值与预测值的平均平方和:

最后整体的流程为：首先是输入一张原始图片，经过基础网络vgg进行简单的特征提取，得到一个featuremap，然后在stage1，经过两个分支分别预测。第一个分支为关键点的分支，这个分支也为cpm的经典方法，此外在这个分支的基础之上增加了paf骨骼点走向的分支。之后的阶段与上面的类似，最终得到网络的输出s,l。