一种基于深度学习的老人跌倒检测方法及系统与流程

本发明涉及一种行人行为检测方法，特别是涉及一种基于深度学习的老人跌倒检测方法及系统。

背景技术：

随着时间的推进，中国逐渐步入到老龄化社会，加上年轻人的生活观念和生活方式的变化，造就了“空巢老人”的数量越来越多，因此，伴随而来的“空巢老人”的安全问题也成为了子女们更加关注的问题。由于老年人生理机能的退化，跌倒成为老年人健康安全的首要问题，而大部分跌倒之所以会对老人造成严重身体伤害，是因为老年人跌倒后未被及时的发现，从而错过了最佳的救治时机。因此，开发一套准确实时的老年人跌倒检测技术，在未来的老龄化社会中，必能产生出巨大的社会价值和经济效益。

目前，老人跌倒检测方法主要有以下几种：基于传感器的检测，如“一种基于大数据的人体跌倒检测方法及系统”(中国专利申请号：201610105761.2)和“基于卡尔曼滤波与knn算法的跌倒检测报警系统及方法”(中国专利申请号：201610152570.1)，该类方法主要基于可穿戴式传感器，实时测量老人的运动加速度信息或角速度信息，然后依据测量的信息判断老人是否跌倒。该类方法的优点是很准确，其缺点是需要随身携带穿戴式传感器，设备成本较高，使用极不方便。基于视频图像分析的检测方法，如“一种活动人员安全异常的跌倒检测方法”(中国专利申请号：201610038406.8)，该类方法通过视频背景建模技术，获取运动目标前景块，通过提取的前景块特征进行跌倒检测。该类方法的优点是非接触式检测，成本低廉，其缺点是背景建模不精确，提取的前景块特征误差较大，造成误检和漏检较多。近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，各个领域都得到了广泛的关注和应用，但该技术的缺点是模型消耗内存很大，运算量很大，无法在视频环境中做到实时检测，其原因是深度学习算法针对的是单张静态图像，没有充分利用帧间相关性信息，因此需要消耗大量的内存和运算能力。

现有技术中需要随身携带穿戴式传感器，设备成本较高，使用极不方便，深度学习的模型消耗内存很大，运算量很大，无法在视频环境中做到实时检测，其原因是深度学习算法针对的是单张静态图像，没有充分利用帧间相关性信息，缺点是背景建模不精确，提取的前景块特征误差较大，造成误检和漏检较多，存在硬件成本高、运算占用空间大，信息利用率低以及监测结果精确度低的技术问题。

技术实现要素：

鉴于以上现有技术存在硬件成本高、运算占用空间大，信息利用率低以及监测结果精确度低的技术问题，本发明的目的在于提供一种基于深度学习的老人跌倒检测方法及系统，一种基于深度学习的老人跌倒检测方法，包括：

通过摄像机采集场景图像数据，确定目标检测区域；

根据场景图像数据，以预设逻辑计算当前帧图像中所有像素点的瞬时运动速度场，获取像素运动速度场图像；

根据像素运动速度场图像和预设相似条件聚集相似像素，形成候选运动目标区域，在运动目标区域中获取候选运动目标；

筛选出候选运动目标中的新运动目标，根据深度学习方法从新运动目标中识别出行人目标，更新行人目标的目标跟踪列表中包含的实时图像信息；

基于目标跟踪列表信息的变化状态与预设判断条件，判断行人目标的是否发生跌倒并报警。

于本发明的一实施方式中，根据场景图像数据，以预设逻辑计算当前帧图像中所有像素点的瞬时运动速度场，获取像素运动速度场图像，包括：

遍历场景图像中的像素，每隔n个像素选取一个像素；

根据矢量速度数据、角速度数据及速度分量数据，通过公式：

得到像素运动速度场图像，ix(i，j)和iy(i，j)为偏导数，f(x，y)为灰度值；

根据公式：

计算像素在平面坐标系中沿各坐标轴的速度分量数据，其中，vx(x，y)和vy(x，y)为沿坐标

轴方向的速度分量；

根据公式：

计算像素的矢量速度和角速度，其中v(x，y)为矢量速度，α(x，y)为角速度。

于本发明的一实施方式中，根据像素运动速度场图像和预设相似条件聚集相似像素，形成候选运动目标区域，根据运动目标区域获取候选运动目标，包括：根据像素运动速度场图像的像素运动速度场及八邻域连通区域标记算法，将邻域连通区域中具有相近运动速度和运动方向的像素聚集在一起形成候选运动目标区域；去除面积较小的运动目标区域，获取运动目标区域的最小外接矩形作为候选运动目标区域。

于本发明的一实施方式中，筛选出候选运动目标中的新运动目标，根据深度学习方法从所述新运动目标中识别出行人目标，更新所述行人目标的目标跟踪列表信息，包括：获取候选运动目标；根据如下公式：

soverlap＝r1_w×r1_h+r2_w×r2_h-i_w×i_h

计算候选运动目标和跟踪列表里的每一个目标之间的重合度soverlap，其中r1_r、r1_l、r1_b、r1_u、r1_w、r1_h分别表示候选运动目标区域矩形的右边界、左边界、下边界、上边界、宽度、高度，r2_r、r2_1、r2_b、r2_u、r2_w、r2_h分别表示跟踪目标区域矩形的右边界、左边界、下边界、上边界、宽度、高度；遍历跟踪列表中的已有目标，将各已有目标与候选运动目标的重合度soverlap与预设重合度阈值逐一比较，判断重合度soverlap的值是否大于预设重合度阈值；若是，则候选运动目标为该重合度值对应的已有目标；若否，则候选运动目标为新运动目标；

获取新运动目标的归一化输入特征图像；判断新出现目标类型；判断新出现目标类型前，先通过以下步骤获取深度神经网络模型：构建深度神经网络模型；根据运动目标的图像信息获取训练样本；根据深度神经网络模型及训练样本数据，进行模型的训练学习。

在像素运动速度场图像内，选择候选运动目标所在的矩形作为已有目标区域运动速度场；根据如下公式：

获取已有目标区域运动速度场的特征向量直方图，其中，h[i]表示特征向量直方图的第i维分量，v(x，y)为像素瞬时运动速度，α(x，y)为瞬时运动方向角，β表示直方图角度范围；根据目标特征向量直方图的最大特征分量所在维数计算已有目标的运动量；根据如下公式：

计算已有目标的新位置，其中，rectnew表示已有目标新位置新目标位置所属区域矩形的边界坐标，rectpre表示上一帧目标位置所属区域矩形的位置及边界坐标坐标，mv为瞬时速度运动值，γ为顺势运动方向角均值。

于本发明的一实施方式中，基于目标跟踪列表信息的变化状态与预设判断条件，判断行人目标的是否发生跌倒并报警，包括：

判断行人目标运动状态是否出现异常，主要是判断行人目标在一段时间内是否出现目标高度剧变和目标运动位置相对静止等异常根据目标跟踪列表信息，如果某一个运动目标的目标跟踪列表满足下述公式，则说明当前的运动目标是异常的运动目标：

其中，hmaxtotal表示某个运动目标的目标跟踪列表中目标高度的最大值，hmint表示某个运动目标的目标跟踪列表中一段时间t内目标高度的最小值，xmax、xmin、ymax、ymin分别表示某个运动目标的目标跟踪列表中一段时间t内目标中心位置的左边界、右边界、上边界、下边界，th表示某个运动目标的高度变化比例阈值，tx表示某个运动目标的目标跟踪列表中一段时间t内目标在x轴方向上的位移阈值，ty表示某个运动目标的目标跟踪列表中一段时间t内目标在y轴方向上的位移阈值；

检测判定预设时间间隔后行人的中心位置是否已经远离了出现异常时的中心位置，根据公式：

max{|xc-xm|，|yc-ym|}≤tm

判断所述行人目标的位置是否改变，其中，max{}表示选择两个元素中较大值，xc表示出现异常时的行人目标中心位置x轴坐标，yc表示出现异常时的行人目标中心位置y轴坐标，xm表示距离出现异常行人目标m秒后的行人目标中心位置x轴坐标，ym表示距离出现异常行人目标m秒后的行人目标中心位置y轴坐标，tm表示目标中心位置距离阈值；

若是，则判定所述行人目标未跌倒；

若否，则判断所述行人目标跌倒，发出警报信息。

于本发明的一实施方式中，一种基于深度学习的老人跌倒检测系统，包括：图像获取模块、运动速度场模块、候选目标获取模块、运动目标跟踪处理模块、行进状态判断模块；图像获取模块，用于通过摄像机采集场景图像数据，确定目标检测区域；运动速度场模块，用于根据场景图像数据，以预设逻辑计算当前帧图像中所有像素点的瞬时运动速度场，获取像素运动速度场图像，运动速度场模块与图像获取模块连接；候选目标获取模块，用于根据像素运动速度场图像和预设相似条件聚集相似像素，形成候选运动目标区域，在运动目标区域中获取候选运动目标，候选目标获取模块与运动速度场模块连接；运动目标跟踪处理模块，用于筛选出候选运动目标中的新运动目标，运动目标跟踪处理模块与候选目标获取模块连接；行进状态判断模块，用于根据深度学习方法从新运动目标中识别出行人目标，更新行人目标的目标跟踪列表中包含的实时图像位置信息，位置信息更新模块与行人识别模块连接，基于目标跟踪列表信息的变化状态与预设判断条件，判断行人目标的是否发生跌倒并报警。

于本发明的一实施方式中，运动速度场模块，包括：像素选取模块、速度计算模块、速度分量计算模块、场图像获取模块；像素选取模块，用于遍历场景图像中的像素；速度场图像获取模块，用于根据矢量速度数据、角速度数据及速度分量数据，通过公式：

得到像素运动速度场图像，ix(i，j)和iy(i，j)为偏导数，f(x，y)为灰度值，速度场图像获取模块与像素选取模块连接；速度分量计算模块，用于根据公式：

计算像素在平面坐标系中沿各坐标轴的速度分量数据，其中，vx(x，y)和vy(x，y)为沿坐标轴方向的速度分量，速度分量计算模块与速度场图像获取模块连接；速度计算模块，用于根据公式：

计算像素的矢量速度和角速度，其中v(x，y)为矢量速度，α(x，y)为角速度，速度计算模块与速度分量计算模块连接。

于本发明的一实施方式中，候选目标获取模块，包括：候选区域获取模块、目标区域选取模块；候选区域获取模块，用于根据像素运动速度场图像的像素运动速度场及八邻域连通区域标记算法，将邻域连通区域中具有相近运动速度和运动方向的像素聚集在一起形成候选运动目标区域；目标区域选取模块，用于去除面积较小的运动目标区域，获取运动目标区域的最小外接矩形作为候选运动目标区域，目标区域选取模块与候选区域获取模块连接。

于本发明的一实施方式中，运动目标跟踪处理模块，包括：运动候选目标获取模块、重合度计算模块、重合程度判断模块、已有目标判定模块、新目标判定模块、特征图像归一化模块、目标类型判断模块、目标运动场模块、特征直方图获取模块、已有目标运动量计算模块、新位置计算模块；运动候选目标获取模块，用于获取候选运动目标；重合度计算模块，用于根据如下公式：

soverlap＝r1_w×r1_h+r2_w×r2_h-i_w×i_h

计算候选运动目标和跟踪列表里的每一个目标之间的重合度soverlap，其中r1_r、r1_l、r1_b、r1_u、r1_w、rl_h分别表示候选运动目标区域矩形的右边界、左边界、下边界、上边界、宽度、高度，r2_r、r2_l、r2_b、r2_u、r2_w、r2_h分别表示跟踪目标区域矩形的右边界、左边界、下边界、上边界、宽度、高度，重合度计算模块与运动候选目标获取模块连接；重合程度判断模块，用于遍历跟踪列表中的已有目标，将各已有目标与候选运动目标的重合度soverlap与预设阈值逐一比较，判断重合度soverlap的值是否大于预设重合度阈值，重合程度判断模块与重合度计算模块连接；已有目标判定模块，用于在重合度soverlap的值大于预设重合阈度值时，候选运动目标为该重合度值对应的已有目标，已有目标判断模块与重合程度判断模块连接；新目标判定模块，用于在重合度soverlap的值不大于预设重合度阈值时，候选运动目标为新运动目标，新目标判定模块与重合程度判断模块连接，特征图像归一化模块，用于获取新运动目标的归一化输入特征图像；目标类型判断模块，用于判断新出现目标类型，目标类型判断模块与特征图像归一化模块及目标类型判断模块连接，在判断新出现目标之前，先通过如下步骤获取深度神经网络模型：构建深度神经网络模型，学习模型构建模块与特征图像归一化模块连接；根据运动目标的图像信息获取训练样本；根据深度神经网络模型及训练样本数据，进行模型的训练学习。目标运动场模块，用于在像素运动速度场图像内，选择候选运动目标所在的矩形作为已有目标区域运动速度场；特征直方图获取模块，用于根据如下公式：

获取已有目标区域运动速度场的特征向量直方图，其中，h[i]表示特征向量直方图的第i维分量，v(x，y)为像素瞬时运动速度，α(x，y)为瞬时运动方向角，β表示直方图角度范围，特征直方图获取模块与目标运动场模块连接；已有目标运动量计算模块，用于根据目标特征向量直方图的最大特征分量所在维数计算已有目标的运动量，已有目标运动量计算模块与特征直方图获取模块连接；新位置计算模块，用于根据如下公式：

计算已有目标的新位置，其中，rectnew表示已有目标新位置新目标位置所属区域矩形的边界坐标，rectpre表示上一帧目标位置所属区域矩形位置及边界坐标，mv为瞬时速度运动值，γ为顺势运动方向角均值，新位置计算模块与已有目标运动量计算模块连接。

于本发明的一实施方式中，行进状态判断模块，包括：异常判定模块、跌倒判断模块、未跌倒判定模块、跌倒判定预警模块；

异常判定模块，用于判断行人目标运动状态是否出现异常，主要是判断行人目标在一段时间内是否出现目标高度剧变和目标运动位置相对静止等异常根据目标跟踪列表信息，如果某一个运动目标的目标跟踪列表满足下述公式，则说明当前的运动目标是异常的运动目标：

其中，hmaxtotal表示某个运动目标的目标跟踪列表中目标高度的最大值，hmint表示某个运动目标的目标跟踪列表中一段时间t内目标高度的最小值，xmax、xmin、ymax、ymin分别表示某个运动目标的目标跟踪列表中一段时间t内目标中心位置的左边界、右边界、上边界、下边界，th表示某个运动目标的高度变化比例阈值，tx表示某个运动目标的目标跟踪列表中一段时间t内目标在x轴方向上的位移阈值，ty表示某个运动目标的目标跟踪列表中一段时间t内目标在y轴方向上的位移阈值；跌倒判断模块，用于检测判断预设时间间隔后行人的中心位置是否已经远离了出现异常时的中心位置，根据公式：

max{|xc-xm|，|yc-ym|}≤tm

判断所述行人目标的位置是否改变，其中，max{}表示选择两个元素中较大值，xc表示出现异常时的行人目标中心位置x轴坐标，yc表示出现异常时的行人目标中心位置y轴坐标，xm表示距离出现异常行人目标m秒后的行人目标中心位置x轴坐标，ym表示距离出现异常行人目标m秒后的行人目标中心位置y轴坐标，tm表示目标中心位置距离阈值；未跌倒判定模块，用于在满足公式条件时，判定所述行人目标未跌倒；跌倒判定模块，用于在不满足公式条件时，，判定所述行人目标跌倒，发出警报信息。

综上所述，本发明提供一种基于深度学习的人体行进检测方法及系统，本发明提供发的一种基于深度学习技术的老人跌倒检测方法及系统，综合利用视频帧间相关性和深度学习准确性，能够以较小的运算代价快速检测老人是否发生跌倒，并保证较少的漏检和误检，本发明利用视频帧间运动速度场信息进行运动目标的粗检测和目标跟踪，定位运动目标速度更快，可以进行实时检测，基于深度学习技术和目标区域速度场信息，能够准确识别真实的行人运动目标，有效的去除各种干扰，误检和漏检更少，不需要随身携带穿戴式传感器，设备成本降低，使用方便，模型消耗内存降低，运算量减少，可以在视频环境中做到实时检测，背景建模精确，提取的前景块特征误差较小，减少了误检和漏检的异常情况，解决了传统技术中存在的存在硬件成本高、运算占用空间大，信息利用率低以及监测结果精确度低的技术问题。

附图说明

图1显示为本发明的一种基于深度学习的老人跌倒检测方法步骤示意图。

图2显示为本发明的像素运动速度场图像获取步骤示意图。

图3显示为本发明的后选运动目标获取步骤示意图。

图4显示为本发明的新运动目标筛选步骤示意图。

图5显示为本发明的实时行进状态判断步骤示意图。

图6显示为本发明的卷积神经网络模型示意图。

图7显示为本发明的一种基于深度学习的老人跌倒检测系统模块示意图。

图8显示为本发明的运动速度场模块示意图。

图9显示为本发明的候选目标获取模块示意图。

图10显示为本发明的运动目标跟踪处理模块示意图。

图11显示为本发明的行进状态判断模块示意图。

图12显示为本发明的等间隔像素采样场景示意图。

图13显示为本发明的出现运动目标时像素瞬时运动速度场示意图。

图14显示为本发明的获取候选目标效果示意图。

元件标号说明

1基于深度学习的人体行进检测系统

11图像获取模块

12运动速度场模块

13目标获取模块

14运动目标跟踪处理模块

15行进状态判断模块

121像素选取模块

122速度场图像获取模块

123速度分量计算模块

124速度计算模块

131候选区域获取模块

132目标区域选取模块

141运动候选目标获取模块

142重合度计算模块

143重合程度判断模块

144已有目标判定模块

145新目标判定模块

146特征图像归一化模块

147目标类型判断模块

148目标运动场模块

149特征直方图获取模块

1410已有目标运动量计算模块

1411新位置计算模块

151异常判断模块

152行人跌倒判断模块

153未跌倒判定模块

154跌倒判定预警模块

步骤标号说明

图1s1～s5

图2s21～s24

图3s31～s32

图4s41～s414

图5s51～s54

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1至图14，须知，本说明书所附图式所绘示的结构，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如”上”、”下”、”左”、”右”、”中间”及”一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

请参阅图1，显示为本发明的一种基于深度学习的老人跌倒检测方法步骤示意图，如图1所示，一种基于深度学习的老人跌倒检测方法，包括：

s1、通过摄像机采集场景图像数据，确定目标检测区域，采集场景图像，主要是采集当前摄像机场景下的实时帧图像，并选择需要监控老人跌倒的图像区域作为当前帧图像；

s2、根据场景图像数据，以预设逻辑计算当前帧图像中所有像素点的瞬时运动速度场，获取像素运动速度场图像，为了提高算法的运行效率，本发明采用了等间隔像素采样技术；

s3、根据像素运动速度场图像和预设相似条件聚集相似像素，形成候选运动目标区域，去除面积较小的运动目标区域，在剩余的运动目标区域中获取候选运动目标，根据当前帧图像的像素运动速度场，参考八邻域连通区域标记算法，把m×n领域内具有相近运动速度和运动方向的像素聚集在一起；

s4、筛选出候选运动目标中的新运动目标，判断步骤s3获取的候选运动目标是新出现目标还是已有目标，根据深度学习方法从新运动目标中识别出行人目标，更新行人目标的目标跟踪列表信息，获取跟踪列表中的已有目标在当前帧中的新位置，主要是判断新出现的目标是属于正常走动的行人还是属于干扰运动物体，该步骤主要是基于深度学习技术，采用运动目标的速度场作为深度神经网络模型的输入特征图像，使得整个深度神经网络模型的初始输入特征更加强健，采用较小深度的神经网络模型即可以达到精准的分类，有效去除干扰运动目标，有效提升系统的运算速度；

s5、基于目标跟踪列表信息的变化状态与预设判断条件，判断行人目标的是否发生跌倒并报警，基于目标跟踪列表综合判断行人运动状态是否出现异常情况，进而判断行人是否发生跌倒。

请参阅图2，显示为本发明的像素运动速度场图像获取步骤示意图，如图2所示，s2、根据场景图像数据，以预设逻辑计算当前帧图像中所有像素点的瞬时运动速度场，获取像素运动速度场图像，效果图请参阅图12及图13，显示为本发明的等间隔像素采样场景示意图和出现运动目标时像素瞬时运动速度场示意图，如图12及图13所示，包括：(注意公式的顺序)

s21、遍历场景图像中的像素，采用了等间隔像素采样技术，即每隔n个像素选取一个像素进行瞬时速度场计算，提高采样效率和系统整体运行效率以及检测精度；

s22、根据公式：

计算像素的偏导数，ix(i，j)和iy(i，j)分别表示当前帧图像中以像素(x，y)为中心的3×3邻域内的每一个像素在x轴方向和y轴方向上的偏导数，it(i，j)表示当前帧图像中以像素(x，y)为中心的3×3邻域内的每一个像素和前一帧图像中对应位置像素的灰度差值，f(x，y)表示当前帧图像中像素(x，y)处的灰度值，p(x，y)表示前一帧图像中像素(x，y)处的灰度值。

s23、根据公式：

计算像素在平面坐标系中沿各坐标轴的速度分量数据，其中，vx(x，y)和vy(x，y)分别表示当前帧图像中像素(x，y)处x轴方向和y轴方向上的瞬时运动速度分量，ix(i，j)和iy(i，j)分别表示当前帧图像中以像素(x，y)为中心的3×3邻域内的每一个像素在x轴方向和y轴方向上的偏导数，表示当前帧图像中以像素(x，y)为中心的3×3邻域内的每一个像素和前一帧图像中对应位置像素的灰度差值。

s24、根据公式：

计算像素的瞬时运动速度场，其中v(x，y)表示当前帧图像中像素(x，y)处的瞬时运动速度，α(x，y)表示当前帧图像中像素(x，y)处的瞬时运动方向角，arctan表示反正切三角函数。

请参阅图3及图14，显示为本发明的候选运动目标获取步骤示意图和获取候选目标效果示意图，如图3及图14所示，s3、根据像素运动速度场图像和预设相似条件聚集相似像素，形成候选运动目标区域，根据运动目标区域获取候选运动目标，包括：

s31、根据像素运动速度场图像及八邻域连通区域标记算法，将邻域连通区域中具有相近运动速度和运动方向的像素聚集在一起形成候选运动目标区域：

其中，v1(x，y)和v2(x，y)分别表示第一个像素和第二个像素的瞬时运动速度，α1(x，y)和α2(x，y)分别表示第一像素和第二个像素的瞬时运动方向角，tv表示相邻像素点运动速度差值阈值，tα表示相邻像素点运动方向角差值阈值。

s32、去除面积较小的运动目标区域，获取运动目标区域的最小外接矩形作为候选运动目标区。

请参阅图4及图6，显示为本发明的新运动目标筛选步骤示意图和本发明的卷积神经网络模型示意图，如图4及图6所示，s4、筛选出候选运动目标中的新运动目标，包括：

s41、获取候选运动目标，获取步骤s3获取的所有候选运动目标；

s42、根据如下公式：

soverlap＝r1_w×r1_h+r2_w×r2_h-i_w×i_h

计算候选运动目标和目标跟踪列表里的每一个目标之间的重合度soverlap，其中，soverlap表示候选运动目标和一个跟踪目标之间的重合度，r1_r、r1_l、r1_b、r1_u、r1_w、rl_h分别表示候选运动目标区域矩形的右边界、左边界、下边界、上边界、宽度、高度，r2_r、r2_1、r2_b、r2_u、r2_w、r2_h分别表示跟踪目标的区域矩形的右边界、左边界、下边界、上边界、宽度、高度，min()表示选择两个元素中较小值，max()表示选择两个元素中较大值，1_w、i_h分别表示候选运动目标和一个跟踪目标之间重叠区域矩形的宽度和高度。

s43、遍历目标跟踪列表中的已有目标，将各已有目标与候选运动目标的重合度soverlap与预设重合度阈值逐一比较，判断重合度soverlap的值是否大于预设重合度阈值，优选的，用每一候选运动目标与所有已有目标对比计算二者重合度；

s44、若是，则候选运动目标为该重合度值对应的已有目标，如果所述候选运动目标与所述已有目标的重合度大于预设的重合度阈值，则可知该候选运动目标为已有目标；

s45、若否，则候选运动目标为新运动目标，如果所述候选运动目标与所述已有目标的重合度不大于预设的重合度阈值，则可知该候选运动目标是区别于已有目标的新运动目标。

s46、获取新运动目标的归一化输入特征图像，基于深度学习技术和目标区域速度场信息，优选的，获取深度神经网络模型输入特征图像，主要是在步骤s2中获取的像素运动速度场图像内，基于新出现目标区域矩形位置截取相应的子区域图像作为该新出现目标的输入特征图像，并对输入特征图像进行尺寸归一化；

s47、判断新出现目标类型，主要是把步骤s46中获取的归一化输入特征图像送入深度神经网络模型，依据模型的输出判断新出现目标类型；在执行步骤s47之前，先通过如下步骤获取深度神经网络模型：

p0、构建深度神经网络模型，由于本发明中深度神经网络模型的作用是，根据输入特征图像判断目标的类型，属于目标识别的二分类范畴，因此，综合考虑运动目标的多样性和卷深度神经网络模型的计算复杂性，本发明基于lenet-5卷积神经网络模型进行改进，改进后的卷积神经网络模型如图6所示；

p1、根据运动目标的图像信息获取训练样本，训练样本与运动目标对应，获取不同的摄像机应用场景下，各种运动目标的运动速度场图像，并把其中行人的运动速度场图像作为训练正样本，而其余的非行人运动速度场图像则作为训练负样本；

p2、根据深度神经网络模型及训练样本数据，归一化训练样本数据，主要是把所有的训练样本图像的尺寸进行归一化，使之和深度神经网络模型的输入特征图像尺寸一致；

p3、训练深度神经网络模型，主要是借助caffe深度学习框架，基于所有的训练样本数据，学习深度神经网络模型。上述步骤p0、p1、p2、p3为深度神经网络模型的获取方法。

s411、在像素运动速度场图像内，选择行人运动目标所在的矩形区域作为已有目标区域运动速度场，在步骤s2中获取的像素运动速度场图像内，选择行人运动目标在步骤s3中对应的候选运动目标所在的矩形区域作为已有目标区域运动速度场；

s412、根据如下公式：

获取已有目标区域运动速度场的特征向量直方图，其中，h[i]表示特征向量直方图的第i维分量，v(x，y)表示步骤s2中获取的像素运动速度场图像内像素(x，y)处的瞬时运动速度，α(x，y)表示步骤s2中获取的像素运动速度场图像内像素(x，y)处的瞬时运动方向角，β表示直方图每一维覆盖的角度范围。

s413、根据目标特征向量直方图的最大特征分量所在维数计算已有目标的运动量，优选的，首先获取已有目标特征向量直方图的最大特征分量所在维数w，然后计算所有落入第w维分量范围内的像素点的瞬时运动速度均值和瞬时运动方向角均值，即是已有目标的运动量；

s414、根据如下公式：

计算已有目标的新位置，其中，rectnewx、rectnewy、rectneww、rectnewh分别表示已有目标新位置矩形的左上角x轴坐标、左上角y轴坐标、矩形宽度、矩形高度，rectprex、rectprey分别表示在上一帧中已有目标矩形的左上角x轴坐标、左上角y轴坐标，rectcandw、rectcandh分别表示在步骤s3中的属于已有目标的候选运动目标的区域矩形宽度、高度，mv表示瞬时运动速度均值，γ表示瞬时运动方向角均值，sin、cos分别表示正弦、余弦等三角函数。

请参阅图5，显示为本发明的实时行进状态判断步骤示意图，如图5所示，步骤s5包括：

s51、基于目标跟踪列表信息的变化状态与预设判断条件，判断行人目标的是否发生跌倒并报警；主要是判断行人目标在一段时间内是否出现目标高度剧变和目标运动位置相对静止等异常，根据目标跟踪列表信息，如果某一个运动目标的目标跟踪列表满足下述公式，则说明当前的运动目标是异常的运动目标；

其中，hmaxtotal表示某个运动目标的目标跟踪列表中目标高度的最大值，hmint表示某个运动目标的目标跟踪列表中一段时间t内目标高度的最小值，xmax、xmin、ymax、ymin分别表示某个运动目标的目标跟踪列表中一段时间t内目标中心位置的左边界、右边界、上边界、下边界，th表示某个运动目标的高度变化比例阈值，tx表示某个运动目标的目标跟踪列表中一段时间t内目标在x轴方向上的位移阈值，ty表示某个运动目标的目标跟踪列表中一段时间t内目标在y轴方向上的位移阈值。

s52、当在步骤s51中确定行人的运动状态出现了异常后，判断时间间隔m秒后，行人的中心位置是否已经远离了出现异常时的中心位置，根据公式：

max{|xc-xm|，|yc-ym|}≤tm

判断行人目标的中心位置是否改变，如果满足公式，说明行人发生了不能自己恢复过来的跌倒，如果不满足公式，说明行人只是蹲下或者非严重跌倒；其中，max{}表示选择两个元素中较大值，xc表示出现异常时的行人目标中心位置x轴坐标，yc表示出现异常时的行人目标中心位置y轴坐标，xm表示距离出现异常行人目标m秒后的行人目标中心位置x轴坐标，ym表示距离出现异常行人目标m秒后的行人目标中心位置y轴坐标，tm表示目标中心位置距离阈值。

s53、若是，则判定行人目标未跌倒，即可知该行人目标对应的老人继续正常行进；

s54、若否，则判断行人目标跌倒，发出警报信息，如果行人发生了不能自已恢复过来的跌倒，需要及时报警，通知相关人员过来进行及时救治。

请参阅图7，显示为本发明的一种基于深度学习的老人跌倒检测系统模块示意图，如图7所示，一种基于深度学习的人体行进检测系统1包括：图像获取模块11、运动速度场模块12、候选目标获取模块13、运动目标跟踪处理模块14、行进状态判断模块15；图像获取模块11，用于通过摄像机采集场景图像数据，确定目标检测区域，发明利用视频帧间运动速度场信息进行运动目标的粗检测和目标跟踪，采集场景图像，主要是采集当前摄像机场景下的实时帧图像，并选择需要监控老人跌倒的图像区域作为当前帧图像；运动速度场模块12，用于根据场景图像数据，以预设逻辑计算当前帧图像中所有像素点的瞬时运动速度场，获取像素运动速度场图像，运动速度场模块12与图像获取模块11连接，主要是计算当前帧图像中所有像素点的瞬时运动速度场为了提高算法的运行效率，本发明采用了等间隔像素采样技术；候选目标获取模块13，用于根据像素运动速度场图像和预设相似条件聚集相似像素，形成候选运动目标区域，在运动目标区域中获取候选运动目标，根据当前帧图像的像素运动速度场，参考八邻域连通区域标记算法，把m×n领域内具有相近运动速度和运动方向的像素聚集在一起，候选目标获取模块13与运动速度场模块12连接；运动目标跟踪处理模块14，用于筛选出候选运动目标中的新运动目标，去除面积较小的运动目标区域，判断步骤s3获取的候选运动目标是新出现目标还是已有目标，运动目标跟踪处理模块14与候选目标获取模块13连接；行进状态判断15，用于根据深度学习方法从新运动目标中识别出行人目标，主要是判断新出现的目标是属于正常走动的行人还是属于干扰运动物体，该步骤主要是基于深度学习技术，采用运动目标的速度场作为深度神经网络模型的输入特征图像，使得整个深度神经网络模型的初始输入特征更加强健，采用较小深度的神经网络模型即可以达到精准的分类，有效去除干扰运动目标，有效提升系统的运算速度，更新行人目标的目标跟踪列表中包含的实时图像位置信息，获取跟踪列表中的已有目标在当前帧中的新位置，基于目标跟踪列表信息的变化状态与预设判断条件，判断行人目标的是否发生跌倒并报警，基于目标跟踪列表综合判断行人运动状态是否出现异常情况，进而判断行人是否发生跌倒，如果行人发生了不能自己恢复过来的跌倒。

请参阅图8，显示为本发明的运动速度场模块示意图，如图8所示，运动速度场模块12，包括：像素选取模块121、速度计算模块122、速度分量计算模块123、场图像获取模块124；像素选取模块121，用于遍历场景图像中的像素，每隔n个像素选取一个像素，即每隔n个像素选取一个像素进行瞬时速度场计算，提高采样效率和系统整体运行效率以及检测精度；速度场图像获取模块122，用于根据矢量速度数据、角速度数据及速度分量数据，通过公式：

得到像素运动速度场图像，其中，it(i，j)表示当前帧图像中以像素(x，y)为中心的3×3邻域内的每一个像素和前一帧图像中对应位置像素的灰度差值，f(x，y)表示当前帧图像中像素(x，y)处的灰度值，p(x，y)表示前一帧图像中像素(x，y)处的灰度值，速度场图像获取模块122与像素选取模块121连接；

速度分量计算模块123，用于根据公式：

计算像素在平面坐标系中沿各坐标轴的速度分量数据，其中，vx(x，y)和vy(x，y)为沿坐标轴方向的速度分量，vx(x，y)和vy(x，y)分别表示当前帧图像中像素(x，y)处x轴方向和y轴方向上的瞬时运动速度分量，ix(i，j)和iy(i，j)分别表示当前帧图像中以像素(x，y)为中心的3×3邻域内的每一个像素在x轴方向和y轴方向上的偏导数，速度分量计算模块123与速度场图像获取模块122连接；速度计算模块124，用于根据公式：

计算像素的矢量速度和角速度，其中v(x，y)表示当前帧图像中像素(x，y)处的瞬时运动速度，α(x，y)表示当前帧图像中像素(x，y)处的瞬时运动方向角，arctan表示反正切三角函数，速度计算模块124与速度分量计算模块123连接。

请参阅图9，显示为本发明的候选目标获取模块示意图，如图9所示，候选目标获取模块13，包括：候选区域获取模块131、目标区域选取模块132；候选区域获取模块131，用于根据像素运动速度场图像的像素运动速度场及八邻域连通区域标记算法，将邻域连通区域中具有相近运动速度和运动方向的像素聚集在一起形成候选运动目标区域，以八邻域连通区域标记算法，把m×n领域内具有相近运动速度和运动方向的像素聚集在一起，形成候选运动目标区域；目标区域选取模块132，用于去除面积较小的运动目标区域，获取运动目标区域的最小外接矩形作为候选运动目标区域，获取运动目标区域的最小外接矩形作为候选运动目标区域矩形，满足下述公式的相邻像素点属于同一个连通区域，效果如图5所示。

其中，v1(x，y)和v2(x，y)分别表示第一个像素和第二个像素的瞬时运动速度，α1(x，y)和α2(x，y)分别表示第一像素和第二个像素的瞬时运动方向角，tv表示相邻像素点运动速度差值阈值，tα表示相邻像素点运动方向角差值阈值目标区域选取模块132与候选区域获取模块131连接。

请参阅图10，显示为本发明的运动目标跟踪处理模块示意图，如图10所示，运动目标跟踪处理模块14，包括：运动候选目标获取模块141、重合度计算模块142、重合程度判断模块143、已有目标判定模块144、新目标判定模块145、特征图像归一化模块146、目标类型判断模块147、目标运动场模块148、特征直方图获取模块149、已有目标运动量计算模块1410、新位置计算模块1411；运动候选目标获取模块141，用于获取候选运动目标，判断步骤s3获取的候选运动目标是新出现目标还是已有目标；重合度计算模块142，用于根据如下公式：

soverlap＝r1_w×r1_h+r2_w×r2_h-i_w×i_h

计算候选运动目标和跟踪列表里的每一个目标之间的重合度soverlap，其中，soverlap表示候选运动目标和一个跟踪目标之间的重合度，r1_r、r1_l、r1_b、r1_u、r1_w、r1_h分别表示候选运动目标区域矩形的右边界、左边界、下边界、上边界、宽度、高度，r2_r、r2_1、r2_b、r2_u、r2_w、r2_h分别表示跟踪目标区域矩形的右边界、左边界、下边界、上边界、宽度、高度，min()表示选择两个元素中较小值，max()表示选择两个元素中较大值，i_w、i_h分别表示候选运动目标和一个跟踪目标之间重叠区域矩形的宽度和高度；重合程度判断模块143，用于遍历跟踪列表中的已有目标，将各已有目标与候选运动目标的重合度soverlap与预设阈值逐一比较，判断重合度soverlap的值是否大于预设重合度阈值，优选的，用每一候选运动目标与所有已有目标对比计算二者重合度，重合程度判断模块143与重合度计算模块142连接；已有目标判定模块144，用于在重合度soverlap的值大于预设重合阈度值时，候选运动目标为该重合度值对应的已有目标，如果所述候选运动目标与所述已有目标的重合度大于预设的重合度阈值，则可知该候选运动目标为已有目标，已有目标判断模块144与重合程度判断模块143连接；新目标判定模块145，用于在重合度soverlap的值不大于预设重合度阈值时，候选运动目标为新运动目标，判断新出现的目标是属于正常走动的行人还是属于干扰运动物体，如果是行人目标，则把该目标放入跟踪列表中，新目标判定模块145与重合程度判断模块143连接，特征图像归一化模块146，用于取新运动目标的归一化输入特征图像，基于深度学习技术和目标区域速度场信息，优选的，获取深度神经网络模型输入特征图像，主要是在步骤s2中获取的像素运动速度场图像内，基于新出现目标区域矩形位置截取相应的子区域图像作为该新出现目标的输入特征图像，并对输入特征图像进行尺寸归一化；目标类型判断模块147，用于判断新出现目标类型，主要是把步骤s46中获取的归一化输入特征图像送入深度神经网络模型，依据模型的输出判断新出现目标类型；在进行步骤s147中新出现目标判断之前，通过如下步骤获取深度神经网络模型：p0、构建深度神经网络模型，由于本发明中深度神经网络模型的作用是，根据输入特征图像判断目标的类型，属于目标识别的二分类范畴，因此，综合考虑运动目标的多样性和卷深度神经网络模型的计算复杂性，本发明基于lenet-5卷积神经网络模型进行改进，改进后的卷积神经网络模型如图6所示；p1、根据运动目标的图像信息获取训练样本，训练样本与运动目标对应，获取不同的摄像机应用场景下，各种运动目标的运动速度场图像，并把其中行人的运动速度场图像作为训练正样本，而其余的非行人运动速度场图像则作为训练负样本；p2、根据深度神经网络模型及训练样本数据，进行模型的训练学习，归一化训练样本数据，主要是把所有的训练样本图像的尺寸进行归一化，使之和深度神经网络模型的输入特征图像尺寸一致；p3、主要是借助caffe深度学习框架，基于所有的训练样本数据，学习深度神经网络模型。目标运动场模块148，用于在像素运动速度场图像内，选择候选运动目标所在的矩形作为已有目标区域运动速度场，在步骤s2中获取的像素运动速度场图像内，选择步骤s3中获取的候选运动目标所在的矩形区域作为已有目标区域运动速度场；特征直方图获取模块149，用于根据如下公式：

获取已有目标区域运动速度场的特征向量直方图，其中，h[i]表示特征向量直方图的第i维分量，v(x，y)表示步骤s2中获取的像素运动速度场图像内像素(x，y)处的瞬时运动速度，α(x，y)表示步骤s2中获取的像素运动速度场图像内像素(x，y)处的瞬时运动方向角，β表示直方图每一维覆盖的角度范围；已有目标运动量计算模块1410，用于根据目标特征向量直方图的最大特征分量所在维数计算已有目标的运动量，已有目标运动量计算模块1410与特征直方图获取模块149连接，优选的，首先获取步骤s62中已有目标特征向量直方图的最大特征分量所在维数w，然后计算所有落入第w维分量范围内的像素点的瞬时运动速度均值和瞬时运动方向角均值，即是已有目标的运动量；新位置计算模块1411，用于根据如下公式：

计算已有目标的新位置，其中，rectnew_x、rectnew_y、rectnew_w、rectnew_h分别表示已有目标新位置矩形的左上角x轴坐标、左上角y轴坐标、矩形宽度、矩形高度，rectpre_x、rectpre_y分别表示在上一帧中已有目标矩形的左上角x轴坐标、左上角y轴坐标，rectcand_w、rectcand_h分别表示在步骤s3中的属于已有目标的候选运动目标的区域矩形宽度、高度，mv表示瞬时运动速度均值，γ表示瞬时运动方向角均值，sin、cos分别表示正弦、余弦等三角函数。

请参阅图11，显示为本发明的行人识别模块示意图，如图11所示，行进状态判断模块15包括：异常判定模块151、跌倒判断模块152、未跌倒判定模块153、跌倒判定预警模块154；异常判定模块151，用于判断行人目标运动状态是否出现异常，主要是判断行人目标在一段时间内是否出现目标高度剧变和目标运动位置相对静止等异常根据目标跟踪列表信息，如果某一个运动目标的目标跟踪列表满足下述公式，则说明当前的运动目标是异常的运动目标：

其中，hmaxtotal表示某个运动目标的目标跟踪列表中目标高度的最大值，hmint表示某个运动目标的目标跟踪列表中一段时间t内目标高度的最小值，xmax、xmin、ymax、ymin分别表示某个运动目标的目标跟踪列表中一段时间t内目标中心位置的左边界、右边界、上边界、下边界，th表示某个运动目标的高度变化比例阈值，tx表示某个运动目标的目标跟踪列表中一段时间t内目标在x轴方向上的位移阈值，ty表示某个运动目标的目标跟踪列表中一段时间t内目标在y轴方向上的位移阈值；跌倒判断模块152，用于检测判断预设时间间隔后行人的中心位置是否已经远离了出现异常时的中心位置，根据公式：

max{|xc-xm|，|yc-ym|}≤tm

判断所述行人目标的位置是否改变，其中，max{}表示选择两个元素中较大值，xc表示出现异常时的行人目标中心位置x轴坐标，yc表示出现异常时的行人目标中心位置y轴坐标，xm表示距离出现异常行人目标m秒后的行人目标中心位置x轴坐标，ym表示距离出现异常行人目标m秒后的行人目标中心位置y轴坐标，tm表示目标中心位置距离阈值；未跌倒判定模块153，用于在满足公式条件时，判定所述行人目标未跌倒；跌倒判定模块154，用于在不满足公式条件时，，判定所述行人目标跌倒，发出警报信息。如果行人发生了不能自已恢复过来的跌倒，需要及时报警，通知相关人员过来进行及时救治。

综上所述，本发明提供发的一种基于深度学习技术的老人跌倒检测方法及系统，综合利用视频帧间相关性和深度学习准确性，能够以较小的运算代价快速检测老人是否发生跌倒，并保证较少的漏检和误检，本发明利用视频帧间运动速度场信息进行运动目标的粗检测和目标跟踪，定位运动目标速度更快，可以进行实时检测，基于深度学习技术和目标区域速度场信息，能够准确识别真实的行人运动目标，有效的去除各种干扰，误检和漏检更少，不需要随身携带穿戴式传感器，设备成本降低，使用方便，模型消耗内存降低，运算量减少，可以在视频环境中做到实时检测，背景建模精确，提取的前景块特征误差较小，减少了误检和漏检的异常情况，解决了传统技术中存在的存在硬件成本高、运算占用空间大，信息利用率低以及监测结果精确度低的技术问题，具有很高的商业价值和实用性。