一种基于红外全景摄像头的独居老人异常行为识别方法
【专利摘要】本发明公开了一种基于红外全景摄像头的独居老人异常行为识别方法，属于视频图像技术领域。包括以下步骤：步骤一：利用全景红外线摄像机进行红外摄像，获取视频图像信号；步骤二：采用快速近似展开方法对红外全景图像展开；步骤三：构建家庭环境下室内栅格语义地图；步骤四：采用基于改进的混合高斯模型算法对人体目标建模，识别目标团块，获取团块信息，对目标团块进行实时跟踪，获取人体轨迹特征；步骤五：采用混合高斯聚类方法提取人体运动轨迹；步骤六：对人体轨迹进行分割；步骤七：将家庭环境下人体运动分割后的轨迹作为训练样本训练卷积神经网络，对家庭环境下人体行为轨迹进行特征提取，证据推理进行分类；若异常进行报警。
【专利说明】
一种基于红外全景摄像头的独居老人异常行为识别方法
技术领域
[0001]本发明属于视频图像技术领域，涉及一种基于红外全景摄像头的独居老人异常行为识别方法。
【背景技术】
[0002]随着经济社会的快速发展，人民生活水平和医疗卫生保障事业的巨大改善，生育率持续保持较低水平，我国社会老龄化形势严峻，2013年，我国60岁以上老龄人口超过2亿，2025年将突破3亿，2040年将突破4亿，届时80岁以上老人将达到I个亿，老龄化将长期影响中国的经济和社会。由于计划生育政策的实施，我国传统的核心家庭结构发生变化，家庭规模日趋小型化，打破了传统上的三代人甚至四代人同居的家庭模式。同时现代社会中老人和子女都要求有自己的“自由空间”，因此我国空巢老人和独居老人的社会现象更为突出。据统计2012年我国空巢老年人口为0.99亿人，2013年突破一亿大关。随着年龄的增长，老年人的机体生理老化的同时也伴随着精神活动能力减弱，从而使其生活中产生很多安全隐患，易出现摔倒、跌落等意外伤害。独居老人因无人看护发生意外甚至在家逝世多日无人知晓的报道常见报端。因此，如何在独居老人的家庭环境下及时检测出摔倒等异常行为，第一时间通知家人和医院，保障独居老人的安全，是值得我们关注的重要课题。
[0003]目前，异常行为检测是一个研究热点，具有很大的发展空间。在现有技术中，有一种基于动作识别的人体异常行为检测与预警系统，该申请方案提出由摄像头采集人体运动图像，人体腕套内的惯性测量单元采集人体运动数据，并分别传送至主机，通过主机内置程序根据人体运动图像结合人体运动数据在显示器上模拟出相关动作画面，当有异常行为发生时，会通过预警系统报警。该技术将运动图像与运动数据进行结合，以实现人体异常行为的检测，但人体手部佩戴的腕套属于接触性装置，采集数据时，会对人体的正常活动造成一定影响，使得该技术的实用性较低。同时，还有一类基于纯数字图像或视频信息的行为监控识别方法，从图像中正常行为和异常行为所带来的像素特性变化中发现并提取规律，从而实现异常状态发现。如:一种通过处理图像中的步态信息来识别人的状态的方法，此方法包括参数化方法和非参数化方法，参数化方法基于步态时空参数中的步频和步长来区分人，非参数化方法基于特征脸技术识别特征步态来区分人。但是，现有的各种方案多采用普通摄像头直接监控，在成像范围、分辨率方面已经难以满足人体行为识别的需求，并且难以保护监控对象的隐私。普通摄像机有限的可视范围限制了信息的获取，若能扩大可视范围，将轻松的解决信息获取的问题。红外全景摄像头可以对监控环境实现360°全覆盖，可视范围广，同时避免室内光照、阴影等因素的影响。因此，本文提出一种可视范围广，非接触性、具有一定隐私保护效果的异常行为监控方法来实现家庭环境下独居老人的异常行为监测。
【发明内容】
[0004]有鉴于此，本发明的目的在于提供一种基于红外全景摄像头的独居老人异常行为识别方法，该方法基于红外全景摄像技术，Blob图像跟踪算法，卷积神经网络和DS证据推理分类算法，可以对独居老人的日常行为活动范围实现全覆盖式跟踪检测，并在发生危险异常情况时进行报警提示。
[0005]为达到上述目的，本发明提供如下技术方案:
[0006]—种基于红外全景摄像头的独居老人异常行为识别方法，属于视频图像技术领域。包括以下步骤:步骤一:利用全景红外线摄像机进行红外摄像，获取视频图像信号;步骤二:采用快速近似展开方法对红外全景图像展开;步骤三:构建家庭环境下室内栅格语义地图；步骤四:采用基于改进的混合高斯模型算法对人体目标建模，识别目标团块，获取团块信息，对目标团块进行实时跟踪，获取人体轨迹特征;步骤五:采用混合高斯聚类方法提取人体运动轨迹;步骤六:对人体轨迹进行分割；步骤七:将家庭环境下人体运动分割后的轨迹作为训练样本训练卷积神经网络，对家庭环境下人体行为轨迹进行特征提取，证据推理进行分类;若异常进行报警。
[0007]进一步，所述步骤二中采用快速近似展开方法对红外全景图像展开。
[0008]进一步，在步骤三中选取一般成人正常步长50cm为一个栅格基本单位，建立室内坐标系，对待识别目标所在室内环境建立栅格语义地图，其中地图包括室内各个房间以及室内主要家具、设备的名称，坐标，房间内的家具和设备为人体运动轨迹的关键点。
[0009]进一步，在步骤四中具体包括以下步骤:41:建立混合高斯背景模型表征图像帧中的每一个像素点的特征;42:自适应更新背景模型，计算前景掩膜;43:对前景掩膜进行形态学开运算和闭运算滤波;44:采用基于前景掩膜连通区域的团块检测算法检测视频区域内的人体目标，获取团块信息，即人体目标信息;45:采用Meanaif t算法对人体目标进行实时跟踪。
[0010]进一步，所述步骤五中采用混合高斯聚类方法提取人体轨迹。
[0011]进一步，在步骤六中具体包括以下步骤:在获取人体运动轨迹之后，首先判断当前点所属的关键点，计算各拓扑点属于该关键点的概率，选择最大概率对应的拓扑点，如果该最大概率大于某一阈值，则认为当前点属于拓扑点.如果当前点属于拓扑点，则标记该点是序列的起点或终点，将不间断的行为序列分成以关键点为起点和终点的行为序列，其中轨迹特征还包括目标在终点所待时长。
[0012]进一步，在步骤七中具体包括以下步骤:71:将所获得的不同目标的行为序列作为训练样本，对卷积神经网络进行预训练;72:用待识别目标的日常活动行为轨迹对卷积神经网络模型进行微调，获得具体的行为轨迹分析模型;73:用该目标的行为轨迹分析模型对获得的行为轨迹进行初步识别，构造目标识别率矩阵;74:采用DS证据推理融合合成规则对人体行为进行分类识别，若目标的行为轨迹终点在非关键区域，且时长超过阈值;或目标的起点终点在一定时长内往返次数超过阈值即为异常行为，此时向老人的家人和医院发送紧急短?目O
[0013]进一步，步骤四中所述的团块信息包括:团块的中心，面积及ID信息。
[0014]进一步，步骤五中所述发送紧急短信是基于互联网的SMS模块实现的。
[0015]本发明的有益效果在于:本发明所述方法基于红外摄像技，Blob图像跟踪算法，卷积神经网络和DS证据推理分类算法，其中，红外摄像机能准确地探测热目标，而忽略背景及人体本身丰富的细节信息，因此能对监控对象的隐私起到一定的保护作用;全景摄像头能够实现人体活动范围内的360°全覆盖，可视范围广，同时避免室内光照、阴影等因素的影响，获取更多运动信息和细节;在基于Blob的跟踪算法中，能有效方便地获取目标团块的信息，使得实时的跟踪算法得以实现;基于卷积神经网络的特征提取算法通过深度网络提取高层语义特征，通过无监督学习获取自适应特征，同时，稳定性高，对图像的灰度变化，噪声影响和视点变化不敏感，具有平移、旋转等不变性特征。异常行为判定标准简单有效可靠，使得该方法能实现跌倒异常行为检测的目的。同时，利用红外全景摄像机进行行为监控，实现了通过非接触性方式，全面进行异常行为监测的目的，且本发明使用的跟踪算法实时性好，跟踪目标特征易于获取，判断标准简单可靠。
【附图说明】
[0016]为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明:
[0017]图1为本发明所述方法的流程图；
[0018]图2为本发明所述室内栅格语义地图示意图；
[0019]图3为本发明所述卷积神经网络识别流程图。
【具体实施方式】
[0020]下面将结合附图，对本发明的优选实施例进行详细的描述。
[0021]图1为本发明所述方法的流程图，本方法包括以下步骤:
[0022]S1:利用全景红外线摄像机进行红外线摄像，获取视频图像信号。摄像机的安装按照实际空间布局分布情况，布置在每个房间的天花板中央，做到对该房间以及待监控目标居住环境的全面覆盖。
[0023]S2:对红外全景360°摄像头获取的全景图像进行还原展开，解决全景图像中的成像扭曲问题;在本实施例中采用快速近似展开方法对红外全景图像展开。
[0024]S3:选取一般成人正常步长50cm为一个栅格基本单位，建立室内坐标系，对待识别目标所在室内环境建立栅格语义地图，其中地图包括室内各个房间以及室内主要家具、设备的名称，坐标，房间内的家具和设备为人体运动轨迹的关键点。
[0025]S4:采用自适应混合高斯建模方法进行前景检测，所述步骤S2中的自适应混合高斯建模方法，具体步骤如下:
[0026]S41:建立混合高斯背景模型表征图像帧中的每一个像素点的特征；
[0027]S42:自适应更新背景模型，计算前景掩膜；
[0028]S43:对前景掩膜进行形态学开运算和闭运算滤波。
[0029]S44:识别待检测区域内的人体目标，获取人体目标信息(中心，面积，ID);在本实施例中采用基于前景掩膜连通区域的团块检测算法识别人体目标。
[0030]S45:对目标团块进彳丁实时跟踪;在本实施例中米用MeanShif t算法对目标团块进行实时跟踪。
[0031]S5:对人体目标的行为估计进行分割，将轨迹序列转化为用关键点表示的关键点序列;在本实施例中采用混合高斯聚类方法提取人体运动关键点序列。
[0032]S6:在获取人体运动轨迹之后，首先判断当前点所属的关键点，计算各拓扑点属于该关键点的概率，选择最大概率对应的拓扑点，如果该最大概率大于某一阈值，则认为当前点属于拓扑点.如果当前点属于拓扑点，则标记该点是序列的起点或终点，将不间断的行为序列分成以关键点为起点和终点的行为序列，其中轨迹特征还包括目标在终点所待时长，起点与终点间的连续往返次数。
[0033]S7:采用卷积神经网络对人体目标进行轨迹分析，并用DS证据推理方法对目标行为进行分类识别。若目标的行为轨迹终点在非关键区域，且时长超过阈值;或目标的起点终点在一定时长内往返次数超过阈值即为异常行为，此时向老人的家人和医院发送紧急短信;具体识别的步骤如下:
[0034]S71:将所获得的不同目标的行为序列作为训练样本，对卷积神经网络进行预训练;
[0035]S72:用待识别目标的日常活动行为轨迹对卷积神经网络模型进行微调，获得具体的行为轨迹分析模型；
[0036]S73:用该目标的行为轨迹分析模型对获得的行为轨迹进行初步识别，构造目标识别率矩阵；
[0037]S74:采用DS证据推理融合合成规则对人体行为进行分类识别，若目标的行为轨迹终点在非关键区域，且时长超过阈值;或目标的起点终点在一定时长内往返次数超过阈值即为异常行为，此时向老人的家人和医院发送紧急短信。
[0038]最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
【主权项】
1.一种基于红外全景摄像头的独居老人异常行为识别方法，其特征在于:包括以下步骤: 步骤一:利用全景红外线摄像机进行红外线摄像，获取视频图像信号； 步骤二:采用快速近似展开方法对红外全景图像展开； 步骤三:选取一般成人正常步长50cm为一个栅格基本单位，建立室内坐标系，对待识别目标所在室内环境建立栅格语义地图，其中地图包括室内各个房间以及室内主要家具、设备的名称，坐标； 步骤四:采用改进的自适应混合高斯建模方法进行前景检测，识别目标团块，获取人体目标信息(中心、面积及ID信息)，对于进入摄像范围的人体目标采用MeanShif t算法进行实时跟踪； 步骤五:采用混合高斯聚类方法提取人体运动轨迹； 步骤六:对人体轨迹进行分割； 步骤七:将家庭环境下人体运动分割后的轨迹向量化，作为训练样本训练卷积神经网络，对家庭环境下人体行为轨迹进行特征提取，采用DS证据推理进行分类;若目标的行为轨迹终点在非关键区域，且时长超过阈值;或目标的起点终点在一定时长内往返次数超过阈值即为异常行为，此时向老人的家人和医院发送紧急短信。2.根据权利要求1所述的一种基于红外全景摄像头的独居老人异常行为识别方法，其特征在于:所述步骤二中采用采用快速近似展开方法对红外全景图像展开。3.根据权利要求1所述的一种基于红外全景摄像头的独居老人异常行为识别方法，其特征在于:所述步骤三中选取一般成人正常步长50cm为一个栅格基本单位，建立室内坐标系，对待识别目标所在室内环境建立栅格语义地图，其中地图包括室内各个房间以及室内主要家具、设备的名称，坐标。4.根据权利要求1所述的一种基于红外全景摄像头的独居老人异常行为识别方法，其特征在于:在步骤四中具体包括以下步骤:41:建立混合高斯背景模型表征图像帧中的每一个像素点的特征;42:自适应更新背景模型，计算前景掩膜;43:对前景掩膜进行形态学开运算和闭运算滤波;44:采用基于前景掩膜连通区域的团块检测算法检测视频区域内的人体目标，获取团块信息，即人体目标信息;45:采用MeanShif t算法对人体目标进行实时跟踪。5.根据权利要求1所述的一种基于红外全景摄像头的独居老人异常行为识别方法，其特征在于:在步骤五中混合高斯聚类方法将人体运动轨迹转换为人体运动关键点序列。6.根据权利要求1所述的一种基于红外全景摄像头的独居老人异常行为识别方法，其特征在于:步骤六中具体包括以下步骤:在获取人体运动轨迹之后，首先判断当前点所属的关键点，计算各拓扑点属于该关键点的概率，选择最大概率对应的拓扑点，如果该最大概率大于某一阈值，则认为当前点属于拓扑点.如果当前点属于拓扑点，则标记该点是序列的起点或终点，将不间断的行为序列分成以关键点为起点和终点的行为序列，其中轨迹特征还包括目标在终点所待时长T。7.根据权利要求1所述的一种基于红外全景摄像头的独居老人异常行为识别方法，其特征在于:在步骤七中具体包括以下步骤:71:将所获得的不同目标的行为序列作为训练样本，对卷积神经网络进行预训练;72:用待识别目标的日常活动行为轨迹对卷积神经网络模型进行微调，获得具体的行为轨迹分析模型;73:用该目标的行为轨迹分析模型对获得的行为轨迹进行初步识别，构造目标识别率矩阵;74:采用DS证据推理融合合成规则对人体行为进行分类识别，若目标的行为轨迹终点在非关键区域，且时长超过阈值;或目标的起点终点在一定时长内往返次数超过阈值即为异常行为，此时向老人的家人和医院发送紧急短信。8.根据权利要求1所述的一种基于红外全景摄像头的独居老人异常行为识别方法，其特征在于:步骤四中所述的团块信息包括:团块的中心，面积及ID信息。9.根据权利要求1所述的一种基于红外全景摄像头的独居老人异常行为识别方法，其特征在于:所述步骤七中发送紧急短信是基于互联网的SMS模块实现的。
【文档编号】G06K9/00GK105975956SQ201610367782
【公开日】2016年9月28日
【申请日】2016年5月30日
【发明人】尹宏鹏, 柴毅, 周佳怡
【申请人】重庆大学