一种基于物联网平台的非接触式室内人员跌倒识别方法与流程

[0001]
本发明属于跌倒识别技术领域，更为具体地讲，涉及一种基于物联网平台的非接触式室内人员跌倒识别方法。


背景技术：

[0002]
随着中国人口老龄化的加剧，老年人的健康看护问题成为社会普遍关注的热点之一。截止2019年底，我国65岁及以上人口已超过1.76亿人，占总人口12.6％(国家统计局，2019人口统计调查)。按联合国标准，65岁及以上人口占总人口的14％，即该地区视为进入“老龄社会”。以14％为分界线，2019年底我国距离“老龄社会”仅差1.4％，2018年我国四川、江苏、重庆等多个省份已经跨过14％线，即已进入“老龄社会”。
[0003]
调查显示，跌倒是老年人发生意外伤害事故的首要原因(耳玉亮，段蕾蕾，叶鹏鹏等，2014年全国伤害监测系统老年跌倒/坠落伤害特征分析[j]，中华流行病学杂志，2016，37(1):24-28)。大约34％的65岁及以上老年人每年至少发生过一次摔倒，其中64.4％的跌倒发生在室内(朱月妹，袁浩斌，陈雷，老人跌倒危险因素等调查[j]，护理实践与研究，2007,4(10):5-7)。2013年全国疾病监测系统死因监测数据集显示65岁及以上老年人跌倒死亡率为44.3/10万人，跌倒已经成为老年人因伤害致死的第一原因(中国疾病预防控制中心，全国疾病监测系统死因数据集[m]，军事医学科学出版社，2013)。随着独居老人越来越多，老人在家中发生跌倒后往往难以及时获得救助。因此，对室内环境下老年人的跌倒进行识别并及时通知相关监护人员，缩短救助等待时间，有效减少因跌倒救助不及时造成的残疾等非致死性后果，同时显著节省看护老人的人力和成本，具有社会效益。
[0004]
目前的跌倒识别方法可被归纳为接触式方法和非接触式方法。接触式方法需要监测对象佩戴电子手环、智能手表等穿戴式电子设备，通过设备中内置的加速计、陀螺仪等传感器采集并分析人体活动过程中产生的加速度与角速度等信号，实现跌倒姿态的判别。非接触式方法包括利用可见光成像、红外成像、多普勒雷达、无线信号反射成像等手段获取人体姿态信息。非接触式方法无需要求监测对象佩戴电子传感设备，体验性好，活动不受限制。在非接触式方法中，红外成像手段兼具保护隐私、低成本、低硬件复杂度等优势，被视为最理想的解决方案。
[0005]
在非接触式相关领域，tao等人提出了一种基于二进制红外传感器的室内人员活动识别系统(s.tao,m.kudo,h.nonaka,and j.toyama,
″
camera view usage of binary infrared sensors for activity recognition,in proc.int.conf.pattern recognition(icpr),pp.1759-1762,nov.2012)。该识别系统通过对安装在天花板上的红外传感器获得的温度数据进行分析，从而识别人体姿态。mashiyama等人提出了一种基于红外阵列传感器的室内人体摔倒检测系统(a fall detection system using low resolution infrared array sensor[c],ieee,international symposium on personal,indoor,and mobile radio communication.ieee,2015：2109-2113)。该系统通过红外阵列式传感器采集监测区域内的温度分布，再使用k近邻算法对温度数据进行分类，最终实现跌倒姿态识
别，正确率高达94％。许超超等人(许超超.基于红外阵列传感器的室内人员监测系统的设计.福州大学,2018.)提出了一种基于红外传感器的室内人员跌倒监测系统。该跌倒监测系统利用低分辨率红外传感器采集室内的背景温度和人体温度分布图，利用支持向量机算法从温度分布图中提取出人体姿态特征值，再通过人工神经网络对姿态特征进行分类实现跌倒姿态的识别。
[0006]
然而，现有技术的非接触式室内人员跌倒识别方法基于家庭宽带网络构建，占据家庭宽带网络的带宽。同时，对于红外传感器的连接，如果采用wi-fi无线连接，无法覆盖一些房间，通信效果不够稳定，如果采用有线连接，则布线比较麻烦，部署成本较高。此外，对于没有连接互联网的家庭，如边远农村，则无法实施。


技术实现要素：

[0007]
本发明的目的在于克服现有技术的不足，提供一种基于物联网平台的非接触式室内人员跌倒识别方法，无需连接家庭宽带网络，实现广覆盖的非接触式室内人员跌倒识别。
[0008]
为实现上述发明目的，本发明提供基于物联网平台的非接触式室内人员跌倒识别方法，其特征在于，包括以下步骤：
[0009]
(1)、利用红外热成像传感器捕捉(采集)室内监测区域内的红外热图像，通过nb-iot窄带无线通信模块，将捕捉的包括室内人员热信息的红外热图像实时传输至云服务器；
[0010]
(2)、在云服务器中，对于每一帧红外热图像，利用压缩感知技术对其进行超分辨率重建(增强)，获取分辨率更高的红外热图像；
[0011]
(3)、将增强后红外热图像进行人体姿态关键特征提取并转换成人体姿态热力图，然后输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒；
[0012]
(4)、如果判别人员跌倒，则云服务器发送报警信息至监护人手机，同时，通过nb-iot窄带无线通信模块返回报警信息到室内监测区域安装的报警装置，发出报警声音。
[0013]
本发明的目的是这样实现的。
[0014]
本发明基于物联网平台的非接触式室内人员跌倒识别方法，通过nb-iot窄带无线通信模块，将捕捉的包括室内人员热信息红外热图像实时传输至云服务器，同时，将人员跌倒的报警信息返回室内监测区域安装的监测装置，实现双向无线连接，无本地网关、无中心网络，具有工业级系统可靠性，这样，无需连接家庭宽带网络，实现广覆盖的非接触式室内人员跌倒识别。此外，nb-iot窄带无线传输避免网络布线，红外热图像被传输至云平台集中处理分析避免本地数据处理重复配置硬件，最终降低监控装置硬件成本。本发明采用压缩感知技术克服nb-iot技术传输速率较低导致的图像帧率低、解析度较低问题。基于压缩感知技术对红外热图像进行超分辨率重建，将较低分辨率图像增强为较高分辨率图像。本发明通过红外热图像低分辨率采集nb-iot窄带传输-红外热图像分辨率增强-人体姿态特征提取与跌倒-返回跌倒信息至监护人手机以及报警信息到报警装置发出报警声音的流程，实现智能、快速的跌倒行为识别。
附图说明
[0015]
图1是基于红外热成像传感器的跌倒识别示意图；
[0016]
图2是本发明基于物联网平台的非接触式室内人员跌倒识别方法一种具体实施方
式流程图；
[0017]
图3是基于压缩感知的红外热图像超分辨率重建效果图；
[0018]
图4是本发明使用的深度卷积神经网络模型结构示意图。
具体实施方式
[0019]
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0020]
图1是基于红外热成像传感器的跌倒识别示意图。
[0021]
如图1所示，在室内监测区域的上方安装红外热成像传感器，用于监测人体姿态(图1左侧所示)，捕捉(采集)的包括室内人员热信息的红外热图像如图1右侧所示，其中，(a)为站立姿态的红外热图像，(b)为跌倒姿态的红外热图像。从图1，我们可以看出，站立姿态与跌倒姿态的红外热图像存在明显的不同，利用该不同，我们可以对室内人员是否跌倒进行判别。
[0022]
为实现本发明，本发明中包括两个部分：监测装置以及云平台。在本实施例中，监测装置包括微控制器、红外热成像传感器、nb-iot窄带无线通信模块以及报警装置，电源模块；2)云平台，主要包括云服务器、红外人体姿态特征数据库，红外图像信号处理算法。如图1所示，监测装置部署于室内的天花板，其内置的红外热成像传感器以俯视角度拍摄红外图像，并通过nb-iot窄带无线通信技术将原始数据传输至云平台进行处理分析，当检测到人体跌倒行为发生时将结果发送至监护人手机。
[0023]
图2是本发明基于物联网平台的非接触式室内人员跌倒识别方法一种具体实施方式流程图。
[0024]
在本实施例中，如图2所示，本发明提供基于物联网平台的非接触式室内人员跌倒识别方法，包括以下步骤：
[0025]
步骤s1：利用红外热成像传感器捕捉(采集)室内监测区域内的红外热图像，通过nb-iot窄带无线通信模块，将捕捉的包括室内人员热信息的红外热图像实时传输至云服务器。
[0026]
在本实施例中，红外热成像传感器采用热电偶式检测原理，由其接收来自室内监测区域辐射的热量，并将热量被动地转化为电势并产生标定为预期热电偶特性的毫伏信号，毫伏信号将遵循热辐射物理的规律并受过程中固有的非线性影响。本发明所采用的红外热成像传感器的主要技术参数如表1所示：
[0027]
名称指标型号mlx90640-d55图像分辨率32*24温度输出分辨率1℃测量温度范围-40-80℃探测距离≤5m探测视角水平视角：55
°
垂直视角：35
°
最大采样速率64帧/秒
[0028]
表1
[0029]
红外热成像传感器的分辨率直接影响跌倒的识别率。分辨率越高，人体姿态成像越清晰，跌倒识别的准确率就越高。因此，选择分辨率高的红外热成像传感器有助于提升系统的检测性能。然而，nb-iot技术的理论上、下行传输速率为160kbps至250kbps，以单帧分辨率为128*96色深为8位的红外热图像为例，其数据量约为98304字节，通过nb-iot每秒仅能传输1.4-2.5帧图像。实际运行过程中，受到障碍物、电磁干扰等因素的影响，nb-iot的传输速率会低于理论值，导致每秒可传输的红外图像帧数进一步降低。过低的图像帧数会导致图像出现拖影、扭曲等变化，对人体姿态的识别造成严重影响。为解决这一技术问题，在本实施例中，选择分辨率为32*24的红外热成像传感器，减小单帧红外热图像的数据量，保证图像传输速率不低于每秒10帧，具体步骤为：
[0030]
在本实施例中，红外热成像传感器以每秒10hz的速率对室内监测区域采集大小为32*24的温度矩阵，并将温度矩阵传递至微控制器；微控制器对比相邻两个温度矩阵中温度数值变化并根据预设的阈值判定室内监测区域的温度分布是否发生显著变化；当温度分布发生显著变化(室内监测区域的温度分布变化大于设定的阈值t
h
)则代表有人员在监测区域活动，微控制器将采集的温度矩阵转换成相应二维的分辨率为32*24的红外热图像，即捕捉的包括室内人员热信息的红外热图像，经过nb-iot模块实时上传至云服务器，当温度分布没有发生显著变化(不大于设定的阈值t
h
)时，则停止上传红外热图像。
[0031]
步骤s2：在云服务器中，对于每一帧红外热图像，利用压缩感知技术对其进行超分辨率重建(增强)，获取分辨率更高的红外热图像，即利用基于压缩感知技术的超分辨率重建对低分辨率红外热图像进行分辨率增强。
[0032]
压缩感知(compressed sensing,cs)技术原本被用于实现数据采集过程中同步进行压缩，从而突破传统奈奎斯特采样定理对信号采集速率的限制。压缩感知利用信号在某个变换域具有稀疏表示的先验知识，通过一个与变换基不相关的测量矩阵将信号投影到低维空间，然后通过一些非线性优化算法从这些少量的观测值中精确重构出原始信号。研究表明，红外图像在某些变换域下都具有强稀疏性，这使得将压缩感知应用于红外图像的超分辨率重建成为可能。本发明涉及的基于压缩感知的红外图像超分辨率冲击算法原理如下：
[0033]
根据压缩感知理论，一个低分辨率图像可看作相应的高分辨率图像在某个稀疏变换基下的低维投影，即：
[0034]
y＝φx
[0035]
其中y代表输入的低分辨率红外图像，x代表超分辨重建后得到的高分辨率红外图像，φ为投影矩阵。根据信号的稀疏表示理论，x可由某个稀疏变换基下的多个向量的线形组合表示，即：
[0036]
由此可得到：
[0037][0038]
其中ψ代表稀疏变换基,是高分辨率图像x在ψ下的等价表示。a＝φψ为m
×
n矩阵，称为感知矩阵。由于y和a可以预先确定，因此红外图像的超分辨率重建问题可通过利用上
式求解解决。求解的过程等价为一个l1优化问题即：
[0039][0040]
其中表示中非零元素的个数
[0041]
求解时预设一个目标函数f(x)：
[0042][0043]
其中λ>0为正则化参数，将目标函数最小化就可以得到最优解，即
[0044][0045]
在本实施例中，32*24的红外热图像进行超分辨率重建后，获得分辨率为128*96的红外热图像，将增强后红外热图像拉伸至128*128像素。图3是基于压缩感知的红外热图像超分辨率重建效果图，包括仰面跌倒与侧卧跌倒增强前后的红外热图像，从图3可见，增强后分辨率明显增加。
[0046]
步骤s3：将增强后红外热图像进行人体姿态关键特征提取并转换成人体姿态热力图，然后输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒。
[0047]
在本实施例中，所述将增强后红外热图像进行人体姿态关键特征提取并转换成人体姿态热力图，然后输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒流程如下：
[0048]
3.1)、定义x为增强后红外热图像长度，y为增强后红外热图像宽度，b
g
(x,y)为红外背景图像(初始选取第k帧之前的任意一帧增强红外热图像)，f
k
(x,y)代表第k帧增强后红外热图像；
[0049]
3.2)、通过如下公式计算第k帧增强后红外热图像的无背景图：
[0050]
a
k
(x,y)＝f
k
(x,y)-b
g
(x,y)
[0051]
其中，x、y为增强后红外热图像的像素点坐标，x＝0,1,2,
…
x-1，y＝0,1,2,
…
y-1
[0052]
3.2)、通过如下公式计算连续两帧无背景图像的差分图：
[0053]
p
k
(x.y)＝a
k+1
(x,y)-a
k
(x,y)
[0054]
3.3)、对每一个差分图像p
k
(x.y)计算人体头部、手部、手肘、膝关节、脚等关键点(人体姿态关键特征)的坐标，并将相关坐标带入高斯热力公式建立由关键点组成的第k帧人体姿态热力图i
k
(x,y)；
[0055]
3.4)、对人体姿态热力图进行二值化处理，得到二值化人体姿态热力图：
[0056][0057]
其中，m为设定的阈值；
[0058]
3.5)、计算k帧和k+1帧二值化人体姿态热力图之间的皮尔逊相关系数(k+1帧二值化人体姿态热力图也按照步骤3.1)～3.4)获得)：
[0059][0060]
若满足c≥0.5，则无需更新背景图b
g
(x,y)，并将二值化人体姿态热力图r
k+1
(x,y)输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒，否则，将第k+1帧增强后红外热图像f
k+1
(x,y)作为红外背景图像b
g
(x,y)，k＝k+2，返回步骤3.2)。
[0061]
如图4所示，深度卷积神经网络模型包含6个隐藏层，每个隐藏层包含一个卷机层(convolutional layer)、一个激活函数层(activation function layer)、一个批量标准化层(batch normalization layer)、以及一个池化层(pooling layer)。最后一个隐藏层还包括一个随机失活层(dropout layer)和一个全连接层(fully connected layer)。全连接层的输出连接softmax分类器。其中卷机层核函数的尺寸为3x3，随机失活率为0.5，激活函数选择为线性整流函数(rectified linear unit,relu)，池化操作选择最大池化(max pooling)。
[0062]
本实施例包含一个红外人体姿态图像数据库，用于训练和验证深度卷积神经网络模型。该数据库包含300张不同人体姿态下的红外热图像，其中270张图片用于模型训练，30张图片用于模型验证。此外，每张照片包含一个用数字0或1代表的姿态标签，0表示跌倒姿态，1表示非跌倒姿态。数据库中的跌倒姿态样本和非跌掉姿态样本各占比50％。通过模型训练、卷积神经网络在验证集的分类准确率达到96.1％。
[0063]
深度卷积神经网络模型的工作流程如下：
[0064]
1)、输入层接收分辨率为128x128的二值化人体姿态热力图r
k+1
(x,y)；
[0065]
2)、各隐藏层自动对图像进行卷积、池化、降维等操作，经全连接层输出长度为1024的特征向量；
[0066]
3)、将特征向量输入至softmax分类器进行姿态分类、最终输出一个用0或1代表的预测标签，即跌倒姿态或非跌倒姿态。
[0067]
4)、采用gird search算法对模型的学习率(learning rate)、批量尺寸(batch size)、随机失活率(dropout rate)参数进行优化，确定最佳参数设置。
[0068]
步骤s4：如果判别人员跌倒，则云服务器发送报警信息至监护人手机，同时，通过nb-iot窄带无线通信模块返回报警信息到室内监测区域安装的报警装置，发出报警声音。
[0069]
深度卷积神经网络输出的预测标签实现跌倒行为的判定，若输出为1则代表未在输入的红外图像中检测到跌倒行为，若输出为0则代表情况相反。当判定为跌倒时，云服务器可经过无线链路发送警报信息至微控制器，微控制器命令报警装置(蜂鸣器)发出警报声；此外云服务器可通过相应程序自动发送警报通知至监护人的手机。
[0070]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。