面向居家场景的老人异常行为检测方法与流程

本发明涉及计算机视觉技术领域，具体涉及一种面向居家场景的老人异常行为检测方法。

背景技术：

自上世纪90年代开始，大量的学者投入到行为分析的研究中，传统行为分析技术得到了明显的发展，并取得了很多成果，行为分析技术也在越来越多的领域发挥着重要的作用。运动目标检测是行为分析的基础，只有先在视频数据或者图像数据中检测到运动目标才能进一步的进行行为分析。运动目标检测就是要从图像数据中先检测到人体信息，将人体前景从图像中分割出来从而得到人体运动信息。在运动目标检测分割出人体区域之后，需要提取人体动作特征。人体动作特征提取需要从原始图像中更深入的抽取底层信息并将这些底层信息抽象出来，实现对人体动作的表征。完成动作特征的提取后，需要进行动作特征理解，通常将提取的动作特征与预先建立好的模型进行对比从而实现动作分类。

老人跌倒等多种异常行为的自动识别一直是国内外的研究重点问题，各种各样的跌倒行为识别方法层出不穷。2012年bingbingni等基于rgbd深度摄像头彩色和深度特征的跌倒行为识别方法；vaidehi等设计一种基于静态人体图像特征的跌倒检测系统，通过提取人体的长宽比和倾斜角度两个特征进行跌倒识别的研究。rougier等用椭圆近似表示人体，将椭圆的方向标准差和长短轴比例的标准差作为特征，通过分析运动特征来检测人休形状的变换进行跌倒识别方法；薛冰霞等提出了基于多模特征融合的跌倒识别方法；杨帆等提出了基于头部运动轨迹和3d视觉的跌倒识别方法。上述方法多基于传统的计算视觉，需要人为设计跌倒行为的特征，通过特征对比来判断跌倒行为是否发生。

由于基于深度学习技术搭建的神经模型学习能力极强，泛化能力卓越，深度学习已逐渐成为人体行为分析的主要技术，也越来越多的应用于各种各样的场景，例如网络直播场景、社会治理场景、工业化4.0及智能家居场景等。其中，面向智能家居场景的人体行为分析系统更加贴近人们的生活，而成为了业界人员的研究热点。然而目前市场上流行的产品大都应用于服务器端，虽然准确率有所提升，但时延严重，并且大都割裂了同一图像中多人行为之间的联系，无法进行有效的组合分析。

技术实现要素：

针对上述问题，本发明提供了一种面向居家场景的老人异常行为检测方法，以提高现有技术中对居家场景异常行为检测准确度。

本发明的技术方案是：面向居家场景的老人异常行为检测方法，具体步骤包括如下：

步骤(1.1)、在居所的各房间中的不同方位安置若干个摄像头；

步骤(1.2)、从安置的若干个摄像头中获取居所内老人的各种生活视频；

步骤(1.3)、训练单人行为识别cnn神经网络，通过该网络对输入的老人的各种生活视频进行识别并提取特征；再根据老人在进行异常行为时的人物特征变化，提取其进行异常行为时的特征值；

步骤(1.4)、将从不同摄像头获取的不同角度的各种生活视频进行网络训练，以此神经网络从不同的角度获得不同的行为特征值；

步骤(1.5)、将该特征值进行特征融合，对老人的行为进行判断，再根据该判断结果，通过发送信息给老人家属的方式对老人的异常行为进行通知。

进一步的，在步骤(1.1)中，在所述各房间中安置的摄像头的个数≥3个。

进一步的，在步骤(1.1)中，所述摄像头的摆放位置安置在同时拍摄到居所内老人活动时的正面、背面、侧面及上面的多块区域。

进一步的，在步骤(1.3)中，所述的训练单人行为识别cnn神经网络采用ssd快速检测算法进行网络构建。

进一步的，在所述步骤(1.5)中，将该特征值进行特征融合具体是指：对网络层获得的n种不同尺度的特征图进行多尺度融合，构建多时长特征融合密集连接网络模型，以获得融合后的多尺度特征图；再采用批量归一化对来自网络的多层进行归一化处理，最后使用降维后的特征图进行级联，形成融合特征层，利用融合后得到的特征重构特征图来进行检测。

本发明的有益效果是：本发明所述的面向居家场景的老人异常行为检测方法可以看做对传统的老人安全监控的一种扩展，其优势在于拥有更全面的观测视野，可以全方位检测老人的行为，将老人异常行为的多种特征同时观测并结合起来。在老人异常行为判断方面，减少了错判率和误判率，同时几乎杜绝了漏判的情况，提高了监控的实用性。

附图说明

图1是本发明的结构流程图；

图2是本发明中多时长特征融合模块示意图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所述，面向居家场景的老人异常行为检测方法，具体步骤包括如下：

步骤(1.1)、在居所的各房间中的不同方位安置若干个摄像头；

步骤(1.2)、从安置的若干个摄像头中获取居所内老人的各种生活视频；

步骤(1.3)、训练单人行为识别cnn神经网络，通过该网络对输入的老人的各种生活视频进行识别并提取特征；再根据老人在进行异常行为时的人物特征变化，提取其进行异常行为时的特征值；

步骤(1.4)、将从不同摄像头获取的不同角度的各种生活视频进行网络训练，以此神经网络从不同的角度获得不同的行为特征值；

步骤(1.5)、将该特征值进行特征融合，对老人的行为进行判断，再根据该判断结果，通过发送信息给老人家属的方式对老人的异常行为进行通知。

进一步的，在步骤(1.1)中，在所述各房间中安置的摄像头的个数≥3个。；通过在居所中设置多个摄像头以在多个方位进行监控，并且每个房间至少安置有3个，根据老人的身体状况，如有需要，可以安置更多的摄像头，用于监控老人的生活起居。

进一步的，在步骤(1.1)中，所述摄像头的摆放位置安置在同时拍摄到居所内老人活动时的正面、背面、侧面及上面的多块区域；具体的，所述多个摄像头以在多个方位进行监控：摄像头的摆放位置至少可以满足能同时拍摄到房间内活动人物的正面、侧面、上面三块区域；呈现出三维坐标轴xyz的位置，从多角度对老人行为进行监控，以此来从n个不同的角度采集老人行动的行为特征。

进一步的，在步骤(1.2)中，所述居所内老人的各种生活视频具体可以包括：老人的起床时间、睡眠时间、饮食时间、饮食的情况、锻炼的时间、娱乐的时间、打理家务的具体状况、说话的情况及服药的情况等等，包括了居所内老人所有的生活状态。

进一步的，在步骤(1.3)中，所述的训练单人行为识别cnn神经网络采用ssd快速检测算法进行网络构建的具体操作步骤包括如下：

(1.3.1)、默认框：使用ssd(singleshotmultiboxdetector)前馈神经网络通过利用小卷积卷积核预测特征图上一组默认边界框的位置偏移量和每个框中目标类别的得分，然后使用nms生成最终检测结果；

(1.3.2)、损失函数：ssd模型的重点是确定目标位置的同时预测目标类别；确定目标位置是一个回归的过程，确定目标类别是一个分类的过程；目标分类是计算多类别的softmaxloss，位置回归采用smoothl1loss；一旦确定默认框，就可以端到端地应用损失函数和反向传播；

假设表示类别p的第i个默认框与第j个真实框相匹配；当时，意味着默认框和真实框之间的交并比(iou)的值大于给定的阈值；因此ssd总的目标损失函数是目标位置损失与置信损失之和，如公式(1)所示：

其中：n代表与真实框匹配的默认框个数；lconf为置信度损失值；lloc为位置损失值；x为输入图像；c为目标置信度；l为预测值；g为真实框；α为权重项；

(1.3.3)、ssd网络模型采用基础网络和辅助网络提取图像特征；cnn提取特征是自主学习特征的过程，其主要有卷积层、池化层和非线性激活层组成；通过网络层提取特征，可以避免复杂人工提取特征程序；通过可视化网络层发现不同的网络层可以提取到不同的特征信息。

进一步的，在所述步骤(1.5)中，将该特征值进行特征融合具体是指：对网络层获得的n种不同尺度的特征图进行多尺度融合，构建多时长特征融合密集连接网络模型，以获得融合后的多尺度特征图；再采用批量归一化(batchnormalization,bn)对来自网络的多层进行归一化处理，最后使用降维后的特征图进行级联，形成融合特征层，利用融合后得到的特征重构特征图来进行检测；其具体的操作情况如下：

特征融合使用多时长特征模块，该模块由多个互相独立的3d卷积计算、融合计算与平均池化计算所组成，其中每一个3d卷积计算都使用了不同时间快读的3d卷积核，如图2所示；

对于输入数据x∈r^h×w×f,在经过k个分别独立的3d卷积核wi计算计算后分别产生对应的特征长方体数据fi为

fi＝gconv(x,wi)(2)

式中：gconv表示3d卷积计算的函数；x表示输入数据；wi表示第i个3d卷积核的参数矩阵，且i∈k；由于3d卷积核有不同的时间跨度，则产生的特征长方体的时间维度大小也不同，即f1∈r^h×w×f；将具有不同时间跨度信息的多个特征长方体数据fi做融合特征fv为

fv＝gconv(f1,f2,…,fi)(3)

式中：gconv表示拼接操作；得到的融合特征为减小特征立方体的大小，需要对融合特征进行平均池化计算得到favg为

式中：n表示池化区域中元素个数；fv(xi,yi,ti)表示特征长繁体fv在位置(xi,yi,ti)的值；为增加特征的表达能力，引入非线性激活函数得到多时长特征融合模块的最终输出为x′为

x′＝grelu(fvavg)(5)

式中grelu表示relu函数；通过该模块计算能够有效地提取不同时间跨度下的动态行为特征，将更多的行为类别信息进行映射。

具体案例：例如在居家场景，老人开冰箱取食品时，不慎有食品掉落，老人正弯腰拾取食品并检查有没有摔坏，此时冰箱门开着。从传统监控方法来监视的话，摄像头拍摄到的图像容易被冰箱门阻挡，并且因为老人弯腰的时候检查食品时会有一段时间身体处于非站直状态，单方位的摄像头监控已经无法准确判断老人此时是身体不适还是说正在进行日常活动，容易误判、漏判。而本文提出的监控方法则可以多角度拍摄：从上方拍摄看到的老人此时蹲着手里正在检查东西；侧面摄像头看到老人此时半边身体被冰箱门遮挡，但是没有摔倒在地上。此时就能准确的判断老人正在进行的行为为日常行为，而非身体不适导致的弯腰。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。