一种电梯监控环境下异常行为检测分析系统的制作方法

本发明涉及电梯领域，更具体的说，它涉及一种电梯监控环境下异常行为检测分析系统。

背景技术：

目前市场上极度缺乏电梯异常状况的监测，最接近的现有技术是cn201510232355.8电梯困人的检测方法及系统，该发明的实施方式中，根据来自电梯控制器所输出的针对一步电梯的多个检测信号之间的逻辑组合，来检测所述电梯是否处于困人状态，其中，所述检测信号包括：载人信号、门锁信号、故障信号和检修信号；在确定困人状态时，发出相应的警报信号。

该方案主要针对一步电梯的多个检测信号之间的逻辑组合来检测所述电梯是否处于困人状态，所需的信号较多，当其中有信号发生故障时(例如传感器故障等)，将会导致困人漏报，同时由于对多个信号的串联处理，对困人告警处理的实时性也有很大影响；同时为了保证较高的准确性，需要交个昂贵的传感器以获取准确是电梯状态信号，因此该检测系统的成本也较高。

技术实现要素：

本发明克服了现有技术的不足，提供了一种电梯监控环境下异常行为检测分析系统。

为了解决上述技术问题，本发明的技术方案如下：

一种电梯监控环境下异常行为检测分析系统，包括摄像头、监控视频采集单元、视频分析分类单元、视频结果处理单元、告警播放单元、电梯内视频播放单元；

摄像头安装在电梯厢内顶部，以最大的视野对电梯内实时进行拍摄，采集电梯内的监控视频；

监控视频采集单元将摄像头采集到的视频数据进行预处理后用于后续视频分析分类单元分析，预处理方式包括视频裁剪、扩增、分段，形成预处理后数据；

视频分析分类单元对预处理后数据进行分析并分类，实时获取当前时刻电梯内是否发生异常行为，若有则确定异常行为类别，并将输出结果传输给视频结果处理单元；

视频结果处理单元，根据视频分析分类单元的结果，来确定电梯内异常行为的类别；

告警播放单元根据收到视频分析分类单元的结果，来确定电梯内异常行为需要匹配的警告视频或安抚视频；

电梯内视频播放单元，在收到发过来的匹配警告视频或安抚视频播放请求后，在梯内视频播放屏中播放相关视频。

进一步的，通过三维卷积网络进行建模训练，具体如下：

101)训练准备步骤：人员标注采集的视频，得到异常视频流和正常视频流分段，其中每段视频隔断为5秒/段的视频段，将每段视频均匀分为32个片段，作为一个包；正常视频流分段后作为正示例视频段，异常视频流分段后作为负示例视频段；

102)视频训练步骤：数据训练处理时，随机选取30个正示例包和30个负示例包作进行建模训练；建模训练得到每段视频的异常系数，从而得到正示例视频段的实例分数与负示例视频段的实例分数，再根据损失函数得到相应的loss值，根据loss值的大小进行网络学习建立模型；

通过模型来提取视频片段的特征，模块的结构包括8个卷积层，5个最大值池化层和1个全连接层，所有的三维卷积核为3*3*3，在空间维度和时间维度上的步数均为1；其中卷积层中的卷积核个数从conv1a至conv5b分别为64、128、256、256、512、512、512、512，pool1池化核为1*2*2其他池化核均为2*2*2，全连接层fc6有4096个输出单元；

103)处理步骤：通过模型提取到的特征，使用2层全连接层来获取每个视频段的预测异常值，其中损失函数也是用来对这两层全连接层进行映射；得到该段视频的分析结果后，根据分析结果是否为异常行为确定是否播放相应的警告视频或安抚视频；

视频行为类别包括正常视频、婴幼儿被困电梯、老人被困电梯、女士电梯内被骚扰、乘梯人被困电梯求救和乘梯人被困电梯扒门自救。

本发明相比现有技术优点在于：电梯作为目前重要的通勤运输工具，承担着日益重要的作用。随着电梯的普及，小区居民越来越享受到电梯所带来的红利，为了保障居民日常通勤的同时还尽可能为居民的安全保驾护航。本发明通过部署在电梯轿厢内的摄像头与梯载高性能运算设备实现对电梯内可能发生的异常行为实时检测，其中梯载摄像头负责实时采集电梯内的监控视频，对实时采集到视频作一定的预处理后，通过部署在梯载高性能运算设备内的视频异常行为分析算法实时分析监控视频。通过该方案，对于发生在电梯内的比如老人晕倒在电梯内、婴幼儿被困电梯、女士被骚扰等乘梯人异常行为，可以及时发现并通知物业或运维单元，并及时在电梯显示屏上播放安抚或警告视频和语音，从而最大限度的降低电梯内发生异常行为后的危害。

附图说明

图1为本发明的系统框图；

图2为本发明的模型训练逻辑框图；

图3为本发明的模型结构框图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

如图1至图3所示，一种电梯监控环境下异常行为检测分析系统，包括摄像头、监控视频采集单元、视频分析分类单元、视频结果处理单元、告警播放单元、电梯内视频播放单元。

摄像头安装在电梯厢内顶部，以最大的视野对电梯内实时进行拍摄，采集电梯内的监控视频。

监控视频采集单元将摄像头采集到的视频数据进行预处理后用于后续视频分析分类单元分析，预处理方式包括视频裁剪、扩增、分段，形成预处理后数据。

视频分析分类单元对预处理后数据进行分析并分类，实时获取当前时刻电梯内是否发生异常行为，若有则确定异常行为类别，并将输出结果传输给视频结果处理单元。

视频结果处理单元，根据视频分析分类单元的结果，来确定电梯内异常行为的类别。

告警播放单元根据收到视频分析分类单元的结果，来确定电梯内异常行为需要匹配的警告视频或安抚视频。

电梯内视频播放单元，在收到发过来的匹配警告视频或安抚视频播放请求后，在梯内视频播放屏中播放相关视频。

具体处理过程是通过三维卷积网络进行建模训练，具体如下：

101)训练准备步骤：人员标注采集的视频，得到异常视频流和正常视频流分段，其中每段视频隔断为5秒/段的视频段，将每段视频均匀分为32个片段，作为一个包。正常视频流分段后作为正示例视频段，异常视频流分段后作为负示例视频段。

102)视频训练步骤：数据训练处理时，随机选取30个正示例包和30个负示例包作进行建模训练。其中，假设f为模型预测函数，να为负示例视频段，νn为正示例视频段，可以通过建模训练得到每段视频的实例分数，从而得到正示例视频段的实例分数与负示例视频段的实例分数，即f(να)、f(νn)，由于在本方案训练中，对于正示例视频段的示例包和负示例视频段的示例包中都只使用分数最大的样本来训练，通过常用的hinge-loss公式即一个损失函数，可以获得每个示例包所有示例视频的的loss值，即loss＝max(0,1-maxf(να)+maxf(νn))，再根据loss值的最优化学习从而获得模型的最优参数。

利用模型结构来提取视频片段的特征，模块结构如图3所示，整个网络结构包括8个卷积层，5个最大值池化层和1个全连接层，所有的三维卷积核为3*3*3，在空间维度和时间维度上的步数均为1。其中卷积层中的卷积核个数从conv1a至conv5b分别为64、128、256、256、512、512、512、512，pool1池化核为1*2*2其他池化核均为2*2*2，全连接层fc6有4096个输出单元。

整个模型结构的属于为一个视频段clip，输出为该视频段clip的特征，其中clip一般格式为c*l*h*w，其中c为图片通道数(一般为rgb图片，通道数为3)，l为每个clip中帧图的数量。h*w为clip中每帧图的高与宽，例如3*16*224*224。

具体的模型结构也可以使用常用的视频处理模型c3d模型。

103)处理步骤：通过模型提取到的特征，使用2层全连接层来获取每个视频段的预测异常值，其中损失函数也是用来对这两层全连接层进行映射。得到该段视频的分析结果后，根据分析结果是否为异常行为确定是否播放相应的警告视频或安抚视频。

视频行为类别包括正常视频、婴幼儿被困电梯、老人被困电梯、女士电梯内被骚扰、乘梯人被困电梯求救和乘梯人被困电梯扒门自救。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。