一种基于深度学习的电梯开关门检测系统与方法与流程

本发明涉及电梯安全技术领域，特别是涉及一种基于深度学习的电梯开关门检测系统与方法。

背景技术：

电梯与人民生活密切相关，常见于居民楼、商场、办公楼等区域，这些地方一般具有楼层高、人流量大的特点，电梯给人民群众的生活带来诸多便利的同时，也会由于维保养护不到位或者人为误操作的等诸多因素，致使直梯困人事件频发。因此，在电梯正常运行或发生异常情况时，如速度异常、开关门异常、困人异常等，需要对电梯门开关门状态进行快速准确的检测。

中国专利申请cn201710369596.6公开了基于摄像图像的电梯开关门检测方法，包括电梯、加速度传感器和图像分析处理系统，电梯上设有电梯门，电梯门包括层门和轿门，图像分析处理系统内部包括有图像滤波模块、边缘检测模块、二值化处理模块、直线检测模块、有效直线提取模块和逻辑分析处理模块，电梯内的顶部安装设有摄像机，摄像机与图像分析处理系统电通信连接。该专利申请文件通过电梯门边界信息进行电梯门开关检测，具有计算快的特点，能够应用于嵌入式平台中，但是，该方法主要依靠安装于电梯之上的加速度传感器获取电梯的运动信息，通过图像分析处理系统分析安装于将电梯顶部的摄像机获取到的电梯内部图像信息，从而获得电梯门的开关状态，由于加速度传感器的成本较高，图像分析处理系统对摄像机视频流也不能实时处理，因此无法准确实时的分析电梯开关门状态。

技术实现要素：

本发明要解决的技术问题是提供一种基于深度学习的电梯开关门检测系统与方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于深度学习的电梯开关门检测系统，包括视频/图像采集单元，开关门图像分析单元，图像后处理单元和用户应用单元；

视频/图像采集单元采集视频与图像，并将采集到的图像数据发送至开关门图像分析单元，开关门图像分析单元检测电梯门处于开或者关的状态，并将电梯门开或者关的状态发送给图像后处理单元，图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，如果得到电梯没有困人信息，则消除困人告警，图像后处理单元还判断是否对电梯乘员属性进行识别、对电梯乘员进行跟踪；用户应用单元主要在图像后处理单元分析的基础上与用户进行交互。

进一步地，视频/图像采集单元包括监控摄像机、工业摄像机中的一种或多种。

进一步地，开关门图像分析单元包括开关门二分类模块与开关门目标检测模块；开关门二分类模块对图像数据进行二分类分析；开关门目标检测模块对图像数据中电梯门上标志物进行目标检测。

进一步地，开关门二分类模块与开关门目标检测模块相结合，判断当前状态为开门的具体流程为：

（1）获取当前帧图像，并在gpu服务器上分别初始化深度学习开关门二分类模型与开关门目标检测模型；

（2）将当前帧图像送至开关门二分类模块中，根据给定的阈值对帧图进行分类，“开门”或“关门”，如果分类结果为“开门”，则电梯当前状态为“开门状态”；

同时将当前帧图像送至开关门目标检测模块中，通过对特定标志物进行目标检测分析当前电梯门开关状态，如果检测结果为“开门”，则电梯当前状态为“开门状态”；

（3）如果开关门二分类模块与开关门目标检测模块都判断当前电梯状态为关门，则电梯当前状态为“关门状态”。

进一步地，图像后处理单元包括告警逻辑单元、属性识别单元和乘员识别与跟踪单元；

告警逻辑单元在获取门开关状态的基础上，结合有无人判断模块和速度判断模块，获取困人告警信息；

属性识别单元根据电梯开门状态、电梯是否有乘员、上一个广告是否已停止这些信号，配合摄像头实时获取的乘员“正面照”，再对乘员进行属性识别，实时推送电梯内的广告；

乘员识别与跟踪单元：检测到电梯门已经关闭，同时电梯中有乘员存在时，对乘员进行识别与跟踪，配合安装在小区入口处或者商场入口处的摄像头采集到的视频图像，最终实现对乘员的实时跟踪。

进一步地，困人告警逻辑单元获取是否有关人告警信息，具体为：

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且电梯静止，三个条件均满足，则计数器加1，若连续60s内计数器大于等于60，则发出困人告警；

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且通过安置在电梯顶部的速度传感器检测到电梯处于静止状态，三个条件均满足，则计数器加1，若连续60s内计数器小于60，则消除关人告警；

如果检测到门关状态，电梯有人，并且电梯静止，三个条件不能同时满足，则计数器清零，消除关人告警。

进一步地，门处于正在关闭状态，电梯内有乘员，上一个广告已经停止，三个条件均满足，则乘员属性识别单元对电梯内乘员属性进行识别，根据不同的乘员信息，对广告屏上的广告，进行选取，然后进行广告更新；

门处于正在关闭状态，检测到电梯内有乘员，上一个广告已经停止，三个条件不能同时满足，则不进行广告更新。

进一步地，用户应用单元包括电梯困人检测单元、电梯广告定点推送单元、电梯乘员多目标跟踪单元；

用户应用单元根据图像后处理单元得到的门开关状态信息、困人告警信息、乘员属性信息，通过多媒体显示器实现与用户的交互，对困人告警进行处理与安抚或者进行广告显示。

本发明还提供一种基于深度学习的电梯开关门的检测方法，该方法采用以上所述的系统，并包括以下步骤：

（1）视频/图像采集单元采集电梯门处的图像信息并发送至开关门图像分析单元；

（2）开关门图像分析单元检测电梯门处于开或者关的状态，并将电梯门开或者关的信息发送给图像后处理单元；

（3）图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，如果得到电梯没有困人信息，则消除困人告警，图像后处理单元还判断是否对电梯乘员进行属性识别、对电梯乘员进行跟踪；

（4）用户应用单元在图像后处理单元分析的基础上与用户进行交互。

本发明的有益效果是：

（1）本发明通过将目标检测与分类深度学习算法的级联从而实现对电梯开关门状态的快速与准确检测，从而解决可能由于电梯门开关门状态的误报而导致的异常情况。

（2）本发明检测系统的开关门图像分析单元包括开关门二分类模块与开关门目标检测模块，开关门二分类模块与开关门目标检测模块两者中有一个模块识别结果为开门，则将图像数据判断为“开门”；从而保证对开门状态的准确识别。

（3）本发明不需要额外安装对精度要求较高的昂贵加速度传感器，即可实现对电梯开关门状态的实时准确检测；同时获取电梯实时准确的开关门状态还可以用于电梯内广告的实时精确推送、电梯乘员多目标跟踪等场景。

附图说明

图1为本发明的系统框图。

图2为标志物粘贴示意图。

图3为人工标定检测框示意图。

图4为开关门检测方法流程图。

图5为困人告警逻辑框图。

图6为乘员属性识别框图。

具体实施方式

为了使本技术领域的人员更好的理解本发明的技术方案，下面将对本发明的技术方案进行清楚、完整的描述。

实施例，参照附图1-6。

本发明提供了一种基于深度学习的电梯开关门的检测系统，如图1所示，包括视频/图像采集单元，开关门图像分析单元，图像后处理单元和用户应用单元；

视频/图像采集单元采集视频与图像，并将采集到的图像数据发送至开关门图像分析单元，开关门图像分析单元检测电梯门处于开或者关的状态，并将电梯门开或者关的状态发送给图像后处理单元，图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，如果得到电梯没有困人信息，则消除困人告警，图像后处理单元还判断是否对电梯乘员属性进行识别、对电梯乘员进行跟踪；用户应用单元主要在图像后处理单元分析的基础上，通过多媒体显示器实现与用户的交互，包括对困人告警信息进行处理、对被困人员进行安抚与劝导或者对广告进行更新播放或者对电梯乘员多目标跟踪。

进一步地，视频/图像采集单元包括但不限于监控摄像机、工业摄像机。

进一步地，摄像机安装在电梯轿厢内顶部，对着电梯门方向进行拍摄，将采集到的图像数据进行分类与数据标定用于后续单元分析，其中分类方式为二分类，即开门“open”与关门“closed”，电梯门标志物标注格式类似voc数据标注格式，即图3中所示的标注格式。

进一步地，开关门图像分析单元包括但不限于gpu服务器，以及运行在gpu服务器上的开关门二分类模块与开关门目标检测模块；gpu服务器保证算法运算所需的算力，开关门二分类模块对视频/图像采集单元采集到的图像数据进行二分类分析，在大量开关门二分类数据的基础上训练出高精度模型对图像数据进行分类，按照1:1的比例将50万左右的开关门数据集进行训练集与验证集的划分训练集：验证集=9:1，其中开关门的二分类标准为：门缝隙宽度保证人能侧身正常通过及以上宽度时，为开门“open”，缝隙不足以让人侧身通过及以下宽度时，为关门“closed”，经验证集测试，单个开关门二分类模型的准确率约为99.15%，符合项目要求；同时开关门目标检测模块对图像数据中电梯门上标志物进行目标检测，基于大量开关门目标检测数据，并且考虑多个目标检测模型的级联从而获得高精度模型对标志物进行检测，经测试，开关门目标检测模块准确率约为98.53%。

基于深度学习的电梯开关门二分类算法与电梯标志物的目标检测算法需要大量的数据支撑，其准备过程如下：

a、电梯开关门二分类数据：为了提高开关门二分类检测准确性与模型泛化能力，经测试，单个模型至少应保证50万左右的数据集作为训练集与验证集，同时需要在全部已联网的小区取数据从而保证模型的泛化能力，同时考虑到电梯开门缝隙无法让人正常通过而引发的困人告警异常情况，数据整理过程中需要调整电梯门开的阈值，经测试，门缝隙合理宽度阈值为500mm~600mm，再通过电梯运行图片进行测试，获取门缝隙最佳阈值约为550mm。

b、基于电梯标志物的目标检测算法：需要在电梯门朝向电梯轿厢内的一面上部粘贴醒目的标志物，包括但不限于安全提示标志，图像广告，标志物具有明显区别于电梯门本色的色彩，可以提高开关门目标检测准确性；

标志物贴于电梯门较高处，可以避免人为干扰，遮挡，如图2所示，标志物粘贴示意图，标志物的边缘需要贴近门缝，两扇电梯门的标志物需要处于同一水平高度，轿厢地面与标签下边缘的垂直高度要大于1.85m，可以避免乘员的遮挡，影响检测的准确性。

选取电梯门上有标志物的区域，标志物贴于电梯中央，中心距地面高度约为1850mm，区域面积约为2000mm²，进行检测，事先通过人工标定的方式，选取检测区域，如图3中的方框所示。

开关门二分类模块与开关门目标检测模块两者中有一个模块识别结果为开门，则将图像数据判断为“开门”；从而保证对开门状态的准确识别。

进一步地，开关门二分类模块与开关门目标检测模块相结合，判断当前状态为开门的具体流程为：

（1）获取当前帧图像，并在gpu服务器上分别初始化深度学习开关门二分类模型与开关门目标检测模型；

初始化深度学习开关门二分类模型与开关门目标检测模型具体为：通过tcp/ip协议，打开与gpu服务器联系的端口号，例如2018端口号，建立与gpu服务器的连接后，分别载入开关门二分类模型与开关门目标检测模型，从而实现对上述模型的初始化；

（2）将当前帧图像送至开关门二分类模块中，根据给定的阈值，阈值为0.5，对当前帧图像进行分类，当模型判断该帧图像关门的概率不低于50%时，该帧图像的二分类结果为“关门”，同样地，“开门”的判断与“关门”类似，当模型判断该帧图无人的概率不低于50%时，该帧图的二分类结果为“无人”，从而实现对当前帧图像进行开关门的分类，如果分类结果为“开门”，则电梯当前状态为“开门状态”；

同时将当前帧图像送至开关门目标检测模块中，通过对特定标志物进行目标检测分析当前电梯门开关状态，如果检测结果为“开门”，则电梯当前状态为“开门状态”；

（3）如果开关门二分类模块与开关门目标检测模块都判断当前电梯状态为关门，则电梯当前状态为“关门状态”。

判断当前状态为开门的具体流程图如图4所示。

进一步地，图像后处理单元包括但不限于告警逻辑单元、属性识别单元和乘员识别与跟踪单元；

告警逻辑单元在获取门开关状态的基础上，结合有无人判断模块和速度判断模块，获取困人告警信息；

属性识别单元根据电梯开关门状态、电梯是否有乘员、上一个广告是否已停止等信号，配合摄像头实时获取的乘员“正面照”，再对乘员进行属性（包括性别、年龄等）准确识别，实现电梯内的广告实时推送；

乘员识别与跟踪单元：检测到电梯门已经关闭，同时电梯中有乘员存在时，对乘员进行识别与跟踪，配合安装在其他位置的摄像头（如小区入口处、商场入口处等）采集到的视频图像，最终实现对乘员的实时跟踪。

进一步地，困人告警逻辑框图如图5所示，困人告警逻辑单元获取是否有困人告警信息，具体为：

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且电梯静止，三个条件均满足，则计数器加1，若连续60s内计数器大于等于60，则发出困人告警；

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且通过安置在电梯顶部的速度传感器检测到电梯处于静止状态，三个条件均满足，则计数器加1，若连续60s内计数器小于60，则消除关人告警；

如果检测到门关状态，电梯有人，并且电梯静止，三个条件不能同时满足，则计数器清零，消除关人告警。

进一步地，乘员属性识别框图如图6所示，门处于正在关闭状态，电梯内有乘员，上一个广告已经停止，三个条件均满足，则乘员属性识别单元对电梯内乘员属性进行识别，根据不同的乘员信息，对广告屏上的广告，进行选取，然后进行广告更新；

门处于正在关闭状态，检测到电梯内有乘员，上一个广告已经停止，三个条件不能同时满足，则不进行广告更新。

进一步地，用户应用单元包括电梯困人检测单元、电梯广告定点推送单元、电梯乘员多目标跟踪单元；

用户应用单元根据图像后处理单元得到的门开关状态信息、困人告警信息、乘员属性信息，通过多媒体显示器实现与用户的交互，对困人告警进行处理与安抚或者进行广告显示。

本发明还提供一种基于深度学习的电梯开关门的检测方法，该方法采用以上所述的系统，并包括以下步骤：

（1）视频/图像采集单元采集电梯门处的图像信息并发送至开关门图像分析单元；

（2）开关门图像分析单元检测电梯门处于开或者关的状态，并将电梯门开或者关的信息发送给图像后处理单元；

（3）图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，如果得到电梯没有困人信息，则消除困人告警，图像后处理单元还判断是否对电梯乘员进行属性识别、对电梯乘员进行跟踪；

（4）用户应用单元在图像后处理单元分析的基础上与用户进行交互。