基于深度学习电梯按键无效检测方法、装置、电子设备与流程

本发明涉及电梯按键无效检测，特别是一种基于深度学习电梯按键无效检测方法、装置、电子设备。

背景技术：

1、随着城市的发展，电梯的保有量也逐年增高，在方便人们的同时，电梯的故障问题也越来越受到重视。乘客入梯按键失效故障是电梯故障的其中一种，是指乘客进入电梯之后，按下电梯按键后，而电梯无响应的故障。电梯按键失效会直接影响电梯的使用，给乘客造成非常大的不便，同时存在安全隐患，关于人身安全的安全隐患都值得重视。因此及时的对电梯按键失效故障进行识别是十分重要的。

2、如cn112919278a，对电梯按键无效的定义为：电梯按键失效故障的表现为，电梯停某一楼层，开门静止，然后乘客进入电梯乘梯，但是乘客按关门键或某楼层键无响应。乘客尝试多次无果后，电梯门仍无法关闭，乘客意识到电梯故障走出电梯，电梯无人且静止继续持续一段时间。因此，电梯按键无效的流程为电梯无人静止、电梯有人静止、电梯无人静止。电梯的门状态数据、有无人数据和电梯视频数据依据安装在电梯轿厢顶部的摄像头获得，运行静止数据依据安装在电梯上的加速度传感器获得。现有技术方案的识别方法，包括：s1、采集电梯的门状态数据、有无人数据和运行静止数据和电梯视频数据；s2、依据上述门状态数据、有无人数据和运行静止数据获得电梯按键故障时段；s3、选取电梯按键故障时段对应的电梯视频数据，进行非电梯按键故障过滤，最终输出是否为电梯按键故障。

3、当前的方法中有的是传统方法，增加硬件，费时费力；有的方法使用视频检测，但是其中只是对人进行分析，根据有无人和电梯的运行数据进行判断，这样会有较多的误检/漏检，比如多人或者一个人反复进出就会带来误报，而且还要依赖电梯中传感器的运行数据和有经验的工作人员制定判断阈值。进一步分析会发现，电梯轿厢按键无效主要是人和按键面板的动作关系，当前的方法中都没有将人和按键面板的按键关系结合起来，必须能准确检测到人有按键行为后电梯未正常运行才能有效说明按键无效，否则自然无法准确识别按键无效。

技术实现思路

1、针对现有问题，本发明提供一种基于深度学习电梯按键无效检测方法、装置、电子设备，解决现有技术无法快速、准确检测电梯轿厢按键是否无效的问题。

2、一种基于深度学习电梯按键无效检测方法，包括如下步骤：

3、s1、通过轿厢内安装的摄像头采集视频，通过安装在电梯轿厢的加速度传感器获得运行数据，通过电梯内安装的接近开关传感器获得门状态数据，根据电梯人检测算法模型、运行数据和门状态数据判断电梯运行是否异常，若存在异常，截取所述视频中存在异常的部分作为检测视频；

4、s2、通过目标检测算法模型对所述检测视频进行检测，根据门线、人、按键的位置关系，判断按键是否无效。

5、进一步地，步骤s1具体为：

6、s1.1采集电梯轿厢内的视频、电梯轿厢的运行数据和门状态数据，所述视频由安装在电梯轿厢顶部的摄像头获得，所述摄像头具有判断有人无人的人检测算法模型，所述运行数据通过安装在电梯轿厢的加速度传感器获得，所述门状态数据通过电梯内安装的接近开关传感器获得；

7、s1.2采集电梯运行中可能存在运行异常的视频，是否可能存在运行异常根据电梯人检测算法模型、运行数据和门状态数据判断，若：电梯轿厢处于静止状态，且门处于未关闭状态，且人检测算法模型识别到电梯从无人变为有人再变为无人；则判定为在异常，对视频的采集从最初有人状态之前的时间提前量开始采集，一直采集到最终又处于无人状态后为止，作为检测视频；一般的，时间提前量取10s即可满足检测视频在后续的检测判断需求，也可以根据需要设置其他时间长度。

8、进一步地，步骤s2具体为：

9、s2.1逐帧使用目标检测算法模型对所述检测视频进行检测，识别并记录门线、人、按键；

10、s2.2根据目标检测算法模型识别出的门线的位置，如果人进入门线以内，则判定人在电梯内部，且所述检测视频中有人状态的视频时长超过所述检测视频时长的临界比例则判定为人在电梯内逗留，作为第一按键无效判断标志；一般的，临界比例为5％，也可以根据需要设置其他比例。

11、s2.3根据目标检测算法模型识别出的人和按键位置，如果人和按键在所述检测视频中某帧的像素位置出现重叠，则说明所述检测视频中人和按键有重叠，作为第二按键无效判断标志；

12、s2.4采用动作识别算法模型对所述检测视频中人的动作进行识别，判断在检测视频中人是否有按键动作，如果有则作为第三按键无效判断标志；

13、s2.5如果第一按键无效判断标志、第二按键无效判断标志和第三按键无效判断标志都满足，则判定所述检测视频中的电梯输入按键无效，上报平台及时进行处理。

14、本技术结合了人在视频中的按键行为、人在电梯逗留、以及人和按键有重叠这3个条件，检测出这3个现象，才能准确判断是否有按键，并进一步准确判断是否按键无效。本发明可以通过训练好的目标检测算法模型和动作识别算法模型综合判断输入的视频是否有乘客按键无效的电梯故障情况，不需要人为设定阈值和后续过滤，直接根据视频及时有效准确的得到判定结果。

15、进一步地，所述人检测算法模型的建立包括：

16、通过收集电梯内各种乘员视频样本；

17、使用深度学习卷积神经网络对样本进行训练；

18、若训练精度满足要求则输出为人检测算法模型；

19、若精度不满足要求则进行模型结构或参数优化，重新训练，仍不能满足精度要求，则增大样本量进行训练，直至精度满足要求。

20、进一步地，所述目标检测算法模型的建立包括：

21、收集电梯内门线、人、按键的样本；

22、使用深度学习卷积神经网络对样本进行训练；

23、若训练精度满足要求则输出为目标检测算法模型；

24、若精度不满足要求则进行模型结构或参数优化，重新训练，仍不能满足精度要求，则增大样本量进行训练，直至精度满足要求。

25、一种基于深度学习电梯按键无效检测装置，包括：

26、第一获取模块，用于获取电梯轿厢内的视频；

27、第二获取模块，用于获取电梯轿厢的运行数据；

28、第三获取模块，用于获取门状态数；

29、第一判断模块，用于根据所述电梯轿厢内的视频、电梯轿厢的运行数据和门状态数判断视频是否存在异常；

30、第四获取模块，用于获取存在异常的检测视频；

31、计算模块，用于根据所述检测视频判断按键是否无效；

32、使得所述装置实现如上述任一项所述的方法。

33、一种电子设备，包括：

34、一个或多个处理器；

35、存储器，用于存储一个或多个程序；

36、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一项所述的方法。

37、一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述中任一项所述方法的步骤。

38、本技术的有益效果在于：

39、本技术的方法通过目标检测算法模型对检测视频进行检测，根据门线、人、按键的位置关系，判断按键是否无效，不需要对视频划分阶段分析判断，而是直接对整个视频处理分析得到结果，处理速度快。