电梯门故障检测方法、电梯门故障发生率预测方法及装置与流程

本技术涉及电梯门故障检测，尤其涉及一种电梯门故障检测方法、电梯门故障发生率预测方法及装置。

背景技术：

1、近年来，随着城镇化、旧楼改造、电梯加装等一系列措施，城市电梯数量与日俱增，成为了现代城市建筑中不可或缺的交通工具，为人们的出行带去较大便利。但与此同时，电梯的运行安全问题越来越受人们关注。门故障是电梯常见的故障之一，对门故障的实时准确检测、及时维修保养，一方面可以避免更严重的安全事故发生，另一方面也可降低电梯停梯时长，提升居民的乘坐舒适感。

2、现有技术中，有多种基于计算机视觉的电梯门故障实时检测方法。有基于门上显著的标识实现，通过识别标识的位置随时间的变化检测电梯门故障，例如中国专利cn2016106376879，但其计算过程复杂，需要收集大量信息，计算负荷大，计算慢。也有通过判定一段时间内电梯门在关门、半开、全开状态变换速度或次数检测电梯门故障，例如中国专利cn112347862a，但其方法均基于门的开启关闭次数以及耗时，判断不够精准。

技术实现思路

1、本技术实施例的目的是提供一种电梯门故障检测方法、电梯门故障发生率预测方法及装置，以解决相关技术中存在的计算过程复杂、判断不够精准的技术问题。

2、根据本技术实施例的第一方面，提供一种电梯门故障检测方法，包括：

3、获取电梯门的时间序列图像；

4、对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点；

5、计算所述左门边缘关键点和右门边缘关键点之间的距离；

6、如果所述距离在第一预定时间内变化的频率超过第一阈值，则判定为重复开关门故障；如果所述距离在第二预定时间内处于最小或者最大值，则判定为开关门困难故障；如果所述距离从最大值到最小值或从最小值到最大值的时间超过第二阈值，则判定为开关门速度异常故障。

7、进一步地，对所述时间序列图像进行电梯门关键点检测，还得到门框左侧关键点和门框右侧关键点；

8、计算所述门框左侧关键点和门框右侧关键点之间的距离；

9、如果左门边缘关键点和右门边缘关键点之间的距离的最大值小于第三阈值，则判定为无法完全开门故障，所述第三阈值为门框左侧关键点和门框右侧关键点之间的距离平均值的预定比例。第三阈值一般取80%。

10、进一步地，获取电梯门的时间序列图像，包括：

11、采集包含有电梯门图像的视频流；

12、按照预定的时间间隔从所述视频流中截取图像得到电梯门的时间序列图像。

13、进一步地，对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点，包括：

14、采用卷积神经网络模型对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点以及门框左侧关键点和门框右侧关键点。

15、进一步地，所述卷积神经网络模型的处理流程如下：

16、首先，通过一个维度为64×7×7的卷积层，将输入的3×224×224的图像转化为维度为64×56×56的特征数据；

17、接着对上一步生成的特征数据进行下采样，通过一个池化窗口3×3步长为1的最大池化层，将上一步的维度为64×56×56的特征数据转化为维度为64×56×56的特征数据。

18、接下来，模型进行了四次连续的卷积操作，每次使用维度为64×3×3的卷积层，保持特征数据的维度为64×56×56不变；

19、然后，通过一个维度为128×3×3的卷积层，特征数据的维度从64×56×56转化为128×28×28，接下来的三次卷积操作使用同样维度的128×3×3卷积层，保持特征数据的维度为128×28×28；

20、接下来，通过一个维度为256×3×3的卷积层，特征数据的维度从128×28×28转化为256×14×14，随后的三次卷积操作使用同样维度的256×3×3卷积层，保持特征数据的维度为256×14×14；

21、再然后，通过一个维度为512×3×3的卷积层，特征数据的维度从256×14×14转化为512×7×7，接下来的三次卷积操作使用同样维度的512×3×3卷积层，保持特征数据的维度为512×7×7；

22、最后，通过一个平均池化层，对特征数据进行全局下采样，将维度从512×7×7转化为512×1×1；

23、在全联接层中，将上一步得到的512×1×1的特征数据展平为一维向量，并通过全连接操作将其转化为维度为8×1的特征数据。

24、根据本技术实施例的第二方面，提供一种电梯门故障检测装置，包括：

25、获取模块，用于获取电梯门的时间序列图像；

26、第一关键点检测模块，用于对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点以及门框左侧关键点和门框右侧关键点；

27、第一计算模块，用于计算所述左门边缘关键点和右门边缘关键点之间的距离，以及，计算所述门框左侧关键点和门框右侧关键点的距离；

28、第一故障判断模块，用于如果左门边缘关键点和右门边缘关键点之间的距离在第一预定时间内变化的频率超过第一阈值，则判定为重复开关门故障；如果所述距离在第二预定时间内处于最小或者最大值，则判定为开关门困难故障；如果所述距离从最大值到最小值或从最小值到最大值的时间超过第二阈值，则判定为开关门速度异常故障；以及，用于如果左门边缘关键点和右门边缘关键点之间的距离最大值小于门框左侧关键点和门框右侧关键点之间的距离平均值的第三阈值，则判定为无法完全开门故障。

29、进一步地，还包括：

30、第二关键点检测模块，用于对所述时间序列图像进行电梯门关键点检测，还得到门框左侧关键点和门框右侧关键点；

31、第二计算模块，用于计算所述门框左侧关键点和门框右侧关键点之间的距离；

32、第二故障判断模块，用于如果左门边缘关键点和右门边缘关键点之间的距离的最大值小于第三阈值，则判定为无法完全开门故障，所述第三阈值为门框左侧关键点和门框右侧关键点之间的距离平均值的预定比例。

33、根据本技术实施例的第三方面，提供一种电梯门故障发生率预测方法，包括：

34、采用上述的电梯门故障检测方法对电梯进行故障检测；

35、如果没有发现电梯故障，则分别计算左门边缘关键点和右门边缘关键点的速度及加速度；

36、根据所述速度，计算所述左门边缘关键点和右门边缘关键点的速度偏差；

37、根据所述加速度，分别计算所述左门边缘关键点和右门边缘关键点在一个电梯开关门循环中加速度由正数变为0或者负数变为0的次数，根据所述次数，计算开关门加速度偏差；

38、计算所述左门边缘关键点和右门边缘关键点关于中点的距离偏差；

39、根据所述距离偏差、速度偏差和开关门加速度偏差，确定故障发生概率。

40、根据本技术实施例的第四方面，提供一种电梯门故障发生率预测装置，包括：

41、故障检测执行模块，用于采用上述的电梯门故障检测方法对电梯进行故障检测；

42、第三计算模块，用于如果没有发现电梯故障，则分别计算左门边缘关键点和右门边缘关键点的速度及加速度；

43、第四计算模块，用于根据所述速度，计算所述左门边缘关键点和右门边缘关键点的速度偏差；

44、第五计算模块，用于根据所述加速度，分别计算所述左门边缘关键点和右门边缘关键点在一个电梯开关门循环中加速度由正数变为0或者负数变为0的次数，根据所述次数，计算开关门加速度偏差；

45、第六计算模块，用于计算所述左门边缘关键点和右门边缘关键点关于中点的距离偏差；

46、第七计算模块，用于根据所述距离偏差、速度偏差和开关门加速度偏差，确定故障发生概率。

47、根据本技术实施例的第五方面，提供一种电子设备，包括：

48、一个或多个处理器；

49、存储器，用于存储一个或多个程序；

50、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。

51、本技术的实施例提供的技术方案可以包括以下有益效果：

52、由上述实施例可知，本技术对所述时间序列图像进行电梯门关键点检测，得到左门边缘关键点和右门边缘关键点，再计算所述左门边缘关键点和右门边缘关键点之间的距离，根据所述距离进行重复开关门故障、开关门困难故障以及开关门速度异常故障的判断。

53、在检测电梯门故障的同时，对当前正常电梯门故障发生概率进行智能预测。通过关键点的坐标、速度以及加速度，计算故障发生概率，计算方法简单，判断更准确。

54、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。