基于深度学习的电梯开关门状态检测方法、装置及设备与流程

本发明涉及图像处理，尤其涉及一种基于深度学习的电梯开关门状态检测方法、装置及设备。

背景技术：

1、电梯是现代城市生活中的重要工具，为人们的生活带到便利的同时，也存在安全问题。因此，需要对电梯开关门状态进行快速准确地检测。

2、相关技术中，基于深度学习分割模型，判断电梯边缘位置的变化情况，以实现电梯开关门状态的检测。然而，基于深度学习分割模型方式的检测方式有待改进。

技术实现思路

1、本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本说明书实施方式提出一种基于深度学习的电梯开关门状态检测方法、装置及设备。

2、本说明书实施方式提供一种基于深度学习的电梯开关门状态检测方法，所述方法包括：

3、获取目标电梯图像序列；其中，所述目标电梯图像序列包括电梯门指定区域对应的若干帧电梯门区域图像；所述电梯门指定区域为出入对象经过电梯门开合区域时所述出入对象与所述电梯门开合区域在电梯门开合方向上没有重叠的区域；

4、对所述目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；

5、基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息；其中，所述开关门状态时序信息用于表示电梯门在所述目标电梯图像序列对应的时间段内的开关门状态；

6、根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果。

7、在其中一个实施方式，所述基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息，包括：

8、对所述电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列；

9、对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息。

10、在其中一个实施方式，所述对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息，包括：

11、对所述滤波后概率序列进行二值化处理，得到初始状态序列信息；

12、若所述初始状态序列信息中存在误检元素，利用预设数值更新所述误检元素的取值，得到所述开关门状态时序信息；其中，在所述误检元素对应的时刻所述电梯开关门状态没有转换但所述误检元素的取值发生突变；所述预设数值为所述误检元素的相邻元素的取值。

13、在其中一个实施方式，所述根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果，包括：

14、若电梯处于运动状态，且根据所述开关门状态时序信息判定所述电梯在预设时长内处于非闭合状态，得到所述电梯开关门状态异常的检测结果。

15、在其中一个实施方式，所述概率数据序列中的概率数据是目标二分类模型输出的；所述目标二分类模型的训练过程，包括：

16、获取对处于第一状态下的电梯门进行拍摄得到的第一状态图像，以及对处于第二状态下的电梯门进行拍摄得到的第二状态图像；其中，所述第一状态对应第一电梯开门宽度范围，所述第二状态对应第二电梯开门宽度范围；在所述第一电梯开门宽度范围内电梯轿厢内的图像采集装置能够拍摄到电梯外部，在所述第二电梯开门宽度范围内电梯轿厢内的图像采集装置不能够拍摄到电梯外部；

17、对所述第一状态图像进行截取，得到所述电梯门指定区域对应的第一状态图像样本；

18、对所述第二状态图像进行截取，得到所述电梯门指定区域对应的第二状态图像样本；

19、基于所述第一状态图像样本以及所述第二状态图像样本构建训练样本集；

20、利用所述训练样本集对初始二分类模型进行训练，得到所述目标二分类模型。

21、在其中一个实施方式，所述目标二分类模型用作指定电梯运行环境下的基础模型；所述方法还包括：

22、确定所述指定电梯运行环境下的目标电梯；

23、获取安装于所述目标电梯内的图像采集装置采集的视频文件；

24、基于所述视频文件构建用于训练所述基础模型的补充样本集；

25、利用所述补充样本集对所述基础模型继续进行训练，得到适用于所述指定电梯运行环境的目标模型。

26、在其中一个实施方式，所述基于所述视频文件构建用于训练所述基础模型的补充样本集，包括：

27、确定所述视频文件中电梯处于所述第一状态对应的第一起始时刻和电梯处于所述第二状态对应的第二起始时刻；

28、基于所述第一起始时刻和所述第二起始时刻从所述视频文件截取第一状态视频段和第二状态视频段；

29、基于所述第一状态视频段和所述第二状态视频段构建所述补充样本集。

30、在其中一个实施方式，所述指定电梯运行环境包括电梯运行环境变化后的新运行环境，所述电梯运行环境变化包括以下任一种情况：

31、电梯轿厢内部环境发生变化，包括增加贴画、挂灯、保护板、彩绸中任一个；

32、电梯轿厢外部环境发生变化，包括增加贴画、挂灯、保护板、彩绸中任一个；

33、将针对第一运行环境训练的目标二分类模型用在第二运行环境中，所述第二运行环境与所述第一运行环境不同；所述补充样本集为所述第二运行环境中采集的视频文件。

34、本说明书实施方式提供一种基于深度学习的电梯开关门状态检测装置，所述装置包括：

35、图像序列获取模块，用于获取目标电梯图像序列；其中，所述目标电梯图像序列包括电梯门指定区域对应的若干帧电梯门区域图像；所述电梯门指定区域为出入对象经过电梯门开合区域时所述出入对象与所述电梯门开合区域在电梯门开合方向上没有重叠的区域；

36、区域图像分类模块，用于对所述目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；

37、状态时序生成模块，用于基于所述电梯开关门状态对应的概率数据序列生成开关门状态时序信息；其中，所述开关门状态时序信息用于表示电梯门在所述目标电梯图像序列对应的时间段内的开关门状态；

38、门状态检测模块，用于根据所述开关门状态时序信息对所述电梯开关门状态进行检测，得到开关门状态检测结果。

39、在其中一个实施方式，所述状态时序生成模块，还用于对所述电梯开关门状态对应的概率数据序列进行滤波处理，得到滤波后概率序列；对所述滤波后概率序列进行二值化处理，得到所述开关门状态时序信息。

40、在其中一个实施方式，所述状态时序生成模块，还用于对所述滤波后概率序列进行二值化处理，得到初始状态序列信息；若所述初始状态序列信息中存在误检元素，利用预设数值更新所述误检元素的取值，得到所述开关门状态时序信息；其中，在所述误检元素对应的时刻所述电梯开关门状态没有转换但所述误检元素的取值却发生突变；所述预设数值为所述误检元素的相邻元素的取值。

41、在其中一个实施方式，所述门状态检测模块，还用于若电梯处于运动状态，且根据所述开关门状态时序信息判定所述电梯在预设时长内处于非闭合状态，得到所述电梯开关门状态异常的检测结果。

42、在其中一个实施方式，所述概率数据序列中的概率数据是目标二分类模型输出的；所述装置还包括分类模型训练模块，用于获取对处于第一状态下的电梯门进行拍摄得到的第一状态图像，以及对处于第二状态下的电梯门进行拍摄得到的第二状态图像；所述第一状态对应第一电梯开门宽度范围，所述第二状态对应第二电梯开门宽度范围；在所述第一电梯开门宽度范围内电梯轿厢内的图像采集装置能够拍摄到电梯外部，在所述第二电梯开门宽度范围内电梯轿厢内的图像采集装置不能够拍摄到电梯外部；对所述第一状态图像进行截取，得到所述电梯门指定区域对应的第一状态图像样本；对所述第二状态图像进行截取，得到所述电梯门指定区域对应的第二状态图像样本；基于所述第一状态图像样本以及所述第二状态图像样本构建训练样本集；利用所述训练样本集对初始二分类模型进行训练，得到所述目标二分类模型。

43、在其中一个实施方式，所述目标二分类模型用作指定电梯运行环境下的基础模型；所述装置还包括分类模型训练模块，用于确定所述指定电梯运行环境下的目标电梯；获取安装于所述目标电梯内的图像采集装置采集的视频文件；基于所述视频文件构建用于训练所述基础模型的补充样本集；利用所述补充样本集对所述基础模型继续进行训练，得到适用于所述指定电梯运行环境的目标模型。

44、本说明书实施方式提供一种计算机设备，所述计算机设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。

45、本说明书实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

46、本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

47、本说明书实施方式提供一种异构芯片，包括嵌入式神经网络处理器npu、中央处理器cpu、存储器以及存储在所述存储器中且被配置为由所述中央处理器cpu和所述嵌入式神经网络处理器npu执行的计算机程序，所述中央处理器cpu和所述嵌入式神经网络处理器npu执行所述计算机程序时实现如上述任一项实施方式所述方法。

48、上述说明书实施方式中，首先，获取电梯门指定区域对应的目标电梯图像序列；接着，对目标电梯图像序列中每帧电梯门区域图像进行分类处理，得到电梯开关门状态对应的概率数据序列；然后，基于电梯开关门状态对应的概率数据序列生成表示电梯门在目标电梯图像序列对应的时间段内的开关门状态的开关门状态时序信息；最后，根据开关门状态时序信息对电梯开关门状态进行检测，得到开关门状态检测结果。实现端到端的推理以及对电梯开关门状态的实时准确检测；进一步地，通过对图像序列中各帧图像进行开关门状态检测，输出开关门状态时序信息，可以减少电梯轿厢内部环境、电梯轿厢外部环境、人出入电梯等因素对检测结果的干扰，进而提升检测方式的泛化性和鲁棒性。