电梯轿厢安全运行检测方法、装置、设备及存储介质与流程

1.本发明涉及电梯安全检测技术领域，尤其涉及一种电梯轿厢安全运行检测方法、装置、设备及存储介质。


背景技术：

2.电梯为人们带来巨大的便利，同时，在乘坐电梯时，也可能随时出现一些突发情况，例如跌倒等，尤其是在乘坐升降电梯时，处于一个密闭的环境中，不易他人被发现。
3.在现有技术中，基于骨架关键点识别的openpose算法对电梯中异常行为识别，但是该openpose算法的复杂度高，需要大量算力支持，在边缘端部署时检测速率无法满足实时要求，在服务器端部署时，要满足实时检测需要大带宽网络支持，存在电梯安全检测的效率低和维护成本高的问题。


技术实现要素：

4.本发明提供了一种电梯轿厢安全运行检测方法、装置、设备及存储介质，用于提高电梯安全检测的效率，以及提高电梯轿厢运行的可靠性和安全性。
5.为实现上述目的，本发明第一方面提供了一种电梯轿厢安全运行检测方法，包括：获取电梯运行状态和电梯轿厢监控图像数据；若所述电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对所述电梯轿厢监控图像数据进行目标识别，得到目标识别结果；若所述电梯运行状态为电梯轿厢上下运行状态，则通过训练好的目标分类模型对所述电梯轿厢监控图像数据进行行为检测，得到行为检测结果；按照所述目标识别结果或所述行为检测结果进行预警提示和电梯轿厢运行控制。
6.一种可行的实施方式中，所述若所述电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对所述电梯轿厢监控图像数据进行目标识别，得到目标识别结果，包括：若所述电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对所述电梯轿厢监控图像数据进行目标分割处理，得到至少一个图像框；对所述至少一个图像框进行特征提取，得到各图像框对应的物体特征；对各图像框对应的物体特征进行类型识别，得到目标识别结果，所述目标识别结果包括宠物类型、电动车类型和电梯超载类型。
7.一种可行的实施方式中，所述若所述电梯运行状态为电梯轿厢上下运行状态，则通过训练好的目标分类模型对所述电梯轿厢监控图像数据进行行为检测，得到行为检测结果，包括：若所述电梯运行状态为电梯轿厢上下运行状态，则通过所述训练好的目标检测模型从所述电梯轿厢监控图像数据中提取至少一个候选目标框；按照预设多目标追踪算法追踪各候选目标框，得到至少一个候选目标运动轨迹；通过训练好的目标分类模型对各候选目标运动轨迹进行行为检测，得到行为检测结果。
8.一种可行的实施方式中，所述通过训练好的目标分类模型对各候选目标运动轨迹进行行为检测，得到行为检测结果，包括：对各候选目标运动轨迹进行特征提取，得到多个候选轨迹特征数据；按照预设特征阈值筛选所述多个候选轨迹特征数据，得到至少一个目
标轨迹特征数据；通过训练好的目标分类模型对所述至少一个目标轨迹特征数据进行行为检测，得到行为检测结果，所述行为检测结果为正常行为结果或异常行为结果。
9.一种可行的实施方式中，所述按照所述目标识别结果或所述行为检测结果进行预警提示和电梯轿厢运行控制，包括：当所述目标识别结果包含电动车类型时，发送电动车预警提示信息，直至电梯轿厢内未出现电动车时，控制所述电梯轿厢正常运行；当所述目标识别结果包含宠物类型时，发送宠物预警提示信息，直到电梯关门按钮被按下时，控制所述电梯轿厢正常运行；当所述目标识别结果包含电梯超载类型时，发送超载预警提示信息，直至电梯轿厢内人数符合预设承载人数时，控制所述电梯轿厢正常运行；当所述行为检测结果为异常行为结果时，发送电梯紧急预警提示信息，并控制所述电梯轿厢停止运行。
10.一种可行的实施方式中，在所述获取电梯运行状态和电梯轿厢监控图像数据之前，所述电梯轿厢安全运行检测方法还包括：获取电梯场景视频数据，并从所述电梯场景视频数据中提取电梯场景图像数据集；通过预设图像标注工具对电梯场景图像数据集分别进行目标位置标注处理和异常行为标注处理，得到目标样本数据集；根据所述目标样本数据集分别对预设轻量级检测模型和预设轻量级分类模型进行模型训练，得到所述训练好的目标检测模型和所述训练好的目标分类模型。
11.一种可行的实施方式中，所述根据所述目标样本数据集分别对预设轻量级检测模型和预设轻量级分类模型进行模型训练，得到所述训练好的目标检测模型和所述训练好的目标分类模型，包括：按照预设比例将所述目标样本数据集划分为训练样本数据集和测试样本数据集；按照所述训练样本数据集分别对预设轻量级检测模型和预设轻量级分类模型进行迁移学习和微调训练，得到已训练的检测模型和已训练的分类模型；基于所述测试样本数据集分别对所述已训练的检测模型和所述已训练的分类模型进行蒸馏学习和模型测试，得到所述训练好的目标检测模型和所述训练好的目标分类模型。
12.本发明第二方面提供了一种电梯轿厢安全运行检测装置，包括：获取模块，用于获取电梯运行状态和电梯轿厢监控图像数据；识别模块，用于若所述电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对所述电梯轿厢监控图像数据进行目标识别，得到目标识别结果；检测模块，用于若所述电梯运行状态为电梯轿厢上下运行状态，则通过训练好的目标分类模型对所述电梯轿厢监控图像数据进行行为检测，得到行为检测结果；预警模块，用于按照所述目标识别结果或所述行为检测结果进行预警提示和电梯轿厢运行控制。
13.一种可行的实施方式中，所述识别模块具体用于：若所述电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对所述电梯轿厢监控图像数据进行目标分割处理，得到至少一个图像框；对所述至少一个图像框进行特征提取，得到各图像框对应的物体特征；对各图像框对应的物体特征进行类型识别，得到目标识别结果，所述目标识别结果包括宠物类型、电动车类型和电梯超载类型。
14.一种可行的实施方式中，所述检测模块还包括：提取单元，用于若所述电梯运行状态为电梯轿厢上下运行状态，则通过所述训练好的目标检测模型从所述电梯轿厢监控图像数据中提取至少一个候选目标框；追踪单元，用于按照预设多目标追踪算法追踪各候选目标框，得到至少一个候选目标运动轨迹；检测单元，用于通过训练好的目标分类模型对各候选目标运动轨迹进行行为检测，得到行为检测结果。
15.一种可行的实施方式中，所述检测单元具体用于：对各候选目标运动轨迹进行特征提取，得到多个候选轨迹特征数据；按照预设特征阈值筛选所述多个候选轨迹特征数据，得到至少一个目标轨迹特征数据；通过训练好的目标分类模型对所述至少一个目标轨迹特征数据进行行为检测，得到行为检测结果，所述行为检测结果为正常行为结果或异常行为结果。
16.一种可行的实施方式中，所述预警模块具体用于：当所述目标识别结果包含电动车类型时，发送电动车预警提示信息，直至电梯轿厢内未出现电动车时，控制所述电梯轿厢正常运行；当所述目标识别结果包含宠物类型时，发送宠物预警提示信息，直到电梯关门按钮被按下时，控制所述电梯轿厢正常运行；当所述目标识别结果包含电梯超载类型时，发送超载预警提示信息，直至电梯轿厢内人数符合预设承载人数时，控制所述电梯轿厢正常运行；当所述行为检测结果为异常行为结果时，发送电梯紧急预警提示信息，并控制所述电梯轿厢停止运行。
17.一种可行的实施方式中，所述电梯轿厢安全运行检测装置还包括：提取模块，用于获取电梯场景视频数据，并从所述电梯场景视频数据中提取电梯场景图像数据集；标注模块，用于通过预设图像标注工具对电梯场景图像数据集分别进行目标位置标注处理和异常行为标注处理，得到目标样本数据集；训练模块，用于根据所述目标样本数据集分别对预设轻量级检测模型和预设轻量级分类模型进行模型训练，得到所述训练好的目标检测模型和所述训练好的目标分类模型。
18.一种可行的实施方式中，所述训练模块具体用于：按照预设比例将所述目标样本数据集划分为训练样本数据集和测试样本数据集；按照所述训练样本数据集分别对预设轻量级检测模型和预设轻量级分类模型进行迁移学习和微调训练，得到已训练的检测模型和已训练的分类模型；基于所述测试样本数据集分别对所述已训练的检测模型和所述已训练的分类模型进行蒸馏学习和模型测试，得到所述训练好的目标检测模型和所述训练好的目标分类模型。
19.本发明第三方面提供了一种电梯轿厢安全运行检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述电梯轿厢安全运行检测设备执行上述的电梯轿厢安全运行检测方法。
20.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的电梯轿厢安全运行检测方法。
21.本发明提供的技术方案中，获取电梯运行状态和电梯轿厢监控图像数据；若所述电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对所述电梯轿厢监控图像数据进行目标识别，得到目标识别结果；若所述电梯运行状态为电梯轿厢上下运行状态，则通过训练好的目标分类模型对所述电梯轿厢监控图像数据进行行为检测，得到行为检测结果；按照所述目标识别结果或所述行为检测结果进行预警提示和电梯轿厢运行控制。本发明实施例中，通过训练好的目标检测模型和训练好的目标分类模型按照电梯运行状态分别对电梯轿厢监控图像数据进行目标识别和行为检测，得到目标识别结果或行为检测结果，按照目标识别结果或行为检测结果实现预警提示和电梯轿厢运行控制，提高了电梯安全检测的效率，以及提高了电梯轿厢运行的可靠性和安全性。
附图说明
22.图1为本发明实施例中电梯轿厢安全运行检测方法的一个实施例示意图；
23.图2为本发明实施例中电梯轿厢安全运行检测方法的另一个实施例示意图；
24.图3为本发明实施例中电梯轿厢安全运行检测装置的一个实施例示意图；
25.图4为本发明实施例中电梯轿厢安全运行检测装置的另一个实施例示意图；
26.图5为本发明实施例中电梯轿厢安全运行检测设备的一个实施例示意图。
具体实施方式
27.本发明实施例提供了一种电梯轿厢安全运行检测方法、装置、设备及存储介质，用于通过训练好的目标检测模型和训练好的目标分类模型提高电梯安全检测的效率，以及提高电梯轿厢运行的可靠性和安全性。
28.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中电梯轿厢安全运行检测方法的一个实施例包括：
30.101、获取电梯运行状态和电梯轿厢监控图像数据。
31.需要说明说明的是，电梯运行状态包括电梯轿厢门打开状态和电梯轿厢上下运行状态(也就是，电梯轿厢向上运行状态和电梯轿厢向下运行状态)，电梯轿厢内预先安装摄像头，摄像头监控方向持续对准电梯门口，同时也能监测到电梯轿厢内部，该摄像头采集电梯轿厢的人员进出视频数据和人员行为视频数据，并将电梯轿厢的人员进出视频数据和人员行为视频数据传输至服务器(也就是，电梯轿厢控制中心)。
32.具体的，服务器获取电梯运行状态、电梯轿厢的人员进出视频数据和人员行为视频数据，并对电梯轿厢的人员进出视频数据和人员行为视频数据进行截图处理，得到电梯轿厢监控图像数据；服务器判断电梯运行状态是否为目标值；若电梯运行状态为目标值，则服务器确定电梯运行状态为电梯轿厢门打开状态，服务器执行步骤102；若电梯运行状态不为目标值，则服务器确定电梯运行状态为电梯轿厢上下运行状态，服务器执行步骤103。进一步地，服务器记录电梯运行状态、电梯轿厢的人员进出视频数据和人员行为视频数据以及电梯轿厢监控图像数据。
33.可以理解的是，本发明的执行主体可以为电梯轿厢安全运行检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
34.102、若电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对电梯轿厢监控图像数据进行目标识别，得到目标识别结果。
35.其中，训练好的目标检测模型部署于服务器中，并通过有线网络与部署与电梯轿厢内的摄像头连接，在电梯轿厢门开启(也就是，电梯运行状态为电梯轿厢门打开状态)时，
确保摄像头对可能存在的安全隐患进行实时识别检测。同时启动训练好的目标检测模型。具体的，若电梯运行状态为电梯轿厢门打开状态，则服务器将训练好的目标检测模型识别是否存在预设目标类型，训练好的目标检测模型用于检测电动车、宠物和人；若电梯轿厢监控图像数据存在预设目标类型，则服务器将预设目标类型作为目标识别结果，预设目标类型包括电动车类型、宠物类型和/或电梯超载类型，服务器继续执行步骤104；若电梯轿厢监控图像数据不存在预设目标类型，则服务器确定目标识别结果为空值。
36.103、若电梯运行状态为电梯轿厢上下运行状态，则通过训练好的目标分类模型对电梯轿厢监控图像数据进行行为检测，得到行为检测结果。
37.其中，训练好的目标分类模型部署于服务器中，并通过有线网络与部署与电梯轿厢内的摄像头连接，当电梯运行状态为电梯轿厢上下运行状态时，确保摄像头对可能存在的异常行为进行实时识别检测。同时启动训练好的目标检测模型和训练好的目标分类模型。具体的，若电梯运行状态为电梯轿厢上下运行状态，则服务器通过训练好的目标检测模型从电梯轿厢监控图像数据中获取至少一个候选目标框，服务器通过训练好的目标分类模型对各候选目标框中的目标进行行为检测，得到行为检测结果，行为检测结果包括正常行为结果和异常行为结果，异常行为结果用于指示电梯轿厢内部人员存在打架行为或跌倒行为。
38.需要说明的是，出于实时检测及节约成本的考虑，通过边缘计算模式将训练好的目标检测模型和训练好的目标分类模型部署在服务器，并进行推理运算，并将训练好的目标检测模型和训练好的目标分类模型部署到微控制器中，可以实现实时检测，解决了部署在服务器网络时延和维护成本高的问题。
39.104、按照目标识别结果或行为检测结果进行预警提示和电梯轿厢运行控制。
40.也就是，服务器按照目标识别结果或行为检测结果对电梯轿厢中人数超载、人员打架和跌倒等行为、电动车和宠物等进入电梯的安全隐患问题进行实时检测报警，并控制电梯轿厢的运行状态。
41.当目标识别结果为电动车进入电梯轿厢区域时，服务器输出电动车预警提示信息，电动车预警提示信息用于提醒禁止电动车进入电梯轿厢区域，服务器设置电梯轿厢的状态为电梯轿厢门打开运行状态，直至检测到电动车离开电梯轿厢时，服务器控制电梯轿厢的状态为电梯轿厢上下运行状态；当目标识别结果为宠物进入电梯轿厢区域时，服务器输出宠物预警提示信息，宠物预警提示信息用于提醒宠物进入电梯轿厢区域，服务器设置电梯轿厢的状态为电梯轿厢门打开运行状态，直至检测到电梯内关门按钮被触发时，服务器控制电梯轿厢的状态为电梯轿厢上下运行状态；当目标识别结果为电梯轿厢人数超载时，服务器输出超载预警提示信息，服务器设置电梯轿厢的状态为电梯轿厢门打开运行状态，直至检测到电梯轿厢内人数小于或者等于预设载荷人数时，服务器控制电梯轿厢的状态为电梯轿厢上下运行状态；当行为检测结果为电梯轿厢内人员存在打架、跌倒等行为时，服务器将电梯紧急预警提示信息发送至目标人员，并控制电梯轿厢停止运行，直到检测到电梯轿厢内不存在异常情况时，服务器控制电梯轿厢正常运行。
42.本发明实施例中，通过训练好的目标检测模型和训练好的目标分类模型按照电梯运行状态分别对电梯轿厢监控图像数据进行目标识别和行为检测，得到目标识别结果或行为检测结果，按照目标识别结果或行为检测结果实现预警提示和电梯轿厢运行控制，提高
了电梯安全检测的效率，以及提高了电梯轿厢运行的可靠性和安全性。
43.请参阅图2，本发明实施例中电梯轿厢安全运行检测方法的另一个实施例包括：
44.201、获取电梯运行状态和电梯轿厢监控图像数据。
45.该步骤201的具体执行过程与步骤101的具体执行过程相似，具体此处不再赘述。
46.在步骤201之前，服务器还需要获取训练好的目标检测模型和训练好的目标分类模型。在一些实施例中，服务器获取电梯场景视频数据，并从电梯场景视频数据中提取电梯场景图像数据集；通过预设图像标注工具对电梯场景图像数据集分别进行目标位置标注处理和异常行为标注处理，得到目标样本数据集；根据目标样本数据集分别对预设轻量级检测模型(例如，nanodet模型)和预设轻量级分类模型(例如，mobilenet-v3模型)进行模型训练，得到训练好的目标检测模型和训练好的目标分类模型。其中，目标样本数据集用于指示电动车、宠物和人的第一样本数据集以及打架行为和跌倒行为的第二样本数据集。第一样本数据集用于训练预设轻量级检测模型，得到训练好的目标检测模型，第二样本数据集用于训练预设轻量级分类模型，得到训练好的目标分类模型。
47.进一步地，服务器按照预设比例将目标样本数据集划分为训练样本数据集和测试样本数据集，预设比例可以为8:2，也可以为6:4，具体此处不做限定；服务器按照训练样本数据集分别对预设轻量级检测模型和预设轻量级分类模型进行迁移学习和微调训练，得到已训练的检测模型和已训练的分类模型；服务器基于测试样本数据集分别对已训练的检测模型和已训练的分类模型进行蒸馏学习和模型测试，训练好的目标检测模型和训练好的目标分类模型。在一些实施例中，服务器通过深度可分离卷积和点卷积搭建预设轻量级检测模型和预设轻量级分类模型。
48.需要说明的是，电梯场景视频数据为在不同时刻、光线和拍摄角度下，在电梯场景中录制的包含但不限于宠物、电动车、电梯内乘客以及乘客跌倒等视频数据。在模型训练中，服务器通过迁移学习对预设轻量级检测模型和预设轻量级分类模型各自对应的网络参数进行预训练和微调，加快了模型收敛，并降低了训练成本。以及在模型测试优化中，服务器通过蒸馏学习提升模型测试的准确度。
49.202、若电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对电梯轿厢监控图像数据进行目标识别，得到目标识别结果。
50.其中，训练好的目标检测模型用于指示将电梯轿厢监控图像数据中的预设目标识别出来，并标注预设目标所属位置。在一些实施例中，若电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对电梯轿厢监控图像数据进行目标分割处理，得到至少一个图像框；服务器对至少一个图像框进行特征提取，得到各图像框对应的物体特征；服务器对各图像框对应的物体特征进行类型识别，得到目标识别结果，目标识别结果包括宠物类型、电动车类型和电梯超载类型。
51.203、若电梯运行状态为电梯轿厢上下运行状态，则通过训练好的目标检测模型从电梯轿厢监控图像数据中提取至少一个候选目标框。
52.其中，各候选目标框具有对应的唯一标识。具体的，若电梯运行状态为电梯轿厢上下运行状态，则服务器通过训练好的目标检测模型从电梯轿厢监控图像数据中提取目标的位置信息，并将目标的位置信息作为目标检测框；服务器对目标检测框和预设目标跟踪框进行匹配计算，得到至少一个候选目标框，并对各候选目标框中的目标分配唯一标识。
53.204、按照预设多目标追踪算法追踪各候选目标框，得到至少一个候选目标运动轨迹。
54.其中，预设多目标追踪算法为跟踪算法deepsort，也可以其他跟踪算法，具体此处不做限定。具体的，服务器按照预设多目标追踪算法从各候选目标框中提取各候选目标框中目标对应的唯一标识；服务器按照各候选目标框中目标对应的唯一标识和预设参考坐标记录每个目标的运动轨迹，得到至少一个候选目标运动轨迹。
55.需要说明的是，预设参考坐标可以为各候选目标框顶部中点的坐标，也可以为电梯轿厢监控图像数据中其他位置的坐标，具体此处不做限定。
56.205、通过训练好的目标分类模型对各候选目标运动轨迹进行行为检测，得到行为检测结果。
57.其中，训练好的目标分类模型用于识别电梯轿厢内的人员是否存在异常行为。在一些实施例中，服务器对各候选目标运动轨迹进行特征提取，得到多个候选轨迹特征数据；服务器按照预设特征阈值筛选多个候选轨迹特征数据，得到至少一个目标轨迹特征数据，其中，至少一个目标轨迹特征数据用于指示大于或等于预设特征阈值的候选轨迹特征数据；服务器通过训练好的目标分类模型对至少一个目标轨迹特征数据进行行为检测，得到行为检测结果，行为检测结果为正常行为结果或异常行为结果。进一步地，服务器通过训练好的目标分类模型检测目标轨迹特征数据是否存在异常行为；若目标轨迹特征数据存在异常行为，则服务器确定行为检测结果为异常行为结果，服务器执行步骤206；若目标轨迹特征数据不存在异常行为，则服务器确定行为检测结果为正常行为结果。
58.206、按照目标识别结果或行为检测结果进行预警提示和电梯轿厢运行控制。
59.可以理解的是，服务器按照目标识别结果或行为检测结果对电梯轿厢中人数超载、人员打架和跌倒等行为，以及电动车和宠物等进入电梯轿厢的安全隐患问题进行实时进行预警处理。
60.在一些实施例中，当目标识别结果包含电动车类型时，服务器发送电动车预警提示信息，直至电梯轿厢内未出现电动车时，服务器控制电梯轿厢正常运行，电梯轿厢正常运行用于指示电梯轿厢门关闭，并且电梯轿厢上下运行；当目标识别结果包含宠物类型时，服务器发送宠物预警提示信息，直到电梯关门按钮被按下时，服务器控制电梯轿厢正常运行；当目标识别结果包含电梯超载类型时，服务器发送超载预警提示信息，直至电梯轿厢内人数符合预设承载人数时，服务器控制电梯轿厢正常运行，也就是，电梯轿厢内人数小于或者等于预设承载人数，预设承载人数为正整数；当行为检测结果为异常行为结果时，服务器发送电梯紧急预警提示信息，并控制电梯轿厢停止运行，进而确保电梯轿厢运行的安全性和可靠性。
61.需要说明的是，电动车预警提示信息、宠物预警提示信息、超载预警提示信息和电梯紧急预警提示信息均可以为文字信息，也可以为语音信息，还可以为其他类型信息，具体此处不做限定。
62.本发明实施例中，通过训练好的目标检测模型和训练好的目标分类模型按照电梯运行状态分别对电梯轿厢监控图像数据进行目标识别和行为检测，得到目标识别结果或行为检测结果，按照目标识别结果或行为检测结果实现预警提示和电梯轿厢运行控制，提高了电梯安全检测的效率，以及提高了电梯轿厢运行的可靠性和安全性。
63.上面对本发明实施例中电梯轿厢安全运行检测方法进行了描述，下面对本发明实施例中电梯轿厢安全运行检测装置进行描述，请参阅图3，本发明实施例中电梯轿厢安全运行检测装置一个实施例包括：
64.获取模块301，用于获取电梯运行状态和电梯轿厢监控图像数据；
65.识别模块302，用于若所述电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对所述电梯轿厢监控图像数据进行目标识别，得到目标识别结果；
66.检测模块303，用于若所述电梯运行状态为电梯轿厢上下运行状态，则通过训练好的目标分类模型对所述电梯轿厢监控图像数据进行行为检测，得到行为检测结果；
67.预警模块304，用于按照所述目标识别结果或所述行为检测结果进行预警提示和电梯轿厢运行控制。
68.本发明实施例中，通过训练好的目标检测模型和训练好的目标分类模型按照电梯运行状态分别对电梯轿厢监控图像数据进行目标识别和行为检测，得到目标识别结果或行为检测结果，按照目标识别结果或行为检测结果实现预警提示和电梯轿厢运行控制，降低了维护成本，提高了电梯安全检测的效率，以及提高了电梯轿厢运行的可靠性和安全性。
69.请参阅图4，本发明实施例中电梯轿厢安全运行检测装置另一个实施例包括：
70.获取模块301，用于获取电梯运行状态和电梯轿厢监控图像数据；
71.识别模块302，用于若所述电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对所述电梯轿厢监控图像数据进行目标识别，得到目标识别结果；
72.检测模块303，用于若所述电梯运行状态为电梯轿厢上下运行状态，则通过训练好的目标分类模型对所述电梯轿厢监控图像数据进行行为检测，得到行为检测结果；
73.预警模块304，用于按照所述目标识别结果或所述行为检测结果进行预警提示和电梯轿厢运行控制。
74.可选的，所述识别模块302还可以具体用于：
75.若所述电梯运行状态为电梯轿厢门打开状态，则通过训练好的目标检测模型对所述电梯轿厢监控图像数据进行目标分割处理，得到至少一个图像框；
76.对所述至少一个图像框进行特征提取，得到各图像框对应的物体特征；
77.对各图像框对应的物体特征进行类型识别，得到目标识别结果，所述目标识别结果包括宠物类型、电动车类型和电梯超载类型。
78.可选的，所述检测模块303还可以包括：
79.提取单元3031，用于若所述电梯运行状态为电梯轿厢上下运行状态，则通过所述训练好的目标检测模型从所述电梯轿厢监控图像数据中提取至少一个候选目标框；
80.追踪单元3032，用于按照预设多目标追踪算法追踪各候选目标框，得到至少一个候选目标运动轨迹；
81.检测单元3033，用于通过训练好的目标分类模型对各候选目标运动轨迹进行行为检测，得到行为检测结果。
82.可选的，所述处理模块检测单元3033还可以具体用于：
83.对各候选目标运动轨迹进行特征提取，得到多个候选轨迹特征数据；
84.按照预设特征阈值筛选所述多个候选轨迹特征数据，得到至少一个目标轨迹特征数据；
85.通过训练好的目标分类模型对所述至少一个目标轨迹特征数据进行行为检测，得到行为检测结果，所述行为检测结果为正常行为结果或异常行为结果。
86.可选的，所述预警模块304还可以具体用于：
87.当所述目标识别结果包含电动车类型时，发送电动车预警提示信息，直至电梯轿厢内未出现电动车时，控制所述电梯轿厢正常运行；
88.当所述目标识别结果包含宠物类型时，发送宠物预警提示信息，直到电梯关门按钮被按下时，控制所述电梯轿厢正常运行；
89.当所述目标识别结果包含电梯超载类型时，发送超载预警提示信息，直至电梯轿厢内人数符合预设承载人数时，控制所述电梯轿厢正常运行；
90.当所述行为检测结果为异常行为结果时，发送电梯紧急预警提示信息，并控制所述电梯轿厢停止运行。
91.可选的，所述电梯轿厢安全运行检测装置还包括：
92.提取模块305，用于获取电梯场景视频数据，并从所述电梯场景视频数据中提取电梯场景图像数据集；
93.标注模块306，用于通过预设图像标注工具对电梯场景图像数据集分别进行目标位置标注处理和异常行为标注处理，得到目标样本数据集；
94.训练模块307，用于根据所述目标样本数据集分别对预设轻量级检测模型和预设轻量级分类模型进行模型训练，得到所述训练好的目标检测模型和所述训练好的目标分类模型。
95.可选的，所述训练模块307还可以具体用于：
96.按照预设比例将所述目标样本数据集划分为训练样本数据集和测试样本数据集；
97.按照所述训练样本数据集分别对预设轻量级检测模型和预设轻量级分类模型进行迁移学习和微调训练，得到已训练的检测模型和已训练的分类模型；
98.基于所述测试样本数据集分别对所述已训练的检测模型和所述已训练的分类模型进行蒸馏学习和模型测试，得到所述训练好的目标检测模型和所述训练好的目标分类模型。
99.本发明实施例中，通过训练好的目标检测模型和训练好的目标分类模型按照电梯运行状态分别对电梯轿厢监控图像数据进行目标识别和行为检测，得到目标识别结果或行为检测结果，按照目标识别结果或行为检测结果实现预警提示和电梯轿厢运行控制，降低了维护成本，提高了电梯安全检测的效率，以及提高了电梯轿厢运行的可靠性和安全性。
100.上面图3和图4从模块化的角度对本发明实施例中的电梯轿厢安全运行检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中电梯轿厢安全运行检测设备进行详细描述。
101.图5是本发明实施例提供的一种电梯轿厢安全运行检测设备的结构示意图，该电梯轿厢安全运行检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对电
梯轿厢安全运行检测设备500中的一系列计算机程序操作。更进一步地，处理器510可以设置为与存储介质530通信，在电梯轿厢安全运行检测设备500上执行存储介质530中的一系列计算机程序操作。
102.电梯轿厢安全运行检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图5示出的电梯轿厢安全运行检测设备结构并不构成对电梯轿厢安全运行检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
103.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述电梯轿厢安全运行检测方法的步骤。
104.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
105.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
106.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。