一种控制方法、装置、设备和介质与流程

1.本技术涉及计算机技术领域，尤其是涉及一种控制方法、装置、设备和介质。


背景技术：

2.随着人工智能技术的发展，机器人已经从工业领域进入人们的日常生活领域，在许多大型商超内都可以看到机器人的身影。机器人可以独立完成迎宾引导、业务讲解、推送信息等工作。
3.为了保证机器人的运行安全，相关技术采用激光雷达探测或深度摄像头探测的方式采集机器人的活动区域。但是，发明人发现，使用相关技术对手扶电梯探测时，只能获取到两侧扶手区域的点云数据，若是下行手扶电梯，采集到的手扶电梯中间区域处于空缺状态，可能不能够准确地确定活动区域是否存在手扶电梯，进而使得机器人不知前方为手扶电梯区域而继续行进，从而导致危险的发生。
4.因此，如何解决上述技术问题成为本领域技术人员亟待解决的问题。


技术实现要素：

5.本技术的目的是提供一种控制方法、装置、设备和介质，用于解决以上至少一项技术问题。
6.本技术的上述发明目的是通过以下技术方案得以实现的：第一方面，本技术提供一种控制方法，采用如下的技术方案：一种控制方法，所述方法包括：获取待检测图像；利用电梯检测模型对所述待检测图像进行电梯区域识别，得到识别结果；当所述识别结果包括电梯像素区域信息时，根据所述电梯像素区域信息，确定电梯实际位置信息；根据所述电梯实际位置信息确定预警区域，并根据所述预警区域控制探测主体运动。
7.通过采用上述技术方案，获取待检测图像，利用电梯检测模型可以基于待检测图像进行电梯区域识别，当待检测图像中包括电梯图像时，能够识别到准确的电梯像素区域信息，再根据电梯像素区域信息确定电梯实际位置信息，其中，电梯像素区域信息是通过电梯检测模型得到的准确的数据，因而基于电梯像素区域信息所确定的电梯实际位置信息也是准确的，进而能够基于电梯实际位置信息确定预警区域，并基于预警区域控制探测主体运动，以减少探测主体由于未正确识别手扶电梯而跌落的情况发生。
8.本技术在一较佳示例中可以进一步配置为：所述根据所述电梯像素区域信息，确定电梯实际位置信息，包括：根据所述电梯像素区域信息确定电梯像素位置信息；根据所述电梯像素位置信息利用相机投影关系，确定电梯与所述探测主体的相对
位置信息，所述相对位置信息作为所述电梯实际位置信息。
9.通过采用上述技术方案，通过电梯像素区域信息确定电梯像素位置信息，并利用相机投影关系来确定电梯与探测主体的相对位置信息，可以快速地将电梯在像素坐标系下的电梯像素位置信息转化为相对于探测主体在世界坐标系下的位置，操作简单、计算方便。
10.本技术在一较佳示例中可以进一步配置为：所述根据所述预警区域控制所述探测主体运动，包括：若所述探测主体在所述预警区域内，则控制所述探测主体停止运动，或控制所述探测主体按照目标运动方向运动，其中，所述目标运动方向为远离电梯区域的方向。
11.通过采用上述技术方案，当探测主体在预警区域时，控制探测主体远离预警区域或者停止运动，降低了探测主体发生危险的概率。
12.本技术在一较佳示例中可以进一步配置为：所述根据所述预警区域控制所述探测主体运动，包括：若所述探测主体在所述预警区域内，则判断所述探测主体是否在电梯区域内；若所述探测主体在所述电梯区域内，则控制所述探测主体停止运动，或控制所述探测主体按照目标运动方向运动。
13.通过采用上述技术方案，当探测主体在预警区域内，且探测主体在电梯区域内时，确定探测主体已经处于电梯口部分，进而采取紧急停止方式或者控制探测主体按照目标运动方向运动以使探测主体远离电梯，能够有效地避免危险的发生。
14.本技术在一较佳示例中可以进一步配置为：所述判断所述探测主体是否在电梯区域内，包括：获取所述探测主体的震动频率，并判断所述震动频率是否在预设震动频率范围内；若所述震动频率在所述预设震动频率范围内，则确定所述探测主体在所述电梯区域内。
15.通过采用上述技术方案，获得探测主体的震动频率，并判断所述震动频率是否在预设震动频率范围内，倘若震动频率在预设震动频率范围内，可以准确地判断出探测主体处于电梯区域内，提高了判断的准确性。
16.本技术在一较佳示例中可以进一步配置为：所述电梯检测模型的训练过程，包括：获取电梯图像训练样本集，其中，电梯图像训练样本集包括多张电梯样本图像以及各自对应的电梯区域标注信息；利用所述电梯图像训练样本集对卷积神经网络进行训练，得到所述电梯检测模型。
17.通过采用上述技术方案，利用电梯图像训练样本集对卷积神经网络进行训练，得到电梯检测模型，进而利用电梯检测模型进行电梯识别时，提高了电梯识别率以及识别的准确度。
18.本技术在一较佳示例中可以进一步配置为：所述获取电梯图像训练样本集，包括：获取第一训练集，其中，所述第一训练集包括多张第一电梯图像训练样本以及各自对应的电梯区域标注信息；获取第二训练集，其中，所述第二训练集包括多张第二电梯图像训练样本以及各
自对应的电梯区域标注信息，多张第二电梯图像训练样本为对多张第一电梯图像训练样本进行切割和重新组合得到的；将所述第一训练集以及所述第二训练集作为所述电梯图像训练样本集。
19.通过采用上述技术方案，通过对多张第一电梯图像训练样本进行切割和重新组合得到第二训练集，第一训练集以及第二训练集均作为电梯图像训练样本集来对卷积神经网络进行训练，通过使用切割和重新组合的方式丰富了训练集，进而提高了模型训练效果，使得训练好的电梯检测模型具有较高的识别率。
20.第二方面，本技术提供一种控制装置，采用如下的技术方案：一种控制装置，包括：图像获取模块，用于获取待检测图像；电梯区域识别模块，用于利用电梯检测模型对所述待检测图像进行电梯区域识别，得到识别结果；实际位置信息确定模块，用于当所述识别结果包括电梯像素区域信息时，根据所述电梯像素区域信息，确定电梯实际位置信息；控制模块，根据所述电梯实际位置信息确定预警区域，并根据所述预警区域控制探测主体运动。
21.通过采用上述技术方案，获取待检测图像，利用电梯检测模型可以基于待检测图像进行电梯区域识别，当待检测图像中包括电梯图像时，能够识别到准确的电梯像素区域信息，再根据电梯像素区域信息确定电梯实际位置信息，其中，电梯像素区域信息是通过电梯检测模型得到的准确的数据，因而基于电梯像素区域信息所确定的电梯实际位置信息也是准确的，进而能够基于电梯实际位置信息确定预警区域，并基于预警区域控制探测主体运动，以减少探测主体由于未正确识别手扶电梯而跌落的情况发生。
22.本技术在一较佳示例中可以进一步配置为：所述实际位置信息确定模块在执行根据所述电梯像素区域信息，确定电梯实际位置信息,用于：根据所述电梯像素区域信息确定电梯像素位置信息；根据所述电梯像素位置信息利用相机投影关系，确定电梯与所述探测主体的相对位置信息。
23.本技术在一较佳示例中可以进一步配置为：所述控制模块在执行根据所述预警区域控制所述探测主体运动时，用于：当所述探测主体在所述预警区域内时，控制所述探测主体停止运动，或控制所述探测主体按照目标运动方向运动，其中，所述目标运动方向为远离电梯区域的方向。
24.本技术在一较佳示例中可以进一步配置为：所述控制模块在执行根据所述预警区域控制所述探测主体运动时，用于：当所述探测主体在所述预警区域内时，判断所述探测主体是否在电梯区域内；当所述探测主体在所述电梯区域内时，控制所述探测主体停止运动，或控制所述探测主体按照目标运动方向运动。
25.本技术在一较佳示例中可以进一步配置为：所述控制模块在执行判断所述探测主体是否在电梯区域内时，用于：获取所述探测主体的震动频率，并判断所述震动频率是否在预设震动频率范围
内；当所述震动频率在所述预设震动频率范围内时，确定所述探测主体在所述电梯区域内。
26.本技术在一较佳示例中可以进一步配置为：所述控制装置，还包括：电梯图像训练样本集获取模块，用于获取电梯图像训练样本集，其中，电梯图像训练样本集包括多张电梯样本图像以及各自对应的电梯区域标注信息；训练模块，用于利用所述电梯图像训练样本集对卷积神经网络进行训练，得到所述电梯检测模型。
27.本技术在一较佳示例中可以进一步配置为：所述电梯图像训练样本集获取模块在执行获取电梯图像训练样本集时，用于：获取第一训练集，其中，所述第一训练集包括多张第一电梯图像训练样本以及各自对应的电梯区域标注信息；获取第二训练集，其中，所述第二训练集包括多张第二电梯图像训练样本以及各自对应的电梯区域标注信息，多张第二电梯图像训练样本为对多张第一电梯图像训练样本进行切割和重新组合得到的；将所述第一训练集以及所述第二训练集作为所述电梯图像训练样本集。
28.第三方面，本技术提供一种电子设备，采用如下的技术方案：一种电子设备，包括：至少一个处理器；存储器；至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行如上任一项所述的方法。
29.第四方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上任一项所述的方法。
30.综上所述，本技术包括以下至少一种有益技术效果：1.获取待检测图像，利用电梯检测模型可以基于待检测图像进行电梯区域识别，当待检测图像中包括电梯图像时，能够识别到准确的电梯像素区域信息，再根据电梯像素区域信息确定电梯实际位置信息，其中，电梯像素区域信息是通过电梯检测模型得到的准确的数据，因而基于电梯像素区域信息所确定的电梯实际位置信息也是准确的，进而能够基于电梯实际位置信息确定预警区域，并基于预警区域控制探测主体运动，以减少探测主体由于未正确识别手扶电梯而跌落的情况发生。
附图说明
31.图1是本技术其中一实施例的一种控制方法的流程示意图。
32.图2是本技术其中一实施例的四个坐标系的关系示意图。
33.图3是本技术其中一实施例的世界坐标系与相机坐标系的关系示意图。
34.图4是本技术其中一实施例的相机坐标系与图像坐标系的关系示意图。
35.图5是本技术其中一实施例的图像坐标系与像素坐标系的关系示意图。
36.图6是本技术其中一实施例的一种控制装置的结构示意图。
37.图7是本技术其中一实施例的一种电子设备的结构示意图。
具体实施方式
38.以下结合附图对本技术作进一步详细说明。
39.本具体实施例仅仅是对本技术的解释，其并不是对本技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本技术的范围内都受到专利法的保护。
40.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
42.下面结合说明书附图对本技术实施例作进一步详细描述。
43.为了保证机器人的运行安全，相关技术采用激光雷达探测或深度摄像头探测的方式采集机器人的活动区域，可能存在以下工作情况：机器人采用激光雷达探测或深度摄像头探测的方式采集机器人的活动区域，以将根据硬件设备反馈的点云数据绘成电子地图，并将不希望机器人运动的区域以及有危险的区域(例如：手扶电梯区域、摊位摆放区域、玻璃门区域等)使用“虚拟墙”在电子地图中框出，达到限制机器人的运动范围的目的，避免机器人运动到“虚拟墙”区域。但是在形成电子地图时需要机器人探测环境，在探测手扶电梯时，机器人的探测器只能获取到两侧扶手区域的点云数据，容易发生探测误差，从而导致危险的发生。
44.再者，机器人在实际运动过程中，会结合电子地图以及在运动过程中对环境实时探测的点云数据来综合判断机器人所在位置。发明人发现，相关技术中在进行实时探测时，结合硬件设备反馈的点云数据判断前方是否为危险区域，但是探测手扶电梯容易出现误差，导致机器人对自身在电子地图中所在位置的判断产生误差，进而机器人在计算所在位置与电子地图中的“虚拟墙”区域的距离时出现偏差，因而无法正确判断自己是否进入到电子地图中的“虚拟墙”区域，而导致危险的发生。当然还可能存在其他工作情况本技术实施例不再进行限定。
45.当然，也可以使用机器视觉的方式来采集机器人的活动区域，但是，使用机器视觉对电梯识别需要较高的算力，且时效性非常低，即使使用一些较为简易的分类识别方案，也仅能将电梯相关的区域粗略标记出来，很难作为距离测算的有效参考。
46.具体的，本技术实施例提供了一种控制方法，由电子设备执行，如图1所示，该方法包括步骤s101、步骤s102、步骤s103以及步骤s104，其中：步骤s101：获取待检测图像。
47.对于本技术实施例，获取待检测图像的方式可以包括：通过探测主体的摄像头采
集待检测图像，以使电子设备获得待检测图像；当然，也可以包括：通过商场的摄像头采集待检测图像，以使电子设备获得待检测图像，本技术实施例不再进行限定，只要是能够使电子设备获得待检测图像即可。
48.待检测图像包括：包括电梯的图像以及不包括电梯的图像。其中电梯可以是上行电梯还可以是下行电梯。
49.步骤s102：利用电梯检测模型对待检测图像进行电梯区域识别，得到识别结果。
50.本技术实施例中，电梯检测模型能够对电梯区域进行识别以得到识别结果，当待检测图像中包括电梯时，识别结果可以包括：电梯区域像素信息，具体为像素坐标系下的电梯区域信息，该电梯区域像素信息具体能够体现电梯区域的位置信息；当待检测图像中不包括电梯时，识别结果可以包括：无电梯对应的信息，具体可以是0或者不输出任何信息。
51.其中，电梯检测模型可以是基于多个电梯样本图像以及各自对应的电梯区域标注信息进行训练得到的。进而，通过多个电梯样本图像以及各自对应的电梯区域标注信息对卷积神经网络进行训练，以得到电梯检测模型，其中，卷积神经网络的结构用户可根据实际需求设置，本技术实施例不再进行限定。进而，能够调用电梯检测模型对待检测图像进行电梯区域识别。
52.步骤s103：当识别结果包括电梯像素区域信息时，根据电梯像素区域信息，确定电梯实际位置信息。
53.对于本技术实施例，当待检测图像包括电梯时，识别结果包括电梯像素区域信息，进而能够基于电梯像素区域信息确定电梯实际位置信息，本技术实施例能够对上行电梯以及下行电梯进行准确的电梯识别。具体的，电梯实际位置信息为世界坐标系下的电梯的位置信息，在一些情况中电梯的位置信息为电梯相对于探测主体的相对坐标，在另一些情况中相对位置信息包括两者距离以及两者的相对方向。其中，相对位置信息可以根据电梯像素区域信息利用相机投影关系来确定，也可以通过像素坐标变化与实际移动距离的关系来确定相对位置信息，具体的，通过直接锚定电梯像素坐标，并记录机器人累计移动的距离，通过计算像素坐标的变化和实际移动的距离可以得到电梯与探测主体的相对位置信息。
54.步骤s104：根据电梯实际位置信息确定预警区域，并根据预警区域控制探测主体运动。
55.对于本技术实施例，根据电梯实际位置信息即确定出以探测主体作为原点的世界坐标系下的电梯位置，以电梯位置为基准点确定预警区域，本技术不对预警区域进行限定，用户可根据实际需求设置，例如，以基准点为中心分别向四个方向按照每个方向的延伸长度进行延伸以得到矩形预警区域，再如，以基准点为圆心基于预设半径以得到一个圆形预警区域，再如，以基准点为中心得到无规则的预警区域等。其中，探测主体可以为机器人。若探测主体进入到预警区域则控制探测主体运动，即控制探测主体停止或者控制探测主体按照目标运动方向运动，目标运动方向为远离电梯区域的方向。
56.可见，在本技术实施例中，获取待检测图像，利用电梯检测模型可以基于待检测图像进行电梯区域识别，当待检测图像中包括电梯图像时，能够识别到准确的电梯像素区域信息，再根据电梯像素区域信息确定电梯实际位置信息，其中，电梯像素区域信息是通过电梯检测模型得到的准确的数据，因而基于电梯像素区域信息所确定的电梯实际位置信息也是准确的，进而能够基于电梯实际位置信息确定预警区域，并基于预警区域控制探测主体
运动，以减少探测主体由于未正确识别手扶电梯而跌落的情况发生。
57.进一步的，为了简单快速获取精确的相对位置信息，在本技术实施例中，步骤s103根据电梯像素区域信息，确定电梯实际位置信息,包括：根据电梯像素区域信息确定电梯像素位置信息；对于本技术实施例，电梯像素区域信息可以为电梯特征标注框的任意一点像素坐标以及标注框的高和宽，将点像素坐标以及高和宽结合即为标注框，故可以根据得到的点像素坐标以及长和宽计算出标注框的中心点像素坐标，将得到的中心点像素坐标确定为电梯像素位置信息。
58.进而，在一种情况中，当得到的电梯像素区域信息是底部电梯区域信息时，电梯像素区域信息包括：基于标注框的任意一点的像素坐标以及标注框的宽和高确定的中心点像素坐标以作为电梯像素位置信息；在另一种情况中，当得到的电梯区域信息是正面电梯区域信息时，电梯像素区域信息包括：基于标注框的任意一点的像素坐标以及标注框的宽和高确定的中心点像素坐标以作为电梯像素位置信息；在另一种情况中，当得到的电梯区域信息是侧面电梯区域信息时，电梯像素区域信息包括：基于标注框的任意一点的像素坐标以及标注框的宽和高确定的中心点像素坐标以作为电梯像素位置信息。当然还可能存在其他确定电梯像素位置信息的方式，用户可自定义设置，本技术实施例不做任何限定。
59.根据电梯像素位置信息利用相机投影关系，确定电梯与探测主体的相对位置信息，相对位置信息作为电梯实际位置信息。
60.具体的，对于本技术实施例，利用相机投影关系可以将电梯在像素坐标系下的位置信息转化为在世界坐标系下相对于探测主体的相对位置信息，具体实现过程如下：世界坐标系、相机坐标系、图像坐标系、像素坐标系四个坐标系的关系可参照图2。
61.o
w-x
wywzw
:世界坐标系,描述相机位置,单位m；o
c-xcyczc:相机坐标系,光心为原点,单位m；o-xy:图像坐标系，原点为成像平面中点单位mm；uv:像素坐标系,原点为图像左上角,单位pixel；p:世界坐标系中的一点，即为生活中真实的一点；p:点p在图像中的成像点，在图像坐标系中的坐标为(x,y),在像素坐标系中的坐标为(u,v)；f:相机焦距，等于o与oc的距离，f＝|o-oc|。
62.(1)世界坐标系到相机坐标系坐标转换。
63.从世界坐标系到相机坐标系属于刚体变换，即物体不会发生形变，只需要进行旋转和平移，r、t为相机的外参矩阵，其中，r为一个3*3的旋转矩阵，t为一个3*1的平移矩阵，不同的摄像机r、t可能不同，用户可根据实际需求选择摄像机。世界坐标系与相机坐标系的关系，具体可参照图3，世界坐标系到相机坐标系的转换只涉及到坐标系的旋转平移过程，可得：其中，在世界坐标系中的任意一点p，p点在世界坐标系下的坐标为(xw，yw，zw)，p点在相机坐标系下的坐标为(xc，yc，zc)。
64.将上述公式转化为齐次坐标形式，具体表示如下：
(2)相机坐标系到图像坐标系坐标转换。
65.相机坐标系与图像坐标系具体关系可参照图4，其中，在相机坐标系下a点坐标为(0,0，zc)，b点坐标为(xc,0，zc),oc点坐标为(0,0,0)，o点坐标为(0,0,f)；在图像坐标系下p点坐标为(x,y)，o点坐标为(0,0)。
66.根据三角形相似关系，推导出相机坐标与图像坐标的转换关系，具体推导过程如下：δaboc～δococ；δpboc～δpcoc；进而可得：(3)图像坐标系与像素坐标系转化。
67.图像坐标系与像素坐标系具体关系可参照图5，其中，图像坐标系下o点坐标为(0,0)，像素坐标系下o点坐标为(u0,v0)，进而推导出图像坐标与像素坐标的转化关系，具体的：基于得到
68.(4)从世界坐标系到像素坐标系的转换方程。
69.将上述描述的四种坐标系的转换关系式结合，可以得到世界坐标与像素坐标的转换关系，具体为：(u,v)为：电梯在像素坐标系下的位置信息,即电梯像素位置信息；(xw,yw,zw)为：电梯在世界坐标系下相对于探测主体的相对位置信息，即电梯实际位置信息。
70.本技术在确定相对位置信息时，以地面为标准，求出xw、yw即可确定相对位置信息，故将zw设置为0，在表达式中用z
const
来表示zw，均代表0，故上述表达式可以采用如下方式表示：
其中，
71.为：根据相机内参、相机外参计算出的矩阵，数值均可知；根据计算过程，上述投影关系表达式可等价为：故上述三元三次方程组可以解出xw、yw、zc,即可得(xw，yw)为电梯与探测主体实际相对坐标即相对位置信息，以相对位置作为电梯实际位置信息。
72.因此，根据(u,v)电梯像素位置信息利用相机投影关系确定了电梯实际位置信息(xw，yw，zw)，若以地面为标准，对zw的值不要求，故(xw，yw)即可确定电梯实际位置信息。对于是否限定zw的值，本实施例不再进行限定。
73.可见，在本技术实施例中，通过电梯区域信息来确定电梯的位置信息，并利用相机投影关系来确定电梯与探测主体的相对位置信息，可以快速地将电梯在像素坐标系下的电梯区域信息转化为相对于探测主体在世界坐标系下的位置，操作简单、计算方便。
74.进一步的，为了降低在预警区域发生危险，在本技术实施例中，步骤s104根据预警区域控制探测主体运动，包括：若探测主体在预警区域内，则控制探测主体停止运动，或控制探测主体按照目标运动方向运动，其中，目标运动方向为远离电梯区域的方向。
75.对于本技术实施例，具体的，在一些实施方式中，可以利用定位技术得到探测主体实际位置，并根据探测主体实际位置判断探测主体是否进入预警区域内，其中，利用定位技术得到探测主体实际位置，可以利用超声波传感器、视觉传感器、激光雷达等一种或多种外部传感器检测得到周围环境特征，进而基于周围环境特征对探测主体在参考坐标系中的绝对位置进行估算，以获得探测主体实际位置。进而，基于探测主体实际位置，当探测主体进入预警区域内，可以控制探测主体停止运动，以避免探测主体发生危险；或者，控制探测主体向远离电梯区域的方向运动即可，例如，控制探测主体按照目标方向运动以先靠近电梯区域再远离电梯区域，或者控制探测主体按照目标方向运动以远离电梯区域，只要是不进入电梯区域即可，本技术实施例不再进行限定。
76.可见，在本技术实施例中，当探测主体在预警区域内时，控制探测主体远离预警区域或者停止运动，降低了探测主体发生危险的概率。
77.进一步的，为了有效避免探测主体在电梯口发生危险，在本技术实施例中，根据预警区域控制探测主体运动，包括：若探测主体在预警区域内，则判断探测主体是否在电梯区域内；若探测主体在电梯区域内，则控制探测主体停止运动，或控制探测主体按照目标
运动方向运动。
78.对于本技术实施例，当探测主体在预警区域内时，进而可以基于探测主体的实际位置确定探测主体是否在电梯区域内，其中，电梯区域可以为电梯口处床盖板区域，具体可以基于电梯位置信息确定。若探测主体在电梯区域内，则控制探测主体停止运动或控制探测主体按照目标运动方向运动，其目的都是为了防止探测主体行进至电梯口而发生危险。
79.可见，在本技术实施例中，当探测主体在预警区域内，且探测主体在电梯区域内时，确定探测主体已经处于电梯口部分，进而采取紧急停止方式或者控制探测主体按照目标运动方向运动，以使探测主体远离电梯区域，能够有效避免危险的发生。
80.进而，判断探测主体是否在电梯区域内的方式可以是基于探测主体的震动频率确定，还可以是基于探测主体与电梯位置的距离确定。
81.因此，如，在一种可实现的方式中，判断探测主体是否在电梯区域内，包括：获取探测主体的震动频率，并判断震动频率是否在预设震动频率范围内；若震动频率在预设震动频率范围内，则确定探测主体在电梯区域内。
82.对于本技术实施例，其中，电子设备可以获得陀螺仪采集的探测主体的震动频率；或，通过摄像头画面震动幅度确定探测主体震动频率，具体的，电子设备中预存有震动幅度与震动频率的对应关系，该对应关系为实际测量得到的；或，通过多线激光雷达或者深度摄像头对地面点云斜率变化确定探测主体震动频率，具体的，电子设备中预存有斜率变化与震动频率的对应关系，该对应关系为实际测量得到的。电子设备中预存有预设震动频率范围，当震动频率在预设震动频率范围内时，确定已到达电梯区域。其中，预设震动频率范围的大小可以是用户基于经验设置，还可以是基于实际测量得到的数据。针对实际测量确定数据的过程具体可以包括：将探测主体放置到电梯区域采集实际震动频率，其中，可以通过对电梯区域的多处位置进行多次测量得到多个实际震动频率，根据多个实际震动频率计算出探测主体在电梯区域处最小震动频率以及最大震动频率，将最小震动频率以及最大震动频率结合，则构成了预设震动频率范围；当然还可能存在其他形式，本技术实施例不再进行限定，用户可自定义设置。
83.可见，在本技术实施例中，通过陀螺仪可获得探测主体的震动频率，并判断震动频率是否在预设震动频率范围内，其中，预设震动频率范围为预先存储的，可基于用户经验设置，也可基于实际测量。倘若震动频率在预设震动频率范围内，可以准确地判断出探测主体处于电梯区域内，提高了判断的准确性。
84.再如，在另一种可实现的方式中，通过距离公式将电梯与探测主体的相对位置信息转化为探测主体与电梯之间的距离以及方向，判断探测主体与电梯之间的距离是否小于与方向对应的预设距离，若两者之间的距离小于预设距离，则可确定探测主体已经进入电梯区域，其中，预设距离可设为获得相对位置信息的点到电梯区域边界的最大值，当然也可以设定具体的值，本技术实施例不进行限定。
85.进一步的，为了提高电梯区域识别的准确度，获取待检测图像之后，还包括：对待检测图像进行畸变校正，得到矫正后电梯图像；相应的，利用电梯检测模型对待检测图像进行电梯区域识别，包括：利用电梯检测模型对矫正后电梯图像进行电梯区域识别。
86.本技术实施例在得到待检测图像后，可以对检测图像进行畸变校正，以得到矫正
后电梯图像，具体的畸变校正方式，本技术实施例不再进行限定，用户可根据实际需求设置，只要是能够实现本技术实施例的目的即可。
87.通过采用上述技术方案，本技术先对待检测图像进行畸变校正，以得到校正后电梯图像，进而利用校正后电梯图像进行电梯区域识别，能够避免由于畸变造成的电梯区域识别的误差问题，提高了识别准确度。
88.进一步的，为了提高电梯识别率以及位置的准确性，电梯检测模型的训练过程包括：获取电梯图像训练样本集，其中，电梯图像训练样本集包括多张电梯样本图像以及各自对应的电梯区域标注信息；利用电梯图像训练样本集对卷积神经网络进行训练，得到电梯检测模型。
89.本技术实施例中，可以从网络、本地存储等获取电梯样本图像，电梯样本图像可以是多家商场的图像，在得到电梯样本图像后还可以通过裁剪、仿射变换和整合等方式扩充电梯样本图像，以使得后续基于这些电梯样本图像进行训练得到的模型的准确度更高，召回率更好。具体的标注方式可以是人工标注还可以是自动标注，本技术实施例不再进行限定，用户可根据实际需求标注，电梯样本图像对应的电梯区域标注信息具体可以是标注框的形式，该标注框可以包括以下任意一种：电梯底部、正面、侧面的结构特征信息，具体的，针对电梯底部的结构特征信息进行标注时，可以以电梯两个扶手之间的距离作为标注框的宽，以电梯楼层板到电梯扶手底部作为标注框的高；针对电梯正面的结构特征信息进行标注时，以电梯两个扶手之间的距离作为标注框的宽，以电梯楼层板到电梯扶手顶部作为标注框的高；对于侧面电梯的结构特征信息，以电梯起点处围裙板未形成阶梯部分作为标注框的宽，以地面到电梯扶手顶部作为标注框的高。
90.利用电梯图像训练样本集对卷积神经网络进行训练，得到电梯检测模型，以用于检测电梯区域。具体的，基于多张电梯样本图像通过卷积神经网络得到训练电梯区域信息；针对每一张电梯样本图像，确定训练电梯区域信息以及电梯区域标注信息的相似度；基于多个电梯样本图像的相似度得到损失，将损失反向传播，以对卷积神经网络进行训练；对训练后的卷积神经网络的各损失进行加权求和，以得到总损失，当总损失满足设定损失阈值范围时，确定训练后的卷积神经网络为电梯检测模型。其中，本技术实施例中，卷积神经网络可以为各种卷积网络，例如，resnet网络、yolov5网络。
91.进一步的，本技术实施例中，利用电梯图像训练样本集对卷积神经网络进行训练，得到电梯检测模型，可以包括：利用电梯图像训练样本集对卷积神经网络进行训练，得到第一电梯检测模型；利用测试集对第一电梯检测模型进行测试，以得到测试结果；当测试结果满足预设结果阈值时，则确定第一电梯检测模型为最终的电梯检测模型；当测试结果不满足预设结果阈值时，则利用训练集对第一电梯检测模型进行再训练，以得到第二电梯检测模型，并利用测试集对第二电梯检测模型进行测试，直至得到最终的符合预设结果阈值的电梯检测模型。进一步的，在利用测试集对训练的电梯检测模型进行测试后，可以将测试未通过的测试图像添加至电梯图像训练样本集中，以更新电梯图像训练样本集，能够有效提高训练效果。探测主体调用电梯检测模型时，可以将待检测图像处理得到电梯区域信息。
92.可见，在本技术实施例中，利用电梯图像训练样本集对卷积神经网络进行训练，得到电梯检测模型，提高了电梯识别率，同时也使得获取的电梯位置更加准确。
93.进一步的，为了提高电梯检测模型的识别率，获取电梯图像训练样本集，包括：
获取第一训练集，其中，第一训练集包括多张第一电梯图像训练样本以及各自对应的电梯区域标注信息；对于本技术实施例，对应的电梯区域标注信息为，根据第一电梯图像训练样本中电梯的特点，对电梯底部、正面或者侧面特征进行标注得到的信息。
94.获取第二训练集，其中，第二训练集包括多张第二电梯图像训练样本以及各自对应的电梯区域标注信息，多张第二电梯图像训练样本为对多张第一电梯图像训练样本进行切割和重新组合得到的；对于本技术实施例，对多张第一电梯图像训练样本进行切割和重新组合具体操作为，对多张第一电梯图像训练样本根据不同位置、不同大小进行图片截取，将截取的图像中的任意两个或者多个图像组合拼凑成一张第二电梯图像训练样本，其中，进行拼凑的图片数量以及图片大小占比可根据实际情况自行设定。进而多张第二电梯图像训练样本以及各自对应的标注信息构成了第二训练集。
95.将第一训练集以及第二训练集作为电梯图像训练样本集。
96.可见，在本技术实施例中，通过对多张第一电梯图像训练样本进行切割和重新组合得到第二训练集，第一训练集以及第二训练集均作为电梯图像训练样本集来对卷积神经网络进行训练，使用切割和重新组合的方式丰富了训练集，进而提高了模型训练效果，使得电梯检测模型具有较高的识别率。
97.上述实施例从方法流程的角度介绍一种控制方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种控制装置，具体详见下述实施例。
98.本技术实施例提供一种控制装置200，如图6所示，该控制装置200具体可以包括：一种控制装置200，包括：图像获取模块210，用于获取待检测图像；电梯区域识别模块220，用于利用电梯检测模型对待检测图像进行电梯区域识别，得到识别结果；实际位置信息确定模块230，当所述识别结果包括电梯像素区域信息时，根据电梯像素区域信息，确定电梯实际位置信息；控制模块240，根据电梯实际位置信息确定预警区域，并根据预警区域控制探测主体运动。
99.可见，本技术实施例能够获取待检测图像，利用电梯检测模型可以基于待检测图像进行电梯区域识别，当待检测图像中包括电梯图像时，能够识别到准确的电梯像素区域信息，再根据电梯像素区域信息确定电梯实际位置信息，其中，电梯像素区域信息是通过电梯检测模型得到的准确的数据，因而基于电梯像素区域信息所确定的电梯实际位置信息也是准确的，进而能够基于电梯实际位置信息确定预警区域，并基于预警区域控制探测主体运动，以减少探测主体由于未正确识别手扶电梯而跌落的情况发生。
100.优选的，实际位置信息确定模块230在执行根据电梯像素区域信息，确定电梯实际位置信息时,用于：根据电梯像素区域信息确定电梯像素位置信息；根据电梯像素位置信息利用相机投影关系，确定电梯与探测主体的相对位置信息。
101.优选的，控制模块240在执行根据预警区域控制探测主体运动时，用于：当探测主体在预警区域内时，控制探测主体停止运动，或控制探测主体按照目标运动方向运动，其中，目标运动方向为远离电梯区域的方向。
102.优选的，控制模块240在执行根据预警区域控制探测主体运动时，用于：当探测主体在预警区域内时，判断探测主体是否在电梯区域内；当探测主体在电梯区域内时，控制探测主体停止运动，或控制探测主体按照目标运动方向运动。
103.优选的，控制模块240在执行判断探测主体是否在电梯区域内时，用于：获取探测主体的震动频率，并判断震动频率是否在预设震动频率范围内；当震动频率在预设震动频率范围内时，确定探测主体在电梯区域内。
104.优选的，控制装置200，还包括：畸变校正模块，用于对待检测图像进行畸变校正，得到矫正后电梯图像；相应的，电梯区域识别模块220执行利用电梯检测模型对待检测图像进行电梯区域识别时，用于：利用电梯检测模型对矫正后电梯图像进行电梯区域识别。
105.优选的，控制装置200，还包括：电梯图像训练样本集获取模块，用于获取电梯图像训练样本集，其中，电梯图像训练样本集包括多张电梯样本图像以及各自对应的电梯区域标注信息；训练模块，用于利用电梯图像训练样本集对卷积神经网络进行训练，得到电梯检测模型。
106.优选的，电梯图像训练样本集获取模块在执行获取电梯图像训练样本集时，用于：获取第一训练集，其中，第一训练集包括多张第一电梯图像训练样本以及各自对应的电梯区域标注信息；获取第二训练集，其中，第二训练集包括多张第二电梯图像训练样本以及各自对应的电梯区域标注信息，多张第二电梯图像训练样本为对多张第一电梯图像训练样本进行切割和重新组合得到的；将第一训练集以及第二训练集作为电梯图像训练样本集。
107.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的一种装置200的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
108.本技术实施例中提供了一种电子设备，如图7所示，图7所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本技术实施例的限定。
109.处理器301可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合
等。
110.总线302可包括一通路，在上述组件之间传送信息。总线302可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图*中仅用一条粗线表示，但并不表示仅有一根总线或一型的总线。
111.存储器303可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
112.存储器303用于存储执行本技术方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
113.其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。还可以为服务器等。图7示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
114.本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，本技术实施例利用电梯检测模型可以基于待检测图像进行电梯区域识别，当待检测图像中包括电梯图像时，能够识别到准确的电梯像素区域信息，再根据电梯像素区域信息确定电梯实际位置信息，其中，电梯像素区域信息是通过电梯检测模型得到的准确的数据，因而基于电梯像素区域信息所确定的电梯实际位置信息也是准确的，进而能够基于电梯实际位置信息确定预警区域，并基于预警区域控制探测主体运动，以减少探测主体由于手扶电梯而跌落的情况发生。
115.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
116.以上仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。