电动扶梯检测方法、装置、设备及计算机可读存储介质与流程

本发明涉及机器人，尤其涉及一种电动扶梯检测方法、装置、设备及计算机可读存储介质。

背景技术：

1、随着科技的飞速发展和人工智能技术的逐渐成熟，机器人逐渐成为日常生产生活中的重要角色。在商场、酒店等服务场所中，为了提供更高效的服务，通常会使用机器人执行一些简单任务，例如，迎宾、导航客人、送餐等任务。在此类服务场所中，通常会设置电动扶梯提供人们使用，由于电动扶梯的水平梯级与地平面几乎处于同一平面，在机器人进行障碍物识别过程中，机器人容易将电动扶梯的水平梯级误识别为地平面，从而将电动扶梯的水平梯级识别成正常可通行区域，导致机器人踏上电动扶梯从而发生跌落事故，严重影响机器人运行过程中的安全性和可靠性。

技术实现思路

1、本发明的主要目的在于提供一种电动扶梯检测方法、装置、设备及计算机可读存储介质，旨在提供一种检测电动扶梯的水平梯级的方法，从而提高机器人运行过程中的安全性和可靠性。

2、为实现上述目的，本发明提供一种电动扶梯检测方法，所述电动扶梯检测方法包括以下步骤：

3、基于机器人获取的实际深度图，确定地面区域在实际彩色图中的地面区域信息，其中，所述实际彩色图为所述实际深度图对应的彩色图；

4、基于所述实际彩色图和所述地面区域信息，生成所述地面区域对应的地面区域光流场；

5、从所述地面区域光流场的各个光流点中，确定方向相同、速度一致且速度大于预设速度阈值的有效光流点，并将所述地面区域中所述有效光流点对应的区域确定为电动扶梯的水平梯级。

6、可选地，所述基于机器人获取的实际深度图，确定地面区域在实际彩色图中的地面区域信息的步骤，包括：

7、基于机器人的深度相机的相机内参和相机外参，确定完全地平面的虚拟地平面深度图；

8、对所述虚拟地平面深度图与所述实际深度图作差，以得到差分深度图；

9、对所述差分深度图进行二值化，对二值化后的差分深度图生成图像掩码，并基于所述图像掩码确定所述地面区域在实际彩色图像中的地面区域信息。

10、可选地，所述基于所述实际彩色图和所述地面区域信息，生成所述地面区域对应的地面区域光流场的步骤，包括：

11、根据所述实际彩色图和所述实际彩色图的上一帧彩色图，生成所述实际彩色图对应的图像光流场；

12、将所述图像光流场中与所述地面区域信息匹配的区域，确定为所述地面区域对应的地面区域光流场。

13、可选地，所述从所述地面区域光流场的各个光流点中，确定方向相同、速度一致且速度大于预设速度阈值的有效光流点的步骤之前，还包括：

14、基于所述机器人的里程计信息、所述机器人的相机内参和相机外参，确定完全地平面在当前时刻的虚拟地平面光流场，其中，所述当前时刻为所述机器人获取所述实际深度图的时刻；

15、对所述虚拟地平面光流场和所述地面区域光流场作差得到实际光流场；

16、所述从所述地面区域光流场的各个光流点中，确定方向相同、速度一致且速度大于预设速度阈值的有效光流点的步骤，包括：

17、从所述实际光流场的各个光流点中，确定方向相同、速度一致且速度大于预设速度阈值的有效光流点。

18、可选地，所述基于所述实际彩色图和所述地面区域信息，生成所述地面区域对应的地面区域光流场的步骤之前，还包括：

19、根据所述地面区域信息确定所述地面区域在所述实际彩色图中的区域占比；

20、若所述区域占比大于预设比值，则执行所述基于所述实际彩色图和所述地面区域信息，生成所述地面区域对应的地面区域光流场的步骤。

21、可选地，所述根据所述地面区域信息确定所述地面区域在所述实际彩色图中的区域占比的步骤，包括：

22、基于所述地面区域信息，确定所述地面区域对应在所述实际彩色图中的地面区域像素数量；

23、计算所述地面区域像素数量占所述实际彩色图的像素总数量的比值，以得到所述地面区域在所述实际彩色图中的区域占比。

24、可选地，所述将所述地面区域中与所述有效光流点对应的区域确定为电动扶梯的水平梯级的步骤之后，还包括：

25、确定所述有效光流点的中心光流点，并获取所述中心光流点的光流点深度信息；

26、根据所述机器人的相机内参和所述深度信息，确定所述中心光流点在相机坐标下的第一坐标；

27、根据所述机器人的相机外参，对所述第一坐标进行坐标转换得到所述中心光流点在机器人坐标系下的第二坐标；

28、基于所述第二坐标确定所述水平梯级的梯级深度信息，并基于所述梯级深度信息确定所述机器人相对于所述水平梯级的位置信息，以基于所述位置信息进行机器人避障。

29、为实现上述目的，本发明还提供一种电动扶梯检测装置，所述电动扶梯检测装置包括：

30、第一确定模块，用于基于机器人获取的实际深度图，确定地面区域在实际彩色图中的地面区域信息，其中，所述实际彩色图为所述实际深度图对应的彩色图；

31、第二确定模块，用于基于所述实际彩色图和所述地面区域信息，生成所述地面区域对应的地面区域光流场；

32、第三确定模块，用于从所述地面区域光流场的各个光流点中，确定方向相同、速度一致且速度大于预设速度阈值的有效光流点，并将所述地面区域中所述有效光流点对应的区域确定为电动扶梯的水平梯级。

33、为实现上述目的，本发明还提供一种电动扶梯检测设备，所述电动扶梯检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的电动扶梯检测程序，所述电动扶梯检测程序被所述处理器执行时实现如上所述的电动扶梯检测方法的步骤。

34、此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有电动扶梯检测程序，所述电动扶梯检测程序被处理器执行时实现如上所述的电动扶梯检测方法的步骤。

35、本发明中，通过基于机器人获取的实际深度图，确定地面区域在实际彩色图中的地面区域信息，其中，所述实际彩色图为所述实际深度图对应的彩色图；基于所述实际彩色图和所述地面区域信息，生成所述地面区域对应的地面区域光流场；从所述地面区域光流场的各个光流点中，确定方向相同、速度一致且速度大于预设速度阈值的有效光流点，并将所述地面区域中所述有效光流点对应的区域确定为电动扶梯的水平梯级。

36、电动扶梯的水平梯级与地平面在连续帧图像之间的运动速度和运动方向不同，因此，水平梯级和地平面对应在连续帧图像形成的光流场不同，本发明基于水平梯级的光流场和地平面的光流场之间的差异，从地面区域对应的光流场中确定水平梯级对应的区域，从而实现准确识别电动扶梯的水平梯级，使得机器人可以基于识别得到的水平梯级进行避障，从而提高机器人在运行过程中的安全性和可靠性。

技术特征：

1.一种电动扶梯检测方法，其特征在于，所述电动扶梯检测方法包括以下步骤：

2.如权利要求1所述的电动扶梯检测方法，其特征在于，所述基于机器人获取的实际深度图，确定地面区域在实际彩色图中的地面区域信息的步骤，包括：

3.如权利要求1所述的电动扶梯检测方法，其特征在于，所述基于所述实际彩色图和所述地面区域信息，生成所述地面区域对应的地面区域光流场的步骤，包括：

4.如权利要求1所述的电动扶梯检测方法，其特征在于，所述从所述地面区域光流场的各个光流点中，确定方向相同、速度一致且速度大于预设速度阈值的有效光流点的步骤之前，还包括：

5.如权利要求1所述的电动扶梯检测方法，其特征在于，所述基于所述实际彩色图和所述地面区域信息，生成所述地面区域对应的地面区域光流场的步骤之前，还包括：

6.如权利要求5所述的电动扶梯检测方法，其特征在于，所述根据所述地面区域信息确定所述地面区域在所述实际彩色图中的区域占比的步骤，包括：

7.如权利要求1至6中任一项所述的电动扶梯检测方法，其特征在于，所述将所述地面区域中与所述有效光流点对应的区域确定为电动扶梯的水平梯级的步骤之后，还包括：

8.一种电动扶梯检测装置，其特征在于，所述电动扶梯检测装置包括：

9.一种电动扶梯检测设备，其特征在于，所述电动扶梯检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的电动扶梯检测程序，所述电动扶梯检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的电动扶梯检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有电动扶梯检测程序，所述电动扶梯检测程序被处理器执行时实现如权利要求1至7中任一项所述的电动扶梯检测方法的步骤。

技术总结
本发明涉及机器人技术领域，尤其涉及一种电动扶梯检测方法、装置、设备及计算机可读存储介质，方法包括：基于机器人获取的实际深度图，确定地面区域在实际彩色图中的地面区域信息，其中，实际彩色图为实际深度图对应的彩色图；基于实际彩色图和地面区域信息，生成地面区域对应的地面区域光流场；从地面区域光流场的各个光流点中，确定方向相同、速度一致且速度大于预设速度阈值的有效光流点，并将地面区域中有效光流点对应的区域确定为电动扶梯的水平梯级。本发明实现了准确识别电动扶梯的水平梯级，使得机器人可以基于识别得到的水平梯级进行避障，从而提高机器人在运行过程中的安全性和可靠性。

技术研发人员：卢鹰,余林波
受保护的技术使用者：深圳优地科技有限公司
技术研发日：
技术公布日：2024/2/8