基于视觉的障碍物检测方法、装置、移动设备与流程

本发明涉及机器人领域，更具体地说，涉及一种基于视觉的障碍物检测方法、装置、移动设备。

背景技术：

近年来，扫地机作为家用电器在家庭生活中的应用越来越普及，其在日常工作中难免会经常遇到各种各样的障碍物。

传统的扫地机设计主要采用碰撞方式感知障碍物的存在，而这种方式长时间下来不仅会降低扫地机的使用寿命，同时也会影响其工作时路径规划的精度。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供基于视觉的障碍物检测方法、装置、移动设备。

本发明解决其技术问题所采用的技术方案是：构造一种基于视觉的障碍物检测方法，应用于移动设备，所述移动设备包括图像采集装置，所述图像采集装置设置于所述移动设备上，用于采集所述移动设备的行进方向上的实时图像；

所述基于视觉的障碍物检测方法包括以下步骤：

s1、获取所述图像采集装置采集到的所述移动设备行进方向上的当前实时图像；

s2、基于视觉定位与地图构建系统、对所述当前实时图像进行分析处理，获得所述移动设备行进方向上的障碍物信息；所述障碍物信息为移动设备行进方向上的障碍物与所述移动设备的距离信息；

s3、根据所述障碍物信息控制所述移动设备进行避障。

优选地，所述步骤s2包括：

s21、基于预设区域对所述当前实时图像进行剪裁预处理，获得感兴趣区域；

s22、采用预设提取算法对所述感兴趣区域进行提取处理，获取所述感兴趣区域内的障碍物候选区；

s23、根据所述障碍物候选区，确定所述障碍物候选区的候选区信息；所述候选区信息包括所述障碍物候选区的高、宽以及面积。

优选地，所述步骤s22包括：

s221、对所述感兴趣区域进行图像灰度处理，获得所述感兴趣区域内障碍物的灰度图像；

s222、对所述障碍物的灰度图像的轮廓进行处理，得到所述障碍物的轮廓；

s223、对所述障碍物的轮廓进行形态学开闭操作处理，获得所述障碍物轮廓的闭合区域；

s224、对所述闭合区域进行处理，得到所述闭合区域的最小矩形边界，所述最小矩形边界为所述障碍物候选区；

所述步骤s23包括：

s231、根据所述障碍物候选区，计算出所述障碍物候选区的候选区信息。

优选地，所述步骤s2还包括：

s24、判断所述候选区信息是否满足第一预设条件，若是，执行步骤s25，若否，则退出分析处理；

s25、对所述障碍物的轮廓进行分析处理，获得所述障碍物与所述移动设备的距离信息。

优选地，所述步骤s25包括：

s251、对所述障碍物的轮廓进行编码，获得所述障碍物的轮廓的编码信息；

s252、基于所述视觉定位与地图构建系统提供的在当前时刻及其后若干时刻内所述移动设备的位置信息，对所述障碍物的候选区进行像素级别的稠密重建处理，获得所述障碍物的景深图像；

s253、对所述障碍物的景深图像的轮廓进行编码处理，获得所述景深图像的轮廓的编码信息；

s254、计算所述障碍物的轮廓的编码信息与所述景深图像的轮廓的编码信息的相似度值；

s255、判断所述相似度值是否满足第二预设条件，若是，执行步骤s256，若否，退出分析处理；

s256、输出所述障碍物与所述移动设备的距离信息。

优选地，所述相似度值满足第二预设条件为：

所述相似度值大于预设阈值。

优选地，所述步骤s3包括：

s41、对所有所述障碍物信息进行分析处理，获取所述障碍物信息中的距离最小值；

s42、确定与所述距离最小值对应的障碍物；

s43、根据所述与所述距离最小值对应的障碍物的位置信息控制所述移动设备进行避障。

本发明还构造一种基于视觉的障碍物检测装置，应用于移动设备，所述移动设备包括图像采集装置，所述图像采集装置设置于所述移动设备上，用于采集所述移动设备的行进方向上的实时图像；

所述基于视觉的障碍物检测装置包括：

获取单元，用于获取所述图像采集装置采集到的所述移动设备行进方向上的当前实时图像；

分析处理单元，用于基于视觉定位与地图构建系统、对所述当前实时图像进行分析处理，获得所述移动设备行进方向上的障碍物信息；所述障碍物信息为移动设备行进方向上的障碍物与所述移动设备的距离信息；

控制单元，用于根据所述障碍物信息控制所述移动设备进行避障。

本发明还构造一种移动设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上所述方法的步骤。

本发明还构造一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。

实施本发明的基于视觉的障碍物检测方法，具有以下有益效果：本发明可无接触的检测障碍物，避免接触检测，提升移动设备的可靠性及检测精度。而且，本发明基于视觉的障碍物检测方法可以与移动设备的视觉定位与地图构建系统共用一套图像采集装置，无需额外增加其他辅助装置，可以最大限度地缩减移动设备的整体设计成本。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是采用本发明基于视觉的障碍物检测方法进行的障碍物检测时移动设备在地面向前方运动的实时场景图；

图2是本发明基于视觉的障碍物检测方法第一实施例的流程示意图；

图3是本发明基于视觉的障碍物检测方法第二实施例的流程示意图；

图4是本发明障碍物候选区提取方法的流程示意图；

图5是本发明基于视觉的障碍物检测装置的结构示意图；

图6是移动设备的逻辑框图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

为了解决现有的技术问题，本发明构造了一种基于视觉的障碍物检测方法，该方法可以应用于移动设备，其中，移动设备包括但不限于扫地机。

参考图1，图1是采用本发明基于视觉的障碍物检测方法进行的障碍物检测时移动设备在地面向前方运动的实时场景图。

本发明实施例的移动设备以扫地机为例进行说明。

如图1所示，为一扫地机102在地面101向前方102运动的实时场景图。103为安装在扫地机102行进方向的图像采集装置，该图像采集装置可以为单目摄像头。104为放置在地面101上的一个障碍物，该障碍物104此时恰好出现在扫地机102的前方视野区域内，其中，扫地机102的视野区域由单目摄像头103的fov(视场角)确定。单目摄像头103在当前时刻采集的图像形成图像301。进一步地，在图1中，302为剪裁预处理阶段的感兴趣区域(roi，regionofinterest)，401为障碍物投影，303为包括障物投影401的障碍物候选区，304为障碍物候选区的景深图，402为在304内的障碍物投影。

如图2所示，本发明提供了一种基于视觉的障碍物检测方法，该障碍物检测方法可以应用于移动设备，移动设备包括图像采集装置，图像采集装置设置于移动设备上，用于采集移动设备的行进方向上的实时图像。移动设备包括但不限于扫地机(如图1的102)，图像采集装置包括但不限于图1所示的单目摄像头。

第一实施例：

具体的，如图2所示，该实施例的基于视觉的障碍物检测方法包括以下步骤：

步骤s1、获取图像采集装置采集到的移动设备行进方向上的当前实时图像。

以扫地机为例，移动设备的行进方向即为扫地机的移动轨迹，且其设置在扫地机行进方向上的单目摄像头可以实时采集其行进方向上的图像。

其中，移动设备行进方向上的当前实时图像为在移动设备移动过程中，图像采集装置在当前时刻所采集的实时图像。

步骤s2、基于视觉定位与地图构建系统、对当前实时图像进行分析处理，获得移动设备行进方向上的障碍物信息；障碍物信息为移动设备行进方向上的障碍物与移动设备的距离信息。

视觉定位与地图构建系统即为vslam系统，该vslam系统是内置于移动设备中的，利用该vslam系统可以对移动设备进行实时定位及建图，并在移动设备在移动过程中的实时输出移动设备的位置信息。其中，移动设备的位置信息包括但不限于移动设备的坐标信息、角度信息等。

这里需要说明的是，所获得的障碍物信息，即移动设备行进方向上的障碍物与移动设备的距离信息包括多个距离信息。具体如图1所示，图像采集装置在当前时刻所采集的当前实时图像301一般包括多个障碍物(图1只是一个障碍物进行示意)，所以在通过本发明实施例的步骤s2可以获得每一时刻所采集的当前实时图像301内所包含的多个障碍物距离移动设备的距离信息。

步骤s3、根据障碍物信息控制移动设备进行避障。

具体的，在步骤s2中获得移动设备行进方向上的障碍物与移动设备之间的距离信息后，即可根据每一个障碍物与移动设备之间的距离信息调整移动设备的移动路线，避免移动设备与障碍物发生碰撞。

通过实施本发明，利用vslam系统的单目视觉摄像头，即可实时采集移动设备行进方向上的障碍物图像，可实现无接触的感知障碍物，并实时预警障碍物与移动设备的相隔距离。且不需要额外增加其他辅助装置，如压力、微波、红外等传感器，即可实现障碍物的准确判定，可以最大限度地缩减移动设备的整体设计成本，同时还可以提高障碍物检测精度。

第二实施例：

如图3所示，该实施例的基于视觉的障碍物检测方法在实施例一的基础上包括以下步骤：

步骤s21、基于预设区域对当前实时图像进行剪裁预处理，获得感兴趣区域。

其中，预设区域可以根据移动设备自身的条件(如移动设备的宽度)以及与障碍物的距离确定。

通过对当前实时图像进行剪裁预处理，得到感兴趣区域，可以大大减小图像处理数据，提高图像处理速率，降低对硬件设备的能力要求。例如，假设当前实时图像是分辨率为640×480的图像，移动设备的预设区域为100×100(即移动设备只需要确定在其行进方向上大小分辨率为640×480的图像内的障碍物，就可以达到避障需求)，则感兴趣区域的大小即为100×100图像。

s22、采用预设提取算法对感兴趣区域进行提取处理，获取感兴趣区域内的障碍物候选区。

可选的，采用预设提取算法对感兴趣区域进行候选区提取处理可以根据以下步骤进行。

如图4所示，为采用预设提取算法提取障碍物候选区的一个实施例：

步骤s221、对感兴趣区域进行图像灰度处理，获得感兴趣区域内障碍物的灰度图像。

步骤s222、对障碍物的灰度图像的轮廓进行处理，得到障碍物的轮廓。

步骤s223、对障碍物的轮廓进行形态学开闭操作处理，获得障碍物轮廓的闭合区域。

步骤s224、对闭合区域进行处理，得到闭合区域的最小矩形边界，最小矩形边界为障碍物候选区。

步骤s23、根据障碍物候选区，确定障碍物候选区的候选区信息；候选区信息包括障碍物候选区的高、宽以及面积。

可选的，步骤s23包括：

步骤s231、根据障碍物候选区，计算出障碍物候选区的候选区信息。

具体的，计算障碍物候选区的候选区信息即为分别计算出障碍物候选区的高(h)、宽(w)和面积(a)。

步骤s24、判断候选区信息是否满足第一预设条件，若是，执行步骤s25，若否，则退出分析处理。

可选的，第一预设条件为：障碍物候选区的高(h)、宽(w)和面积(a)均大于对应的设定值。设障碍物候选区的高(h)、宽(w)和面积(a)的设定值分别为h0、w0、a0；则障碍物候选区的候选区信息h、w、a满足第一预设条件为：h>h0且w>w0且a>a0。

步骤s25、对障碍物的轮廓进行分析处理，获得障碍物与移动设备的距离信息。

优选地，步骤s25包括：

步骤s251、对障碍物的轮廓进行编码，获得障碍物的轮廓的编码信息。

这里，障碍物的轮廓为障碍物候选区内的障碍物的轮廓。

步骤s252、基于视觉定位与地图构建系统提供的在当前时刻及其后若干时刻内移动设备的位置信息，对障碍物的候选区进行像素级别的稠密重建处理，获得障碍物的景深图像。

步骤s253、对障碍物的景深图像的轮廓进行编码处理，获得景深图像的轮廓的编码信息。

这里，景深图像的轮廓为景深图像内的障碍物的轮廓。

步骤s254、计算障碍物的轮廓的编码信息与景深图像的轮廓的编码信息的相似度值。

步骤s255、判断相似度值是否满足第二预设条件，若是，执行步骤s256，若否，退出分析处理。

可选的，相似度值满足第二预设条件为：相似度值大于预设阈值。

障碍物的轮廓的编码信息以c0表示，景深图像的轮廓的编码信息以c1表示，c0与c1的相似度值以s表示，则在分别获得c0和c1后，先计算c0与c1的相似度值s，然后将相似度值s与预设阈值进行比较，判断s是否大于预设阈值。其中预设阈值可以预先设定。

步骤s256、输出障碍物与移动设备的距离信息。

这里，障碍物与移动设备的距离信息为景深图像内的障碍物的景深均值，其中，该景深均值为该障碍物的每个像素到移动设备的距离均值。

当然，可以理解地，当感兴趣区域内有多个障碍物时，每一个障碍物均可以基于上述方法进行检测，从而获得每一个障碍物与移动设备的距离信息。

进一步地，当感兴趣区域内有多个障碍物，本发明基于视觉的障碍物检测方法还包括以下步骤：

步骤s41、对所有障碍物信息进行分析处理，获取障碍物信息中的距离最小值。

步骤s42、确定与距离最小值对应的障碍物。

步骤s43、根据与距离最小值对应的障碍物的位置信息控制移动设备进行避障。

由于在移动设备的行进方向上，距离最小值所对应的障碍物与移动设备最近，最具有处理的迫切性。所以，当感兴趣区域内有多个障碍物时，需选取距离最小值所对应的障碍物，根据该障碍物调整移动设备的行进路线，避免移动设备与障碍物发生碰撞。

如图5所示，本发明还构造了一种基于视觉的障碍物检测装置，应用于移动设备，移动设备包括图像采集装置，图像采集装置设置于移动设备上，用于采集移动设备的行进方向上的实时图像

该基于视觉的障碍物检测装置包括：

获取单元10，用于获取图像采集装置采集到的移动设备行进方向上的当前实时图像。

分析处理单元20，用于基于视觉定位与地图构建系统、对当前实时图像进行分析处理，获得移动设备行进方向上的障碍物信息；障碍物信息为移动设备行进方向上的障碍物与移动设备的距离信息。

控制单元30，用于根据障碍物信息控制移动设备进行避障。

如图6所示，本发明还构造了一种移动设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上所述方法的步骤。

本发明还构造了一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述方法的步骤。

以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。