一种移动机器人的视觉避障方法与流程

本发明涉及图像识别和自动控制的技术领域，具体涉及一种移动机器人的视觉避障方法。

背景技术：

随着科学技术的发展，机器人的应用范围越来越广泛，具体如商场、超市、餐厅、街道等。面对复杂多变的路面情况和不定向移动的人流，机器人需要不停的对周围进行环境进行感知，避免移动过程中与人或障碍物发生碰撞。

目前，移动机器人上会普遍安装激光雷达、超声波等传感器以实现对障碍物的检测，从而进行避障。然而，单线激光雷达无法还原立体信息，多线激光价格又非常昂贵，超声波更是无法探测障碍物体的大小。

相对于激光雷达、超声波等传感器的避障方法，采用视觉技术可以实时得到整个视野平面的深度或者点云信息。由于视觉技术可以对整个视野内的障碍物进行检测，所以，视觉技术可以更为精确地对障碍物进行避障处理。同时由于相机的价格又非常低廉，因此，视觉避障技术得到了广泛的应用。目前，移动机器人普遍采用双目相机、rgbd相机和tof相机来进行视觉避障。双目相机相对rgbd相机和tof相机具有视野大，抗光照效果好的特点，这使得双目相机在移动机器人的避障功能上应用最为广泛。但是，目前采用双目避障的移动机器人的避障方式仅仅停留在对障碍物宽度的避障而忽略了对空间障碍物的避障。

因此，针对现有的采用双目避障的移动机器人未考虑空间障碍物避障的问题，需要提供一种不仅能够对障碍物宽度进行判断，更可以结合移动机器自身的高度而对移动机器人前进方向的空间障碍物进行检测的移动机器人的视觉避障方法。

技术实现要素：

针对现有的采用双目避障的移动机器人未考虑空间障碍物避障的问题，本发明实施例提出一种移动机器人的视觉避障方法。该视觉避障方法不仅能对障碍物宽度进行判断，更可以结合移动机器自身的高度而对移动机器人前进方向的空间障碍物进行检测，从而进行更为精准的避障。

该移动机器人的视觉避障方法的具体方案如下：一种移动机器人的视觉避障方法，包括步骤s1：利用双目摄像机获取三维深度图像；步骤s2：结合所述移动机器人的高度及所述双目摄像头的安装位置，裁剪所述三维深度图像，得到与所述移动机器人高度重合的图像区域；步骤s3：设定拟合间距，按所述拟合间距间隔地抽取所述图像区域而获得行图像，并将所述行图像按顺序合并成一幅新的深度图像；步骤s4：根据所述新的深度图像，拟合出障碍物的二维轮廓线；步骤s5：解析所述障碍物的二维轮廓线，并根据解析的结果执行相应的避障行为。

优选地，所述双目摄像头的视野方向为所述移动机器人的前进方向。

优选地，裁剪掉所述三维图像中高于所述移动机器人的成像区域和对应的双目摄像机对地面的成像区域。

优选地，所述拟合间距的范围为0到100。

优选地，所述步骤s4具体包括：步骤s41：提取所述新的深度图像的每一列深度值的最小值；步骤s42：将所有列的最小值按顺序合成一条单线深度数据；步骤s43：利用相机标定原理将所述单线深度数据转换至世界坐标系中，得到障碍物的二维轮廓线。

优选地，步骤s43具体的计算过程为：

其中，所述新的深度图像的每一列深度值的最小值为zmin，单线深度数据集为zmin(n)，并对应写进拟合出的图像坐标系值(u，0)，(xw，yw，zw)为图像坐标系值(u，0)对应的世界坐标系的坐标值；

在世界坐标系和相机坐标系的原点是重合的条件下，得到：

zc＝zw

在上述条件下，公式1可以变换成公式2，

优选地，所述步骤s5具体包括：判断是否存在障碍物，若存在障碍物，则进行避障判断；优先判断是否存在两个或者多个障碍物，若存在两个或者多个障碍物，则判断移动机器人能否穿过所述两个或者多个障碍物之间的缝隙；若只存在一个障碍物或者移动机器人无法穿过所述两个或者多个障碍物之间的缝隙，则将拟合的障碍物轮廓均分成左右两段，分别对左右两段的深度值进行求和计算；若左段的求和结果大于右段的求和结果，则移动机器人向左侧旋转进行避障；若右段的求和结果大于左段的求和结果，则移动机器人向右侧旋转进行避障。

优选地，判断移动机器人能否穿过所述两个或者多个障碍物之间的缝隙的具体方法为：如果存在两个相同深度值点时，判断所述两点之间是否有深度值大于这两点深度值的点存在，如果没有则计算所述两点世界坐标系下的距离，结合移动机器人的宽度来判断移动机器人是否可以通过。

优选地，判断是否存在障碍物的方法为：设定躲避距离，若拟合的二维轮廓线中zw值小于所述躲避距离，则判断存在障碍物；否则，判断不存在障碍物。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供一种移动机器人的视觉避障方法，该方法结合移动机器人高度信息对所获得的三维深度图像进行裁剪，不仅可以对障碍物的宽度进行判断，更可以结合机器人高度对移动机器人前进方向的空间障碍物进行检测，从而进行更为精准的避障。进一步地，本发明实施例所提供的一种移动机器人的视觉避障方法还具有避障物还原精度的调节功能，可以根据实际场景需要来控制避障物还原精度优先还是避障物还原速度优先。

附图说明

图1为本发明实施例中提供的一种移动机器人视觉避障方法的流程示意图；

图2为图1所示实施例中步骤四的流程示意图；

图3为图1所示实施例视觉避障方法的流程的另一种简单示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种移动机器人的视觉避障方法。如图1所示，该移动机器人的视觉避障方法，包括5个步骤，具体阐述如下。

步骤s1：利用双目摄像机获取三维深度图像。在该实施例中，双目摄像机的安装位置使得双目摄像头的视野方向为移动机器人的前进方向。

步骤s2：结合所述移动机器人的高度及所述双目摄像头的安装位置，裁剪所述三维深度图像，得到与所述移动机器人高度重合的图像区域。结合移动机器人的高度和双目摄像机安装的位置来裁剪获取到的深度图，得到与移动机器人的高度重合的图像区域。在该实施例中，将双目摄像机安装在移动机器人高度的中间位置，分别裁剪掉高于移动机器人的成像区域和对应的双目摄像机对地面的成像区域，从而避免对高于移动机器人区域的浪费计算和地面成像的干扰。

步骤s3：设定拟合间距，按所述拟合间距间隔地抽取所述图像区域而获得行图像，并将所述行图像按顺序合并成一幅新的深度图像。在本文中拟合间距用δ进行表示，拟合间距δ的取值范围0为100。如果δ的值设定的越小，则参与拟合的深度图行数就越多，避障物还原的精度也就越高，拟合需要的时间就越长；δ的值设定的越大，则参与拟合的深度图行数就越少，避障物还原的精度也就越低，拟合需要的时间就越短。在实际实施过程中，根据实际场景需要来选取合适的拟合间距δ值，来控制避障物还原精度优先，还是避障物还原速度优先。在该实施例中，为了要保证障碍物的还原精度，不遗漏任何障碍物信息，δ值取0，即裁剪完的深度图全部行数据均参与拟合计算。

步骤s4：根据所述新的深度图像，拟合出障碍物的二维轮廓线。如图2所示，步骤s4具体包括三个步骤：

步骤s41：提取所述新的深度图像的每一列深度值的最小值。

步骤s42：将所有列的最小值按顺序合成一条单线深度数据。

上述步骤s41和s42具体的计算过程为：提取每列深度值的最小值zmin，得到单线深度数据集zmin(n)，并对应写进拟合出的图像坐标系值(u，0)中。

步骤s43：利用相机标定原理将所述单线深度数据转换至世界坐标系中，得到障碍物的二维轮廓线。

计算出图像坐标系值(u，0)对应的世界坐标系的坐标值(xw，yw，zw)，具体的转换计算公式如公式1所示：

优选地，步骤s43具体的计算过程为：

在该实施例中，设定世界坐标系和相机坐标系的原点是重合的，没有旋转和平移，所以：

且相机坐标系和世界坐标系的原点重合时，同一物体具有相同的景深，因此，zc＝zw。

在上述条件下，公式1可以变换成公式2，

因此，可以拟合出图像坐标系值(u，0)对应的世界坐标系的坐标值(xw，yw，zw)在平面xoz的二维曲线，即为障碍物的二维轮廓线。

步骤s5：解析所述障碍物的二维轮廓线，并根据解析的结果执行相应的避障行为。解析的具体过程为：

判断是否存在障碍物，若存在障碍物，则进行避障判断。判断是否存在障碍物的方法为：设定躲避距离，若拟合的二维轮廓线中zw值小于所述躲避距离，则判断存在障碍物；否则，判断不存在障碍物。

优先判断是否存在两个或者多个障碍物，若存在两个或者多个障碍物，则判断移动机器人能否穿过所述两个或者多个障碍物之间的缝隙。判断移动机器人能否穿过所述两个或者多个障碍物之间的缝隙的具体方法为：如果存在两个相同深度值点时，判断所述两点之间是否有深度值大于这两点深度值的点存在，如果没有则计算所述两点世界坐标系下的距离，结合移动机器人的宽度来判断移动机器人是否可以通过。

若只存在一个障碍物或者移动机器人无法穿过所述两个或者多个障碍物之间的缝隙，则将拟合的障碍物轮廓均分成左右两段，分别对左右两段的深度值进行求和计算；若左段的求和结果大于右段的求和结果，则移动机器人向左侧旋转进行避障；若右段的求和结果大于左段的求和结果，则移动机器人向右侧旋转进行避障。

上述过程数字化过程描述，如下所述：

设定移动机器人需要躲避距离为distance的障碍物，如果拟合的二维轮廓线中有的值zw小于distance的情况即判断有障碍物的存在。在该实施例中，distance取值为0.5米，即移动机器人对距离自身小于等于0.5米的障碍物进行避障。

如果存在具有相同zw值的两点，且两点之间其他点的zw均大于这两点的zw值时，则计算这两点之间的距离d＝|xw2-xw1|，再对比移动机器人自身宽度width，如果d＞width，则移动机器人可以通过两个障碍物之间的缝隙区域；如果d＜width，则移动机器人无法通过两个障碍物之间的缝隙区域，则需要参考只存在一个障碍物或者移动机器人无法穿过所述两个或者多个障碍物之间的缝隙的避障方法进行避障。

当存在一个较大障碍物或移动机器人无法穿过障碍物之间的缝隙时，将拟合的障碍物轮廓线均分为左右两段，分别对左右两段的zw值进行求和计算。如果左侧求和结果zwl大于右侧求和结果zwr，则移动机器人向左侧旋转进行避障；如果左侧求和结果zwl小于右侧求和结果zwr，则移动机器人向右侧旋转进行避障。当移动机器人进行旋转避障时，不再进行左右zw值的大小判断，直到移动机器人可以通过为止。

本发明实施例提供移动机器人的视觉避障方法结合移动机器人高度信息对所获得的三维深度图像进行裁剪，不仅可以对障碍物的宽度进行判断，更可以结合机器人高度对移动机器人前进方向的空间障碍物进行检测，从而进行更为精准的避障。

本发明实施例所提供的一种移动机器人的视觉避障方法通过调整拟合间距的具体值的大小，还具有避障物还原精度的调节功能，可以根据实际场景需要来控制避障物还原精度优先还是避障物还原速度优先。

如图3所示，为图1实施例中所示视觉避障方法流程的简单描述示意图。在图3中，将步骤s5的判断过程也进行了简单流程步骤显示。由于图3所述的步骤流程与图1所示的步骤流程实质内容一致，只是表现形式不同，因此，此处不再对图3进行赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。