一种基于视觉图像和激光雷达的机器人导航避障方法

本发明属于机器人，具体涉及一种基于视觉图像和激光雷达的机器人导航避障方法。

背景技术：

1、随着科学技术的发展、机器人性能和智能性的不断提高，机器人已经广泛应用于生活服务、军事、工业生产和未知领域探索等各种领域。现今应用于机器人的外部环境感知传感器有超声、激光雷达、红外、摄像机等，根据信息的来源可以把环境感知传感器分为主动与被动两种。通过发射测量信号再接受外界环境对信号的反射信号的传感器称为主动传感器，如激光雷达、声呐、红外等；而ccd摄像机和红外摄像机等的工作原理则是通过感受物体对光线的反射或物体自身所发出的信息而得到环境图像信息，这种传感器称为被动传感器。

2、现如今在机器人领域，机器人运动过程中，会遇到障碍物出现在前进路线上或路线附近。在机器人运动过程中要考虑机器人目标点方向、机器人与路径的距离、机器人与障碍物的距离等因素。机器人与障碍物的位置相对移动时，障碍物的位置由于机器人移动而发生变化，机器人行进会受到影响，影响机器人运动流畅性。

技术实现思路

1、本发明的目的在于提供一种基于视觉图像和激光雷达的机器人导航避障方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于视觉图像和激光雷达的机器人导航避障方法，包括：

4、z1：采用激光雷达数据生成机器人附近的图像并获取拍摄的道路视频信息；

5、z2：根据收到的数据进行场景理解，规划从当前位置到达目标点的最优行进路径；

6、z3：机器人根据路线前进，并实时获取道路视频信息和激光雷达的数据，分析道路情况及障碍物信息并进行计算，优化机器人行进速度并确定转向角；

7、z4：机器人根据优化的行进速度和转向角进行移动，重复执行上一步骤，直到机器人移动到目标点。

8、优选的，所述在z2中通过bp神经网络对障碍物距离信息进行融合，所述bp神经网络采用三层前向神经网络结构，神经网络的输入数据d1(左侧)、d2(前方)和d3(右侧)以及障碍物距离d4，输出机器人到所测障碍物的距离dk。

9、优选的，所述设bp神经网络输入向量为pk＝(d1,d2,d3,d4)，目标向量为tk＝(y1)，输入层节点i的输出为yi1，中间层节点j的输出为yj2，输出层节点k的输出为yk3，输入层与中间层间的连接权值为wij，中间层与输出层间的连接权值为wjk，中间层节点的阈值为θj，输出层节点的阈值为θk，选择sigmoid函数作为神经元的转移函数，公式为：误差函数为：

10、

11、优选的，所述在z2中应用超像素分割算法对输入的道路视频图像进行预分割，将分割得到的超像素数目代替图像中的像素点数目，将得到的每个超像素看作是一个整体区域；然后进行超像素类别的二次分类，应用近邻传播聚类算法对得到的超像素反复多次融合成大的图像区域；最后根据相关判断准则，检测出道路区域。

12、优选的，所述近邻传播聚类算法为任意两个样本xi和xk之间建立相似度信息，设n个样本点的相似度信息被存储在n×n的相似度矩阵s中，其中s＝[s(i,k)]n×n，对角线上的元素s(k,k)的值决定了聚类中心，s(k,k)称为偏向参数p，p的值能够控制最终选择的聚类类别数目：p的值越大，聚类类别数目越多；p的值越小，聚类类别数目越小，将p的值设置为s的均值，s中元素s(i,j)的计算公式如下：

13、

14、优选的，所述判断准则如下：1)计算每个图像区域的质心，若某个区域质心纵坐标大于整幅图像高度的一半，则该区域是道路的可能性较大；2)计算每个图像区域的面积，若某个区域面积较大，则该区域是道路的可能性较大。

15、优选的，所述在z3中提取相邻时刻两帧图像的harris角点特征并采用绝对差准则进行特征匹配，计算出运动造成背景图像运动的模型参数，对两帧中的第一帧图像进行补偿，接着对补偿后的图像与第二帧图像使用帧间差分法，得到运动障碍物。

16、优选的，所述harris角点特征提取步骤如下：

17、(1)计算点(x,y)在灰度图像i上沿x、y方向的梯度ix(x,y)和iy(x,y)：

18、

19、其中，表示卷积算子；

20、(2)计算自相关矩阵m：

21、

22、其中，ω表示高斯窗平滑函数，ω＝exp(-(x2+y2)/2δ2)，表示卷积算子。

23、优选的，所述角点特征匹配的基本原理为：以参考帧中检测出的任一角点特征作为几何中心创建矩形图像块，将此作为基准特征窗；在当前帧中以参考帧中的对应角点特征作为几何中心构造一个大于基准特征窗的矩形区域作为搜索区域；在搜索区域内以一定的搜索策略寻找与基准特征窗匹配的区域，则该角点为匹配特征点，选择精度较高的双线性运动模型来对镜头的自运动引起的图像运动进行描述，双线性运动模型的坐标满足下式：

24、

25、优选的，所述在z3中障碍物测距的步骤如下：

26、1)获取机器人采集的前方道路图像；

27、2)对道路区域内的障碍物进行检测，并将识别出的障碍物区域用矩形包围框在图像中框定出来；

28、3)求矩形包围框底边中点在图像像素坐标系下的坐标(uobs,vobs)；

29、4)求图像底边中点在图像像素坐标系下的坐标(ubtm,vbtm)；

30、5)分别将图像像素坐标系下的坐标(uobs,vobs)和(ubtm,vbtm)代入公式求出对应的图像物理坐标系下的坐标(xobs,yobs)和(xbtm,ybtm)；

31、6)分别将图像物理坐标(xobs,yobs)和(xbtm,ybtm)代入公式

32、，求出对应的机器人坐标系下的坐标(xobs,yobs)和(xbtm,ybtm)；

33、7)通过欧式距离公式计算机器人距障碍物的距离d4，公式如下：

34、

35、其中，在5)中(u0,v0)表示像素图像的中心点坐标，t和s分别表示单位像素间距在图像物理坐标系x轴和y轴方向的物理尺寸，s＝w/m,t＝h/l,w和h分别表示图像物理坐标系下的图像宽度和高度的毫米数，m和l分别表示图像像素坐标系下的图像宽度和高度的像素点数；在6)中γ0表示为俯仰角，β0表示为镜头水平市视场角的一半，α0表示为镜头的垂直视场角的一半，h为镜头的高度，点(xp,yp)表示图像物理坐标系的任意一点，点(xp,yp)表示机器人坐标系对应点。

36、优选的，所述在z3中转向角设定包括：左大转、左稍转、直行、右稍转、右大转，所述在z3中根据障碍物的大小、数量来确定行进速度的选取，行进速度设定包括：快速、中速、慢速，速度范围为[0m/s,2m/s]，且障碍物越大(越多)行进速度则越慢。

37、与现有技术相比，本发明的有益效果是：

38、本发明采用激光雷达数据生成机器人附近的图像并获取拍摄的道路视频信息；根据收到的数据进行场景理解，规划从当前位置到达目标点的最优行进路径；机器人根据路线前进，并实时获取道路视频信息和激光雷达的数据，分析道路情况及障碍物信息并进行计算，优化机器人行进速度并确定转向角；机器人根据优化的行进速度和转向角进行移动，重复执行前述步骤，直到机器人移动到目标点，本发明对图像的分析处理更好地保留了道路的实际边缘信息，机器人在移动时实时跟进机器人和障碍物的位置关系，沿道路线路行进，能够快速有效地绕开障碍物以完成导航避障移动。