一种基于法向特征的路面图像分割方法与流程

本发明涉及一种基于法向特征的路面图像分割方法，属于计算机视觉技术的技术领域。

背景技术：

得益于人工智能技术的快速发展，工业时代的伟大发明之一汽车也正在朝着一个新的时代迈进。谷歌，特斯拉，百度等公司都在研发无人驾驶汽车，在未来，自动驾驶汽车的竞争将变得异常激烈。

谷歌无人驾驶汽车通过使用照相机、雷达感应器和激光测距机来判断车辆周围的交通状况，并结合使用gps以及高精度的数字地图来进行导航。尽管美国的机动车辆管理局为谷歌的无人驾驶汽车颁发了合法的车牌并允许其上路，但无人驾驶汽车离普及仍然存在一定距离。不仅仅是因为自动驾驶技术目前还不够完善，容易造成安全事故。同时，还因为整套无人驾驶系统的硬件设备成本太高，不利于向大众推广。基于计算机视觉技术研发的辅助驾驶系统mobileye则无需雷达，激光测距仪等昂贵传感器，依靠车载相机获取的信息进行分析辨别，从而识别出周围的人、交通标志以及其他交通工具等，并预测行驶状况，为驾驶员提供预警，避免危险的发生。基于计算机视觉技术的辅助驾驶方案由于不需要昂贵的传感器设备，所以方案成本低，易于推广普及，对于推动智能交通时代的发展具有积极作用。

本发明基于计算机视觉相关技术中，确定rgb-d帧图像中的道路平面并对道路平面进行分割还存在一定的问题；例如，在相机获取得到的rgb-d帧图像中，路面上的物体其底部如车辆的轮胎，由于自身色彩与路面相似或由于阴影的干扰使得仅仅通过色彩纹理或景深等特征难以将路面和物体做到有效分割。

例如，中国专利公开号102663748a公开了一种基于频域的低景深图像分割方法，利用低景深图像中对焦对象包含的高频分量较多，而模糊区域包含的高频分量较小的特性，基于频域来进行低景深图像分割处理。该图像分割方法可能就无法很好的对道路平面图像进行有效分割。

技术实现要素：

针对现有技术的不足，本发明提供一种基于法向特征的路面图像分割方法。

发明概述：

本发明利用双目相机得到的深度图像结合相机的内参转换为平面法向图。在平面法向图中利用法向特征确定道路平面，完成对道路平面的分割处理，将其标记为可安全行驶的区域，剩余区域标记为防撞区域。

本发明的技术方案为：

一种基于法向特征的路面图像分割方法，包括步骤如下：

1)通过相机获取rgb-d影像，将所述rgb-d影像分解为帧图像，获取相机的内部参数k；

其中，dx和dy分别表示水平方向和垂直方向上一个像素点占据长度单位的个数，u0和v0为帧图像所在平面的中心，γ为以相机光心为原点的相机坐标系内坐标轴的倾斜参数；

2)将二维深度图像id中的像素点由图像坐标系转换为相机坐标系，其中转换关系如公式(1)所示：

其中，x和y为相机坐标系内的坐标，u和v为图像坐标系内的坐标；相机坐标系内坐标z的值由深度图像id中对应坐标的深度值iu,v乘以深度转换率r得到，深度转换率r因相机而定，为已知参数；

3)对予深度图像id中的像素点a，选取其n×n的邻域中的两个像素点b、c，通过相机坐标系的坐标x，y，z确定向量和计算该点的法向向量其中，

4)重复步骤3)遍历选取像素点a所有的邻域像素点，得到像素点a的所有法向向量，取所有法向向量的平均值并进行归一化处理，得到像素点a最终的法向向量，并将像素点a最终的法向向量的x，y，z坐标值作为色彩图像中rgb通道的像素值以保存为图片；遍历处理深度图像id中的每一个像素点得到最终的平面法向图if；取所有法向的平均值进行平滑并归一化处理，避免了噪声的干扰导致计算得到的法向向量不准确。

5)将平面法向图if中每个像素点依据色彩的相似性进行聚类分割，形成分割区域，计算每个分割区域的平均法向向量，将区域面积最大且法向向量方向与场景中重力的反方向成锐角的分割区域确定为道路路面，提取道路路面图像，得到最终的道路路面提取结果；

6)将道路路面设为可安全行驶的区域，剩余区域设为避免碰撞区域。

根据本发明优选的，γ＝0。

根据本发明优选的，所述步骤1)中的相机为车载双目相机。同双目相机能同时获取彩色图像和二维深度图像。

根据本发明优选的，相机的内部参数k通过相机标定获取。

根据本发明优选的，所述步骤5)中，提取道路路面图像后，还包括对道路路面图像进行形态学闭操作处理的步骤。形态学闭操作处理用于去除噪声干扰。

根据本发明优选的，所述步骤5)中，依据色彩的相似性进行聚类分割形成分割区域，通过mean-shift聚类分割算法实现。

本发明的有益效果为：

1.本发明所述基于法向特征的路面图像分割方法，利用法向向量的方向在帧图像中边界区域发生较大改变，区分路面与物体，确定道路平面，完成对路面的分割；分割结果可以作为辅助驾驶系统的输入，避免在行驶过程中与道路上的物体发生碰撞，同时规划安全行驶路径；

2.本发明所述基于法向特征的路面图像分割方法，不仅限于应用在道路场景中，还可用于舞台场景，通过选定舞台作为感兴趣区域去除周边干扰，在感兴趣区域中确定舞台地面和背面等平面，即可完成对舞台场景上的物体分割；应用广泛。

附图说明

图1为本发明所述基于法向特征的路面图像分割方法的方法流程图；

图2为直道加阴影实验环境下的色彩输入图像；

图3为直道加阴影实验环境下的深度输入图像；

图4为直道加阴影实验环境下生成的平面法向图；

图5为直道加阴影实验环境下得到的分割效果示意图；

图6为直道加阴影加左侧和前方有车实验环境下的色彩输入图像；

图7为直道加阴影加左侧和前方有车实验环境下的深度输入图像；

图8为直道加阴影加左侧和前方有车实验环境下的法向图像；

图9为直道加阴影加左侧和前方有车实验环境下的分割效果示意图；

图10为直道加阴影加两侧有车实验环境下的色彩输入图像；

图11为直道加阴影加两侧有车实验环境下的深度输入图像；

图12为直道加阴影加两侧有车实验环境下生成的法向图像；

图13为直道加阴影加两侧有车实验环境下的分割效果示意图；

图14为弯道加阴影实验环境下的色彩输入图像；

图15为弯道加阴影实验环境下的深度输入图像；

图16为弯道加阴影实验环境下生成的法向图像；

图17为弯道加阴影实验环境下的分割效果示意图；

图18为十字路口实验环境下的色彩输入图像；

图19为十字路口实验环境下的深度输入图像；

图20为十字路口实验环境下生成的法向图像；

图21为十字路口实验环境下的分割效果示意图。

具体实施方式

下面结合实施例和说明书附图对本发明做进一步说明，但不限于此。

实施例1

一种基于法向特征的路面图像分割方法，对直道加阴影实验环境下的图像进行分割，包括步骤如下：

1)通过相机获取rgb-d影像，将所述rgb-d影像分解为帧图像，获取相机的内部参数k；

其中，dx和dy分别表示水平方向和垂直方向上一个像素点占据长度单位的个数，u0和v0为帧图像所在平面的中心，γ为以相机光心为原点的相机坐标系内坐标轴的倾斜参数；

2)将二维深度图像id中的像素点由图像坐标系转换为相机坐标系，其中转换关系如公式(1)所示：

其中，x和y为相机坐标系内的坐标，u和v为图像坐标系内的坐标；相机坐标系内坐标z的值由深度图像id中对应坐标的深度值iu,v乘以深度转换率r得到，深度转换率r因相机而定，为已知参数；

3)对予深度图像id中的像素点a，选取其n×n的邻域中的两个像素点b、c，通过相机坐标系的坐标x，y，z确定向量和计算该点的法向向量其中，

4)重复步骤3)遍历选取像素点a所有的邻域像素点，得到像素点a的所有法向向量，取所有法向向量的平均值并进行归一化处理，得到像素点a最终的法向向量，并将像素点a最终的法向向量的x，y，z坐标值作为色彩图像中rgb通道的像素值以保存为图片；遍历处理深度图像id中的每一个像素点得到最终的平面法向图if；取所有法向的平均值进行平滑并归一化处理，避免了噪声的干扰导致计算得到的法向向量不准确。

5)将平面法向图if中每个像素点依据色彩的相似性进行聚类分割，形成分割区域，计算每个分割区域的平均法向向量，将区域面积最大且法向向量方向与场景中重力的反方向成锐角的分割区域确定为道路路面，提取道路路面图像，得到最终的道路路面提取结果；

6)将道路路面设为可安全行驶的区域，剩余区域设为避免碰撞区域。

如图1-4所示，基于法向特征的路面图像分割方法，针对直道加阴影实验环境的图像进行分割，清楚、准确的分割出了安全行驶区域和防撞区域。

实施例2

如实施例1所述的基于法向特征的路面图像分割方法，所不同的是，对直道加阴影加左侧和前方有车实验环境下的图像进行分割；γ＝0。

如图5-8所示，基于法向特征的路面图像分割方法，针对直道加阴影加左侧和前方有车实验环境下的图像，清楚、准确的分割出了安全行驶区域和防撞区域。

实施例3

如实施例1所述的基于法向特征的路面图像分割方法，所不同的是，对直道加阴影加两侧有车实验环境下的图像进行分割；所述步骤1)中的相机为车载双目相机。同双目相机能同时获取彩色图像和二维深度图像。

如图9-12所示，基于法向特征的路面图像分割方法，针对直道加阴影加两侧有车实验环境下的图像进行分割，清楚、准确的分割出了安全行驶区域和防撞区域。

实施例4

如实施例1所述的基于法向特征的路面图像分割方法，所不同的是，对弯道加阴影实验环境下的图像进行分割；相机的内部参数k通过相机标定获取。

如图12-16所示，基于法向特征的路面图像分割方法，针对弯道加阴影实验环境下的图像进行分割，清楚、准确的分割出了安全行驶区域和防撞区域。

实施例5

如实施例1所述的基于法向特征的路面图像分割方法，所不同的是，对十字路口实验环境下的图像进行分割，所述步骤5)中，提取道路路面图像后，还包括对道路路面图像进行形态学闭操作处理的步骤。形态学闭操作处理用于去除噪声干扰。

如图16-20所示，基于法向特征的路面图像分割方法，针对十字路口实验环境下的图像进行分割，清楚、准确的分割出了安全行驶区域和防撞区域。

实施例6

如实施例1所述的基于法向特征的路面图像分割方法，所不同的是，所述步骤5)中，依据色彩的相似性进行聚类分割形成分割区域，通过mean-shift聚类分割算法实现。