基于FPGA的4K高清图像实时路面分割方法与流程

本发明涉及自动驾驶的技术领域，更具体地，涉及基于fpga的4k高清图像实时路面分割方法。

背景技术：

路面检测是自动驾驶或高级驾驶辅助系统的重要部分。路面检测的主要任务是从安装在车辆上的摄像机捕获的图像中检测道路区域。虽然许多基于特征的方法已经投入到这个领域，但大多数检测方法仍然受到阴影和光照的干扰。去除图像阴影部分的算法都比较耗时，前人提出的算法都很难在准确率和处理时间取得平衡。

近几十年来已经提出了许多方法，包括基于单目视觉的方法，基于立体视觉的方法和基于3dlidar点云的方法。

单目道路检测随着深度学习和公开道路注释图像数据集的发展，计算机视觉领域的进展已经明确了视觉感知将在自动驾驶汽车的发展中发挥关键作用。一种典型的方法是通过使用标记数据集来训练cnn来执行道路检测。尽管这种数据驱动方法在道路检测中表现良好，但是将这些方法应用于新场景是很困难的，因为它们需要相当多的人力来产生新的训练注释。并且深度神经网络对于安装在车辆上的移动设备来说仍然是耗时且耗能的。

其他传统的单目视觉道路检测技术可分为两大类：基于特征的方法，它使用局部特征，如梯度，颜色和方向；和基于模型的方法，它利用全局道路模型来适应局部特征，因此对道路形状比较敏感。尽管已经引入了一些无阴影特征提取器，仍然受到光源条件的影响。

具有深度信息的道路检测为了有效地处理光源变化和阴影，一些研究利用了3d场景信息，包括立体视觉和3dlidar点云。然而，高精度立体图像需要大量计算并且是耗时的。目前，3dlidar仍然很昂贵，远非商业用途。

深度神经网络模型，如cnn，由于是数据驱动的，不能很好地适应新环境，因为它们需要大量的人力来产生新的训练注释，并且深度神经网络对于安装在车辆上的移动设备来说仍然是耗时且耗能的。基于视觉的路面检测方法，其准确度很容易受到光线，阴影等的影响。基于3dlidar点云的路面分割方法可以避免图像存在的一些问题，但是3d点云数据量比较大，需要较大的存储空间，而且激光雷达，3dlidar仍然很昂贵，还不能广泛应用。

技术实现要素：

本发明为克服上述现有技术所述的至少一种缺陷，提供基于fpga的4k高清图像实时路面分割方法，是一种新颖的，实时的，具有光照鲁棒性的，基于rgb-thermal特征的道路检测方法。thermal特征用于使用道路的消失点找到感兴趣的感兴趣区域(roi)，计算出路面区域掩膜(路面区域粗提取)。然后融合rgb特征对粗提取的路面区域进行细分割。我们的rgb-thermal数据集的实验表明，我们所提出的方法可以在低成本嵌入式设备上准确有效地检测路面，准确度达到了92.01％。

本发明的技术方案是：基于fpga的4k高清图像实时路面分割方法，其中，包括以下步骤：

s1.检测thermal特征；

s2.路面粗提取；

s3.路面区域提纯；

s4.结果分析。

所述的步骤s2中，路面粗提取分两步执行：自适应感兴趣区域和道路区域遮蔽。

所述的自适应感兴趣区域通过道路消失点的行号获取。所述的道路区域遮蔽在自适应roi内计算自适应阈值后计算获得。

与现有技术相比，有益效果是：本发明可以在保证实时性的同时获得较高的准确率。thermal特征用于使用道路的消失点找到感兴趣的感兴趣区域(roi)，计算出路面区域掩膜(路面区域粗提取)。然后融合rgb特征对粗提取的路面区域进行细分割。我们的rgb-thermal数据集的实验表明，我们所提出的方法可以在低成本嵌入式设备上准确有效地检测路面，准确度达到了92.01％。

附图说明

图1是本发明算法概览图。

图2是本发明夏季路面温度图。

图3是本发明道路上常见物质的比热容图。

图4是本发明彩虹调色板中的热图像和对应的rgb通道图。

图5是本发明行号与行向量的和的分布，以及在rgb图像中标示消失点的行图。

图6是本发明结果展示图。

图7是本发明硬件配置图。

图8是本发明所提出的方法在不同分辨率下的准确率(da：检测准确率，dr：检测召回率)和帧率。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

一种基于rgb_thermal特征的，对光线具有鲁棒性的，实时的路面检测方法，如图1所示。

thermal特征：

由于均质表面具有相同的热力学特征，道路区域的温度几乎相同，而非道路区域则处于其他温度。在夜间，道路和非区域的热图像依然特征显着。沥青路面的温度分布如图2所示。沥青路面温度高于非道路区域，如图2所示。沥青的比热容高于砖，因此沥青路面的温度变化稳定。自动缩放模式图像中的道路区域始终为红色。因此自动缩放模式可以用于道路检测。因此，也可以在夜间借助热图像进行道路检测。

图2中，时间分布。5点40分日出。12:30下雨，转为多云。

路面粗提取：

路面粗提取分两步执行：自适应感兴趣区域和道路区域遮蔽。自适应感兴趣区域(roi)通过道路消失点的行号获取。此专利热图像的调色板为彩虹，因此高温区域显示为红色，低温区域显示为蓝色。图4显示了灰度级热图像的rgb通道。可以看出，在r通道中我们可以轻松地检测出道路区域二在g和b通道中，有热图像的更多细节。假设道路从底部开始，末端从顶部开始，这是自动驾驶图像系统的常见场景。道路区域的温度最高，使用g和b通道检测道路与其他区域之间的边界线。此专利中，通过使用g通道的峰值和b通道的谷值，提出了一种近似方法来获得消失点行，如图5所示。

设γ(img)表示图像img的行向量之和；ωk(υ)表示υ中第k小的项；ωk(υ)表示υ中第k大的项；λ(ωk)表示ωk的行号。

我们提出了一种近似算法来计算道路消失线。为了保证鲁棒性，在g和b通道中，我们选取了总和在g通道中最大，在b通道中最小的k行。这些k行的平均行数将被视为消失行，如公式1所述，结果如图5所示。消失点行用于限制r通道中的roi以用于道路区域屏蔽。

道路区域掩膜在自适应roi内计算自适应阈值后计算获得。如上所述，道路路面和人行道是自下而上的，这意味着图像的底部是道路，图像的顶部是天空。r通道中的灰度像素在道路区域和非道路区域之间急剧变化。因此，阈值计算和图像掩膜在r通道中执行。利用从r通道图像的消失线到底部的所有像素计算道路区域的平均像素值，作为自适应阈值，如公式2中所述。并且根据r通道中的像素值和阈值来计算道路区域掩膜。

路面区域提纯：

由于thermal相机的分辨率比较低，利用thermal特征分割出来的路面区域的精度不能得到保证，我们需要加入rgb特征对路面粗提取的结果进一步分割，以获得更准确的路面区域。前面已经提到，光线和阴影对基于rgb特征的路面检测有很大的影响，因此我们需要一个可以去除光线和阴影影响的方法。由于无论观察者的视角如何，朗伯表面对表观亮度都是相同的。在朗伯反射率假设下，太阳光近似普朗克光，路面主要是朗伯表面，常规rgb相机接近窄带，然后我们可以使用照明不变图像根据像素的色度提取道路区域。在[1]中，经验结果证明，在满足朗伯反射的条件情况下，阴影可以在无阴影图像中被去除，这些图像被转换为光源不变空间。使用该方法可以实现路面的进一步提取。最后对提纯的路面进行形态学孔填充，去除小孔洞。

结果分析：

我们提出的基于rgb-t特征的道路检测算法具有光源鲁棒性，在阴影(图6(d))甚至夜间(图6(e))中工作良好。图6(a)和6(b)展示了在kitti-seg上运行的相应结果。并且所提出的方法在路面上不需要任何路面标志。因此，所提出的方法可以用于无标记道路。

运行平台：

摄像头将实时图像数据发送给fpga进行处理。本发明中fpga选用的是altera的stratixvd5，其系统成本和功耗非常低，具有高效的逻辑集成功能，而且性能水平突出，非常适用于搭建adas系统。我们使用该fpga来处理捕获的图像信息并实现实时路面检测功能。

为了提高计算速度，我们把算法中部分可以并行的代码转为opencl代码，openclapi可以运行在fpga上，运行并行代码，对帧率有较大的提高。

根据图8的结果，在分辨率增大的同时，检测准确率呈上升趋势，而对于帧率，由于计算量的增大而有所下降。在高分辨率2560x1920的情况下，检测准确率达到93.43％，而对应帧率为94.36，能达到实时的要求。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。