一种基于视频图像驱动的高速公路全自动智能划线方法

1.本发明属于道路交通养护技术领域，特别涉及一种基于视频图像驱动的高速公路全自动智能划线方法。


背景技术：

2.现有的道路划线方法和装备主要依靠人工手动完成，其操作较为复杂，需要同时兼顾操纵装置的各个部件，对操作人员的操作水平要求非常高。另一方面，现有道路划线首先需要手动测量划线位置并绘制划线标记，然后再通过手推式、车载式或自助式划线机人工全程操作完成道路划线，完全依赖人工操作且没有自动划线质量反馈与校正控制。
3.申请(专利)号为cn202110997234.8的中国专利公开了一种智能型道路划线机，其包括基座、设在所述基座上的料桶、加热装置和第一动力装置，所述加热装置对所述料桶内的划线材料进行加热，所述基座的一侧固定连接有料斗，所述料桶上设有出料口，所述出料口处设有门体，所述第一动力装置与所述门体相连，所述第一动力装置用于打开或者关闭出料口。可以通过第一动力装置来打开门体，门体打开后，料桶中的划线材料可以进入到料斗中，不用手动打开门体，此外，可以通过控制模块和位置感应模块来实现自动加料，通过控制模块和操作模块可以实现自动划线。然而，该划线机只是针对机体实现了部分部件的智能，且该系统需要提前测量并标记划线位置，再通过人工手动进行划线，而且无法实现基于视频图像的自动确定划线位置、自动划线、自动检测的目标，无法提供全自动智能划线。
4.申请(专利)号为cn201920801947.0的中国专利公开了一种全自动道路划线机，包括车体、安装于车体的划线装置、定位装置以及控制装置，所述划线装置包括燃料箱、加热炉和漏斗，所述加热炉的出口设置有电磁阀门和流量控制开关；所述定位装置包括红外寻迹传感器、红外避障传感器和超声波测距传感器；所述控制装置包括控制主板，所述红外寻迹传感器、红外避障传感器和超声波测距传感器分别与所述控制主板电连接；所述车体包括差速驱动机构和舵机转向机构，所述差速驱动机构和舵机转向机构分别与所述控制主板电连接。然而，该系统需要施工人员根据相关标准画出待喷涂标志线的操作线，然后操作道路划线机在操作线内喷涂标志线。同样无法实现基于视频图像的自动确定划线位置、自动划线检测的目标，无法提供全自动智能划线。
5.申请(专利)号为cn202021381558.6的中国专利公开了一种新型的智能道路划线机，包括太阳能板、第一底座和第二底座，第一底座的顶部螺栓固定有充气泵，充气泵的顶部套接有气体管，气体管的一端安装有储料桶，储料桶内壁的一侧螺栓固定有红外传感器，储料桶内壁的底部安装有第二驱动电机。通过第一驱动电机的运作、电磁阀的开合与喷头的喷涂，实现了各种线型的喷涂且能够完成非直线形状的喷涂工作，从而增加了划线机的使用范围；通过温度传感器的实时监测和第二驱动电机的运作，实现了对储料桶内部液体的加热，从而能够保持储料桶内部的涂料液体性能的最大化。同样，该划线机只是针对机体实现了料筒加热部分的智能，同样需要手动提前测量并标记划线位置，再通过人工手动进行划线。而且也无法实现基于视频图像的自动确定划线位置、自动划线、自动检测的目标，
无法提供全自动智能划线。


技术实现要素：

6.为了克服以上技术问题，本发明的目的在于提供一种基于视频图像驱动的高速公路全自动智能划线方法，能够解决高速公路现有划线技术和装备中完全依靠人工测量、划线造成的耗时耗力、效率低下的难点问题。
7.为了实现上述目的，本发明采用的技术方案是：
8.一种基于视频图像驱动的高速公路全自动智能划线方法，包括以下步骤；
9.步骤1：对安装在装备顶端(为整个自动划线装备最前方的顶部，可以无遮挡的拍摄前方的道路图像，相机俯仰角可调、高度可调，安装位置水平可滑动、可固定，可以根据不同的道路宽度、不同的划线位置进行调整，保证拍摄的道路图像准确、有效)的摄像头进行标定，通过标定后的摄像头获得前方道路图像；
10.步骤2：利用光照不变理论获取道路光照无关图，通过随机采样方法建立道路路面置信区间分类器，实现道路路面区域有效分割，获得粗略二值道路路面检测结果；
11.步骤3：在一般道路或高速公路场景中，对获得的道路路面区域结果进行精细化处理，提出帧间关联的精细化道路检测算法，提高道路路面提取的精确度；获得精细化二值道路路面检测结果；
12.步骤4：对获得的精细化二值道路路面检测结果逆变换到原图像中，获得带道路路面检测结果的rgb三通道图像；
13.步骤5：对带道路路面检测结果的rgb道路图像通过逆透视变换方法获得俯视图方向的道路图像，获得两近似平行边界的道路图像；
14.步骤6：对逆透视变换后的道路路面检测结果边缘对应的范围确定为道路边界，并对道路边界进行划线；
15.步骤7：根据道路或高速公路建设标准，结合获得的平行边界道路路面图像，首先确定道路两侧边界的划线位置，再根据一侧标线，依据车道设定宽度标准，依次将其他的车道线划好；
16.步骤8：划线过程中，自动完成划线路径规划，轮子收到控制指令自动前后左右行驶；划线时可以自动确定使用何种划线涂料颜色，划线为实线还是虚线，划线是否达到要求标准，且都可以智能判断、控制及监测。
17.所述步骤2具体为：
18.步骤2.1：根据光照不变理论获得道路关照无关图，如下
19.一幅道路rgb图像可以表示为
20.rk＝σ∫qk(λ)e(λ)s(λ)dλ,k＝r,g,b(1)
21.式中，σ为朗波特阴影；
22.设c
ref
为rgb三通道rk(k＝1,2,3)的几何均值，定义为
[0023][0024]
则色度为
[0025]ck
＝rk/c
ref
(3)
[0026]
整理后可得，光照无关图表达式为
[0027]iθ
＝χ1cosθ+χ2sinθ(4)
[0028]
式中，θ是相机轴标定角；
[0029]
步骤2.2：通过最小熵求得相机轴标定角；
[0030]
香农熵公式表示为
[0031]
η＝-∑pi(i
θ
)log(pi(i
θ
))(5)
[0032]
步骤2.3：对获得的光照无关图依据相机拍摄角度和视频帧中车头位置，在视频帧中标定固定位置去除天空、车头部分，获得道路关照无关图感兴趣区域；
[0033]
步骤2.4：在道路光照无关图感兴趣区域内，即车前安全车距区域内随机采集900个道路样本点，获得道路区域有效样本集；
[0034]
步骤2.5：对道路区域有效样本点进行正态分布拟合，取正态分布中心90％的道路样本集作为道路特征，建立道路置信区间分类器，获取二值道路路面提取结果。
[0035]
所述步骤3具体为：
[0036]
步骤3.1：初始帧的确定
[0037]
设帧间道路区域相关度η，公式如下：
[0038][0039]
其中，p∩c：上一帧与当前帧道路检测区域的交集，即为上下帧道路检测区域的公共部分，该区域大概率是道路区域，p∪c：上一帧与当前帧道路检测区域的并集，即为上下帧道路检测区域的相加部分，表示道路感兴趣区域；
[0040]
设稳定阈值为t，当视频序列中计算出的η趋于稳定状态时(η》t)，表示当前道路检测结果较好，即可选取当前帧为路面提取初始帧；算法流程如下：
[0041]
step1：读取视频序列(道路检测结果)；
[0042]
step2：计算帧间图片相关性η；
[0043]
step3：当η》t，连续n帧相关性η较好，η趋于稳定时，当前帧选择为基准路面初始帧；
[0044]
步骤3.2：帧间关联的精细化道路检测
[0045]
在初始帧基础上采样，并对当前帧进行道路检测，得到当前帧路面区域c，随之计算出上下帧间的更新率α，计算式为
[0046][0047]
设定帧间可信阈值为t1，t2(t1，t2∈(0,1))，通过α与两个阈值的比较，可以判断该帧是否可信，判断公式如下：
[0048][0049]
当α》t2，本帧结果不可信，输出前一帧的检测结果，当α《t1，本帧结果可信，输出当前帧帧的检测结果，当t1《α《t2，结果可信，但需要对检测结果进行融合，以达到最优的检测，设定融合系数为λ(λ∈(0,1)))，在阈值区间(t1，t2)，满足线性关系，计算公式如下：
[0050][0051]
随之，计算帧间并与交的结果，公式如下：
[0052]
sa＝(p∩c)(10)
[0053]
sb＝(p∪c)(11)
[0054]
输出道路检测区域s
new
，公式如下：
[0055][0056]snew
为本帧道路检测结果融合上帧检测结果得到的新的道路区域，将其作为本帧的道路检测结果输出，同时作为后续帧的前帧继续进行检测计算。
[0057]
所述步骤4具体为：
[0058]
步骤4.1：对获得的精细化二值道路路面检测结果读取其值为1的像素的坐标，确定其坐标位置矩阵并表示为
[0059]
biimage(x,y)＝1(13)
[0060]
其中，biimage表示精细化检测后的道路路面二值图像，(x,y)表示图中值为1的像素所在位置；
[0061]
步骤4.2：读取道路路面检测前的rgb彩色图像，确定rgb图像三通道及对应每个像素的位置坐标矩阵；
[0062]
步骤4.3：将步骤4.1获得的二值图中值为1的像素所在位置映射到步骤4.2读取的rgb彩色图像位置，让其每个坐标对应的每个通道值变为255，其余坐标不变，表示为
[0063]
rgbimage(x,y,z)＝255(14)
[0064]
其中，rgbimage表示读取的rgb彩色图像，z表示rgb的三个通道，(x,y,z)表示每个通道的像素坐标，三通道值均为255则rgb彩色图中检测为道路路面的位置变为白色，其余为原色。
[0065]
所述步骤5具体为：
[0066]
步骤5.1：利用旋转矩阵变换和位移变换，完成世界坐标到相机坐标的变换，公式为
[0067][0068]
其中，r表示旋转矩阵变换，t表示位移变换；
[0069]
步骤5.2：将相机坐标转换为平面坐标系，完成成像投影关系，公式为
[0070][0071]
步骤5.3：从平面坐标转换得到得到的我们看到的(照片)图像坐标系，公式为
[0072][0073]
其中，(u、v)表示以像素为单位的图像坐标系的坐标，(x、y)表示以mm为单位的图像坐标系的坐标。
[0074]
本发明的有益效果。
[0075]
本发明提出的方法能够解决道路交通场景尤其是高速公路路面的全自动智能划线问题，其划线方法依靠提出的视频图像处理方法依次确定，可以自动判定出道路两侧的边界，可以根据道路宽度和已划定的车道线自动确定下一次车道线划线位置；其划线装备基于视频图像驱动，设计智能自动划线部件架构，借助相应的摄像头、控制器、执行器实现相应功能，该方法和装备具有广泛应用前景。
附图说明：
[0076]
图1为本发明道路路面区域提取二值图。
[0077]
图2为本发明道路路面区域逆变换图。
[0078]
图3为本发明道路逆透视变换示意图。
[0079]
图4为本发明道路路面边界提取结果图。
[0080]
图5为本发明道路智能自动划线方法流程图。
[0081]
图6为本发明道路智能自动划线装备设计图。
具体实施方式
[0082]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0083]
一种基于视频图像驱动的高速公路全自动智能划线方法，包括如下步骤：
[0084]
步骤1：对安装在装备顶端的摄像头进行标定，通过标定后的摄像头获得前方道路图像；
[0085]
步骤2：利用光照不变理论获取道路光照无关图，通过随机采样方法建立道路路面置信区间分类器，实现道路路面区域有效分割，如图1；
[0086]
步骤3：在一般道路或高速公路场景中，对获得的道路路面区域结果进行精细化处理，提出帧间关联的精细化道路检测算法，提高道路路面提取的精确度；
[0087]
步骤4：对获得的二值道路路面检测结果逆变换到原图像中，获得带道路路面检测结果的rgb三通道图像，如图2；
[0088]
步骤5：对带道路路面检测结果的rgb道路图像通过逆透视变换方法获得俯视图方向的道路图像，获得两近似平行边界的道路图像，如图3；
[0089]
步骤6：对逆透视变换后的道路路面检测结果边缘对应的范围确定为道路边界，并对道路边界进行划线，如图4；
[0090]
步骤7：根据道路或高速公路建设标准，结合获得的平行边界道路路面图像，首先确定道路两侧边界的划线位置，再根据一侧标线，依据车道设定宽度标准，依次将其他的车道线划好，如图5。
[0091]
步骤8：划线过程中，自动完成划线路径规划，轮子收到控制指令自动前后左右行驶；划线时可以自动确定使用何种划线涂料颜色，划线为实线还是虚线，划线是否达到要求标准，且都可以智能判断、控制及监测。
[0092]
具体的，步骤2包括如下子步骤：
[0093]
步骤2.1：根据光照不变理论获得道路关照无关图，如下
[0094]
一幅道路rgb图像可以表示为
[0095]rk
＝σ∫qk(λ)e(λ)s(λ)dλ,k＝r,g,b(1)
[0096]
式中，σ为朗波特阴影。
[0097]
设c
ref
为rgb三通道rk(k＝1,2,3)的几何均值，定义为
[0098][0099]
则色度为
[0100]ck
＝rk/c
ref
(3)
[0101]
整理后可得，光照无关图表达式为
[0102]iθ
＝χ1cosθ+χ2sinθ(4)
[0103]
式中，θ是相机轴标定角。
[0104]
步骤2.2：通过最小熵求得相机轴标定角。
[0105]
香农熵公式表示为
[0106]
η＝-∑pi(i
θ
)log(pi(i
θ
))(5)
[0107]
步骤2.3：对获得的光照无关图依据相机拍摄角度和视频帧中车头位置，在视频帧中标定固定位置去除天空、车头部分，获得道路关照无关图感兴趣区域。
[0108]
步骤2.4：在道路光照无关图感兴趣区域内，即车前安全车距区域内随机采集900个道路样本点，获得道路区域有效样本集。
[0109]
步骤2.5：对道路区域有效样本点进行正态分布拟合，取正态分布中心90％的道路样本集作为道路特征，建立道路置信区间分类器，获取二值道路路面提取结果。
[0110]
具体的，步骤3包括如下子步骤：
[0111]
步骤3.1：初始帧的确定
[0112]
设帧间道路区域相关度η。公式如下：
[0113][0114]
其中，p∩c：上一帧与当前帧道路检测区域的交集，即为上下帧道路检测区域的公共部分，该区域大概率是道路区域。p∪c：上一帧与当前帧道路检测区域的并集，即为上下帧道路检测区域的相加部分，表示道路感兴趣区域。
[0115]
设稳定阈值为t，当视频序列中计算出的η趋于稳定状态时(η》t)，表示当前道路检
测结果较好，即可选取当前帧为路面提取初始帧。算法流程如下：
[0116]
step1：读取视频序列(道路检测结果)。
[0117]
step2：计算帧间图片相关性η。
[0118]
step3：当η》t，连续n帧相关性η较好，η趋于稳定时，当前帧选择为基准路面初始帧。
[0119]
步骤3.2：帧间关联的精细化道路检测
[0120]
在初始帧基础上采样，并对当前帧进行道路检测，得到当前帧路面区域c。随之计算出上下帧间的更新率α，计算式为
[0121][0122]
设定帧间可信阈值为t1，t2(t1，t2∈(0,1))。通过α与两个阈值的比较，可以判断该帧是否可信。判断公式如下：
[0123][0124]
当α》t2，本帧结果不可信，输出前一帧的检测结果。当α《t1，本帧结果可信，输出当前帧帧的检测结果。当t1《α《t2，结果可信，但需要对检测结果进行融合，以达到最优的检测。设定融合系数为λ(λ∈(0,1)))，在阈值区间(t1，t2)，满足线性关系。计算公式如下：
[0125][0126]
随之，计算帧间并与交的结果，公式如下：
[0127]
sa＝(p∩c)(10)
[0128]
sb＝(p∪c)(11)
[0129]
输出道路检测区域s
new
，公式如下：
[0130][0131]snew
为本帧道路检测结果融合上帧检测结果得到的新的道路区域，将其作为本帧的道路检测结果输出，同时作为后续帧的前帧继续进行检测计算。
[0132]
具体的，步骤4包括如下子步骤：
[0133]
步骤4.1：对获得的精细化二值道路路面检测结果读取其值为1的像素的坐标，确定其坐标位置矩阵并表示为
[0134]
biimage(x,y)＝1(13)
[0135]
其中，biimage表示精细化检测后的道路路面二值图像，(x,y)表示图中值为1的像素所在位置；
[0136]
步骤4.2：读取道路路面检测前的rgb彩色图像，确定rgb图像三通道及对应每个像素的位置坐标矩阵；
[0137]
步骤4.3：将步骤4.1获得的二值图中值为1的像素所在位置映射到步骤4.2读取的rgb彩色图像位置，让其每个坐标对应的每个通道值变为255，其余坐标不变，表示为
[0138]
rgbimage(x,y,z)＝255(14)
[0139]
其中，rgbimage表示读取的rgb彩色图像，z表示rgb的三个通道，(x,y,z)表示每个通道的像素坐标，三通道值均为255则rgb彩色图中检测为道路路面的位置变为白色，其余为原色。
[0140]
具体的，步骤5包括如下子步骤：
[0141]
步骤5.1：利用旋转矩阵变换和位移变换，完成世界坐标到相机坐标的变换，公式为
[0142][0143]
其中，r表示旋转矩阵变换，t表示位移变换。
[0144]
步骤5.2：将相机坐标转换为平面坐标系，完成成像投影关系，公式为
[0145][0146]
步骤5.3：从平面坐标转换得到得到的我们看到的(照片)图像坐标系，公式为
[0147][0148]
其中，(u、v)表示以像素为单位的图像坐标系的坐标，(x、y)表示以mm为单位的图像坐标系的坐标。
[0149]
如图6所示：
[0150]
1.万向轮安装固定在装置本体四端，通过线路和驱动电机运行，受控制器的操控和驱动，可以执行横向及前后的运动。
[0151]
2.摄像头安装在装备本体最前方的顶部，可以无遮挡的拍摄前方道路，受控制器的操控和驱动，拍摄数据可以传送到控制器进行处理，并可接受控制器的指令。
[0152]
3.位移传感器固定安装在车轮上，可以获取车轮运行的距离，通过线缆传到控制器，进行数据的处理。
[0153]
4.划线装置固定于装置本体一侧，直接与料筒通过流体管道连接，划线装置受控制器的操控，控制喷嘴阀门打开程度和喷涂量。
[0154]
5.激光探头1固定在稍微远离划线装置的位置，可以直接测量路面的高度；激光探头2固定在划线装置的后方，可以实时测量所画线距离装置的距离。通过激光探头1和2测量的距离差判断划线厚度是否合格。
[0155]
6.划线颜色料筒内装有不同的颜色涂料，颜料输出控制阀接受控制器的指令，根
据系统需要判断哪种颜色打开，颜色料筒直接与划线装置通过管道连接。
[0156]
7.加热器直接作用在颜色料筒上，并与控制器和电源连接，对料筒内的涂料进行加热，料筒内有温度传感器，将温度数据传到控制器进行判断，没达到预设温度加热器继续加热，达到预设温度加热器进行保温。
[0157]
8.控制器与位移传感器、摄像头、驱动电机、激光探头、划线装置、颜色料筒控制阀、加热器、触控屏之间通过线缆连接，可以接受处理各部件的信息，同时可以操控各部件完成装置系统指令。
[0158]
9.触控屏与控制器相连，提供触控操作及系统参数设置，外部操纵装置运行，并可查看装置运行状态。
[0159]
10.电源部分安装在装置本体上，位于触控屏下方，为装置各部件提供电力来源，驱动装置运行。
[0160]
工作原理：
[0161]
1.位移传感器：系统工作，装置运行，测量车轮转过的圈数，将数据传到控制器，依据系统嵌入的轮圈直径计算周长，获取装置的运行距离。此距离以便用来判断所要划线的长度，决定划线装置喷涂距离和停止喷涂距离。
[0162]
2.摄像头：摄像头拍摄前方道路图像，将视频图像实时传送给控制器，依据设计的上述具体算法获得道路路面，并依据工程标准参数和要求确定划线位置，控制器操控执行相应内容。
[0163]
3.触控屏：提供触控操作及系统参数设置，外部操纵装置运行，并可查看装置运行状态，即既可以作为系统参数输入端，又可以作为系统运行状态显示输出端。
[0164]
4.激光探头：激光探头1固定在稍微远离划线装置的位置，可以直接测量路面的高度；激光探头2固定在划线装置的后方，可以实时测量所画线距离装置的距离。通过激光探头1和2测量的距离差判断划线厚度是否合格，进行实时反馈。
[0165]
5.划线颜色料筒：其内装有不同的颜色涂料，颜料输出控制阀接受控制器的指令，根据系统需要判断哪种颜色阀门打开，颜色料筒直接与划线装置通过管道连接，进行颜料的输送。同时料筒包含两个(白色、黄色)或多个颜料桶，划线时依据系统控制哪个料筒工作。
[0166]
6.加热器：对料筒内的涂料进行加热，料筒内有温度传感器，将温度数据传到控制器进行判断，没达到预设温度加热器继续加热，达到预设温度加热器进行保温。
[0167]
7.划线装置：直接与料筒通过流体管道连接，划线装置受控制器的操控，接受来自激光探头反馈的距离信息，控制喷嘴阀门打开程度和喷涂量。同时划线装置包含两个(白色、黄色)或多个喷头，划线时依据系统控制哪个工作。
[0168]
8.控制器：依据嵌入的上述相关对应算法进行相应的数据采集、处理和控制，保障装置系统的整个运行过程。