基于机器视觉的道路跟踪方法
【专利摘要】本发明提供一种基于机器视觉的道路跟踪方法，包括如下步骤：S1：获取图像；S2：使用逆透视映射恢复道路结构信息；S3：使用卡尔曼滤波器对道路模型参数进行预测；S4：在参数预测基础上，使用平行主动轮廓模型对道路边界进行检测；S5：使用卡尔曼滤波器对检测结果进行优。本发明即可用于结构化道路的边界检测也可以用于非结构化道路的边界检测。由于基于平行性约束的平行主动轮廓模型的引入，可以提高在存在遮挡或者道路破损等道路场景中道路检测的准确率。通过对视频序列t上的道路模型使用马尔科夫链进行建模，通过卡尔曼滤波器对道路的参数进行预测，并且使用卡尔曼滤波器对道路检测误差进行建模，从而可以提高道路跟踪的鲁棒性。
【专利说明】基于机器视觉的道路跟踪方法
【技术领域】
[0001]本发明涉及图像模式识别领域，特别涉及一种基于机器视觉的道路跟踪方法。该方法使用平行主动轮廓模型进行道路检测，并使用卡尔曼滤波器对道路进行跟踪。
【背景技术】
[0002]基于机器视觉的道路跟踪是通过计算机视觉技术对含有道路场景的视频序列中道路区域进行跟踪。这些图像序列通常是通过安装在移动车辆上的摄像机获取。道路跟踪在智能交通、车辆安全辅助驾驶以及无人驾驶汽车等领域都具有重要的作用。
[0003]实际的道路可以分为结构化道路和非结构化道路。结构化道路是指那些具有完整道路边界标示线的高速公路或者普通公路。这些标示线可以简化道路的检测方法，并且使检测方法具有较高的检出度和准确率。而非机构化道路是指那些不具有道路标示线的普通公路和乡村道路。这类道路没有清晰的道路边界线，不利于检测方法的设计。但是在边界周围也存在明显的颜色或者纹理变化，这些信息为使用道路跟踪方法进行正确检测带来了可能。
[0004]道路跟踪方法利用道路视频序列中道路特征在前后相邻帧之间的相关性进行道路跟踪。道路跟踪方法可以提闻道路检测的准确性，并且可以减少道路检测方法的时间消耗。道路跟踪属于物体跟踪的一个特例。基于视觉的物体跟踪方法是主要是选取不同的图像特征和似然函数，从而在前一帧的基础上搜寻下一帧中与其最相关的区域从而完成物体的跟踪。该方法常用的代表有:均值漂移方法、粒子滤波器等；该方法的基本流程如图2所示:1)获取视频图像；2)计算兴趣区域的图像特征；3)计算目标区域的图像特征；4)从目标区域中选取与兴趣区域相似度最高的目标作为跟踪结果；5)输出结果。
[0005]该类方法通过选取合适的图像特征及其对应的似然函数可以得到良好的跟踪结果，但是该类方法没有考虑检测结果在时间t上的分布以及检测噪声的分布，所以对噪声的抑制力比较差。而且传统的基于卡尔曼滤波器的道路跟踪方法，往往采用块检测等简单的方法，该类方法没有使用道路的结构信息，只是对道路的区域大小进行建模，因而不具有良好的鲁棒性。
[0006]其主要表现在:1)如果一帧中如果出现检测错误，则该错误会对后续帧的检测结果产生影响。2)不能对下一帧的目标出现的区域进行预测，用于提高检测效率。3)使用简单的道路检测方法，没有统一的道路模型，所以容易受噪声以及阴影的因素的影响，从而方法的鲁棒性较差。
【发明内容】
[0007]本发明针对现有技术存在的以上缺陷，提出了一种基于平行主动轮廓模型和卡尔曼滤波器的道路跟踪方法。该方法通过马尔科夫链对道路视频序列中的道路在时间t上的分布进行建模，通过平行主动轮廓模型来对每一帧中的道路进行建模，并且使用卡尔曼滤波器对道路模型的参数以及检测噪声进行建模，从而用于参数的预测和噪声的抑制。
[0008]根据本发明提供的一种基于机器视觉的道路跟踪方法，包括如下步骤:
[0009]步骤S1:通过成像设备获取道路场景图像；
[0010]步骤S2:使用逆透视映射恢复道路的结构信息；
[0011]步骤S3:使用卡尔曼滤波器对道路模型参数进行预测；
[0012]步骤S4:根据步骤S3得到的预测结果，使用平行主动轮廓模型对道路进行检测，得到检测结果；其中，所述平行主动轮廓模型是在两条独立的开环主动轮廓模型的基础上通过添加平行性约束得到的一组模型，该模型通过两条主动轮廓模型周边的内力和外力共同作用，并且由于平行性约束，最终得到两条平行的二次曲线；
[0013]步骤S5:使用卡尔曼滤波器对检测结果进行优化；
[0014]步骤S6:输出道路跟踪结果。
[0015]优选地，在步骤S2中使用逆透视映射恢复道路左右边界的平行性结构。
[0016]优选地，在步骤S4中使用平行主动轮廓模型对道路进行检测，包含以下几个步骤:
[0017]步骤S41:初始化道路模型参数；
[0018]步骤S42:在步骤S2中获取的包含道路结构信息的图像Ipots中，分别计算(x，y)分量上的梯度场(Gx，Gy)，作为平行主动轮廓模型的外部能量函数；其中，X表示X轴方向，Y表示Y轴方向，Gx表示X方向上的梯度场，Gy表示Y方向上的梯度场；
[0019]步骤S43:据步骤S42中的初始化得到的平行主动轮廓模型，计算利用该平行主动轮廓模型像素位置的一阶和二阶导数作为该平行主动轮廓模型的内部能量函数；其中，非循环矩阵被用于产生开环平行主动轮廓模型；
[0020]步骤S44:根据步骤S42得到的外部能量函数和步骤S43得到的内部能量函数，计算平行主动轮廓模型的移动矢量；
[0021]步骤S45:根据移动矢量计算平行主动轮廓模型的当前位置，并使用最小二乘法对平行抛物线进行拟合；
[0022]步骤S46:判断步骤S45得到的结果与上次迭代结果的相似性，如果相似度小于阈值k，则从步骤S41重新开始迭代过程，若相似度大于等于阈值，则结束迭代过程。其中k以像素为单位，通过实验获得，一般取值为10。
[0023]优选地，在步骤S43中，所述非循环矩阵被用于产生开环平行主动轮廓模型，具体为:
[0024]使用非循环矩阵用于移除传统主动轮廓模型中头尾的约束，从而生成开环的平行主动轮廓模型。
[0025]优选地，所述开环的平行主动轮廓模型使用平行性信息进行约束。
[0026]优选地,所述步骤S5,具体为:
[0027]使用卡尔曼滤波器对检测噪声进行建模，并且使用噪声模型对步骤S4中的检测结果进行优化。
[0028]优选地，所述逆透视映射是齐次空间中不同投影平面之间线性变换。
[0029]优选地，其中，所述图像Ipere是俯视角为90度时获得道路平面的视角图像，该90度视角保持道路左右边界的平行性属性。
[0030]优选地，所述步骤S41具体为:使用拉伸力初始化道路模型参数；所述拉伸力是通过计算开环平行主动轮廓模型的头尾两个顶点对在位置像素值与背景像素值的相似性，从而保证两个顶点收敛到梯度最小的区域。
[0031]与现有技术相比，本发明具有如下的有益效果:
[0032]本发明通过对视频序列中时间t上的道路分布使用马尔科夫链进行建模，使用平行主动轮廓模型每一帧中的道路进行检测，并使用卡尔曼滤波器对检测噪声进行建模。卡尔曼滤波器被用来对平行主动轮廓模型的参数进行预测，并且对检测结果进行优化，从而完成道路跟踪。卡尔曼滤波器对平行主动轮廓模型的检测噪声进行建模，可以抑制检测噪声，提高检测的准确性。平行主动轮廓模型采用具有平行性约束的开环主动轮廓模型用于道路左右边界的检测。由于平行性约束的引入，可以提闻在存在遮挡或者道路破损等道路场景中道路检测的准确率。
【专利附图】
【附图说明】
[0033]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0034]图1为基于平行主动轮廓模型的道路跟踪方法流程图；
[0035]图2为基于视觉的道路跟踪方法流程图；
[0036]图3为基于平行主动轮廓模型的道路检测方法流程图。
【具体实施方式】
[0037]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0038]本发明即可用于结构化道路的边界检测也可以用于非结构化道路的边界检测。由于基于平行性约束的平行主动轮廓模型的引入，可以提高在存在遮挡或者道路破损等道路场景中道路检测的准确率。通过对视频序列t上的道路模型使用马尔科夫链进行建模，通过卡尔曼滤波器对道路的参数进行预测，并且使用卡尔曼滤波器对道路检测误差进行建模，从而可以提高道路跟踪的鲁棒性。
[0039]本发明实施方法所提供的道路跟踪方法流程图如图1所示，包括如下步骤:
[0040]步骤S1:通过摄像机获取道路场景图像序列；
[0041]步骤S2:使用逆透视映射恢复道路的结构信息；
[0042]步骤S3:使用卡尔曼滤波器对道路模型参数进行预测；
[0043]步骤S4:使用平行主动轮廓模型对道路进行检测；
[0044]步骤S5:使用卡尔曼滤波器对检测结果进行优化。
[0045]S6:输出结果。
[0046]其中，所述的步骤SI是指通过成像设备完成道路场景视频序列的采集。
[0047]所述的步骤S2是指通过使用逆透视映射恢复道路的结构信息。
[0048]所述的步骤S3是指使用卡尔曼滤波器对平行主动轮廓模型的参数进行预测，卡尔曼滤波器根据上一帧道路跟踪的结果来预测当前帧中道路模型的参数。
[0049]所述的步骤S4是指根据步骤S3中的预测结果使用平行主动轮廓模型对道路的边界进行检测。其中，使用平行主动轮廓模型进行道路检测又包含以下几个步骤，如图3所示:
[0050]步骤S41:使用拉伸力初始化道路模型参数。
[0051]步骤S42:分别恢复道路结构信息后的图像Ipere中(x，y)分量上的梯度场(Gx, Gy)，作为主动轮廓模型的外部能量函数。
[0052]步骤S43:根据步骤S42中的初始化得到的主动轮廓模型，计算利用其像素位置的一阶和二阶导数作为其内部能量函数。非循环矩阵被用于产生开环主动轮廓模型。
[0053]步骤S44:根据步骤S42的外部能量函数和步骤S33中的内部能量函数，计算主动轮廓模型的移动矢量。
[0054]步骤S45:根据移动矢量计算主动轮廓模型的当前位置，并使用最小二乘法对平行抛物线进行拟合。
[0055]步骤S46:判断步骤S45得到的结果与上次迭代结果的相似性，如果相似度小于阈值则从步骤S41重新开始迭代过程。
[0056]所述的步骤S5是使用卡尔曼滤波器对检测噪声进行建模，并且使用噪声模型对步骤S4中的检测结果进行优化。
[0057]所述的步骤S6是输出道路跟踪结果。
[0058]进一步地，所述的逆透视映射是齐次空间中不同投影平面之间线性变换，可以通过一个3x3的单应性矩阵线性表示。
[0059]所述的图像Ipots是俯视角为90度时获得道路平面的视角图像。该视角保持道路左右边界的平行性属性。
[0060]所述的拉伸力是通过计算开环主动轮廓模型的头尾两个顶点对在位置像素值与背景像素值的相似性，从而保证两个顶点收敛到梯度最小的区域。
[0061]所谓的平行抛物线是基于平行性约束的二次曲线，可以通过最小二乘法进行估计。
[0062]所谓的平行主动轮廓模型是在两条独立的开环主动轮廓模型的基础上通过添加平行性约束得到的一组模型。该模型通过两条主动轮廓模型周边的内力和外力共同作用，并且由于平行性约束，最终得到两条平行的二次曲线。
[0063]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
【权利要求】
1.一种基于机器视觉的道路跟踪方法，其特征在于，包括如下步骤: 步骤S1:通过成像设备获取道路场景图像； 步骤S2:使用逆透视映射恢复道路的结构信息； 步骤S3:使用卡尔曼滤波器对道路模型参数进行预测； 步骤S4:根据步骤S3得到的预测结果，使用平行主动轮廓模型对道路进行检测，得到检测结果；其中，所述平行主动轮廓模型是在两条独立的开环主动轮廓模型的基础上通过添加平行性约束得到的一组模型，该模型通过两条主动轮廓模型周边的内力和外力共同作用，并且由于平行性约束，最终得到两条平行的二次曲线； 步骤S5:使用卡尔曼滤波器对检测结果进行优化； 步骤S6:输出道路跟踪结果。
2.根据权利要求1所述的基于机器视觉的道路跟踪方法，其特征在于，在步骤S2中使用逆透视映射恢复道路左右边界的平行性结构。
3.根据权利要求1所述的基于机器视觉的道路跟踪方法，其特征在于，在步骤S4中使用平行主动轮廓模型对道路进行检测，包含以下几个步骤: 步骤S41:初始化道路模型参数； 步骤S42:在步骤S2中获取的包含道路结构信息的图像Ipots中，分别计算U，y)分量上的梯度场(Gx，Gy)，作为平行主动轮廓模型的外部能量函数；其中，X表示X轴方向，y表示Y轴方向，Gx表示X方向上的梯度场，Gy表示Y方向上的梯度场； 步骤S43:据步骤S42中的初始化得到的平行主动轮廓模型，计算利用该平行主动轮廓模型像素位置的一阶和二阶导数作为该平行主动轮廓模型的内部能量函数；其中，非循环矩阵被用于产生开环平行主动轮廓模型； 步骤S44:根据步骤S42得到的外部能量函数和步骤S43得到的内部能量函数，计算平行主动轮廓模型的移动矢量； 步骤S45:根据移动矢量计算平行主动轮廓模型的当前位置，并使用最小二乘法对平行抛物线进行拟合； 步骤S46:判断步骤S45得到的结果与上次迭代结果的相似性，如果相似度小于阈值k，则从步骤S41重新开始迭代过程，若相似度大于等于阈值，则结束迭代过程；其中k以像素为单位，取值10。
4.根据权利要求3所述的基于机器视觉的道路跟踪方法，其特征在于，在步骤S43中，所述非循环矩阵被用于产生开环平行主动轮廓模型，具体为: 使用非循环矩阵用于移除传统主动轮廓模型中头尾的约束，从而生成开环的平行主动轮廓模型。
5.根据权利要求4所述的基于机器视觉的道路跟踪方法，其特征在于，所述开环的平行主动轮廓模型使用平行性信息进行约束。
6.根据权利要求1所述的基于机器视觉的道路跟踪方法，其特征在于，所述步骤S5，具体为: 使用卡尔曼滤波器对检测噪声进行建模，并且使用噪声模型对步骤S4中的检测结果进行优化。
7.根据权利要求1所述的基于机器视觉的道路跟踪方法，其特征在于，所述逆透视映射是齐次空间中不同投影平面之间线性变换。
8.根据权利要求3所述的基于机器视觉的道路跟踪方法，其特征在于，其中，所述图像Ipers是俯视角为90度时获得道路平面的视角图像，该90度视角保持道路左右边界的平行性属性。
9.根据权利要求3所述的基于机器视觉的道路跟踪方法，其特征在于，所述步骤S41具体为:使用拉伸力初始化道路模型参数；所述拉伸力是通过计算开环平行主动轮廓模型的头尾两个顶点对在位置像素值与背景像素值的相似性，从而保证两个顶点收敛到梯度最小的区域。
【文档编号】G06T7/00GK104331878SQ201410538370
【公开日】2015年2月4日 申请日期:2014年10月13日 优先权日:2014年10月13日
【发明者】李向阳, 方向忠, 王慈 申请人:上海交通大学