地平面拟合、摄像头标定方法及系统、车载终端与流程

本发明涉及图像处理的技术领域，特别是涉及一种地平面拟合、摄像头标定方法及系统、车载终端、车辆。

背景技术：

近年来，基于环视摄像头的高级辅助驾驶系统(也叫环视adas系统)已经被越来越多的用户所接受。通过在汽车的前后左右安装广角摄像头，采集车身四周的图像，经过算法分析处理，给驾驶员提供包括全景泊车辅助、车道偏离报警、盲区车辆检测在内的各种高级辅助驾驶功能，对于提高汽车的主安全性具有重要的意义。

在开始使用环视adas系统之前，首先需要对摄像头进行标定，以保证各摄像头拍摄的图像的拼接位置更加准确，误差更小。现有技术中，通常采用固定的标定方法进行摄像头标定，且车辆在车场中进行摄像头标定后，标定数据就是固定的，不随车身沉降变化而变化，无法满足车辆行驶的实际需求。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种地平面拟合、摄像头标定方法及系统、车载终端、车辆，通过剔除错误的车道数据来保证地平面拟合的准确性，进而保证摄像头标定的准确性，使得各摄像头拍摄的图像拼接位置更加准确，误差更小。

为实现上述目的及其他相关目的，本发明提供一种地平面拟合方法，包括以下步骤：基于设置在车辆上的多路摄像头的公共视野获取若干组车辆两侧的车道线，所述多路摄像头包括分别位于车辆的前方、后方、左侧和右侧的前路摄像头、后路摄像头、左路摄像头和右路摄像头；所述前路摄像头与所述左路摄像头、所述前路摄像头与所述右路摄像头、所述后路摄像头与所述左路摄像头、所述后路摄像头与所述右路摄像头分别具有公共视野；判断所获取的车辆两侧的车道线是否平行且处于同一水平面上；基于平行且处于同一水平面的车道线生成地面点云，并拟合生成地平面。

于本发明一实施例中，基于设置在车辆上的多路摄像头获取车辆两侧的车道线包括以下步骤：

由前路摄像头和其视野内的任一直线确定第一平面；

由后路摄像头和其视野内的任一直线确定第二平面；

由左路摄像头和其视野内的任一直线确定第三平面；

由右路摄像头和其视野内的任一直线确定第四平面；

由所述第一平面和所述第三平面的交线或所述第二平面与所述第三平面的交线确定左侧车道线；

由所述第一平面和所述第四平面的交线或所述第二平面和所述第四平面的交线确定右侧车道线。

同时，本发明还提供一种摄像头标定方法，包括以下步骤：

根据上述任一的地平面拟合方法拟合生成地平面；

根据所拟合生成的地平面的高度，生成摄像头的标定数据。

相应地，本发明还提供一种地平面拟合系统，包括获取模块、判断模块和拟合模块；

所述获取模块用于基于设置在车辆上的多路摄像头的公共视野获取若干组车辆两侧的车道线，所述多路摄像头包括分别位于车辆的前方、后方、左侧和右侧的前路摄像头、后路摄像头、左路摄像头和右路摄像头；所述前路摄像头与所述左路摄像头、所述前路摄像头与所述右路摄像头、所述后路摄像头与所述左路摄像头、所述后路摄像头与所述右路摄像头分别具有公共视野；

所述判断模块用于判断所获取的车辆两侧的车道线是否平行且处于同一水平面上；

所述拟合模块用于基于平行且处于同一水平面的车道线生成地面点云，并拟合生成地平面。

于本发明一实施例中，所述获取模块通过以下步骤基于设置在车辆上的多路摄像头获取车辆两侧的车道线：

由前路摄像头和其视野内的任一直线确定第一平面；

由后路摄像头和其视野内的任一直线确定第二平面；

由左路摄像头和其视野内的任一直线确定第三平面；

由右路摄像头和其视野内的任一直线确定第四平面；

由所述第一平面和所述第三平面的交线或所述第二平面与所述第三平面的交线确定左侧车道线；

由所述第一平面和所述第四平面的交线或所述第二平面和所述第四平面的交线确定右侧车道线

相应地，本发明还提供一种摄像头标定系统，包括上述任一的地平面拟合系统和调整模块；

所述地平面拟合系统用于基于设置在车辆上的多路摄像头拟合生成地平面；

所述调整模块用于根据所拟合生成的地平面的高度，生成摄像头的标定数据。

另外，本发明还提供一种车载终端，与多路摄像头相连，包括上述的摄像头标定系统，所述多路摄像头包括分别位于车辆的前方、后方、左侧和右侧的前路摄像头、后路摄像头、左路摄像头和右路摄像头；所述前路摄像头与所述左路摄像头、所述前路摄像头与所述右路摄像头、所述后路摄像头与所述左路摄像头、所述后路摄像头与所述右路摄像头分别具有公共视野。

另外，本发明还提供一种车辆，包括上述的车载终端和多路摄像头，所述多路摄像头包括分别位于车辆的前方、后方、左侧和右侧的前路摄像头、后路摄像头、左路摄像头和右路摄像头；所述前路摄像头与所述左路摄像头、所述前路摄像头与所述右路摄像头、所述后路摄像头与所述左路摄像头、所述后路摄像头与所述右路摄像头分别具有公共视野。

如上所述，本发明的地平面拟合、摄像头标定方法及系统、车载终端、车辆，具有以下有益效果：

(1)基于四路摄像头采集路面图像，并获取路面图像中的车道数据，通过剔除错误的车道数据来保证地平面拟合的准确性；

(2)基于标准的拟合地平面的高度，生成摄像头的标定数据，使得各摄像头拍摄的图像拼接位置更加准确，误差更小；

(3)实时性好，满足地平面拟合和摄像头标定的时间要求。

附图说明

图1显示为本发明的地平面拟合方法的流程图；

图2显示为车道线获取原理示意图；

图3显示为本发明的摄像头标定方法的流程图；

图4显示为本发明的地平面拟合系统的结构示意图；

图5显示为本发明的摄像头标定系统的结构示意图；

图6显示为本发明的车载终端的结构示意图；

图7显示为本发明的车辆的结构示意图。

元件标号说明

1地平面拟合系统

11获取模块

12判断模块

13拟合模块

2调整模块

7车辆

71车载终端

72多路摄像头

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的地平面拟合、摄像头标定方法及系统、车载终端基于多路摄像头采集路面图像，并获取路面图像中的车道数据，通过剔除错误的车道数据来进行地平面拟合；再基于所拟合的地平面的高度，生成摄像头的标定数据，使得各摄像头拍摄的图像拼接位置更加准确，误差更小；该方案实时性好，能够满足地平面拟合和摄像头标定的时间要求。

参照图1，本发明的地平面拟合方法包括以下步骤：

步骤s11、基于设置在车辆上的多路摄像头的公共视野获取若干组车辆两侧的车道线，所述多路摄像头包括分别位于车辆的前方、后方、左侧和右侧的前路摄像头、后路摄像头、左路摄像头和右路摄像头；所述前路摄像头与所述左路摄像头、所述前路摄像头与所述右路摄像头、所述后路摄像头与所述左路摄像头、所述后路摄像头与所述右路摄像头分别具有公共视野。

在adas系统中，通常使用四路摄像头，分别安装在车前、车后、车身左、车身右，分别用于观测车身前方、后方、左侧和右侧的场景。四路摄像头视野的场景拼接可以形成360度的环视全景。其中，相邻的摄像头之间存在公共视野，相对的摄像头之间没有公共视野。例如需要获取车身左前方的车道线，可以使用前路摄像头和左路摄像头的公共视野；需要获取车身左后方的车道线，可以使用左路摄像头和后路摄像头的组合。

如图2所示，车道线的获取原理如下：摄像头a与其视野内的直线a确定一个空间平面，摄像头b与其视野内的直线b确定一个空间平面，这两个平面的交线即为所需提取的车道线。其中，由于视觉误差，直线a和直线b位于误差平面上，而车道线则是位于真实地平面上。

基于上述原理，基于设置在车辆上的多路摄像头获取车辆两侧的车道线包括以下步骤：

11)由前路摄像头和其视野内的任一直线确定第一平面。

12)由后路摄像头和其视野内的任一直线确定第二平面。

13)由左路摄像头和其视野内的任一直线确定第三平面。

14)由右路摄像头和其视野内的任一直线确定第四平面。

15)由所述第一平面和所述第三平面的交线或所述第二平面与所述第三平面的交线确定左侧车道线。

具体地，所述第一平面和所述第三平面的交线即为左前方的车道线；所述第二平面和所述第三平面的交线即为左后方的车道线。

16)由所述第一平面和所述第四平面的交线或所述第二平面和所述第四平面的交线确定右侧车道线。

具体地，所述第一平面和所述第四平面的交线即为右前方的车道线；所述第二平面和所述第四平面的交线即为右后方的车道线。

步骤s12、判断所获取的车辆两侧的车道线是否平行且处于同一水平面上。

通常情况下，车辆总是沿着车道线行驶的，且路面的车道线一般是平行的。因此，需要在水平方向上判断车道线是否平行，若不平行，则去除该车道线；对于平行的车道线还需要在竖直方向上判断是否处于同一水平面，若不处于同一水平面，则去除该车道线。这是因为，在收集直线车道数据时容易收集到路沿等错误数据，由于路沿与地面通常不在同一水平高度上，使用路沿数据会导致地平面拟合错误；而地平面拟合错误会导致摄像头的标定数据的不准确，容易造成各摄像头拍摄的图像间的拼接错位，例如，左路和前路摄像头调整后，左路和后路的图像拼接会发生错位。

步骤s13、基于平行且处于同一水平面的车道线生成地面点云，并拟合生成地平面。

每条直线由空间中的两个点能够唯一确定。因此，一条车道线对应地平面上的两个点。不在同一直线上的三个点能够唯一确定一个平面。因此，理论上只要采集两条不同位置的车道线就能够计算出地平面的空间方程。

点云是指三维空间中的许多点的集合。利用点云数据可以拟合出直线、平面或其他几何形状。对应地，地面点云是指地面上许多点的集合。利用地面点云数据可以拟合生成地平面。

在本发明中，根据多组车道线获取的地面点云来拟合地平面，能够减小误差。

如图3所示，本发明的摄像头标定方法包括以下步骤：

步骤s21、根据上述地平面拟合方法拟合生成地平面。

步骤s22、根据所拟合生成的地平面的高度，生成摄像头的标定数据。

利用摄像机所拍摄到的图像来还原空间中的物体时，假设摄像机所拍摄到的图像与三维空间中的物体之间存在以下一种简单的线性关系：[像]＝m[物]。其中，矩阵m可以看成是摄像机成像的几何模型。m中的参数就是摄像机参数。通常，这些参数是要通过实验与计算来得到的。这个求解参数的过程就称为摄像机标定。

当确定地平面时，即可基于该地平面来生成摄像头的标定数据，以使得各摄像头拍摄的图像拼接位置更加准确，误差更小。对于本领域技术人员而言，生成摄像头的标定数据属于成熟的现有技术，故在此不再赘述。

参照图4，本发明的地平面拟合系统1包括获取模块11、判断模块12和拟合模块13。

获取模块11用于基于设置在车辆上的多路摄像头的公共视野获取若干组车辆两侧的车道线，所述多路摄像头包括分别位于车辆的前方、后方、左侧和右侧的前路摄像头、后路摄像头、左路摄像头和右路摄像头；所述前路摄像头与所述左路摄像头、所述前路摄像头与所述右路摄像头、所述后路摄像头与所述左路摄像头、所述后路摄像头与所述右路摄像头分别具有公共视野。

在adas系统中，通常使用四路摄像头，分别安装在车前、车后、车身左、车身右，分别用于观测车身前方、后方、左侧和右侧的场景。四路摄像头视野的场景拼接可以形成360度的环视全景。其中，相邻的摄像头之间存在公共视野，相对的摄像头之间没有公共视野。例如需要获取车身左前方的车道线，可以使用前路摄像头和左路摄像头的公共视野；需要获取车身左后方的车道线，可以使用左路摄像头和后路摄像头的组合。

如图2所示，车道线的获取原理如下：摄像头a与其视野内的直线a确定一个空间平面，摄像头b与其视野内的直线b确定一个空间平面，这两个平面的交线即为所需提取的车道线。其中，由于视觉误差，直线a和直线b位于误差平面上，而车道线则是位于真实地平面上。

基于上述原理，基于设置在车辆上的多路摄像头获取车辆两侧的车道线包括以下步骤：

11)由前路摄像头和其视野内的任一直线确定第一平面。

12)由后路摄像头和其视野内的任一直线确定第二平面。

13)由左路摄像头和其视野内的任一直线确定第三平面。

14)由右路摄像头和其视野内的任一直线确定第四平面。

15)由所述第一平面和所述第三平面的交线或所述第二平面与所述第三平面的交线确定左侧车道线。

具体地，所述第一平面和所述第三平面的交线即为左前方的车道线；所述第二平面和所述第三平面的交线即为左后方的车道线。

16)由所述第一平面和所述第四平面的交线或所述第二平面和所述第四平面的交线确定右侧车道线。

具体地，所述第一平面和所述第四平面的交线即为右前方的车道线；所述第二平面和所述第四平面的交线即为右后方的车道线。

判断模块12与获取模块11相连，用于判断所获取的车辆两侧的车道线是否平行且处于同一水平面上。

通常情况下，车辆总是沿着车道线行驶的，且路面的车道线一般是平行的。因此，需要在水平方向上判断车道线是否平行，若不平行，则去除该车道线；对于平行的车道线还需要在竖直方向上判断是否处于同一水平面，若不处于同一水平面，则去除该车道线。这是因为，在收集直线车道数据时容易收集到路沿等错误数据，由于路沿与地面通常不在同一水平高度上，使用路沿数据会导致地平面拟合错误；而地平面拟合错误会导致摄像头的标定数据的不准确，容易造成各摄像头拍摄的图像间的拼接错位，例如，左路和前路摄像头调整后，左路和后路的图像拼接会发生错位。

拟合模块13与判断模块12相连，用于基于平行且处于同一水平面的车道线生成地面点云，并拟合生成地平面。

每条直线由空间中的两个点能够唯一确定。因此，一条车道线对应地平面上的两个点。不在同一直线上的三个点能够唯一确定一个平面。因此，理论上只要采集两条不同位置的车道线就能够计算出地平面的空间方程。

点云是指三维空间中的许多点的集合。利用点云数据可以拟合出直线、平面或其他几何形状。对应地，地面点云是指地面上许多点的集合。利用地面点云数据可以拟合生成地平面。

在本发明中，根据多组车道线获取的地面点云来拟合地平面，能够减小误差。

如图5所示，本发明的摄像头标定系统包括上述地平面拟合系统1和调整模块2。

地平面拟合系统1用于基于设置在车辆上的多路摄像头拟合生成地平面。

调整模块2与地平面拟合系统1相连，用于根据所拟合生成的地平面的高度，生成摄像头的标定数据。

利用摄像机所拍摄到的图像来还原空间中的物体时，假设摄像机所拍摄到的图像与三维空间中的物体之间存在以下一种简单的线性关系：[像]＝m[物]。其中，矩阵m可以看成是摄像机成像的几何模型。m中的参数就是摄像机参数。通常，这些参数是要通过实验与计算来得到的。这个求解参数的过程就称为摄像机标定。

当确定地平面时，即可基于该地平面的高度来生成摄像头的标定数据，以使得各摄像头拍摄的图像拼接位置更加准确，误差更小。对于本领域技术人员而言，生成摄像头的标定数据属于成熟的现有技术，故在此不再赘述。

如图6所示，本发明还提供一种车载终端，与多路摄像头相连，包括上述摄像头标定系统，所述多路摄像头包括分别位于车辆的前方、后方、左侧和右侧的前路摄像头、后路摄像头、左路摄像头和右路摄像头；所述前路摄像头与所述左路摄像头、所述前路摄像头与所述右路摄像头、所述后路摄像头与所述左路摄像头、所述后路摄像头与所述右路摄像头分别具有公共视野。本发明的车载终端能够生成摄像头的标定数据，使得各摄像头拍摄的图像拼接位置更加准确，误差更小。

如图7所示，本发明还提供一种车辆7，包括上述相连的车载终端71和多路摄像头72，所述多路摄像头包括分别位于车辆的前方、后方、左侧和右侧的前路摄像头、后路摄像头、左路摄像头和右路摄像头；所述前路摄像头与所述左路摄像头、所述前路摄像头与所述右路摄像头、所述后路摄像头与所述左路摄像头、所述后路摄像头与所述右路摄像头分别具有公共视野。

综上所述，本发明的地平面拟合、摄像头标定方法及系统、车载终端、车辆基于四路摄像头采集路面图像，并获取路面图像中的车道数据，通过剔除错误的车道数据来保证地平面拟合的准确性；基于标准的拟合地平面，生成摄像头的标定数据，使得各摄像头拍摄的图像拼接位置更加准确，误差更小；实时性好，满足地平面拟合和摄像头标定的时间要求。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。