本申请涉及车载相机系统数据处理领域，特别涉及一种车载相机系统相机外参的标定方法及标定系统。
背景技术：
相机标定在二维图像中恢复物体的三维信息的过程中至关重要，在相机的成像几何模型中空间点与图像平面上像点之间存在对应关系，这个对应关系是由摄像机参数决定的。通常摄像机包含相机内参与外参，内参为摄像机自身的参数，外参为摄像机安装位置上如俯仰角、旋转角和偏航角等。从广义上来分，目前可将相机标定分为两类，即传统的摄像机标定法与摄像机自标定法。
1、传统的摄像机标定法在相机静止环境下，相机标定通常通过传统的定标方法进行标定，这一过程需要利用标定板在图像平面的成像位置，计算出相机的内外参数。这种方法的缺点是只能用于相机相对静止的环境，在许多应用场景中难以实现。例如，在车载相机系统中，利用视觉实现目标位置估计，由于车辆在行驶过程由于道路原因中会产生振动，从而会导致相机外参发生变化，进而影响摄像机坐标系与世界坐标系的转换矩阵，此时如果相机没有实现实时标定，会进一步影响目标距离位置的准确性，难以安全有效地进行导航决策。
2、摄像机自标定法，该方法无需利用标定板进行标定。目前动态标定的方法有利用车辆与平行线的距离与消失点进行标定的方法，需要的条件较多。只适用于特定道路，通用性较低。
因此，需要提出一种可以准确计算相机外参角度的标定方法，以获得载摄像机实时、准确的外参角度。
申请内容
本专利提供一种车载相机系统相机外参的标定方法及标定系统，利用了车道线结合反三角函数，使得求解出的相机外参角度更为准确。
本专利提供一种车载相机系统相机外参的标定方法，应用于电子设备，包括：
获取一帧图像信息，通过车道线检测方法识别图像信息中的车道线信息；
在每条车道线上随机选取至少两个特征点，计算所述特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量；
利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度。
可选的，所述相机外参角度包括俯仰角、偏航角和滚动角中的至少一种。
可选的，利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度，包括
将上一次修正的外参角度作为输入，并与本次求取的角度修正量相加，或者本次修正的外参角度并输出；
判断本次修正的角度修正量是否小于修正阈值，若是则完成本步骤，否则继续迭代补偿。
可选的，迭代补偿采用牛顿法进行迭代计算。
可选的，所述俯仰角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意两点l1、l2，和右车道线上的任意一点r1，并计算各点的世界坐标；
采用如下公式进行修正
其中，
可选的，俯仰角迭代修正后还采用光流信息进一步修正，包括：
在本帧图像信息中进行目标识别，并选取目标的至少一个跟踪点的坐标，通过光流信息采集该跟踪点在下一帧图像信息中的坐标，形成一组跟踪点组；
计算出多组跟踪点组之间的像素距离比，并取其中间值s；
通过跟踪点像素距离比中间值s以及当前帧图像信息中与目标的距离
利用迭代法通过如下公式对俯仰角进行修正
当
可选的，所述偏航角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意两点l1、l2，和右车道线上的任意两点r1、r2，并计算各点的世界坐标；
采用如下公式进行修正
其中，
可选的，所述滚动角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意一点l1、右车道线上的任意一点r1以及邻近车道线的任意一点n1，并计算各点的世界坐标；
采用如下公式进行修正
当邻近车道线为左邻近车道时，其滚动角修正公式如下：
当邻近车道线为右邻近车道时，其滚动角修正公式如下：
其中，
可选的，所述修正阈值为0.01°~0.1°之间的任一值，进一步优选为0.05°。
另外，本发明还提供一种车载相机外参标定系统，其特征在于，包括
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；
所述一个或多个应用程序被配置为用于执行上述任意一项所述的车载相机系统相机外参的标定方法的步骤。
由上可知，本发明通过前视摄像头获取前方道路图像，提取道路图像中车道线与目标车辆位置信息，利用车道线信息结合静态标定结果和反三角函数动态求解出相机的外参角度，运用opencv提取图像中目标车辆检测框内的光流信息，利用光流信息对计算出的相机外参角度进行调整，求解出更为准确的相机外参角度，并以此根据图像中目标车辆的位置求解出目标相对于车身的距离。
附图说明
图1为本申请实施例提供的车载相机系统相机外参的标定方法的实现流程图。
图2为本申请实施例提供的外参偏差后的车道线示意图。
图3为本申请实施例提供的进行修正时特征点选取的原理图。
图4为本申请实施例提供的利用光流信息修正俯仰角的流程图。
图5为本申请实施例提供的偏航角修正的原理图。
图6为本申请实施例提供的滚动角修正的原理图。
图7为本申请实施例提供的标定系统示意图。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征更易被本领域技术人员理解，从而对本申请的保护范围作出更为清楚的界定。
请参阅图1，图中示出了本申请实施例提供的车载相机系统相机外参的标定方法的实现流程。
该车载相机系统相机外参的标定方法应用于电子设备，该电子设备可以为安装于汽车上的车载电子设备。该车载电子设备可以包括车道线检测模块、世界坐标转换模块和迭代计算修正模块。
该车道线检测模块用于识别当前帧图像中的车道线特征，并对车道线进行识别和标记，供后续修正计算。
该世界坐标转换模块用于将当前帧图像信息从平面二维坐标转换成世界三维坐标。
该迭代计算修正模块用于对转换成三维坐标之后的图像信息计算修正当前相机的外参角度，使其完成标定。
请参阅图1，图中示出了本申请实施例提供的车载相机系统相机外参的标定方法的实现流程。
如图1所示，一种车载相机系统相机外参的标定方法，应用于电子设备中，该电子设备可以为如上实施例所述的电子设备，该方法包括：
101、获取一帧图像信息，通过车道线检测方法识别图像信息中的车道线信息。
该帧图像信息中，应当包括车道线信息，由于图像信息由设置在车前方的单目相机获得，其在识别的过程中通常除了识别左车道和右车道信息外，还会根据需要对邻近车道的车道线进行识别。
同时为了避免初次标定出现误差，系统自动将相机外参角度赋初值为0。在计算相机外参的修正之前，系统会通过静态标定的方式，对相机外参进行一次计算，从而确定其相机高度等信息，本专利所重点修正的包括俯仰角、偏航角和滚动角。
其中，俯仰角值得是相机拍摄方向与水平面之间的夹角，偏航角为相机拍摄方向与竖直平面的夹角，滚动角则是相机以其拍摄方向为轴心的旋转角度。
这三个相机外参在将图像信息从二维坐标系转换为三维世界坐标系的过程中起到了重要的作用。在未经过修正而直接通过简单静态标定获得的三维世界坐标系下，车道线会出现如下几种情况，如图2所示。
图2示意出了本专利的三种相机外参出现偏差时，车道线在图像信息转换后出现的偏差情况。其中如果俯仰角偏大或偏小，则车道线在世界坐标系中呈现出如图所示的“内八”或“外八”形状，如图2（a）。同样当偏航角不正确时，车道线中线会向一方倾斜，在世界坐标系中形成如平行四边形的状态，如图2（b）。滚动角不正确时，则其在世界坐标系中两条车道宽度会不相等，如图2（c）。
只有当相机外参角度全部正确时，将图像坐标投影到世界坐标时车道线才会同时出现“平行”、“垂直”、“等距”的情况。因此可以利用上述现象对相机外参角度进行修正，直至车道线投影结果满足以上三种情况，即“平行”、“垂直”、“等距”。
102、在每条车道线上随机选取至少两个特征点，计算所述特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量。
其中，在特征点的选取过程中，其可以优选地选取车道线的边缘部分，由于与周围能够形成。将图像特征点从平面坐标转换为世界坐标系的方法有很多种，本专利的重点在于通过完成转换的世界坐标系对相机进行外参角度的求取，因此本专利不对坐标系的转换进行赘述。在一些实施例中，转换方法可以但不仅限于采取fpr模型（fastperspectiveremoval，快速去透视）进行转换。
其中，相机高度的获得也可以是多种形式的，本专利的预设条件是相机高度为已知，由于相机高度在运行过程中相对恒定，因此可以但不仅限于采用静态标定的方式进行快速获得，从而减小系统的整体计算量。
本专利实施例中，修正的相机外参均为角度参数，因此修正量也是角度参数。其修正的基本原理是通过左车道、右车道和/或相邻车道线中各个随机特征点之间的坐标位置关系中寻找合适的三角函数关系，计算其与理想工况下的偏差值，并且进一步地对三角函数关系进行反三角函数处理，计算出相应的角度修正量。通过反三角函数进行角度修正量的计算所涉及的计算量相对于其他的计算方式更加小，而且数据转换步骤少，可简单直接地获得。
103、利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度。
其中，本专利实施例中，迭代法优选采用的是牛顿迭代法。其将前一次计算输出的参数作为当前修正的输入参数，并进行一次修正计算，在将该次计算输出的参数作为下一次休整计算的输入参数。从而使外参角度逐渐逼近准确值。
为了减少计算量，在每次修正计算后都会将前一次计算获得的相机外参角度与当前计算所得的相机外参角度进行求差获得修正参数，当两者差值小于预设的修正阈值时，则判定修正完成。可以理解的，该差值即为每次修正的修正量，通常情况下每帧图像只需要进行不超过10次的迭代运算即可以满足条件。
在一些实施例中，俯仰角的修正步骤包括如下子步骤。
请参见图3，其示意出了通过本专利实施例进行修正时特征点选取的原理图。
如图3所示，在当前帧图像信息，通过转换后的世界坐标系中选取在左车道线上的任意两点l1、l2，和右车道线上的任意一点r1。其中，
理论上，当俯仰角出现偏差时，其转换世界坐标系后会出现车道线不平行的情况，如八字形或者倒八字形，此时根据所选取的特征点之间的三角函数关系会与偏差角相对应，而在俯仰角修正过程中，修正量则是偏差角，因此只需要将特征点的世界坐标获取后，对世界坐标进行一定的计算既可以知道当前俯仰角的偏差值。
可选的本发明实施例采用如下公式对俯仰角进行修正
其中，
例如，当两车道线平行时，
在一些实施例中，为了减少计算量，通常当修正量小于一定阈值时即可以认定为完成修正，本实施例所选的修正阈值为0.01°~0.1°之间的任一值，进一步可以优选为0.05°。即当修正量小于0.05°时，即判定为完成修正，将当前外参角度进行输出。
另外，
在一些实施例中，为了进一步修正俯仰角，还会在上述俯仰角修正步骤完成后继续利用光流信息进行进一步修正。
请参阅图4，图中示出了本专利实施例提供的利用光流信息进一步修正俯仰角的流程图。
如图4所示，该俯仰角迭代修正后还采用光流信息进一步修正包括：
401、在本帧图像信息中进行目标识别，并选取目标的至少一个跟踪点的坐标，通过光流信息采集该跟踪点在下一帧图像信息中的坐标，形成一组跟踪点组。
其中目标识别的方法可以是通特征图像识别、人工智能识别等方式进行精准识别，其结合目标的特征点进行轮廓计算，最终确定目标的范围。例如，前方目标为车辆时，其通过对车辆轮廓进行识别，同时在其轮廓内选择合适的特征点作为跟踪点，并计算其坐标信息。
确定该跟踪点后，获取下一帧图像信息，同时找到跟踪点在这一帧图像信息中的坐标位置。由上下两帧中找到的跟踪点共同构成一组跟踪点组。跟踪点组内两跟踪点的相对位置则反映出现实中的
例如，由光流的特性可知，上下两帧之间的跟踪点在实际目标车辆上为同一点，换言之上下两帧中两个跟踪点在目标车辆上的位置没有发生变化，即可得到上下两帧中两个跟踪点在现实生活中的水平宽度相等，假设两跟踪点之间的现实宽度为w，相机焦距为f，
402、计算出多组跟踪点组之间的像素距离比，并取其中间值s。
考虑到光流匹配时可能存在某些跟踪点匹配错误的情况，为了去除匹配错误的情况，本方法采用取n组跟踪点组取其中位数为上下两帧的像素宽比，以提高算法的准确性。在本专利实施例中，为了降低噪点，可随机取n组每组两个跟踪点的信息进行比较，求出上下两帧之间的n组跟踪点像素之间距离比，并取其中值s。择优关系是
403、通过跟踪点像素距离比中间值s以及当前帧图像信息中与目标的距离
404、利用迭代法通过如下公式对俯仰角进行修正
405、利用上述公式没计算一次均对修正阈值进行比较，直至当
请参阅图5，图中示意出了通过本专利实施例进行偏航角修正的原理图。
在一些实施例中，如图5所示，在当前帧图像信息，通过转换后的世界坐标系中选取在左车道线上的任意两点l1、l2，和右车道线上的任意两点r1、r2。其中，
理论上，当偏航角出现偏差时，其转换世界坐标系后会出现车道线倾斜的情况，即会整体向左倾斜或者整体向右倾斜，此时根据所选取的特征点之间的三角函数关系会与偏差角相对应，而在偏航角修正过程中，修正量则是偏差角，因此只需要将特征点的世界坐标获取后，对世界坐标进行一定的计算既可以知道当前俯仰角的偏差值。
可选的本发明实施例采用如下公式对偏航角进行修正
其中，所求取的是以r1和l1的中点、r2和l2的中点连线的倾斜角度，当偏航角越接近理想状态时，所有车道线则越趋近于垂直，所选特征点的中线也将接近垂直。
例如，当偏航角准确时，
在修正偏航角时，需要注意的是当车辆平行车道线驾驶时修正俯仰角、偏航角与滚动角，否则只对俯仰角与滚动角进行调整。
在一些实施例中，会出现俯仰角和偏航角同时修正的情况，因此事需要在两者在修正期间，同时满足俯仰角修正量和偏航角修正量均小于修正阈值，才判定修正步骤完成。
请参阅图6，图中示意出了通过本专利实施例进行滚动角修正的原理图。
在一些实施例中，如图6所示，在滚动角的修正计算中，需要识别图像信息内的三条车道线，分别是当前车道的左车道线、右车道线和邻近车道的车道线。如果当前车道的左侧存在至少一条车道，则可以将左侧邻近车道的左车道线当做邻近车道线；同理的，如果当前车道的右侧存在至少一条车道，则可以将右侧邻近车道的右车道线当做邻近车道线；如果两侧都存至少一条车道时，则随机选取一条。
图中的l’、r’、n’分别为实际路面上的车道线的一点，而l1、r1、n1则分别为在外参角度计算下获得的车道线上的一点，实线与虚线之间的夹角roll为滚动角。在此基础上，进行如下反三角函数处理。
在当前帧图像信息中选取在左车道线上的任意一点l1、右车道线上的任意一点r1以及邻近车道线的任意一点n1，并计算各点的世界坐标。在计算过程中，只需要知道三个点的横坐标即可。其中，
在采用公式进行修正时，需要考虑当前车道的邻近车道方位。
当邻近车道线为左邻近车道时，其滚动角修正公式如下：
当邻近车道线为右邻近车道时，其滚动角修正公式如下：
其中，上述公式做了一定的近似设定，由于一般情况下滚动角通常会在5°以内，在该角度下，相机所在车道的实际车道宽度与标定计算车道宽度相差较小，因此可以做如上近似认定：
1、认为通过外参角度计算出来的当前车道宽度即是实际车道宽度。
2、摄像机高度也可以近似认为始终垂直于路面。
基于上述两个近似设定，可知的是在滚动角修正过程中实际上是仅对邻近车道的宽度进行修正，以图6为例，图6示意出的邻近车道为右邻近车道，此时因套用右邻近车道的滚动角修正公式。
在公式中存在两个反三角函数，其实际上是针对不同的两个角度去计算邻近车道与相机这一连线与竖直方向的夹角。
本专利实施例具体采用是正切的反三角函数进行计算，认为相机在路面上的投影为坐标原点。
其中，当滚动角正确时，所计算出来的邻近车道线n1横坐标会与实际车道线n’横坐标相等。而计算出来的n1横坐标通过标定计算所得，是直接获取的，即
因此，在滚动角准确的情况下，
在做迭代补偿的过程中，这个修正量会迭代计算次数增加而减少，最终满足修正阈值的限定，完成滚动角的修正。
请参阅图7，图中示意出了通过本专利实施例标定系统的架构原理图。
如图7所示，该车载相机外参标定系统包括
一个或多个处理器、存储器和一个或多个应用程序，其中所述一个或多个应用程序被存储在存储器中并被配置为由所述一个或多个处理器执行。
一个或多个应用程序被配置为用于上述实施例公开的车载相机系统相机外参的标定方法的步骤。
在一些实施例中，该车载标定系统还包括前视单目摄像头，该单目摄像头用于获取汽车前方的图像信息。
由上可知，本发明的车载相机外参标定方法及系统通过前视摄像头获取前方道路图像，提取道路图像中车道线与目标车辆位置信息，利用车道线信息结合静态标定结果和反三角函数动态求解出相机的外参角度，运用opencv提取图像中目标车辆检测框内的光流信息，利用光流信息对计算出的相机外参角度进行调整，求解出更为准确的相机外参角度，并以此根据图像中目标车辆的位置求解出目标相对于车身的距离。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（rom，readonlymemory）、随机存取记忆体（ram，randomaccessmemory）、磁盘或光盘等。
本申请实施例中，车载相机外参标定系统与上文实施例中的一种车载相机系统相机外参的标定方法属于同一构思，在车载相机外参标定系统上可以运行所述车载相机系统相机外参的标定方法实施例中提供的任一方法步骤，其具体实现过程详见车载相机系统相机外参的标定方法实施例，并可以采用任意结合形成本申请的可选实施例，此处不再赘述。
上面结合附图对本申请的实施方式作了详细说明，但是本申请并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。