一种车载相机的在线标定方法和车载信息娱乐系统与流程
本发明涉及自动驾驶技术领域，特别是一种车载相机的在线标定方法和车载信息娱乐系统。
背景技术：
随着汽车技术的发展，车载全景环视系统(aroundviewmonitor，avm)和自动泊车系统应用越来越广泛。在avm的使用过程中，由于受到外界扰动、车身形变、售后换件等的影响，车载相机的外参会发生相应的变化，导致环视系统的拼接效果变差，从而影响用户使用。
针对上述情况，现有技术中一般采用的解决方式为将车辆返回4s店进行售后标定。但是，4s店的售后标定存在以下问题：第一，由于标定效果严重依赖于车辆与标定模板(pattern)的精确定位，而4s店却并不具备汽车产线上具有车辆自动校准定位功能的标定工位，因此4s店的标定模板存在定位精确度低或定位流程复杂度较高的情况。第二，4s店售后标定需要人工参与，自动化程度低。第三，在整个售后标定过程中，用户需要等待较长时间，不够方便。因此，亟需开发一种不依赖固定标定模板、自动化程度高、环境适应性高的相机外参标定方法。
技术实现要素：
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的车载相机的在线标定方法和车载信息娱乐系统。
本发明的一个目的在于提供一种利用规则的车道线进行相机外参标定的车载相机的在线标定方法，其运行时间短，自动化程度高，环境适应性高。
本发明的一个进一步的目的在于通过利用车道线的环视拼接误差作为最终优化目标对车载相机的外参进行二次优化，进一步保证相机外参标定的准确性。
特别地，根据本发明实施例的一方面，提供了一种车载相机的在线标定方法，应用于车辆的外置全景环视控制器，所述方法包括：
在所述车辆在平直的车道线中间进行驻车或慢速行驶时获取所述车辆的车载相机所采集的车道线原始图像；
对所述原始图像进行畸变矫正得到去畸变图，并对所述去畸变图进行车道线边缘提取，得到所述车道线的边缘线点集；
对所述车道线的边缘线点集进行直线拟合，得到所述车道线的图像坐标直线方程；
根据所述车载相机的内参和外参当前值以及所述车道线的图像坐标直线方程，得到所述车道线的世界坐标直线方程；
以所述车载相机的外参当前值作为初始值且以所述车道线的世界坐标直线方程的平直性作为优化目标，通过第一优化算法对所述车载相机的外参当前值进行优化，得到所述车载相机的外参优化值作为所述车载相机的外参标定值；
将所述车载相机的外参当前值更新为所述外参标定值。
可选地，所述车载相机的数量为多个；
以所述车载相机的外参当前值作为初始值且以所述车道线的世界坐标直线方程的平直性作为优化目标，通过第一优化算法对所述车载相机的外参当前值进行优化，得到所述车载相机的外参优化值作为所述车载相机的外参标定值的步骤包括：
分别以各所述车载相机的外参当前值作为初始值且以基于各所述车载相机采集的原始图像得到的所述车道线的世界坐标直线方程的平直性作为优化目标，通过第一优化算法对各所述车载相机的外参当前值进行优化，得到各所述车载相机的外参优化值作为各所述车载相机的外参标定值。
可选地，所述多个车载相机属于所述车辆的车载全景环视系统；
所述获取所述车辆的车载相机所采集的车道线原始图像的步骤包括：
同步获取各所述车载相机所采集的车道线原始图像；并且
在得到各所述车载相机的外参优化值作为各所述车载相机的外参标定值之后，所述在线标定方法还包括：
以各所述车载相机的外参优化值作为初始值且以全景拼接图中所述车道线的拼接误差作为优化目标，通过第二优化算法对多个所述车载相机的外参优化值进行同步优化得到各所述车载相机的外参二次优化值，其中，所述全景拼接图是由各所述车载相机的所述去畸变图拼接而成；
将各所述车载相机的外参标定值更新为所述外参二次优化值。
可选地，所述车载相机的外参优化值进行同步优化过程，基于环绕车身的方向，计算每相邻两个所述车载相机采集得到的车道线在所述全景拼接图中的拼接误差，再以所有拼接误差的加和作为总拼接误差进行优化。
可选地，对所述原始图像进行畸变矫正的步骤包括：
根据预置的所述车载相机的内参和畸变系数对所述原始图像进行畸变矫正。
可选地，在对所述车道线的边缘线点集进行直线拟合之前，所述在线标定方法还包括：
对所述车道线的边缘线点集进行去噪处理，其中，通过随机采样一致算法或迭代最近点算法去除所述车道线的边缘线点集中的噪点。
可选地，所述车道线的世界坐标直线方程的平直性包括：
所述车道线的世界坐标直线方程所表述的两侧边缘线之间的平直性和向前朝向性。
可选地，在所述车辆在平直的车道线中间进行驻车或慢速行驶时获取所述车辆的车载相机所采集的车道线原始图像之前，所述在线标定方法还包括：
判断是否满足在线标定环境条件。
可选地，所述在线标定环境条件包括：
所述车辆两侧的车道线清晰且所述车载相机的视野中均包含所述车道线；
所述车辆所在的道路平坦；
所述车辆两侧的车道线平直且宽度一致；
所述车辆的车速小于指定速度；
所述车辆所在环境的亮度大于指定亮度；
所述车载相机的镜头表面干净；
所述车载相机的外参当前值已知。
根据本发明实施例的另一方面，还提供了一种车载信息娱乐系统，包括：
处理器；以及
显示屏；其中，
所述处理器在所述车载信息娱乐系统所在的车辆在平直的车道线中间进行驻车或慢速行驶时获取所述车辆的车载相机所采集的车道线原始图像；
对所述原始图像进行畸变矫正得到去畸变图，并对所述去畸变图进行车道线边缘提取，得到所述车道线的边缘线点集；
对所述车道线的边缘线点集进行直线拟合，得到所述车道线的图像坐标直线方程；
根据所述车载相机的内参和外参当前值以及所述车道线的图像坐标直线方程，得到所述车道线的世界坐标直线方程；
以所述车载相机的外参当前值作为初始值且以所述车道线的世界坐标直线方程的平直性作为优化目标，通过第一优化算法对所述车载相机的外参当前值进行优化，得到所述车载相机的外参优化值作为所述车载相机的外参标定值；
将所述车载相机的外参当前值更新为所述外参标定值；
所述显示屏用于接收图像或文字信息进行显示。
本发明实施例提供的车载相机的在线标定方法和车载信息娱乐系统，利用规则平直的车道线进行车载相机的外参标定。通过车载相机采集车道线图像并基于采集的图像进行车道线检测得出车道线的世界坐标直线方程后，以车载相机的外参当前值为初始值且以车道线的世界坐标直线方程的平直性为优化目标对车载相机的外参当前值进行初步优化，实现对车载相机的外参标定。本发明的方案在保证参数标定准确性的前提下，运行时间短，无需人工参与，自动化程度高。同时，本方案只需利用平直规则的车道线即可进行，不依赖于固定的标定模板，可大大提高标定的环境适应性。
进一步地，对于车载全景环视系统的多个车载相机，在对各车载相机的外参当前值进行初步优化后，还可以利用车道线的环视拼接误差作为最终优化目标对各车载相机的外参优化值进行二次优化，从而进一步保证相机外参标定的准确性，同时保证车辆的全景环视拼接效果，提升用户使用体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一实施例的车载相机的在线标定方法的流程示意图；
图2示出了根据本发明另一实施例的车载相机的在线标定方法的流程示意图；
图3示出了根据本发明又一实施例的车载相机的在线标定方法的流程示意图；
图4示出了根据本发明一实施例的车载信息娱乐系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
对于搭载了全景环视系统的车辆而言，在车辆使用过程中车载相机的外参会发生变化，导致环视系统的显示效果变差，而现有技术中还没有可不依赖固定标定模板、自动化程度高的相机外参标定方法。
为解决上述技术问题，本发明实施例提出一种车载相机的在线标定方法，其可应用于车辆的外置avm控制器。图1示出了根据本发明一实施例的车载相机的在线标定方法的流程示意图。参见图1，该方法至少可以包括以下步骤s102至步骤s112。
步骤s102，在车辆在平直的车道线中间进行驻车或慢速行驶时获取车辆的车载相机所采集的车道线原始图像。
步骤s104，对原始图像进行畸变矫正得到去畸变图，并对去畸变图进行车道线边缘提取，得到车道线的边缘线点集。
步骤s106，对车道线的边缘线点集进行直线拟合，得到车道线的图像坐标直线方程。
步骤s108，根据车载相机的内参和外参当前值以及车道线的图像坐标直线方程，得到车道线的世界坐标直线方程。
步骤s110，以车载相机的外参当前值作为初始值且以车道线的世界坐标直线方程的平直性作为优化目标，通过第一优化算法对车载相机的外参当前值进行优化，得到车载相机的外参优化值作为车载相机的外参标定值。
步骤s112，将车载相机的外参当前值更新为外参标定值。
本发明实施例提供的车载相机的在线标定方法，利用规则平直的车道线进行车载相机的外参标定。通过车载相机采集车道线图像并基于采集的图像进行车道线检测得出车道线的世界坐标直线方程后，以车载相机的外参当前值为初始值且以车道线的世界坐标直线方程的平直性为优化目标对车载相机的外参当前值进行初步优化，实现对车载相机的外参标定。本发明的方案在保证参数标定准确性的前提下，运行时间短，无需人工参与，自动化程度高。同时，本方案只需利用平直规则的车道线即可进行，不依赖于固定的标定模板，可大大提高标定的环境适应性。
上文步骤s102中，在车辆在清晰且平直的车道线中间驻车或以匀速向前进行慢速行驶的过程中进行车道线原始图像的获取。这里提及的慢速可指例如15km/h以下的车速。同时，在车辆驻车或行驶过程中保证车道线在车辆的车载相机的视野中。
在一个实施例中，参照图2所示，在执行步骤s102之前，还可以先执行步骤s101：判断是否满足在线标定环境条件。若是，再执行步骤s102。此处提及的在线标定环境条件可包括但不限于下列条件：(1)车辆两侧的车道线清晰且车载相机的视野中均包含车道线，从而保证车道线图像的采集效果；(2)车辆所在的道路平坦；(3)车辆两侧的车道线平直且宽度(即车道线的线宽度，一般可以为10-40cm)一致；(4)车辆的车速小于指定速度(指定速度例如为15km/h)；(5)车辆所在环境的亮度大于指定亮度(指定亮度例如为800lux)，从而保证可以在良好光照条件下采集到更清晰的图像；(6)车载相机的镜头表面干净，以保证图像效果；(7)车载相机的外参当前值已知，以便对该外参当前值进行优化标定。对于出厂后首次进行标定的车载相机，本文中的外参当前值指该车载相机出厂前标定的外参。对于出厂后已经进行过标定的车载相机，则本文中的外参当前值指该车载相机上一次标定后的外参标定值。通过较为严格的在线标定环境条件的约束，可尽量保证相机外参的在线标定的准确性。
车载相机采集的原始图像通常存在畸变，因此，为了避免图像畸变对车道线检测的影响，步骤s104中对车载相机采集的原始图像进行畸变矫正，得到去畸变图，进而，对去畸变图进行车道线边缘提取，得到车道线的边缘线点集。
进一步地，在一个实施例中，可以根据预置的车载相机的内参和畸变系数对原始图像进行畸变矫正。车载相机的内参一般可包括车载相机的镜头焦距fx、fy和镜头主点坐标(cx,cy)。车载相机的内参和畸变系数可预置在车辆的存储器或控制器的内存中，在需对原始图像进行畸变矫正时从车辆的存储器或控制器的内存中读取预置的车载相机的内参和畸变系数。
车道线边缘提取可通过对去畸变图进行边缘检测实现。边缘检测的方法可以采用canny边缘检测法、基于sobel算子的边缘检测法、基于laplacian算子的边缘检测法等，此应为本领域技术人员所知晓，本文不再赘述。
上文步骤s106中，对每条车道线的两侧边缘的边缘线点集分别进行直线拟合，得到车道线的两侧边缘线的图像坐标直线方程。车道线的图像坐标直线方程是车道线在图像坐标系中的描述方程，以像素坐标形式描述。图像坐标系一般指以图像左上角为原点，水平向右为x轴正方向，竖直向下为y轴正方向建立的坐标系，以像素为基本单位1。直线拟合方法可以采用最小二乘法、梯度下降法等，优选采用最小二乘法。
考虑到边缘线提取得到的边缘线点集中通常含有噪点，影响直线拟合的精度，因此，在一个实施例中，参照图2所示，在执行步骤s106对车道线的边缘线点集进行直线拟合之前，还可以先执行步骤s105：对车道线的边缘线点集进行去噪处理。具体地，可以通过随机采样一致(randomsampleconsensus，ransac)算法或迭代最近点(iterativeclosestpoint，icp)算法去除车道线的边缘线点集中的噪点。通过对车道线的边缘线点集进行去噪处理，可以剔除影响拟合精度的噪点，从而提高直线拟合精度，并进而提高后续外参优化的准确性。
上文步骤s108中，车道线的世界坐标直线方程是真实车道线在世界坐标系中的描述方程，以m为单位表述。世界坐标系指车辆所处的实际的空间坐标系，可以根据实际应用需求定义原点和各坐标轴方向。一般地，可以以车辆的前轴中心在地面的投影点为原点，向车辆右侧的方向为x轴正方向，车辆前向为y轴正方向，车辆向上方向为z轴正方向建立世界坐标系。
车载相机的内参和外参当前值可预置(预存储)在车辆的存储器或控制器(如avm控制器)的内存中，在使用时可从车辆的存储器或控制器的内存中读取车载相机的内参和外参当前值。
下面具体介绍从车道线的图像坐标直线方程得到世界坐标直线方程的计算过程。
设车载相机的内参组成的内参矩阵为mc，外参当前值组成的外参矩阵为mr，平移向量为t，如下式(i)、(ii)、(iii)所示：
其中，fx、fy表示车载相机的镜头焦距，cx、cy表示车载相机的镜头主点坐标。
其中，ω、
其中，tx、ty、tz分别表示世界坐标系的原点在相机坐标系下的坐标。相机坐标系一般是以车载相机的聚焦中心为原点，x轴与y轴分别与图像的x轴和y轴平行，且以车型相机的光轴为z轴建立的坐标系。
设世界坐标系中一点p，其在世界坐标系下的齐次坐标表示为pw＝[xwywzw1]’，该p点在图像坐标系下的齐次坐标表示为pi＝[xiyi1]’，则根据投影原理可得到下式(iv)：
令：
考虑到车道线点的坐标的zw分量为0，则m可以简化为m’：
对于给定的一条直线l，其直线方程的形式为：ax+by+c＝0，其中，a、b、c为方程系数。令车道线在世界坐标系下的方程系数(即车道线的世界坐标直线方程的方程系数)为[a1b1c1]，在图像坐标系下的方程系数(即车道线的图像坐标直线方程的方程系数)为[a2b2c2]，根据投影关系可得到下式(vi)和(vii)：
根据式(vi)和(vii)推出式(viii)：
[a1b1c1]＝[a2b2c2]*m′(viii)
由此，可由车道线的图像坐标直线方程以及车载相机的内参和外参当前值得到车道线的世界坐标直线方程。
上文步骤s110中，以车载相机的外参当前值作为初始值，以车道线的世界坐标直线方程的平直性作为优化目标进行外参优化。例如，可以设定车道线的世界坐标直线方程的平直性目标值，通过第一优化算法计算出可使车道线的世界坐标直线方程的平直性达到该平直性目标值的车载相机的外参参数值，则此时的车载相机的外参参数值即为车载相机的外参优化值。具体地，第一优化算法可以包括lm(levenberg-marquardt，列文伯格-马夸尔特)优化算法、gn(gauss-newton，高斯-牛顿)优化算法等。在方程、优化目标和待优化参数的初始值已知的情况下，如何通过上述优化算法对待优化参数进行优化，本领域人员在掌握本领域的普通技术知识的基础上应可知晓，本发明不再详述。
进一步地，在一种具体的实施方案中，车道线的世界坐标直线方程的平直性可以定义为车道线的世界坐标直线方程所表述的两侧边缘线之间的平直性，可由平行性和向前朝向性两个指标定量表示。其中，向前朝向性指相对车身向车辆正前方延伸的性质。在以车辆前向为y轴正方向建立世界坐标系的情况下，向前朝向与世界坐标系的y轴平行。设一车道线的两侧边缘线的世界坐标直线方程的方程系数分别为[a1b1c1]和[a2b2c2]，则可定义平行性lp为：
lp越小，则表示车道线的两侧边缘线越平行，图像质量越高。
向前朝向性ld则可定义为：
ld越小，则表示车道线的两侧边缘线的朝向越向前，即，越与世界坐标系的y轴平行。
最后，平直性可定义为平行性lp与向前朝向性ld的加权和，如下式(ix)所示：
l＝λ1*lp+λ2*ld(ix)
其中，λ1、λ2为加权系数，可根据测试效果调优，使l最小化。
上文步骤s112中，根据步骤s110的优化结果对车载相机的外参当前值进行更新。具体地，可将步骤s110得到的外参优化值作为外参标定值进行存储以覆盖原有的外参当前值，从而实现了将车载相机的外参当前值更新为外参标定值。之后，可将更新后的外参当前值应用至相应的车载相机，以保证车辆的监控系统的成像效果。
在实际应用中，车辆配置的车载相机通常可有多个，以分别监控车辆周边不同方向的情况。在这种情况下，本领域技术人员应理解，前述步骤s102至步骤s112均针对各车载相机分别进行。特别地，在步骤s110中，分别以各车载相机的外参当前值作为初始值且以基于各车载相机采集的原始图像得到的车道线的世界坐标直线方程的平直性作为优化目标，通过第一优化算法对各车载相机的外参当前值进行优化，得到各车载相机的外参优化值作为各车载相机的外参标定值。
相应地，在步骤s102中获取各车载相机所采集的车道线原始图像。然后，在步骤s104中对各车载相机采集的原始图像进行进行畸变矫正得到去畸变图，再对各去畸变图进行车道线边缘提取，得到各图像中车道线的边缘线点集。接着，在步骤s106中对各图像中车道线的边缘线点集进行直线拟合，得到各车载相机相应的车道线的图像坐标直线方程。继而，在步骤s108中基于各车载相机相应的车道线的图像坐标直线方程，根据该车载相机的内参和外参当前值，得到各车载相机相应的车道线的世界坐标直线方程。最后，通过步骤s110得到各车载相机的外参优化值作为各车载相机的外参标定值之后，在步骤s112中将各车载相机的外参当前值更新为各车载相机的外参标定值。
进一步地，在配置有车载全景环视系统或自动泊车系统的车辆中，通常在车辆上设置多个车载相机采集车辆周围不同方向的图像后，进行图像拼接得到全景拼接图，以向用户展示车辆周围的全景画面。在这种情况下，图像拼接质量是衡量全景环视系统或自动泊车系统好坏的重要指标，同时图像拼接质量也容易受到车载相机的外参变化的影响。因此，为进一步提升相机外参标定的准确性，在一个实施例中，在步骤s102中可同步获取各车载相机所采集的车道线原始图像。并且，在步骤s110得到各车载相机的外参优化值作为各车载相机的外参标定值之后，还可以执行以下步骤：以各车载相机的外参优化值作为初始值且以全景拼接图中车道线的拼接误差作为优化目标，通过第二优化算法对多个车载相机的外参优化值进行同步优化得到各车载相机的外参二次优化值，其中，全景拼接图是由各车载相机的去畸变图拼接而成。继而，将各车载相机的外参标定值更新为外参二次优化值。之后，再执行步骤s112，以应用更新后的各车载相机的外参当前值，此时各车载相机的外参当前值为其外参二次优化值。在进行同步优化时，可通过使车道线的拼接误差达到预设的误差目标值或使拼接误差的误差函数值最小的方式来判断是否结束优化。在具体实施时，可以按照环绕车身的方向，计算每相邻两个车载相机采集得到的车道线在全景拼接图中的拼接误差，再以所有拼接误差的加和作为总拼接误差进行优化，使总拼接误差达到预设的误差目标值或最小值。
本实施例中，对于车载全景环视系统的多个车载相机，在对各车载相机的外参进行初步优化后，还可以利用车道线的环视拼接误差作为最终优化目标对各车载相机的外参进行二次优化，从而进一步保证相机外参标定的准确性，同时保证车辆的全景环视拼接效果，提升用户使用体验。
以上介绍了图1和图2所示实施例的各个环节的多种实现方式，下面将通过具体实施例来详细介绍本发明的车载相机的在线标定方法的实现过程。
图3示出了根据本发明一具体实施例的车载相机的在线标定方法的流程示意图。本实施例中，车载相机所在车辆配置了全景环视avm系统，该avm系统采用了四个车载相机，分别设置在车辆的前侧中央、左侧、右侧和后侧中央，分别称为前摄像头、左摄像头、右摄像头和后摄像头。avm系统还包括avm控制器用于控制四个车载相机以及数据(如图像数据)处理等。并且，本实施例为车载相机出厂后第一次标定，也就是说，车载相机的外参当前值为车载相机出厂前标定的外参。本实施例的在线标定方法由avm控制器执行。参见图3所示，该方法可以包括以下步骤s302至步骤s322。
步骤s302，判断是否满足在线标定环境条件。若是，则执行步骤s304。
本步骤中，首先确认车辆当前所在环境是否满足在线标定环境条件。在线标定环境条件如下：
(1)车辆两侧的车道线清晰且四个车载相机的视野中均包含车道线；
(2)车辆所在的道路平坦；
(3)车辆两侧的车道线平直且宽度一致；
(4)车辆的车速小于15km/h；
(5)车辆所在环境的光照亮度大于800lux；
(6)车载相机的镜头表面干净；
(7)车载相机出厂前标定的外参(即车载相机的外参当前值)已知。
在确定满足在线标定环境条件后，可基于用户的触发操作(如对特定虚拟按钮的点击或对物理按钮的按压等操作)，使avm控制器进行在线标定模式，执行后续步骤。
步骤s304，在车辆在平直的车道线中间进行驻车或慢速行驶时同步获取各车载相机所采集的车道线原始图像。
具体地，本步骤中avm控制器同步获取四个车载相机的原始畸变图像并保存。
步骤s306，对各原始图像进行畸变矫正得到去畸变图。
本步骤中，avm控制器利用已知的各车载相机的内参和畸变系数，对获取到的原始畸变图像进行畸变矫正。对于同一批次量产的车载相机，其内参和畸变系数一般可默认一致，在车辆出厂前已保存在avm控制器中。
步骤s308，对各去畸变图进行车道线边缘提取，得到各去畸变图中车道线的边缘线点集。
步骤s310，对各去畸变图中车道线的边缘线点集进行去噪处理。
步骤s308中初步提取出的车道线的边缘线点集含有噪点，因此，本步骤中通过ransac算法或icp算法去除初步提取的车道线的边缘线点集中的噪点。
步骤s312，对各去畸变图中车道线的边缘线点集进行直线拟合，得到各车载相机相应的车道线的图像坐标直线方程。
本步骤中，直线拟合采用最小二乘法，且对每条车道线的两侧边缘分别进行直线拟合。
步骤s314，根据各车载相机的内参和外参当前值以及各车载相机相应的车道线的图像坐标直线方程，得到各车载相机相应的车道线的世界坐标直线方程。
本实施例中，以车辆的前轴中心在地面的投影点为原点，向车辆右侧的方向为x轴正方向，车辆前向为y轴正方向，车辆向上方向为z轴正方向建立世界坐标系。从车道线的图像坐标直线方程到世界坐标直线方程的计算过程如前文所述，不再重复。
步骤s316，分别以各车载相机的外参当前值作为初始值且以各车载相机相应的车道线的世界坐标直线方程的平直性作为优化目标，通过第一优化算法对各车载相机的外参当前值进行优化，得到各车载相机的外参优化值作为各车载相机的外参标定值。
本步骤中，第一优化算法可采用lm优化算法或gn优化算法。各车载相机相应的车道线的世界坐标直线方程的平直性如前文所定义，不再详述。
步骤s318，以各车载相机的外参优化值为初始值且以全景拼接图中车道线的拼接误差为优化目标，通过第二优化算法对多个车载相机的外参优化值进行同步优化得到各车载相机的外参二次优化值，并将各车载相机的外参标定值更新为其外参二次优化值。
本步骤中，全景拼接图是由avm控制器将各车载相机的去畸变图拼接而成。具体地，avm控制器基于各车载相机采集得到的去畸变图和各车载相机的内参和外参，将这些去畸变图投影到俯视图中，得到全景拼接俯视图。第二优化算法与第一优化算法可相同或不同。可选地，第二优化算法可采用lm优化算法或gn优化算法。
在本实施例中，全景拼接图中车道线的拼接误差可如下定义：
设基于前摄像头采集的图像检测到的左车道线(即车辆左侧的车道线)的边缘线和基于左摄像头采集的图像检测到的左车道线的边缘线在全景拼接俯视图中的方程系数分别为[afbfcf]和[alblcl]，则前摄像头和左摄像头的车道线的拼接误差ls_fl为：
ls_fl＝|(cf+df*bf)/af-(cl+df*bl)/al|
同理，前摄像头和右摄像头的车道线的拼接误差ls_fr、后摄像头和左摄像头的车道线的拼接误差ls_bl以及后摄像头和右摄像头的车道线的拼接误差ls_br分别为：
ls_fr＝|(cf+df*bf)/af-(cr+df*br)/ar|
ls_bl＝|(cb+db*bb)/ab-(cl+db*bl)/al|
ls_br＝|(cb+db*bb)/ab-(cr+db*br)/ar|
其中，df和db分别为车身前车道线拼接处和车身后车道线拼接处的y轴坐标。
最后，将各拼接误差加和得到总拼接误差ls：
ls＝ls_fl+ls_fr+ls_bl+ls_br
以使总拼接误差ls最小化为优化目标进行二次优化。在得到各车载相机的外参二次优化值后，可将其存储至对应的外参标定值的存储位置，从而实现将各车载相机的外参标定值更新为其外参二次优化值。
步骤s320，将各车载相机的外参当前值更新为各车载相机的外参标定值。
至此，在线标定运行结束，将更新后的各车载相机的外参当前值应用于全景环视系统进行图像拼接。
另外，在实际应用中，在步骤s318之后且步骤s320之前，avm控制器还可以根据标定情况判断标定是否成功，并根据判断结果提示“标定成功”或“标定失败”。若标定成功，还可以先将得到的各车载相机的外参标定值(即外参二次优化值)应用于全景环视系统，以便用户可以查看标定后的环视拼接效果，用户可以根据标定后的环视拼接效果选择是否应用标定后的相机外参。若用户选择应用标定后的相机外参，则执行步骤s320。若标定失败，则用户可以选择重新进行标定，返回至步骤s304。
本实施例采用规则的车道线进行车载相机的外参标定，运行时间短，自动化程度高，可大大提高标定的环境适应性。并且，本实施例根据车道线的环视拼接误差作为最终反馈，用于车载相机外参的优化，保证了参数标定的准确性，同时保证了全景环视拼接效果。
基于同一发明构思，本发明实施例还提供了一种车载信息娱乐系统。图4示出了根据本发明一实施例的车载信息娱乐系统100的结构示意图。该车载信息娱乐系统100包括处理器110和显示屏120。
具体地，处理器110可以是车载信息娱乐系统100中集成的avm控制器。处理器110在车载信息娱乐系统100所在的车辆在平直的车道线中间进行驻车或慢速行驶时获取车辆的车载相机所采集的车道线原始图像，并执行以下处理操作：对原始图像进行畸变矫正得到去畸变图，并对去畸变图进行车道线边缘提取，得到车道线的边缘线点集；对车道线的边缘线点集进行直线拟合，得到车道线的图像坐标直线方程；根据车载相机的内参和外参当前值以及车道线的图像坐标直线方程，得到车道线的世界坐标直线方程；以车载相机的外参当前值作为初始值且以车道线的世界坐标直线方程的平直性作为优化目标，通过第一优化算法对车载相机的外参当前值进行优化，得到车载相机的外参优化值作为车载相机的外参标定值；将车载相机的外参当前值更新为外参标定值。其中，获取原始图像、原始图像去畸变、提取车道线边缘、边缘线直线拟合、车道线坐标方程变换、外参优化等步骤的具体实现方式如前文所介绍，此处不再赘述。
显示屏120用于接收图像或文字信息进行显示。其中，文字信息例如可以包括标定结果提示信息、更新后的外参当前值(即外参标定值)等。图像信息例如可以包括车载相机拍摄的环境图像等。
另外，处理器110在执行外参优化(包括外参初步优化和/或外参二次优化)后，还可以根据标定情况判断标定是否成功，并根据判断结果生成相应的提示信号发送至显示屏120。显示屏120根据接收的提示信号显示“标定成功”或“标定失败”的提示信息。若标定成功，车载信息娱乐系统100还可以先将得到的各车载相机的外参标定值应用于车载相机，并获取车载相机采集的画面且通过显示屏120显示，以便用户可以查看标定后的相机摄像效果，用户可以根据标定后的相机摄像效果选择是否应用标定后的相机外参。若车载信息娱乐系统100接收到用户选择应用标定后的相机外参的确认操作，则将车载相机的外参当前值更新为外参标定值。若标定失败，则用户可以选择重新进行标定。车载信息娱乐系统100接收到用户进行重新标定的确认操作后，处理器110重新获取车载相机所采集的车道线原始图像，以进行重新标定。前述的用户的确认操作可以通过任何适当的方式输入车载信息娱乐系统100，例如，可以通过按压车载信息娱乐系统100的物理按钮进行输入，或者通过点击显示屏120上的虚拟按钮进行输入，或者通过语音输入等。
本实施例中，通过内嵌车载相机的在线标定方法的车载信息娱乐系统，可实现对车载相机的外参标定。本方案在保证参数标定准确性的前提下，运行时间短，无需人工参与，自动化程度高。同时，本方案只需利用平直规则的车道线即可进行，不依赖于固定的标定模板，可大大提高标定的环境适应性。
根据上述任意一个可选实施例或多个可选实施例的组合，本发明实施例能够达到如下有益效果：
本发明实施例提供的车载相机的在线标定方法和车载信息娱乐系统，利用规则平直的车道线进行车载相机的外参标定。通过车载相机采集车道线图像并基于采集的图像进行车道线检测得出车道线的世界坐标直线方程后，以车载相机的外参当前值为初始值且以车道线的世界坐标直线方程的平直性为优化目标对车载相机的外参当前值进行初步优化，实现对车载相机的外参标定。本发明的方案在保证参数标定准确性的前提下，运行时间短，无需人工参与，自动化程度高。同时，本方案只需利用平直规则的车道线即可进行，不依赖于固定的标定模板，可大大提高标定的环境适应性。
进一步地，对于车载全景环视系统的多个车载相机，在对各车载相机的外参当前值进行初步优化后，还可以利用车道线的环视拼接误差作为最终优化目标对各车载相机的外参优化值进行二次优化，从而进一步保证相机外参标定的准确性，同时保证车辆的全景环视拼接效果，提升用户使用体验。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！