一种汽车全景摄像头标定方法及装置制造方法
【专利摘要】一种汽车全景摄像头标定方法及装置，所述方法包括：首先在汽车的四周铺设标定模板，所述标定模板由在所述汽车四周铺设的若干个黑白相间的标定格组成，并在汽车的四个角点位置设置定位格；然后获取车四周四摄像头数据，抽取灰度值并进行边界增强运算；接着通过先搜索基准标定格，然后搜索基准标定行和基准标定列，最后搜索完成其余标定格的步骤，顺序搜索到所有标定格的角点坐标；最后利用已经搜索到的标定格数据与基准标定行下方区域的相关性，预测标定格底部的一行的标定数据。本发明具有对摄像头安装精度要求大大降低，对摄像头的内部参数一致性不作要求，和标定准确度的提高，可视范围增大的优点。
【专利说明】一种汽车全景摄像头标定方法及装置【技术领域】
[0001]本发明涉及一种标定方法及装置，特别的，本发明涉及一种对汽车全景摄像头成像系统进行标定以消除图像的鱼眼畸变，并且简化摄像头内部标定步骤，提高安装精度的标定方法及系统。
【背景技术】
[0002]参见附图1，汽车全景摄像头技术利用车身前后左右四个广角摄像头提取车身周围的图像信号，经过处理单元矫正图像的鱼眼畸变，再进行视角变换将图像转换成俯视图，最后将四幅图像旋转拼接，生成一个车身周围的俯视视频图像。其中矫正广角摄像头的鱼眼畸变，并将视角转换为俯视图的过程成为全景摄像头的标定过程。
[0003]空间物体表面某点的三维几何位置与其在图像中对应点的相互关系由摄像头成像的几何模型决定，其参数就是摄像头参数。该参数包括摄像头内部几何和光学特性(内部参数)，以及摄像头相对世界坐标系的三维位置和方向(外部参数)。参见参考文献[I]和
[2]，传统的标定方法分为两个步骤，第一步是先通过实验和计算获得摄像头的内部参数。大部分摄像头在生产过程中不能保证内部参数的一致性，因而需要对每个摄像头标定内部参数。一致性好的高成本摄像头可以选择同一个批次的共用同一组内部参数。第二步则是在安装摄像头后标定外部参数，并将视角转化为俯视。
[0004]传统标定方法的主要问题之一是需要预知摄像头的内部参数，并输入处理单元。由于业界各种处理单元以及各类摄像头对内部参数的描述格式都不相同，生产厂家无法任意选择摄像头，实际生产 过程中输入摄像头内部参数的操作也很困难，因而极大影响了全景摄像头技术的推广。而如果要求对所有摄像头的内部参数严格要求一致，则极大增加了摄像头的成本，也同样造成了此项技术的市场适用性。
[0005]传统标定方法的另一个问题是对离车身近处和远处的标定采用同样的精度。由于远处(比如3米左右)地面在原始图像中所占像素数小，实际需要更高的标定精度来达到满意的显示效果。因而传统标定方法对远处地面的标定结果不能达到理想的显示要求。
[0006]参考文献1:中国发明专利申请CN2010102530220
[0007]参考文献2:“A Four-step Camera Calibration Procedure with ImplicitImage Correction，，，Heikkila, J., Computer Vision and Pattern Recognition, 1997.Proceedings., 1997IEEE Computer Society Conference on
[0008]因此，如何能够对对全景摄像头应用提供一种摄像头标定方法，以直接对对目标图像范围进行标定，无须在摄像头安装前提取镜头内部光学模型参数，并且将参数事先存入处理单元，在安装完成后再进行标定以提取摄像头模型的外部参数，同时提高标定的准确度，增加可视范围成为现有技术亟需解决的技术问题。
【发明内容】
[0009]本发明的目的在于提出一种汽车全景摄像头标定方法及装置，能够使得标定模版和标定技术相结合，直接对目标图像范围进行标定，大大降低摄像头安装精度要求，并提高标定的准确度。
[0010]为达此目的，本发明采用以下技术方案:
[0011]一种汽车全景摄像头标定方法，包括如下步骤:
[0012]铺设标定模版步骤:在汽车的四周铺设标定模板，所述标定模板由在所述汽车四周铺设的若干个黑白相间的标定格组成，并在汽车的四个角点位置设置定位格，所述定位格为白色定位格，在白色的定位格内具有占据定位格部分面积的黑色定位标志；
[0013]获取图像并预处理步骤:获取车四周四摄像头数据，抽取灰度值并进行边界增强运算；
[0014]搜索地面所有标定格步骤:对每个摄像头的输入图像，首先搜索位于图像最下行中间的白色的基准标定格，然后搜索基准标定格所在的基准标定行和基准标定列，最后逐渐向左右和上方搜索完成其余标定格的搜索，进而顺序搜索到所有标定格的角点坐标；
[0015]预测底部数据步骤:利用已经搜索到的标定格数据与基准标定行下方区域的相关性，预测标定格底部的一行的标定数据。
[0016]优选地，在所述铺设标定模版步骤中，所述标定模板的前后标定区距离汽车的前侧或者后侧2.1米-3米，距离汽车左侧或者右侧2.1米，所述标定模板的左右标定区距离汽车的前侧或者后侧0.6米，距离汽车左侧或者右侧2.1米。
[0017]在所述铺设标定模版步骤中，所述黑色定位标志占据所述定位格面积的10%_50%。
[0018]优选地，所述搜索地面所有标定格步骤，包括:
[0019]基准标定格搜索步骤:搜索到图像中靠近图像中间的最下方的白色标定格的四个角点坐标，并计算得到白色标定格的四条边界曲线方程；
[0020]定位格和基准标定行步骤:分别向左和向右搜索定位格和基准标定行，分别得到左右定位格以及基准标定行的角点坐标，并计算得到相应的边界曲线；
[0021]基准标定列搜索步骤:基于基准标定格向上搜索基准标定列；
[0022]其余标定格搜索步骤:对于基准标定列左边的标定格，按照从下到上，从右到左的扫描顺序，逐个搜索标定格，对于基准标定列右边的标定格，按照从下到上，从左到右的扫描顺序，逐个搜索标定格。
[0023]在所述标定格中，通过搜索到的边界所有像素，利用二次方程拟合得到横向和纵向的2次曲线方程，然后通过迭代逼近求解求得交点坐标作为标定格角点坐标。
[0024]进一步优选地，所述迭代逼近求解中，通过迭代次数或者候选点与水平曲线和竖直曲线的距离平方和的大小来确定是否结束迭代逼近求和计算。
[0025]优选地，对于地面远处的标定格，分别从横向、纵向、斜向三个方向，利用已知标定格的角点分别尽量求得在横向、纵向、斜向的2次曲线方程。对于这3个可能获得的2次曲线方程，分别两两计算其交点，对所有的交点求和取平均值得到待搜索标定格的角点的预测值。
[0026]优选地，所述预测底部数据步骤包括:首先预测基准标定格下方的标定格，预测目标为此标定格的左下和右下两个角点；然后以基准标定格下方已经预测获得的标定格为起点，逐个向左或者向右预测标定格。
[0027]其中，对基准标定格下方预测获得的所有角点数据进行利用最小二乘法进行平滑运算。
[0028]本发明还公开了一种汽车全景摄像头标定装置，包括如下单元:
[0029]铺设标定模版单元:在汽车的四周铺设标定模板，所述标定模板由在所述汽车四周铺设的若干个黑白相间的标定格组成，并在汽车的四个角点位置设置定位格，所述定位格为白色定位格，在白色的定位格内具有占据定位格部分面积的黑色定位标志；
[0030]获取图像并预处理单元:获取车四周四摄像头数据，抽取灰度值并进行边界增强运算；
[0031]搜索地面所有标定格单元:对每个摄像头的输入图像，首先搜索位于图像最下行中间的白色的基准标定格，然后搜索基准标定格所在的基准标定行和基准标定列，最后逐渐向左右和上方搜索完成其余标定格的搜索，进而顺序搜索到所有标定格的角点坐标；
[0032]预测底部数据单元:利用已经搜索到的标定格数据与基准标定行下方区域的相关性，预测标定格底部的一行的标定数据。
[0033]本发明技术避免了对摄像头内部参数的标定步骤。由于最终标定的结果需要转化为俯视图，可以在地面所需要的视图范围内铺上规则的模板，通过识别模板上的特定点的在图像中的位置，并对比其在地面上的已知位置，从而推算获得标定所需要的地面任意点坐标和图像中的坐标的关系。
[0034]相比传统标定方法，本发明在安装摄像头后一步完成标定，并且可以任意更换广角摄像头后重新完成标定，从而极大促进了全景摄像头技术的推广。在处理远处地面的标定时，本发明采取了独特的拟合和预测方法，提高了标定精度，从而大大提高最终显示质量。
【专利附图】
【附图说明】
[0035]图1是汽车全景摄像头标定系统中的汽车全景成像系统示意图；
[0036]图2是根据本发明的汽车全景摄像头标定方法的流程图；
[0037]图3是根据本发明的具体实施例的标定模板的示意图；
[0038]图4是根据本发明的具体实施例的特殊标定格的位置示意图；
[0039]图5是根据本发明的具体实施例的搜索地面标定格的具体步骤；
[0040]图6是根据本发明的具体实施例的角点坐标2次曲线逼近的示意图；
[0041]图7是根据本发明的具体实施例的预测地面远处的标定格角点坐标的预测的示意图；
[0042]图8是根据本发明的汽车全景摄像头标定装置的结构图；
[0043]图9根据本发明的汽车全景摄像头标定方法对比传统标定方法，对远处地面标定效果示意图。
[0044]图中的附图标记所分别指代的技术特征为:
[0045]1、摄像头；2、图像处理单兀；3、显不器；4、标定格；5、定位格；6、如后标定区；7、左右标定区；8、左右识别区宽度。9、基准标定格；10、基准标定行；11、基准标定列。
【具体实施方式】
[0046]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0047]参见图1，公开了根据本发明所针对的汽车全景摄像系统，包括设置在汽车前后左右的四个摄像头1，位于汽车中的图像处理单元2，和显示器3，所述图像处理单元获取所述四个摄像头I所摄取的图像，由于所述图像包括标定模板中的预定的具有规律的图像信息，从而使得所述图像处理单元能够识别并利用标定模板中的图像特征，并根据该信息对所摄取的图像进行校正，从而解决了鱼眼畸变的问题，并将校正后的图像输出给显示器显
/Jn ο
[0048]具体而言，参见图2，本发明的汽车全景摄像头标定方法包括如下步骤:
[0049]铺设标定模版步骤SllO:在汽车I的四周铺设标定模板，所述标定模板由在所述汽车四周铺设的若干个黑白相间的标定格4组成，类似黑白棋盘格，并在汽车I的四个角点位置设置定位格5，所述定位格为白色定位格，在白色的定位格内具有占据定位格部分面积的黑色标志。整个标定过程的目的为找到每个标定格的四个角点在实际图像中的坐标。
[0050]获取图像并预处理步骤S120:获取车四周四摄像头数据，抽取灰度值并进行边界增强运算。
[0051]搜索地面所有标定格步骤S130:对每个摄像头的输入图像，首先搜索位于图像最下行中间的白色的基准标定格9,然后搜索基准标定格所在的基准标定行10和基准标定列11，最后逐渐向左右和上方搜索完成其余标定格的搜索，进而顺序搜索到所有标定格的角点坐标。
[0052]预测底部数据步骤S140:利用已经搜索到的标定格数据与基准标定行下方区域的相关性，预测标定格底部的一行的标定数据。
[0053]通过上述的步骤S110-S140，图像处理单元能够将摄像头所得到的具有畸变的图像与其实际对应的现实的图像进行一一对应，标定模板采用类似棋盘状的若干个黑白相间的标定格组成，便于图像处理算法进行识别和标定，图像处理单元能够根据该标定格在所摄取的图像中变形的程度确定在不同长度或者高度位置图像畸变的系数，并利用该畸变系数，实现对图像的校正。
[0054]对于步骤S110，参见图3，公开了根据本发明的标定模板的示意图，标定模板包括在所述汽车四周铺设的若干个黑白相间的标定格4，在所述汽车的四个顶角上分别具有四个定位格5。该定位格具有两个作用，首先能够使得图像处理单元能够通过搜索这些定位格，自动获取车长和车宽信息，而无需手动输入这些信息以用于图像校正。其次，能够使得图像处理单元能够很容易的寻找到图像中标准位置，并利用该标准位置作为起点对图像两侧进行线性延伸，从而便于图像处理单元更容易的计算畸变系数。
[0055]所述定位格为白色定位格，在白色的定位格内具有占据定位格部分面积的黑色的定位标志，优选的，所述黑色定位标志占据所述定位格面积的10%-50%。如果黑色定位标志过小，则不容易寻找到定位格，如果黑色定位标志过大，则容易和黑色的定位格混淆。
[0056]标定模板位于摄像头的前后左右，因此，标定模板的大小和不同位置的摄像头的成像范围有关。
[0057]其中，对于前后摄像头而言，上下成像范围为2.1米-3米，左右成像范围为2.1米。因此，在所述汽车前后的标定模板的前后标定区6距离汽车的前侧或者后侧2.1米-3米，距离汽车左侧或者右侧2.1米。
[0058]对于左右摄像头而言，左右成像范围为0.6米，上下成像范围为2.1米。因此，在所述汽车左右的标定模板的左右标定区7距离汽车的前侧或者后侧0.6米，距离汽车左侧或者右侧2.1米，示例性的，如图3所示，左右标定区的宽度8为2.1米。
[0059]优选地，所述标定格的大小为30x30cm，如标定格过小，则标定时间长，而且在图像远处的角点可能由于摄像头的焦距不够准确还不能准确找到。而如果标定格过大，则不能保证标定格能紧贴车身四周铺设，且不利于图像处理单元的识别。
[0060]因此，所述前后标定区距离汽车的前侧或者后侧7-10个标定格，距离汽车左侧或者右侧7个标定格。左右标定区7距离汽车的前侧或者后侧2个标定格，距离汽车左侧或者右侧7个标定格。
[0061]应当知道，上述标定格数量的计算均是包含了定位格5在内
[0062]对于步骤S130，参见图4，公开了特殊标定格的位置示意图，
[0063]其中:
[0064]基准标定格9:输入图像最下行中间的白色标定格。
[0065]基准标定行10:基准标定格所在的标定格行
[0066]基准标定列11:基准标定格所在的标定格列
[0067]定位格5:位于基准标定格左(右)边含定位标志的白色标定格。
[0068]参见图5，公开了根据本发明的具体实施例的搜索地面所有标定格S130的具体步骤，包括如下步骤:
[0069]基准标定格搜索步骤S132:搜索到图像中靠近图像中间的最下方的白色标定格的四个角点坐标，并计算得到白色标定格的四条边界曲线方程。
[0070]定位格和基准标定行步骤S134:在找到基准标定格9后，分别向左和向右搜索定位格和基准标定行10，分别得到左右定位格5以及基准标定行的角点坐标，并计算得到相应的边界曲线。对于前后摄像头来说，左右标志格5规定了车的宽度。对于左右摄像头来说，左右标定格5规定了车的长度。对于前后摄像头采集的图像，基准标定行10在搜索到左右标定格5后，还需要向左右各搜索6个标定格。对于左右摄像头采集的图像，在搜索到左右标定格后，还需要向左右各搜索I个标定格。
[0071]基准标定列搜索步骤S136:完成基准标定行10搜索后，基于基准标定格9向上搜索基准标定列11。对于左右摄像头米集的图像，基准标定列11需向上再搜索6个标定格的角点坐标和边界曲线。对于前后摄像头采集的图像，需向上再搜索6-9个标定格的角点坐标和边界曲线。
[0072]其余标定格搜索步骤S138:完成搜索基准标定行10和基准标定列11后，此图像的总标定格数已知。对于基准标定列左边的标定格，标定算法按照从下到上，从右到左的扫描顺序，逐个搜索标定格，对于每个待搜索的标定格，其右方和下方标定格为已知。对于基准标定列右边的标定格，标定算法按照从下到上，从左到右的扫描顺序，逐个搜索标定格，对于每个待搜索的标定格，其左方和下方标定格为已知。
[0073]在具体的标定格的搜索步骤中，需要逐个搜索每个标定格的边界和角点坐标。边界的搜索可采用经典的sobel或者canny边界检测算子。对于每个标定格的每条边界，需要搜索到至少5个，至多64个像素，以用于拟合边界曲线，计算角点坐标。[0074]通常来说,全景摄像头的标定搜索采用类似openCV中CornerSubPix的方法[参考文献3.http: //docs, opencv.0rfi/l,先手动或者自动确定角点的大致位置，而后通过迭代搜索角点附近横向和纵向梯度，逐渐逼近找到角点坐标。全景摄像头应用中的摄像头为标清模拟摄像头，远处标定格的边界在图像中的像素数少(一般不超过15个)，而且模糊。在此情况下，此类角点搜索方法不能准确找到标定格的角点坐标，从而影响最终的标定质量。
[0075]因此，本发明在具体的标定格的搜索步骤中:通过搜索到的边界所有像素，利用二次方程拟合的方法拟合得到横向和纵向的2次曲线方程，然后通过迭代逼近求解的方式准确求得交点坐标作为标定格角点坐标。本发明从而在根本上避免了图像中标定格角点处成像模糊带来的影响。
[0076]例如，本发明拟合得到曲线方程的方法如下:
[0077]1.在搜索到角点对应的横向边界的像素后，对其做2次方程拟合，变量为X。拟合采用线性最小二乘法，求得2次曲线的三个系数Phci, Ph1，和ph2。其方法描述如下。
[0078]假设水平边界为N个点集合{(Xi，yi) |i=0，…N-1}。曲线拟合的目标为找到多项
式 y=f (X) splV^+phfx+pl^ 中的系数 phQ, Ph1,和 ph2,从而满足
【权利要求】
1.一种汽车全景摄像头标定方法，包括如下步骤: 铺设标定模版步骤:在汽车的四周铺设标定模板，所述标定模板由在所述汽车四周铺设的若干个黑白相间的标定格组成，并在汽车的四个角点位置设置定位格，所述定位格为白色定位格，在白色的定位格内具有占据定位格部分面积的黑色定位标志； 获取图像并预处理步骤:获取车四周四摄像头数据，抽取灰度值并进行边界增强运算； 搜索地面所有标定格步骤:对每个摄像头的输入图像，首先搜索位于图像最下行中间的白色的基准标定格，然后搜索基准标定格所在的基准标定行和基准标定列，最后逐渐向左右和上方搜索完成其余标定格的搜索，进而顺序搜索到所有标定格的角点坐标； 预测底部数据步骤:利用已经搜索到的标定格数据与基准标定行下方区域的相关性，预测标定格底部的一行的标定数据。
2.根据权利要求1所述的汽车全景摄像头标定方法，其特征在于: 在所述铺设标定模版步骤中，所述标定模板的前后标定区距离汽车的前侧或者后侧2.1米-3米，距离汽车左侧或者右侧2.1米，所述标定模板的左右标定区距离汽车的前侧或者后侧0.6米，距离汽车左侧或者右侧2.1米。
3.根据权利要求2所述的汽车全景摄像头标定方法，其特征在于: 在所述铺设标定模版步骤中，所述黑色定位标志占据所述定位格面积的10%-50%。
4.根据权利要求1所述的汽车全景摄像头标定方法，其特征在于: 所述搜索地面所有标定格步骤，包括: 基准标定格搜索步骤:搜索到图像中靠近图像中间的最下方的白色标定格的四个角点坐标，并计算得到白色标定格的四条边界曲线方程； 定位格和基准标定行步骤:分别向左和向右搜索定位格和基准标定行，分别得到左右定位格以及基准标定行的角点坐标，并计算得到相应的边界曲线； 基准标定列搜索步骤:基于基准标定格向上搜索基准标定列； 其余标定格搜索步骤:对于基准标定列左边的标定格，按照从下到上，从右到左的扫描顺序，逐个搜索标定格，对于基准标定列右边的标定格，按照从下到上，从左到右的扫描顺序，逐个搜索标定格。
5.根据权利要求4所述的汽车全景摄像头标定方法，其特征在于: 在所述标定格中，通过搜索到的边界所有像素，利用二次方程拟合得到横向和纵向的2次曲线方程，然后通过迭代逼近求解求得交点坐标作为标定格角点坐标。
6.根据权利要求5所述的汽车全景摄像头标定方法，其特征在于: 所述迭代逼近求解中，通过迭代次数或者候选点与水平曲线和竖直曲线的距离平方和的大小来确定是否结束迭代逼近求和计算。
7.根据权利要求4所述的汽车全景摄像头标定方法，其特征在于: 对于地面远处的标定格，分别从横向、纵向、斜向三个方向，利用已知标定格的角点分别尽量求得在横向、纵向、斜向的2次曲线方程，对于这3个可能获得的2次曲线方程，分别两两计算其交点， 对所有的交点求和取平均值得到待搜索标定格的角点的预测值。
8.根据权利要求1所述的汽车全景摄像头标定方法，其特征在于:所述预测底部数据步骤包括: 首先预测基准标定格下方的标定格，预测目标为此标定格的左下和右下两个角点； 然后以基准标定格下方已经预测获得的标定格为起点，逐个向左或者向右预测标定格。
9.根据权利要求8 所述的汽车全景摄像头标定方法，其特征在于: 对基准标定格下方预测获得的所有角点数据进行利用最小二乘法进行平滑运算。
10.一种汽车全景摄像头标定装置，包括如下单元: 铺设标定模版单元:在汽车的四周铺设标定模板，所述标定模板由在所述汽车四周铺设的若干个黑白相间的标定格组成，并在汽车的四个角点位置设置定位格，所述定位格为白色定位格，在白色的定位格内具有占据定位格部分面积的黑色定位标志； 获取图像并预处理单元:获取车四周四摄像头数据，抽取灰度值并进行边界增强运算； 搜索地面所有标定格单元:对每个摄像头的输入图像，首先搜索位于图像最下行中间的白色的基准标定格，然后搜索基准标定格所在的基准标定行和基准标定列，最后逐渐向左右和上方搜索完成其余标定格的搜索，进而顺序搜索到所有标定格的角点坐标； 预测底部数据单元:利用已经搜索到的标定格数据与基准标定行下方区域的相关性，预测标定格底部的一行的标定数据。
【文档编号】G06T7/00GK103955916SQ201410108069
【公开日】2014年7月30日 申请日期:2014年3月21日 优先权日:2014年3月21日
【发明者】贺徵廷, 程自清 申请人:贺徵廷, 程自清