一种全景泊车装置标定方法及装置与流程

本发明涉及全景泊车技术领域，尤其涉及一种全景泊车装置标定方法及装置。

背景技术：

全景泊车装置在车厂量产组装时，会有标定环节。标定即求得汽车在世界坐标系中的位置和采集图像的全景摄像头的外参。现有的全景泊车装置的在线标定方案如下：1)求全景摄像头的外参：在标定场中建立全景泊车装置的世界坐标系，根据标定标志物的特征点在世界坐标系中的坐标，以及特征点在像素坐标系中的坐标，对全景摄像头进行标定，从而求得全景摄像头的外参；2)求汽车在世界坐标系中位置：首先将汽车停放在和标定标志物指定距离的区间内，尽可能使汽车的中心位于全景泊车装置的世界坐标系的原点处，然后再根据汽车和标定标志物之间的距离，以及将汽车的长、宽、高映射到全景泊车装置的世界坐标系中，从而得到汽车的坐标位置。

这种标定方法存在如下缺陷：一方面，如果待标定车辆的中心不在全景泊车装置的世界坐标系的原点处，会导致最后全景拼接不准确，盲区过大；另一方面这种方法也过于复杂，人为影响较多。

因此，现有技术有待进一步改进。

技术实现要素：

本发明提供一种全景泊车装置标定方法及装置，旨在解决现有技术中的缺陷，实现提高全景泊车装置图像拼接的准确性。

为达到上述目的，本发明所采取的技术方案为：

本发明一方面提供一种全景泊车装置标定方法，包括：

s1、在全景泊车装置的标定场中按照预定规则布置标定标志物、辅助标定图案、定位摄像头。

s2、建立全景泊车装置的世界坐标系。

s3、获取待标定车辆与所述辅助标定图案相交的角点的像素坐标。

s4、计算待标定车辆与辅助标定图案相交的所有角点的世界坐标。

s5、获取待标定车辆在所述全景泊车装置的世界坐标系中的位置。

s6、获取所述全景摄像头的外参。

s7、根据所述待标定车辆在所述全景泊车装置的世界坐标系中的位置、所述全景摄像头的外参对全景泊车装置进行标定。

具体地，所述步骤s1包括如下步骤：

设置标定标志物的步骤：将所述标定标志物分别置于所述标定场的四个角落，其图案特征应满足全景摄像头标定的要求，方便提取标定所需的特征点；

设置辅助标定图案的步骤：将左辅助标定图案与右辅助标定图案沿所述标定场的纵向中心线左右对称布置在所述标定场的横向中心线上，所述左辅助标定图案与所述右辅助标定图案的长边平行于车辆中心线；将上辅助标定图案与下辅助标定图案沿所述标定场的横向中心线上下对称布置在所述标定场的纵向中心线上，所述上辅助标定图案与所述下辅助标定图案的短边垂直于车辆中心线；

设置定位摄像头的步骤：将所述定位摄像头分别设置在所述标定场的四条边的中点上，每个所述定位摄像头的安装角度满足如下条件：获取的图像中包含辅助标定图案、待标定车辆、与所述定位摄像头位于同一侧的标定标志物。

具体地，所述步骤s3包括：

s31、对各定位摄像头获取的图像进行图像边缘提取。

s32：对边缘提取后的图像进行角点检测。

具体地，所述步骤s5包括：

s51、根据所述待标定车辆与辅助标定图案相交的所有角点的世界坐标构造所述待标定车辆与辅助标定图案相交线的直线方程。

s52、根据所述直线方程结算所述所述待标定车辆的各顶点的世界坐标。

具体地，所述全景泊车装置的世界坐标系为：以所述标定场的中心点正上方某点为原点o，以平行标定场横向中心线为x轴，以平行标定场纵向中心线为y轴，以垂直于xoy平面且过原点o的直线为z轴。

本发明另一方面提供一种全景泊车装置标定装置，包括全景泊车装置，所述全景泊车装置安装在待标定车辆中，包含全景图像拼接装置及与其连接的全景摄像头，所述全景摄像头包括前左摄像头、前右摄像头、后左摄像头、后右摄像头，用于获取车辆周边的图像，所述全景图像拼接装置用于将所述全景摄像头获取的图像合成为全景图像，还包括标定标志物、辅助标定图案、定位摄像头；

所述标定标志物包括前左标定标志物、前右标定标志物、后左标定标志物、后右标定标志物，分别置于所述标定场的四个角落，其图案特征应满足全景摄像头标定的要求，方便提取标定所需的特征点；

所述辅助标定图案包括左辅助标定图案、右辅助标定图案、上辅助标定图案、下辅助标定图案，均采用纯色矩形图案，其颜色与车身颜色形成明显反差；所述左辅助标定图案与所述右辅助标定图案大小完全相同，其边长小于车身纵向长度，所述左辅助标定图案的中心点与所述右辅助标定图案的中心点之间的距离与车辆横向长度相近或者相等；所述上辅助标定图案与所述下辅助标定图案大小完全相同，其边长小于车身横向长度，所述上辅助标定图案的中心点与所述下辅助标定图案的中心点之间的距离与车辆纵向长度相近或者相等；连接所述左辅助标定图案与所述右辅助标定图案中心点的直线与连接所述上辅助标定图案与所述下辅助标定图案中心点的直线的交点与所述标定场的地面中心重合；

所述定位摄像头包括左定位摄像头、右定位摄像头、上定位摄像头、下定位摄像头，分别设置在所述标定场的四条边的中点上，所述定位摄像头的安装角度满足：获取的图像中包含辅助标定图案、待标定车辆、与所述定位摄像头位于同一侧的标定标志物。

具体地，所述标定标志物为黑白棋盘格图案。

本发明的有益效果在于：本发明通过获取待标定车辆在全景泊车装置的世界坐标系中的位置及其与标定标志物之间的精确位置关系，待标定车辆和标定标志物之间的位置关系不需要按事先设定进行精确摆放，从而降低了标定误差，简化了标定流程，实现了提高全景泊车装置图像拼接的准确性。

附图说明

图1是本发明的全景泊车装置标定系统的示意图；

图2是本发明的待标定车辆在标定场中的示意图；

图3是本发明的待标定车辆的角点示意图；

图4是本发明的全景泊车装置标定的实际场景的示意图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，附图仅供参考和说明使用，不构成对本发明专利保护范围的限制。

本发明的实施例一方面提供一种全景泊车装置标定方法，包括：

步骤1、在全景泊车装置的标定场中按照预定规则布置标定标志物、辅助标定图案、定位摄像头。

如图1所示，全景泊车装置的标定场标定场为一水平的矩形场地。

具体包括如下步骤：

步骤11、设置标定标志物的步骤：将所述标定标志物分别置于所述标定场的四个角落，其图案特征应满足全景摄像头标定的要求，方便提取标定所需的特征点。

例如，所述标定标志物为黑白棋盘格图案。

步骤12、设置辅助标定图案的步骤：将所述左辅助标定图案21与所述右辅助标定图案22沿所述标定场的纵向中心线左右对称布置在所述标定场的横向中心线上，所述左辅助标定图案21与所述右辅助标定图案22的长边平行于车辆中心线；将所述上辅助标定图案23与所述下辅助标定图案24沿所述标定场的横向中心线上下对称布置在所述标定场的纵向中心线上，所述上辅助标定图案23与所述下辅助标定图案24的短边垂直于车辆中心线。

所述左辅助标定图案21与所述右辅助标定图案22大小完全相同，其边长小于车身纵向长度，所述左辅助标定图案21的中心点与所述右辅助标定图案22的中心点之间的距离与车辆横向长度相近或者相等。

所述上辅助标定图案23与所述下辅助标定图案24大小完全相同，其边长小于车身横向长度，所述上辅助标定图案23的中心点与所述下辅助标定图案24的中心点之间的距离与车辆纵向长度相近或者相等。

连接所述左辅助标定图案21与所述右辅助标定图案22中心点的直线与连接所述上辅助标定图案23与所述下辅助标定图案24中心点的直线的交点与所述标定场的地面中心重合。

步骤13、将所述定位摄像头31～34分别设置在所述标定场的四条边的中点上，每个所述定位摄像头的安装角度满足如下条件：获取的图像中包含辅助标定图案、待标定车辆、与所述定位摄像头位于同一侧的标定标志物。

4个所述定位摄像头分边负责成像所述待标定车辆的四边。

例如，所述定位摄像头31获取的图像中应包含所述标定标志物11的标定特征点、所述标定标志物13的标定特征点、所述待标定车辆的左边缘与所述左辅助标定图案21的相交线。

按上述规则设置后，各定位摄像头采集得到的每张图像中，所述待标定车辆的前后左右四边都会与辅助标定图案有一条相交线，所述相交线的解析表达式可以通过图像和视觉算法得到。例如，所述定位摄像头31得到的图像中，待标定车辆的左边沿与所述左辅助标定图案21会有一条相交线。

如图2所示，所述待标定车辆的前左顶点a、后左顶点b、后右顶点c、前右顶点d由这些相交线的延长线两两相交而确定。

步骤2、建立全景泊车装置的世界坐标系。

摄像头的外参可以描述为世界坐标系到相机坐标系的转换关系。标定相机的时候，为了计算简便，通常假设标定标志物在世界坐标系z＝0的平面上。例如，在标定前左全景摄像头时，需要用到标定标志物11和标定标志物13，则分别在所述标定标志物11和所述标定标志物13上建立世界坐标系1和世界坐标系3，通过标定可以分别得到所述世界坐标系1和所述世界坐标系3到所述前左全景摄像头的相机坐标系的转换关系。由于全景图像拼接装置需要四个全景摄像头协同工作，因此再建立一个全景泊车装置的世界坐标系，将四个全景摄像头统一起来；另一方面，也需要一个世界坐标系表达待标定车辆的位置，所以全景泊车装置的世界坐标系可以将四个全景摄像头和车身统一起来。

在本发明中，所述全景泊车装置的世界坐标系为：以所述标定场的中心点正上方某点为原点o，以平行标定场横向中心线为x轴，以平行标定场纵向中心线为y轴，以垂直于xoy平面且过原点o的直线为z轴。

通过建立所述全景泊车装置的世界坐标系，在标定4个全景摄像头时，4个标定标志物的特征点都可以定位在同一个世界坐标系里，使得4个全景摄像头的外参都是相对同一世界坐标系的，避免后续复杂的转换计算。

步骤3、获取待标定车辆与所述辅助标定图案相交的角点的像素坐标。

具体包括如下步骤：

步骤31、对各定位摄像头获取的图像进行图像边缘提取。

定位摄像头获取图像i后，首先用sobel边缘检测算法提取出图像的边缘。

sobel算子使用两个3×3矩阵来对原图进行卷积运算，以计算出水平方向、竖直方向的灰度差分(偏导)近似值。设gx和gy分别是在水平方向、竖直方向的灰度差分近似值，数学表达如下：

对于图像中的每个像素点，其梯度的估计值g，可以通过水平方向、竖直方向的梯度gx和gy由下式得出：

通过设定阈值gmax(如：100，一般来讲0-255左右为宜)，若梯度g大于阈值gmax，则可认为该点是边缘上的点，最后得到图像的边缘图。

步骤32：对边缘提取后的图像进行角点检测。

对边缘提取后的图像进行harris角点检测，仍然用符号i表示上一步得到的边缘图像。harris角点检测的具体公式如下：

其中，[u,v]是检测窗口的平移量，w(x,y)是窗口函数。

应用上述公式，可得到一张强度图，强度图的大小和图像的大小相同，每个位置对应一个强度值，强度图上每个坐标位置的值与图像中相同位置处的像素是否为角点相关，强度图上值大于指定阈值的点即可认为角点，阈值的大小可通过试验得出。

例如，如图3所示，通过定位摄像头31的图像获取角点g、h，通过定位摄像头32的图像获取角点e、f，通过定位摄像头33的图像获取角点k、l，通过定位摄像头34的图像获取角点i、j。

步骤4、计算待标定车辆与辅助标定图案相交的所有角点的世界坐标。

在获取待标定车辆与所述辅助标定图案相交的角点的像素坐标后，需要将这些像素坐标转换为对应的摄像机坐标，然后再将摄像机坐标转换为世界坐标。

以点g为例，设(ug,vg)为g点在像素坐标系下的坐标，经过像素坐标、图像坐标、摄像机坐标、世界坐标之间的转换可得出g点的世界坐标为(xg,yg,zg)。像素坐标系是以图像左上角为原点建立以像素为单位的坐标系u-v，像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数；世界坐标系是在环境中选择一个参考坐标系来描述摄像机和物体的位置，具体细节可以参考摄像机的成像原理(马颂德、张正友，计算机视觉:计算理论与算法基础[m].科学出版社,1998.)。

以定位摄像头31为例，其像素坐标与世界坐标的转换公式如下：

其中，k1为定位摄像头31的内参矩阵，[r|t]1为定位摄像头31的外参矩阵。

步骤5、获取待标定车辆在所述全景泊车装置的世界坐标系中的位置。

待标定车辆在所述全景泊车装置的世界坐标系中的位置由其各顶点的世界坐标确定。

图4是全景泊车装置标定的实际场景的示意图，由于车辆停靠误差，待标定车辆的中心不在全景泊车装置的世界坐标系的原点处。

具体包括如下步骤：

步骤51、根据所述待标定车辆与辅助标定图案相交的所有角点的世界坐标构造所述待标定车辆与辅助标定图案相交线的直线方程。

步骤52、根据所述直线方程结算所述所述待标定车辆的各顶点的世界坐标。

如图4所示，以待标定车辆的前左顶点a为例，点a是直线gh、ef的交点，g、h、e、f点在全景泊车装置的世界坐标系中的坐标已获知，分别为(xh,yh,zh)、(xg,yg,zg)、(xe,ye,ze)和(xf,yf,zf)。

则直线ef的方程为：

同理，直线gh的方程为：

联立上述两条直线方程，可以得到点a在全景泊车装置的世界坐标系中的坐标：

a＝[xe+(xf-xe)*ta,ye+(yf-ye)*ta,ze+(zf-ze)*ta]

其中t为：

同理，可得待标定车辆的其它三个顶点b、c、d在全景泊车装置的世界坐标系中的坐标。

设i、j、k、l在全景泊车装置的世界坐标系中的坐标分别为(xi,yi,zi)、(xj,yj,zj)、(xk,yk,zk)、(xl,yl,zl)，则：

b点在全景泊车装置的世界坐标系中的坐标为：

b＝[xh+(xg-xh)*tb,yh+(yg-yh)*tb,zh+(zg-zh)*tb]

c点在全景泊车装置的世界坐标系中的坐标为：

c＝[xj+(xi-xj)*tc,yj+(yi-yj)*tc,zj+(zi-zj)*tc]

d点在全景泊车装置的世界坐标系中的坐标为：

d＝[xl+(xk-xl)*td,yl+(yk-yl)*td,zl+(zk-zl)*td]

这样，就得到了待标定车辆在所述全景泊车装置的世界坐标系中的位置。

步骤6、获取所述全景摄像头的外参。

根据所述标定标志物的特征点在所述全景泊车装置的世界坐标系中的坐标，以及该特征点在像素坐标系中的坐标，对所述全景摄像头进行标定，从而求得所述全景摄像头的外参。此为现有技术，在此不再赘述。

步骤7、根据所述待标定车辆在所述全景泊车装置的世界坐标系中的位置、所述全景摄像头的外参对全景泊车装置进行标定。

此为现有技术，在此不再赘述。

另一方面，本发明的实施例还提供一种全景泊车装置标定系统，包括全景泊车装置，所述全景泊车装置安装在待标定车辆中，包含全景图像拼接装置及与其连接的全景摄像头，所述全景摄像头包括前左摄像头、前右摄像头、后左摄像头、后右摄像头，用于获取车辆周边的图像，所述全景图像拼接装置用于将所述全景摄像头获取的图像合成为全景图像，还包括标定标志物、辅助标定图案、定位摄像头；

所述标定标志物包括前左标定标志物11、前右标定标志物12、后左标定标志物13、后右标定标志物14，分别置于所述标定场的四个角落，其图案特征应满足全景摄像头标定的要求，方便提取标定所需的特征点；

所述辅助标定图案包括左辅助标定图案21、右辅助标定图案22、上辅助标定图案23、下辅助标定图案24，均采用纯色矩形图案，其颜色与车身颜色形成明显反差；所述左辅助标定图案21与所述右辅助标定图案22大小完全相同，其边长小于车身纵向长度，所述左辅助标定图案21的中心点与所述右辅助标定图案22的中心点之间的距离与车辆横向长度相近或者相等；所述上辅助标定图案23与所述下辅助标定图案24大小完全相同，其边长小于车身横向长度，所述上辅助标定图案23的中心点与所述下辅助标定图案24的中心点之间的距离与车辆纵向长度相近或者相等；连接所述左辅助标定图案21与所述右辅助标定图案22中心点的直线与连接所述上辅助标定图案23与所述下辅助标定图案24中心点的直线的交点与所述标定场的地面中心重合；

所述定位摄像头包括左定位摄像头31、右定位摄像头32、上定位摄像头33、下定位摄像头34，分别设置在所述标定场的四条边的中点上，所述定位摄像头的安装角度满足：获取的图像中包含辅助标定图案、待标定车辆、与所述定位摄像头位于同一侧的标定标志物。

所述全景泊车装置标定系统的工作过程如上述全景泊车装置标定方法所述，在此不再赘述。

以上所揭露的仅为本发明的较佳实施例，不能以此来限定本发明的权利保护范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。