车载环视系统及其立体标定方法和计算机可读存储介质与流程

本发明属于汽车辅助驾驶领域，尤其涉及一种车载环视系统及其立体标定方法和计算机可读存储介质。

背景技术：

随着现代社会发展日益加快，汽车的需求量也在逐步增加，车辆数目的增加对驾驶员的驾驶水平提出了更高的要求。通常情况下驾驶员只能借助倒车镜和后视镜观察车辆的两侧和后方，这导致了车辆剐蹭和各类交通事故的发生。为了解决由于视角限制、障碍物遮挡、道路拥挤等造成的车辆行驶安全问题，近年来，提出了采用多个摄像头采集车辆周围信息，还原车辆环视360度影像的需求，主要核心在于车辆周围环境的立体标定。

通常情况下，车载环视系统的立体标定采用立体标定块标定，完成三维世界坐标与图像二维坐标之间的映射。该方法对标定块的制作工艺要求较高，提高了成本，很难在市场上推广使用。

技术实现要素：

本发明的目的在于提供一种车载环视系统及其立体标定方法和计算机可读存储介质，旨在解决采用立体标定块标定，对标定块的制作工艺要求较高，提高了成本的问题。

第一方面，本发明提供了一种车载环视系统的立体标定方法，所述方法包括：

获取利用摄像头采集的车身四周的鱼眼图像，进行畸变校正，得到校正后的图像和成像中心的坐标；对于每个摄像头，至少采集两张将平面标定板摆放在不同位置和角度后的图像；

根据成像中心的坐标计算得到摄像头内参矩阵；

建立车身坐标系，在车身坐标系测量每个摄像头拍摄到的平面标定板的摆放位置的世界坐标，根据对应图像中平面标定板的像素坐标以及摄像头内参矩阵确定每个摄像头在车身坐标系下的外参矩阵；

根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵，确定三维空间中每个点到平面图像像素坐标的映射关系。

第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的车载环视系统的立体标定方法的步骤。

第三方面，本发明提供了一种车载环视系统，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如上述的车载环视系统的立体标定方法的步骤。

在本发明中，由于利用摄像头采集车身四周的鱼眼图像，对于每个摄像头，至少采集两张将平面标定板摆放在不同位置和角度后的图像；计算摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵；根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵，确定三维空间中每个点到平面图像像素坐标的映射关系。因此本发明的车载环视系统的立体标定方法实现过程简洁，操作简单，减少了计算过程中的参数个数，无需进行摄像头之间的坐标变换，所需采集图像数目比传统方法少，并仍可保证标定结果的精确性，不需要立体标定块，降低了成本。

附图说明

图1是本发明实施例一提供的车载环视系统的立体标定方法的流程图。

图2是车身坐标系下需要测量的空间距离及平面标定板位置示意图。

图3是本发明实施例三提供的车载环视系统的具体结构框图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的车载环视系统的立体标定方法包括以下步骤：需注意的是，若有实质上相同的结果，本发明的车载环视系统的立体标定方法并不以图1所示的流程顺序为限。

s101、获取利用摄像头采集的车身四周的鱼眼图像，进行畸变校正，得到校正后的图像和成像中心的坐标；对于每个摄像头，至少采集两张将平面标定板摆放在不同位置和角度后的图像。

在本发明实施例一中，所述摄像头可以是分别位于车身前后左右的四个鱼眼镜头。当然，本发明不限于摄像头的数量、种类和安装位置，只要能保证采集到车辆周围360度全部图像信息即可。例如大型货车可以采用6到8个摄像头保证采集到车辆周围360度全景。

所述获取利用摄像头采集的车身四周的鱼眼图像，进行畸变校正，得到校正后的图像和成像中心的坐标具体可以为：

获取利用摄像头采集的车身四周的鱼眼图像，根据摄像头的中心坐标、像素宽高比和焦距，利用等距投影公式，模拟鱼眼图像的成像特点，即利用小孔成像公式，对鱼眼图像进行畸变校正，得到校正后的图像以及成像中心的坐标。

该步骤中仅涉及摄像头的中心坐标、像素宽高比和焦距三组参数，减少了传统校正算法中的多个畸变系数。

等距投影公式具体为r'＝f·θ；

小孔成像公式，即正常无畸变摄像头成像模型具体为：r＝f·tanθ，

其中，r'是摄像头中的成像高度，r是无畸变摄像头中的成像高度，f是摄像头的焦距，θ是入射光角度。

校正前的鱼眼图像与校正后的图像中每个点的成像高度为该点到成像中心的距离。初始时，成像中心即为鱼眼图像的中心和校正后的图像的中心。

s102、根据成像中心的坐标计算得到摄像头内参矩阵。

所述s102具体可以通过公式结合张正友标定法等方式计算得到摄像头内参矩阵a，其中，α、β分别是图像x、y轴方向焦距，γ代表成像平面倾斜因子，x0，y0是成像中心的坐标。

s103、建立车身坐标系，在车身坐标系测量每个摄像头拍摄到的平面标定板的摆放位置的世界坐标，根据对应图像中平面标定板的像素坐标以及摄像头内参矩阵a确定每个摄像头在车身坐标系下的外参矩阵。

在本发明实施例一中，将所有平面标定板放置在同一个车身坐标系，避免了摄像头之间位置关系的转换，降低了计算的复杂程度和计算量。如图2所示，以车身中心为原点，地面平面为x-o-y平面建立车身坐标系。将平面标定板放置在正对摄像头的位置，或放置在两个摄像头的重叠区域，或其他方便测量空间坐标的位置，仅需保证每个摄像头中至少可以拍摄到一幅平面标定板的内容。

外参矩阵包括旋转矩阵r和平移矩阵t。

s104、根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵，确定三维空间中每个点到平面图像像素坐标的映射关系。

在本发明实施例一中，s104具体可以为：

根据公式确定三维空间中每个点到平面图像像素坐标的映射矩阵p，a是校正后的图像对应的摄像头内参矩阵，r是每个摄像头在车身坐标系下的外参矩阵中的旋转矩阵，t是每个摄像头在车身坐标系下的外参矩阵中的平移矩阵，[x,y,z]为空间中任意一个点在车身坐标系下的三维坐标，(x,y)为平面图像像素坐标。

理想情况下成像中心即鱼眼图像的中心，但由于制作工艺等误差，摄像头中心点等参数会有所偏差。因此在本发明实施例一中，在s101之后，所述方法还可以包括以下步骤：

对摄像头参数进行精确化，并根据精确的摄像头参数得到精确的校正后的图像。具体可以为：在预设范围内遍历摄像头的初始参数，通过鱼眼图像中平面标定板的标定点像素坐标与参数值，得到映射后的像素坐标，与校正后的图像中平面标定板的标定点像素坐标比对，得到精确的摄像头参数，并根据精确的摄像头参数得到精确的校正后的图像。

实施例二：

本发明实施例二提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的车载环视系统的立体标定方法的步骤。

实施例三：

图3示出了本发明实施例三提供的车载环视系统的具体结构框图，一种车载环视系统100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的车载环视系统的立体标定方法的步骤。

在本发明中，由于利用摄像头采集车身四周的鱼眼图像，对于每个摄像头，至少采集两张将平面标定板摆放在不同位置和角度后的图像；计算摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵；根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵，确定三维空间中每个点到平面图像像素坐标的映射关系。因此本发明的车载环视系统的立体标定方法实现过程简洁，操作简单，减少了计算过程中的参数个数，无需进行摄像头之间的坐标变换，所需采集图像数目比传统方法少，并仍可保证标定结果的精确性，不需要立体标定块，降低了成本。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。