鱼眼图像的俯视变换、俯视图像获取及映射表构建方法与流程

本发明涉及鱼眼图像的俯视变换，尤其涉及一种基于两次变换的鱼眼图像的俯视变换、俯视图像获取及映射表构建方法。

背景技术：

随着汽车电子行业的快速发展，行车安全的保证正从传统的倒车影像逐步发展为360度环视全景。

汽车环视全景系统作为高级驾驶员辅助系统(ADAS)的一部分，能有效缓解驾驶员视线受阻问题，将汽车周围360度范围内的物体直观呈现给驾驶员，提高了会车、倒车等情况下的行车安全。目前，市场上采用的汽车全景系统几乎都是2D的平面全景，即由俯视图像构成的全景系统。2D平面全景系统通常采用的实现流程是：(1)4路车载鱼眼相机采集图像；(2)鱼眼畸变图像校正为透视图像；(3)透视图像的俯视变换；(4)4路图像的拼接和融合。图像的俯视变换作为拼接的前置环节，其引入的误差会直接影响拼接效果，使得全景系统观感不佳。现有俯视变换方法无法克服相机安装时客观存在的左右偏角问题，使得图像中感兴趣区域存在左右尺寸差异较大以及水平、竖直度较差的问题。

上述问题不仅发生在车载图像领域，其他相近领域也有同样的问题。

技术实现要素：

本发明的目的在于提供一种鱼眼图像的俯视变换、俯视图像获取及映射表构建方法，以解决现有俯视变换方法受到相机安装时客观存在的左右偏角问题，使得图像中感兴趣区域存在左右尺寸差异较大以及水平、竖直度较差的问题。

为了解决上述问题，本发明一方面公开了一种鱼眼图像的俯视变换方法，所述方法包括：

利用鱼眼图像的透视校正图像，确定鱼眼相机前方的中间标定板与所述鱼眼图像的标准俯视图之间的逆透视变换矩阵；

利用所述逆透视变换矩阵对所述透视校正图像进行第一次俯视变换，得到第一次俯视图像；

利用所述第一次俯视图像，确定所述鱼眼相机前方的左、右标定板与所述鱼眼图像的标准俯视图之间的单应性矩阵；

根据所述逆透视变换矩阵和所述单应性矩阵得到最终的俯视图像。

优选的，所述根据所述逆透视变换矩阵和所述单应性矩阵得到最终的俯视图像包括：

将所述第一次俯视图像按照所述单应性矩阵进行变换得到最终的俯视图像。

优选的，所述左、右标定板各为一块。

优选的，所述利用鱼眼图像的透视校正图像，确定鱼眼相机前方的中间标定板与所述鱼眼图像的标准俯视图之间的逆透视变换矩阵包括：

通过Harris角点检测对所述透视校正图像上所述中间标定格板的角点进行提取，并将角点的坐标存入矩阵m1；由提取的左上角的角点在俯视图像上的期望像素坐标以及所述中间标定格板上单个小方格在俯视图像中的期望像素尺寸来构建与矩阵m1一一对应的标准基点组M1；

根据所述矩阵m1和所述标准基点组M1确定所述逆透视变换矩阵。

优选的，所述利用所述第一次俯视图像，确定所述鱼眼相机前方的左、右标定板与所述鱼眼图像的标准俯视图之间的单应性矩阵包括：

对所述第一次俯视图像上所述左、右标定格板的角点进行提取，并将角点的坐标存入矩阵m2；

由提取的左上角的角点在俯视图像上的期望像素坐标以及所述左、右标定格板上单个小方格在俯视图像中的期望像素尺寸来构建与矩阵m2一一对应的标准基点组M2；

计算所述矩阵m2和所述标准基点组M2间的单应性矩阵H2。

优选的，所述方法还包括根据所述鱼眼图像确定所述透视校正图像。

优选的，所述根据所述鱼眼图像确定所述透视校正图像包括:

利用鱼眼相机双曲面模型拟合相机成像模型，实现鱼眼相机的标定，并计算双曲面模型的内参；

虚拟一理想透视相机，对比透视相机的小孔成像模型和鱼眼相机的双曲面模型，确定所述透视校正图像。

优选的，所述左、右标定格板位于被拍摄设备的端点处，所述中间标定格板位于相机正前方或所述左、右标定格板的中间位置；所述左、右标定格板的间距为预设值且两者间成直线。

本发明另一方面公开了一种基于上述的俯视变换方法来构建鱼眼图像与俯视图像映射表的方法，所述方法包括：

利用所述逆透视变换矩阵和所述单应性矩阵，对所述最终的俯视图像进行逆俯视变换，确定所述最终的俯视图像中的一点在所述透视校正图像中的对应坐标，以建立所述最终的俯视图像与所述透视校正图像之间的映射表；

根据所述透视校正图像与所述鱼眼图像之间的映射表，建立所述最终的俯视图像与所述鱼眼图像之间的映射表。

本发明在一方面还公开了一种基于所述的构建鱼眼图像与俯视图像映射表的方法来获取鱼眼图像的俯视图像的方法，所述方法包括：

根据获取的鱼眼图像和所述最终的俯视图像与所述鱼眼图像之间的映射表，通过线性插值生成俯视图像。

有益效果：

本发明基于两次变换俯视变换方法：首先采用三块标定格板中的中间格板做初次俯视变换，此次变换能生成初步的俯视图像，对相机安装时必要的外翻偏角所造成的透视图像上下尺寸差异问题能得到良好解决；然后采用左、右标定格板做第二次俯视变换，此次变换能生成最终的俯视图像，对相机安装时多余的左右偏角所造成的图像左右尺寸差异问题进行俯视校正。这种俯视变换方法，能有效减弱图像左右尺寸差异和水平竖直度不佳的情况，对全景系统的后续拼接具有积极意义。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明俯视变换方法流程图；

图2为本发明标定方格板安装示意图；

图3-4为本发明通过标定格板进行两次俯视变换示意图；

图5为畸变图像、透视图像与俯视图像关系图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本发明的主旨在于基于两次变换获得鱼眼图像的俯视变换图像：首先设置左、右、中标定格板，采用中间格板做初次俯视变换，此次变换能生成初步的俯视图像，对相机安装时必要的外翻偏角所造成的透视图像上下尺寸差异问题能得到良好解决；然后采用左、右标定格板做第二次俯视变换，此次变换能生成最终的俯视图像，对相机安装时多余的左右偏角所造成的图像左右尺寸差异问题进行俯视校正。这种俯视变换方法，能有效减弱图像左右尺寸差异和水平竖直度不佳的情况，对全景系统的后续拼接具有积极意义。以下以车载图像为例，对本发明进行详细介绍。

如图1所示，为本发明的一种具体的俯视变换方法，包括：

S11、利用鱼眼图像的透视校正图像，确定鱼眼相机前方的中间标定板与所述鱼眼图像的标准俯视图之间的逆透视变换矩阵；

首先，按一定布局要求，在鱼眼相机前方布局三块标定方格板。参见图2所示,4路鱼眼相机通常安装在汽车前logo、左右后视镜下方及后牌照处，相机安装时都会远离。根据汽车长宽尺寸和全景系统预定视野范围，设定标定板布局的极限尺寸(D1、D3)。将左、右标定格板布置于极限尺寸处，中间格板位置可人为设置，通常布置在相机正前方或左、右标定格板中间位置。按后续俯视变换方法中标准基点组的构造要求对左、中、右格板的布局位置进行微调，使左、右格板间距D2、D4为一特殊确定值且摆放位置成严格直线。对前置相机而言，左、中、右三格板分别为3号、2号和1号板，对左侧相机而言，左、中、右三格板分别为5号、4号和3号板。

针对一个相机，左、右标定板可以各为一块，或者可以根据需要设置多块。

参见图3、图4，通过Harris角点检测对透视图像上中间标定格板的角点进行提取，并将角点坐标存入矩阵m1；由提取的左上角角点在俯视图像上的期望像素坐标(u₀,v₀)以及标定格板上单个小方格在俯视图像中的期望像素尺寸s来构建与角点坐标矩阵m1一一对应的标准基点组M1；计算角点坐标矩阵m1和标准基点组M1间的逆透视变换矩阵H1。

以图4中间标定格板的逆透视变换矩阵求取为例。按图中箭头方向一列一列地提取图像上中间格板的角点，此时m1和M1的构造如下：

S12、利用所述逆透视变换矩阵对所述透视校正图像进行第一次俯视变换，得到第一次俯视图像；

S13、利用所述第一次俯视图像，确定所述鱼眼相机前方的左、右标定板与所述鱼眼图像的标准俯视图之间的单应性矩阵；

参见图3、图4，对第一次俯视变换图像上左、右标定格板的角点进行提取，并将角点坐标存入矩阵m2；按步骤S11中所述方法构建标准基点组M2；计算角点坐标矩阵m2和标准基点组M2间的单应性矩阵H2。考虑到全景系统实际视野覆盖要求较宽，可能对于极限处的左、右标定格板成像较为模糊，针对可能存在的左、右格板角点不易提取的情况可将初次俯视图像中单个黑、白小方格最小包围矩形的几何中心坐标作为角点坐标，相应的构造标准基点组M2。

S14、根据所述逆透视变换矩阵和所述单应性矩阵得到最终的俯视图像。

如对原透视校正图像按逆透视变换矩阵H1和单应性矩阵H2做最终的俯视变换：H2×H1×I。

或；

将所述第一次俯视图像按照所述单应性矩阵H2进行变换得到最终的俯视图像。

在本发明的另一实施例中，所述方法还包括预先根据所述鱼眼图像确定所述透视校正图像。具体可利用现有技术中的鱼眼相机双曲面模型拟合相机成像模型，实现鱼眼相机的标定，并计算双曲面模型的内参(a₀,a₁,...,a₄)。虚拟一理想透视相机，对比透视相机的小孔成像模型和鱼眼相机的双曲面模型，实现鱼眼畸变图像的透视校正。鱼眼相机的几何成像模型包括但不局限于双曲面模型。

通过上述设置标定格板，两次变换实现了对鱼眼图像的俯视变换，得到了俯视变换图像。但如果利用上述方法逐步进行变换得到俯视图像，将无法满足汽车环视全景系统的实时性要求。为此本发明可构建俯视图像和原鱼眼畸变图之间的映射表，这样一旦获得鱼眼图像即可根据映射表得到俯视图像。

本发明构建映射表的方法：俯视图像经逆俯视变换(H2×H1)^-1,求得俯视图中一点在透视图像中的对应点坐标；同时，透视图像中点在原鱼眼畸变图像校正时已与畸变图像生成映射表；从而，可生成俯视图像和原鱼眼畸变图像间的映射表：

即利用所述逆透视变换矩阵和所述单应性矩阵，对所述最终的俯视图像进行逆俯视变换，确定所述最终的俯视图像中的一点在所述透视校正图像中的对应坐标，以建立所述最终的俯视图像与所述透视校正图像之间的映射表；根据所述透视校正图像与所述鱼眼图像之间的映射表，建立所述最终的俯视图像与所述鱼眼图像之间的映射表。

基于上述映射表获取鱼眼图像的俯视图像的方法包括：

根据获取的鱼眼图像和所述最终的俯视图像与所述鱼眼图像之间的映射表，通过线性插值生成俯视图像。

综上可见，基于标定格板和两次变换实现俯视变换，减弱了图像感兴趣区域的左右尺寸差异、改善了水平竖直度不佳的问题。而基于此构建映射表，根据映射表由鱼眼图像可直接获得俯视图像，满足了很多情况下对俯视图像的实时性要求。

基于本发明所建立的鱼眼畸变图像、最终俯视图像以及校正后的透视图像之间的关系如图5所示。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。