一种镜头快速自标定方法及其电子设备与流程

本申请涉及图像技术领域，特别涉及一种镜头快速自标定方法及其电子设备。

背景技术：

随着移动电子功能的丰富，镜头等可视化文件越来越多出现在我们生活中。由于镜头在产线标定存在的不完美可能性，长时间的使用造成的镜头松动再固定，因承载压力的不同造成的镜头相对位置的变化等，这些场景都需要进行镜头再标定。在现有技术中，主要通过以下方法进行镜头标定：

方案一，基于特定标定场的标定，特定场地的标定一般需要在特定的场地，特定的光照环境，把特定的标定模板铺设或者刷制或者投影到特定的平面完成镜头的标定，此方案标定准确度高。其缺陷是对客观条件要求苛刻，无法及时的完成完成镜头的再标定。

方案二，基于道路线的标定，主要利用道路线平行且间距不变的特征，或者利用三平行线共用消失点的特点，都可以对相机进行再标定。此类算法是在畸变比较小的窄角镜头中进行再标定，广角镜头由于边缘的畸变，无法利用线条的线性几何性质完成标定，即使进行畸变矫正，由于处理后的分辨率下降，导致标定效果不理想，除此之外，对待标定摄像头的安装位置有特殊的要求。

方案三，主动视觉相机标定，基于主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物，但需要控制相机做某些特殊运动，利用这种运动的特殊性可以计算出相机内部参数。基于主动视觉的相机标定法的优点是算法简单，通常能够获得线性解，故鲁棒性较高。其方法不适合于摄像机运动参数未知或无法控制的场合。

技术实现要素：

本申请为了解决上述技术问题，提供了一种镜头快速自标定方法，应用于至少包括两个摄像头的电子设备中，所述方法包括：

根据历史标定结果，获得第一摄像头和第二摄像头采集的图像的重合区域角点对(a,b)的图像坐标以及重合区域实际物理坐标；

将所述重合区域进行外扩，获得类重合区域，并将所述类重合区域划分成检测区域和匹配区域；

对所述类重合区域进行俯视投影，获得俯视投影区域，并对所述俯视投影区域进行处理，生成匹配角点序列对(c,d)；

根据所述匹配角点序列对(c,d)，获得检测区域和匹配区域的变换关系式；

根据所述变换关系式，对重合区域角点对(a,b)进行矫正处理。

可选地，所述对所述类重合区域进行俯视投影，包括：

对所述类重合区域进行畸变矫正处理，

对畸变矫正处理后的类重合区域，进行透视投影，获得俯视投影区域。

可选地，所述对所述俯视投影区域进行处理，生成匹配角点序列对(c,d)，包括：

通过角点检测算法，对所述俯视投影区域进行特征选取，获取俯视投影区域的特征值；

根据所述俯视投影区域的特征值，通过角点匹配算法，生成匹配角点序列对(c,d)。

可选地，所述俯视投影区域的特征值包括harris特征、orb特征、surf特征中任一种。

可选地，，角点匹配算法包括块匹配、ransan算法、暴力匹配任一种。

可选地，所述根据所述匹配角点序列对(c,d)，获得检测区域和匹配区域的变换关系式，包括：

将所述匹配角点序列对(c,d)的第一匹配角点序列c的角点坐标序列、第二匹配角点序列d的角点坐标序列分别代入变换公式，求得变换关系式：。

可选地，所述变换公式为：

其中，、、…为第一匹配角点序列c的角点坐标，、…为第二匹配角点序列d的角点坐标，f为可变参数。

可选地，所述根据所述变换关系式，对重合区域(a,b)进行矫正处理，包括：

根据所述变换关系式，将所述重合区域角点对(a,b)修正为(a,b’)。

可选地，所述历史标定结果为首次标定结果或非首次标定结果，其中，

首次标定结果，为本方法的初始的标定结果；

非首次标定结果，为上次产线的标定结果。

此外，本申请还提供了一种镜头快速自标定的电子设备，包括上述的一种镜头快速自标定方法。

本申请的一种镜头快速自标定方法及其电子设备，其有益效果在于：

（1）本申请可运用在车载环境中，对道路特征进行标记。其中，本申请的技术方案利用双目摄像机或其他多目摄像机拍摄所获得重合区域，充分利用道路上角点特性，实时的进行摄像机的再标定工作。在保证标定高精度的前提下，解决了背景技术的方案一对客观标定条件要求苛刻的限制；解决了背景技术的方案二在标定镜头精度低的问题；解决了背景技术的方案三摄像机运动参数未知或者不无法控制场景无法进行标的问题。且本申请无需定制模板，在摄像机运动参数未知的情况下，利用双目相机重合区域，基于道路现有角点纹理特征，实时的完成车载摄像机的再标定。本申请提到的技术方案简单易行，计算量小，精度高。

（2）本申请使用场景不限于车载环境，也可运用在其他非车载环境中，对指定的某个标定平面上的特征进行标定，其中，本申请的技术方案利用双目摄像机或其他多目摄像机拍摄所获得重合区域，充分利用指定的某个标定平面上的特征存在的角点特性，实时的进行摄像机的再标定工作。本申请涉及的方法及其电子设备可运用在无人机的标定、移动机器人的标定或者其他需进行镜头标定的环境下的标定，提高了本申请技术方案的适用性。

附图说明

图1为本申请实施例的图像矫正方法流程图；

图2为本申请实施例的第一摄像头、第二摄像头获取的图像示意图；

图3为本申请实施例的第一摄像头、第二摄像头获取的图像的俯视投影；

图4为本申请实施例的第一摄像头、第二摄像头获取的图像的俯视投影进行处理示意图。

图5为本申请实施例第一摄像头、第二摄像头获取的图像修正后的图像。

具体实施方式

下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征更易被本领域技术人员理解，从而对本申请的保护范围作出更为清楚的界定。

在如图1所示的一种实施例中，本申请提供了一种车载镜头快速自标定方法，应用于至少包括两个摄像头的电子设备中，方法包括：

100，根据历史标定结果，获得第一摄像头和第二摄像头采集的图像的重合区域角点对(a,b)的图像坐标以及重合区域实际物理坐标；

在本实施例的一种实施方式中，

根据历史标定结果，历史标定结果保存在对应文件中，通过读取关键字，获得重合区域角点对(a,b)的图像坐标以及重合区域实际物理坐标。

如初次采用双目摄像头采集图像，无历史标定结果，则通过算法默认值或初始值获得重合区域角点对(a,b)的图像坐标以及重合区域实际物理坐标。

200，将重合区域进行外扩，获得类重合区域，并将类重合区域划分成检测区域和匹配区域；

在本实施例的一种实施方式中，

将重合区域进行外扩，包括：基于重合区域实际物理坐标外扩指定的尺寸。

将类重合区域划分成检测区域和匹配区域，其中，

检测区域，在此区域内利用harris特征、orb特征、surf特征中任一种特征进行角点检测。

匹配区域：在此区域内，对检测区域检测的角点利用匹配算法进行匹配。

300，对类重合区域进行俯视投影，获得俯视投影区域，并对俯视投影区域进行处理，生成匹配角点序列对(c,d)；

在本实施例的一种实施方式中，

对类重合区域进行俯视投影，包括：

首先对重合区域角点序列a进行畸变矫正获得角点序列对a'，结合a'及角点序列a对应的实际物理坐标，获得变换关系h。

其次通过畸变参数表对类重合区域进行畸变矫正。

400，最后利用变换关系h，对矫正后类重合区域进行透视变换，从而获得俯视投影图。根据匹配角点序列对(c,d)，获得检测区域和匹配区域的变换关系式；

在本实施例的一种实施方式中，根据匹配特征点序列对(c,d)确定检测区域和匹配区域新的变换关系式h。

其中第一匹配角点序列c的角点坐标为、、…，对应的第二匹配角点序列d的角点坐标为、…。

利用如下公式：

；

令f=1，将另外的对应角点对按照相同的方式代入上式并整理求出变换关系式。

500，根据变换关系式，对重合区域角点对(a,b)进行矫正处理。

在本实施例的一种实施方式中，根据变换关系式，对重合区域(a,b)进行矫正处理，包括：根据变换关系式，将重合区域角点对(a,b)修正为(a,b’)。角点对(a,b’)保存了矫正后的镜头状态，从而完成待标定镜头的标定。

本申请的一种镜头快速自标定方法，本方法应用于至少包括两个摄像头的电子设备中，在本实施例中，本方法采用的双目摄像头。此外，本方法可以采用三目摄像头、四目摄像头等多个摄像头模组，进行图像和视频的采集；其中摄像头可以是广角摄像头、窄角摄像头、或其他常规摄像头。本申请不限于摄像头的数量，能够实现本申请技术方案的摄像头的数量和规格均落入本申请的保护范围中。本申请本方案利用双目摄像机重合区域，充分利用道路上角点特性，实时的进行摄像机的再标定工作。在保证标定高精度的前提下，解决了背景技术的方案一对客观标定条件要求苛刻的限制。解决了背景技术的方案二在标定镜头精度低的问题。解决了背景技术的方案三，摄像机运动参数未知或者不无法控制场景无法进行标的问题。且本申请无需定制模板，在摄像机运动参数未知的情况下，利用双目相机重合区域，基于道路现有角点纹理特征，实时的完成车载摄像机的再标定。本申请提到的技术方案简单易行，计算量小，精度高。

在一些实施例中，对类重合区域进行俯视投影，包括：

对类重合区域进行畸变矫正处理，

在本实施例的一种实施方式中，

畸变矫正处理包括：根据经纬矫正模型进行畸变矫正，或者根据畸变矫正表进行畸变矫正。

对畸变矫正处理后的类重合区域，进行透视投影，获得俯视投影区域。

在本实施例的一种实施方式中，

透视投影包括：

首先对重合区域角点序列a进行畸变矫正获得角点序列对a'，结合a'及角点序列a对应的实际物理坐标，获得变换关系h。

其次通过畸变参数表对类重合区域进行畸变矫正。

最后利用变换关系h，对矫正后类重合区域进行透视变换，从而获得俯视投影图。在一些实施例中，对俯视投影区域进行处理，生成匹配角点序列对(c,d)，包括：

通过角点检测算法，对俯视投影区域进行特征选取，获取俯视投影区域的特征值；

根据俯视投影区域的特征值，通过角点匹配算法，生成匹配角点序列对(c,d)。

在本实施例的一种实施方式中，

角点检测算法包括：

为获得尺度不变角点，构建n层图像金字塔。

对每一层图进行微分运算求梯度，从而减少亮度变化对角点的影响。

利用角点附近区域灰度二阶矩阵m，使检测的角点具有选择不变性,其中

w为窗口内像素所对应的权重。

对二阶矩阵m进行求迹求行列式，结合非极大值抑制算法获得角点值。

通过检测n层图像的角点，形成最终的角点集合。角点匹配算法包括：

获得检测图的角点，以为中心形成模板图像。

计算模板图像和匹配图像的积分图。

利用积分图完归一化相关计算，通过保留最大值，完成归一化相关匹配法，获得匹配角点序列。

在一些实施例的一种实施例方式中，俯视投影区域的特征值包括harris特征、orb特征、surf特征中任一种；在本实施例中，俯视投影区域的特征值主要是采用harris特征，其步骤包括：通过高斯函数的导数对原始图像进行卷积计算；图像在水平方向和垂直方向的导数ix和iy；计算对应这些梯度外积即（ix2、iy2、ixiy）三个图像如下图：使用高斯函数对以上图像进行卷积滤波；使用前面的公式计算角点响应函数r值；对计算到的角点图像进行局部极大值抑制。

在一些实施例的一种实施例方式中，角点匹配算法包括块匹配、ransan算法、暴力匹配任一种，在本实施例中，角点匹配算法主要采用块匹配算法，块匹配算法分两个步骤，两个步骤算法类似，第一步通过原图匹配进行简单去噪形成基础估计，第二步通过原图和基础估计进行更细致的去噪，将psnr进一步提高。。

在一些实施例中，根据匹配角点序列对(c,d)，获得检测区域和匹配区域的变换关系式，包括：

将匹配角点序列对(c,d)的第一匹配角点序列c的角点坐标序列、第二匹配角点序列d的角点坐标序列分别代入变换公式，求得变换关系式：。

在本实施例中，变换公式为：

其中，、、…为第一匹配角点序列c的角点坐标，、…为第二匹配角点序列d的角点坐标，f为可变参数；令f=1，联立第一匹配角点序列c的角点坐标和第二匹配角点序列d的角点坐标的多个坐标，可求得变换关系式：。

在一些实施例中，根据变换关系式，对重合区域(a,b)进行矫正处理，包括：

根据变换关系式，将重合区域角点对(a,b)修正为(a,b’)。角点对(a,b’)保存了矫正后的镜头状态，从而完成待标定镜头的标定。

此外，本申请还提供了一种镜头快速自标定的电子设备，包括上述的一种镜头快速自标定方法。本申请的电子设备可运用在车载环境中，对道路特征进行标记。其中，本申请的技术方案利用双目摄像机或其他多目摄像机拍摄所获得重合区域，充分利用道路上角点特性，实时的进行摄像机的再标定工作。在保证标定高精度的前提下，解决了背景技术的方案一对客观标定条件要求苛刻的限制；解决了背景技术的方案二在标定镜头精度低的问题；解决了背景技术的方案三摄像机运动参数未知或者不无法控制场景无法进行标的问题。且本申请无需定制模板，在摄像机运动参数未知的情况下，利用双目相机重合区域，基于道路现有角点纹理特征，实时的完成车载摄像机的再标定。本申请提到的技术方案简单易行，计算量小，精度高。本申请的电子设备也可运用在非车载环境中，对指定的某个标定平面上的特征进行标定，其中，本申请的技术方案利用双目摄像机或其他多目摄像机拍摄所获得重合区域，充分利用指定的某个标定平面上的特征存在的角点特性，实时的进行摄像机的再标定工作。本申请涉及的方法及其电子设备可运用在无人机的标定、移动机器人的标定或者其他需进行镜头标定的环境下的标定。

上面结合附图对本申请的实施方式作了详细说明，但是本申请并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。