摄像机外参标定的方法和装置与流程

文档序号:21786161发布日期:2020-08-07 20:30阅读:324来源:国知局
摄像机外参标定的方法和装置与流程

本公开涉及智能交通领域,特别涉及一种摄像机外参标定的方法和装置。



背景技术:

随着计算机技术和网络技术的发展,高级辅助驾驶系统逐渐成为了智能交通的重要组成部分,高级辅助驾驶系统是利用安装于车辆上的多类传感器(如摄像机等),实时收集车内外环境数据,进行静、动态物体的识别、侦测与追踪,基于识别、侦测与追踪结果,提醒驾驶者,使驾驶者可以在最快时间内察觉可能发生的危险。

相关技术中,多类传感器一般会包括摄像机,摄像机可以用于对车辆的前方目标进行测距,在车辆上安装摄像机后,一般需要标定摄像机的外参(如摄像机与水平地面之间的距离等)。在标定摄像机的外参时,一般是使用摄像机拍摄包含标定板的图像,人工测量得到摄像机的外参。

由于人工测量得到摄像机的外参,所以会使标定外参的耗时比较长。



技术实现要素:

为了解决相关技术的问题,本公开实施例提供了一种摄像机外参标定的方法和装置。所述技术方案如下:

第一方面,提供了一种摄像机外参标定的方法,应用于车载摄像机外参标定系统,所述方法包括:

获取标定板处于第一位置和所述标定板处于第二位置时,在图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标;

根据每个角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆的目标参考点、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆的目标参考点、地面的位置关系,确定所述摄像机的外参。

可选的,所述获取标定板处于第一位置和所述标定板处于第二位置时,在图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标,包括:

获取标定板处于所述第一位置时,所述摄像机拍摄的第一图像,并获取所述标定板处于所述第二位置时,所述摄像机拍摄的第二图像;

对所述第一图像进行灰度化处理和畸变校正处理,得到第一理想图像,并对所述第二图像进行灰度化处理和畸变校正处理,得到第二理想图像;

从所述第一理想图像中,获取标定板处于所述第一位置时,在所述图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标,并从所述第二理想图像中,获取所述标定板处于所述第二位置时,在所述图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标。

这样,可以使提取出位置坐标更准确。

可选的,所述根据每个角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆、地面的位置关系,确定所述摄像机的外参,包括:

根据每个角点在图像中的成像点的位置坐标,确定所述图像坐标系中所述摄像机的消隐点的位置坐标;

根据所述消隐点的位置坐标,确定所述摄像机的目标俯仰角;

根据所述消隐点的位置坐标、所述摄像机的目标俯仰角、每个角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆、地面的位置关系,确定所述摄像机与所述地面之间的目标距离、所述摄像机与所述目标参考点之间的目标距离。

可选的,所述根据每个角点在图像中的成像点的位置坐标,确定所述图像坐标系中所述摄像机的消隐点的位置坐标,包括:

根据所述标定板在所述第一位置和所述第二位置时同一角点的位置坐标,确定同一角点对应的直线表达式;

根据确定出的直线表达式,确定任意两个直线表达式对应的直线的交点的位置坐标;

将确定出的位置坐标中的横坐标值取平均值,得到第一平均值,并将确定出的位置坐标中的纵坐标值取平均值,得到第二平均值;

将所述第一平均值确定为所述图像坐标系中所述摄像机的消隐点的横坐标值,并将所述第二平均值确定为所述图像坐标系中所述摄像机的消隐点的纵坐标值。

可选的,所述根据所述消隐点的位置坐标、所述摄像机的俯仰角、每个角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆、地面的位置关系,确定所述摄像机与所述地面之间的目标距离、所述摄像机与所述目标参考点之间的目标距离,包括:

对于每个角点,根据所述消隐点的位置坐标、所述摄像机的俯仰角、所述角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆、地面的位置关系,确定所述标定板在所述第一位置和第二位置时所述角点在图像中的成像点与所述摄像机的光心构成的三角形的边角信息;

根据每个角点对应的边角信息、每个角点与所述地面之间的距离,确定所述摄像机与所述地面之间的目标距离、所述摄像机与所述目标参考点之间的目标距离。

可选的,所述根据每个角点对应的边角信息、每个角点与所述地面之间的距离,确定所述摄像机与所述地面之间的目标距离、所述摄像机与所述目标参考点之间的目标距离,包括:

对于每个角点,根据所述角点对应的边角信息、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离、所述摄像机与所述目标参考点之间的距离;

将所有角点分别对应的所述摄像机与所述地面之间的距离,取平均值,得到所述摄像机与所述地面之间的目标距离,将所有角点分别对应的所述摄像机与所述目标参考点之间的距离,取平均值,得到所述摄像机与所述目标参考点之间的目标距离。

这样,在确定摄像机与地面之间的目标距离、摄像机与所述车辆的目标参照点之间的目标距离时,都是取平均值,可以使确定出的目标距离更准确。

可选的,所述根据所述角点对应的边角信息、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离、所述摄像机与所述目标参考点之间的距离,包括:

根据所述角点对应的边角信息,确定所述角点对应的所述摄像机与所述标定板之间的距离,并确定所述标定板在所述第二位置时,所述摄像机与所述角点在垂直于所述地面方向的距离;

根据所述摄像机与所述标定板之间的距离、所述目标参考点与所述标定板之间的距离,确定所述角点对应的所述摄像机与所述目标参考点之间的距离,并根据所述摄像机与所述角点在垂直于所述地面方向的距离、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离。

可选的,所述根据所述摄像机与所述角点在垂直于所述地面方向的距离、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离,包括:

根据所述角点在图像中的成像点的纵坐标值与所述消隐点的纵坐标值之间的差值、所述摄像机与所述角点在垂直于所述地面方向的距离、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离。

可选的,所述根据所述消隐点的位置坐标,确定所述摄像机的目标俯仰角,包括:

根据所述标定板处于所述第一位置时每个角点在图像中的成像点的位置坐标中的纵坐标值、所述标定板处于所述第一位置时每个角点对应的所述摄像机的成像角,拟合所述图像坐标系下,图像中的成像点的纵坐标值与所述摄像机的成像角的关系直线;

根据所述摄像机的俯仰角和逆透视投影方法,确定所述关系直线上描述的预设数目个成像点在世界坐标系中的第一纵坐标值;

根据每个成像点对应的第一纵坐标值和第二纵坐标值,确定所述摄像机的俯仰角对应的目标数值,其中,对于每个成像点,所述成像点对应的第二纵坐标值为基于成像角计算得到的所述成像点在所述世界坐标系中的纵坐标值;

如果目标数值大于预设阈值,则将所述摄像机的俯仰角按照预设步长进行调节,基于调节后的俯仰角,重新确定目标数值,当所述目标数值小于或等于所述预设阈值时,将调节后的俯仰角,确定为所述摄像机的目标俯仰角。

这样,由于经过修正,所以可以使确定出的摄像机的俯仰角更准确。

可选的,所述方法还包括:

根据所述摄像机的外参,对拍摄到的图像中包含的目标的位置坐标,进行图像像素坐标和世界坐标的转换,确定出所述摄像机与所述目标之间的纵向距离;

根据所述纵向距离、所述摄像机与所述目标参考点之间的距离,确定所述目标参考点与所述目标之间的纵向距离。

这样,由于摄像机的外参更准确,所以确定出的目标参考点与目标之间的距离更准确。

第二方面,提供了一种摄像机外参标定的装置,应用于车载摄像机外参标定系统,所述装置包括:

获取模块,用于获取标定板处于第一位置和所述标定板处于第二位置时,在图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标;

确定模块,用于根据每个角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆的目标参考点、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆的目标参考点、地面的位置关系,确定所述摄像机的外参。

可选的,所述获取模块,用于:

获取标定板处于所述第一位置时,所述摄像机拍摄的第一图像,并获取所述标定板处于所述第二位置时,所述摄像机拍摄的第二图像;

对所述第一图像进行灰度化处理和畸变校正处理,得到第一理想图像,并对所述第二图像进行灰度化处理和畸变校正处理,得到第二理想图像;

从所述第一理想图像中,获取标定板处于所述第一位置时,在所述图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标,并从所述第二理想图像中,获取所述标定板处于所述第二位置时,在所述图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标。

可选的,所述确定模块,用于:

根据每个角点在图像中的成像点的位置坐标,确定所述图像坐标系中所述摄像机的消隐点的位置坐标;

根据所述消隐点的位置坐标,确定所述摄像机的目标俯仰角;

根据所述消隐点的位置坐标、所述摄像机的目标俯仰角、每个角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆、地面的位置关系,确定所述摄像机与所述地面之间的目标距离、所述摄像机与所述目标参考点之间的目标距离。

可选的,所述确定模块,用于:

根据所述标定板在所述第一位置和所述第二位置时同一角点的位置坐标,确定同一角点对应的直线表达式;

根据确定出的直线表达式,确定任意两个直线表达式对应的直线的交点的位置坐标;

将确定出的位置坐标中的横坐标值取平均值,得到第一平均值,并将确定出的位置坐标中的纵坐标值取平均值,得到第二平均值;

将所述第一平均值确定为所述图像坐标系中所述摄像机的消隐点的横坐标值,并将所述第二平均值确定为所述图像坐标系中所述摄像机的消隐点的纵坐标值。

可选的,所述确定模块,用于:

对于每个角点,根据所述消隐点的位置坐标、所述摄像机的俯仰角、所述角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆、地面的位置关系,确定所述标定板在所述第一位置和第二位置时所述角点在图像中的成像点与所述摄像机的光心构成的三角形的边角信息;

根据每个角点对应的边角信息、每个角点与所述地面之间的距离,确定所述摄像机与所述地面之间的目标距离、所述摄像机与所述目标参考点之间的目标距离。

可选的,所述确定模块,用于:

对于每个角点,根据所述角点对应的边角信息、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离、所述摄像机与所述目标参考点之间的距离;

将所有角点分别对应的所述摄像机与所述地面之间的距离,取平均值,得到所述摄像机与所述地面之间的目标距离,将所有角点分别对应的所述摄像机与所述目标参考点之间的距离,取平均值,得到所述摄像机与所述目标参考点之间的目标距离。

可选的,所述确定模块,用于:

根据所述角点对应的边角信息,确定所述角点对应的所述摄像机与所述标定板之间的距离,并确定所述标定板在所述第二位置时,所述摄像机与所述角点在垂直于所述地面方向的距离;

根据所述摄像机与所述标定板之间的距离、所述目标参考点与所述标定板之间的距离,确定所述角点对应的所述摄像机与所述目标参考点之间的距离,并根据所述摄像机与所述角点在垂直于所述地面方向的距离、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离。

可选的,所述确定模块,用于:

根据所述角点在图像中的成像点的纵坐标值与所述消隐点的纵坐标值之间的差值、所述摄像机与所述角点在垂直于所述地面方向的距离、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离。

可选的,所述确定模块,用于:

根据所述标定板处于所述第一位置时每个角点在图像中的成像点的位置坐标中的纵坐标值、所述标定板处于所述第一位置时每个角点对应的所述摄像机的成像角,拟合所述图像坐标系下,图像中的成像点的纵坐标值与所述摄像机的成像角的关系直线;

根据所述摄像机的俯仰角和逆透视投影方法,确定所述关系直线上描述的预设数目个成像点在世界坐标系中的第一纵坐标值;

根据每个成像点对应的第一纵坐标值和第二纵坐标值,确定所述摄像机的俯仰角对应的目标数值,其中,对于每个成像点,所述成像点对应的第二纵坐标值为基于成像角计算得到的所述成像点在所述世界坐标系中的纵坐标值;

如果目标数值大于预设阈值,则将所述摄像机的俯仰角按照预设步长进行调节,基于调节后的俯仰角,重新确定目标数值,当所述目标数值小于或等于所述预设阈值时,将调节后的俯仰角,确定为所述摄像机的目标俯仰角。

可选的,所述确定模块,还用于:

根据所述摄像机的外参,对拍摄到的图像中包含的目标的位置坐标,进行图像像素坐标和世界坐标的转换,确定出所述摄像机与所述目标之间的纵向距离;

根据所述纵向距离、所述摄像机与所述目标参考点之间的距离,确定所述目标参考点与所述目标之间的纵向距离。

第三方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。

第四方面,提供了一种终端设备,包括处理器和存储器,其中,所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,实现上述第一方面所述的方法步骤。

第五方面,提供了一种摄像机外参标定的系统,所述系统包括:安装在车辆后视镜处的摄像机、设置在所述车辆前方的标定杆和终端设备,其中,所述标定杆为可移动标定杆,所述终端设备用于实现上述第一方面所述的步骤;

在所述标定杆上设置有位置可调的棋盘状的标定板,其中,在进行标定时,所述标定板与所述车辆的车身纵向中轴线垂直,且垂直于地面,所述标定板的下边缘与所述地面平行。

本公开实施例提供的技术方案带来的有益效果至少包括:

本公开实施例中,在标定摄像机的外参时,可以获取标定板处于第一位置和标定板处于第二位置时,在图像坐标系中,标定板的每个角点在图像中的成像点的位置坐标,然后根据每个角点在图像中的成像点的位置坐标、在第一位置标定板分别与车辆的目标参考点、地面的位置关系以及在第二位置标定板分别与车辆的目标参考点、地面的位置关系,确定摄像机的外参。这样,由于可以使用标定板在两个位置的成像,确定出摄像机的外参,而不需要人工测量,所以可以节约外参的标定时长。

而且在进行上述过程时,仅需要两个位置,标定板所在的第一位置和标定板所在的第二位置,在标定过程中,一般是标定板与目标参考点距离越近,标定越准确(一般车辆前面的空间为三米即可),所以标定所用的场地不需要太大,降低了对场地的要求。

附图说明

图1是本公开实施例提供的一种标定板的示意图;

图2是本公开实施例提供的一种确定摄像机的外参的方法流程图;

图3是本公开实施例提供的一种图像坐标系的示意图;

图4是本公开实施例提供的一种成像点的示意图;

图5是本公开实施例提供的一种成像角的示意图;

图6是本公开实施例提供的一种确定摄像机的外参的装置的结构示意图;

图7是本公开实施例提供的一种终端设备的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。

本公开实施例提供了一种摄像机外参标定的方法,该方法的执行主体可以是终端设备,终端设备可以是电脑等,终端设备中可以设置有处理器、存储器和收发器,处理器可以用于摄像机外参标定的过程的处理,存储器可以用于存储摄像机外参标定的过程中需要的数据以及产生的数据,收发器可以用于接收以及发送数据,可以是接收摄像机拍摄的图像数据等。终端设备还可以设置有屏幕等输入输出设备等,屏幕可以用于显示摄像机的外参、处理进度等。

在进行实施前,首先介绍一下本公开实施例所涉及的应用场景:

在本公开实施例中,进行摄像机的外参标定的系统中包括安装在车辆后视镜处的摄像机、设置在车辆前方的标定杆和终端设备,摄像机安装在车辆前挡风玻璃处后视镜下方,如图1所示,标定板是一个特制的黑白相间的棋盘标定板(棋盘标定板为10行*4列,每个格子10cm*10cm),标定板的一侧安装有气泡水平仪,以便标定板垂直于地面放置,标定板固定在金属杆子上,金属杆子上标有距离地面刻度值,可方便读取棋盘格最下排角点距地面的垂直高度,金属杆子可以上下调节高度,标定板下边缘一般距离地面的距离在1m至1.5之间可调。标定板采用不反光材料,且平整,满足一定刚性,不易变形,不会在风吹等情况下倾倒。

需要说明的是,上述提到的角点为标定板上黑色的格子和白色的格子相交的点。对于一个10行*4列的棋盘标定板,角点的数目为27。上述的地面水平。

本公开实施例提供了一种摄像机外参标定的方法,在本公开实施例中以车辆的目标参考点为车辆的前保险杠为例进行方案的详细说明,如图2所示,该方法的执行流程可以如下:

步骤201,获取标定板处于第一位置和标定板处于第二位置时,在图像坐标系中,标定板的每个角点在图像中的成像点的位置坐标。

其中,第一位置与第二位置不相同,例如,在第一位置时,标定板与车辆上的目标参考点(目标参考点可以是车辆前保险杠)的距离为0.5m,在第二位置时,标定板与车辆的目标参考点的距离为1m。在第一位置和第二位置,标定板与车辆的车身纵向中轴线均垂直且均垂直于地面,也就是在第一位置和第二位置,标定板平行。在第一位置和第二位置,标定板的下边缘与地面的距离相同。在第一位置和第二位置,标定板的中心的连线与车辆的车身纵向中轴线平行。

在实施中,在对车辆上安装的摄像机的外参进行标定时,可以根据车辆的车型、摄像机的安装高度、摄像机的俯仰角,调整标定板的下边缘与地面的距离,保证整个标定板在摄像机的视野范围内。在距离车辆的目标参考点的第一距离处放置标定板,使标定板垂直于车辆的车身纵向中轴线,转动标定板,使标定板一侧的气泡水平仪中的气泡位于正中的位置,使标定板垂直于地面。标定板的棋盘格标定板面朝向摄像机的镜头方向,然后控制摄像机拍摄包含标定板的图像。

然后将标定板向远离车辆方向绝对平移至第二位置,使用相同的方式控制摄像机拍摄包含标定板的图像。

然后可以在摄像机的成像平面上,建立一个图像坐标系,如图3所示,图像坐标系是以图像左上角o为原点,以像素(pixel)为单位的直角坐标系o-uv,对于任一点(u,v),u和v分别表示该像素在图像中的列数和行数。然后,终端设备可以在两次拍摄的图像中,获取在图像坐标系中,标定板的每个角点在图像中的成像点的位置坐标。

需要说明的是,在相同的标定板下,标定板与摄像机的距离越近,角点识别精度越高,标定精度越高。

可选的,可以首先进行畸变校正处理,再获取每个角点在图像坐标系中的位置坐标,相应的步骤201的处理可以如下:

获取标定板处于第一位置时,摄像机拍摄的第一图像,并获取标定板处于第二位置时,摄像机拍摄的第二图像。对第一图像进行灰度化处理和畸变校正处理,得到第一理想图像,并对第二图像进行灰度化处理和畸变校正处理,得到第二理想图像。从第一理想图像中,获取标定板处于第一位置时,在图像坐标系中,标定板的每个角点在图像中的成像点的位置坐标,并从第二理想图像中,获取标定板处于第二位置时,在图像坐标系中,标定板的每个角点在图像中的成像点的位置坐标。

在实施中,摄像机在第一位置拍摄到第一图像后,可以发送至终端设备,并且摄像机在第二位置拍摄到第二图像后,也可以发送至终端设备。第一图像和第二图像一般为rgb(redgreenblue,红绿蓝)图像,所以可以通过公式y=r*0.299+g*0.587+b*0.114,将第一图像和第二图像转换为灰度图,也就是进行灰度化处理。然后对第一图像对应的灰度图进行畸变校正处理,得到第一理想图像,并且对第二图像对应的灰度图进行畸变校正处理,得到第二理想图像。

然后终端设备可以从第一理想图像中,提取在图像坐标系中每个角点在图像中的成像点的位置坐标,将所有角点的位置坐标按照一定的排列顺序进行存储,并且可以从第二理想图像中,提取在图像坐标系中每个角点在图像中的成像点的位置坐标,将所有角点的位置坐标按照上述的排列顺序进行存储。

需要说明的是,上述畸变校正处理是一种常规的技术,详细处理过程,此处不再赘述。

步骤202,根据每个角点在图像中的成像点的位置坐标、在第一位置标定板分别与车辆的目标参考点、地面的位置关系以及在第二位置标定板分别与车辆的目标参考点、地面的位置关系,确定摄像机的外参。

在实施中,终端设备获取到每个角点在图像中的成像点的位置坐标后,可以获取在第一位置时,标定板与车辆的目标参考点的位置关系,并且获取在第一位置时,标定板与地面的位置关系,并且可以获取在第二位置时,标定板与车辆的目标参考点的位置关系,并且获取在第二位置时,标定板与地面的位置关系,然后获取到的位置坐标和获取到的位置关系,确定摄像机的外参。

需要说明的是,上述标定板与地面的位置关系可以是标定板上每个角点与地面之间的距离。上述标定板与车辆的目标参考点的位置关系可以是目标参考点到标定板的垂直距离。

可选的,摄像机的外参包括俯仰角、摄像机的安装高度以及摄像机与目标参考点之间的距离,相应的步骤202的处理可以如下:

根据每个角点在图像中的成像点的位置坐标,确定图像坐标系中摄像机的消隐点的位置坐标,根据消隐点的位置坐标,确定摄像机的目标俯仰角,根据消隐点的位置坐标、摄像机的目标俯仰角、每个角点在图像中的成像点的位置坐标、在第一位置标定板分别与车辆、地面的位置关系以及在第二位置标定板分别与车辆、地面的位置关系,确定摄像机与地面之间的目标距离、摄像机与目标参考点之间的目标距离。

其中,空间平行线在摄像机的投影平面会交于消隐点(vanishpoint,vp)。目标俯仰角是最终经过校正处理后的俯仰角,摄像机与地面之间的目标距离,即最终确定出的摄像机的安装高度,摄像机与目标参考点之间的目标距离,即最终确定出的摄像机与目标参考点之间的目标距离。车辆的目标参考点可以是车辆的前保险杠。标定板与车辆的位置关系,即标定板与车辆的目标参考点之间的距离。标定板与地面的位置关系,即标定板上各角点与地面之间的距离。

在实施中,终端设备获取到位置坐标后,可以使用获取到的位置坐标,确定图像坐标系中摄像机的消隐点的位置坐标。

然后可以使用消隐点的位置坐标,确定摄像机的目标俯仰角。然后终端设备可以获取摄像机的光心在图像坐标系中的位置坐标,该位置坐标一般是提前标定好的,摄像机的等效焦距也是提前标定好的。在第一位置和第二位置,标定板与车辆的目标参考点之间的距离是测量得到的。例如,标定板在第一位置时,标定板与车辆前保险杠之间的距离为0.5米,标定板在第二位置时,标定板与车辆前保险杠之间的距离为1米。

标定板上每个角点与地面的距离,可以是直接存储在终端设备中,也可以是终端设备中存储有标定板的下边缘与地面的距离、以及标定板上每个小格子的尺寸,终端设备可以基于标定板的下边缘与地面的距离、每个小格子的尺寸,得到每个角点与地面的距离。例如,标定板上下边缘与地面的距离为1m,每个小格子的尺寸为10cm*10cm,最小面一排的角点与地面之间的距离为1m+10cm=1.1m。

终端设备可以使用在图像坐标系中光心的位置坐标,摄像机的等效焦距、标定板中每个角点在图像中的成像点的位置坐标、在第一位置和第二位置标定板与车辆的目标参考点之间的距离、标定板上每个角点与地面的距离,确定出摄像机与地面之间的目标距离、摄像机与目标参考点之间的目标距离。

需要说明的是,摄像机与目标参考点之间的目标距离实际上是摄像机与目标参考点在平行于地面的平面上的距离。

可选的,可以利用同一角点的连线的直线原理,确定消隐点的位置坐标,相应的处理可以如下:

根据标定板在第一位置和第二位置时同一角点的位置坐标,确定同一角点对应的直线表达式。根据确定出的直线表达式,确定任意两个直线表达式对应的直线的交点的位置坐标。将确定出的位置坐标中的横坐标值取平均值,得到第一平均值,并将确定出的位置坐标中的纵坐标值取平均值,得到第二平均值。将第一平均值确定为图像坐标系中摄像机的消隐点的横坐标值,并将第二平均值确定为图像坐标系中摄像机的消隐点的纵坐标值。

在实施中,终端设备可以获取标定板在第一位置和第二位置时同一角点的位置坐标,然后使用同一角点的两个位置坐标,确定出同一角点对应的直线表达式。例如,标定板一共有27个角点,可以确定出27个直线表达式。对于某个角点,两个位置坐标分别为(x1,y1)和(x2,y2),该角点对应的直线表达式为y=k·(x-x1)+y1,且k=(y2-y1)/(x2-x1)。

然后计算确定出的任意两个直线表达式对应的直线的交点的位置坐标,这样,如果有n个直线表达式,则可以确定出个交点的位置坐标,然后将这个交点的位置坐标中的横坐标值取平均值,得到第一平均值,并且将这个交点的位置坐标中的纵坐标值取平均值,得到第二平均值。

然后可以将第一平均值确定为图像坐标系中摄像机的消隐点的横坐标值vp.x,并且可以将第二平均值确定为图像坐标系中摄像机的消隐点的纵坐标值vp.y。

需要说明的是,由于每两个直线表达式对应的直线都有一个交点,该交点为消隐点,所以对交点的横坐标值取平均值,得到消隐点的横坐标值,并对交点的纵坐标值取平均值,得到消隐点的纵坐标值,可以使消隐点的位置坐标更准确。

可选的,为了使计算出的消隐点的位置坐标更准确,可以去除野点,相应的处理可以如下:

计算确定出的位置坐标的横坐标值的第一标准差,并计算确定出的位置坐标的纵坐标值的第二标准差。在确定出的位置坐标的横坐标值中,删除与确定出的位置坐标的横坐标值的平均值的差值的绝对值大于第一数值的横坐标值,并在确定出的位置坐标的纵坐标值中,删除与确定出的位置坐标的纵坐标值的平均值的差值的绝对值大于第二数值的纵坐标值,其中,第一数值等于第一标准差与预设数值的乘积,第二数值等于第二标准差与预设数值的乘积。将删除后的横坐标值取平均值,得到第一平均值,并将删除后的纵坐标值取平均值,得到第二平均值。

其中,预设数值可以预设,并且存储至终端设备中,如1.5等。

在实施中,终端设备在上述确定出多个交点的位置坐标后,可以计算这多个交点的横坐标值的第一标准差,并且可以计算这多个交点的纵坐标值的第二标准差。然后计算第一标准差与预设数值的乘积,得到第一数值,并且可以计算第二标准差与预设数值的乘积,得到第二数值。并且可以确定多个交点的横坐标值的平均值,多个交点的纵坐标值的平均值。

然后计算多个交点中,每个交点的横坐标值与多个交点的横坐标值的平均值的差值,将差值大于第一数值的交点的横坐标值删除,并且计算多个交点中,每个交点的纵坐标值与多个交点的纵坐标值的平均值的差值,将差值大于第二数值的位置坐标删除。

然后在删除后剩余的横坐标值取平均值,得到第一平均值,并且在删除后剩余的纵坐标值取平均值,得到第二平均值。

这样,由于使用标准差删除一部分野点,所以可以使计算出的消隐点的位置坐标更准确。

可选的,可以基于几何关系,确定出摄像机与地面之间的目标距离,以及摄像机与目标参考点的目标距离,相应的步骤202中确定目标距离的处理可以如下:

对于每个角点,根据消隐点的位置坐标、摄像机的俯仰角、角点在图像中的成像点的位置坐标、在第一位置标定板分别与车辆、地面的位置关系以及在第二位置标定板分别与车辆、地面的位置关系,确定标定板在第一位置和第二位置时角点在图像中的成像点与摄像机的光心构成的三角形的边角信息,根据每个角点对应的边角信息、每个角点与地面之间的距离,确定摄像机与地面之间的目标距离、摄像机与目标参考点之间的目标距离。

在实施中,对于每个角点,根据在图像坐标系中摄像机的光心的位置坐标、摄像机的等效焦距、消隐点的位置坐标、角点在图像中的成像点的位置坐标、在第一位置和第二位置标定板与车辆的目标参考点之间的距离、角点与地面的距离,确定出标定板在第一位置和第二位置时角点在图像中的成像点与摄像机的光心构成的三角形的边角信息(详细过程在后面进行描述)。

然后根据每个角点对应的边角信息、每个角点与地面之间的距离,确定摄像机与地面之间的目标距离、摄像机与目标参考点之间的目标距离。

可选的,为了使确定出的目标距离更准确,可以取多个角点进行计算,相应的处理可以如下:

对于每个角点,根据角点对应的边角信息、角点与地面之间的距离,确定角点对应的摄像机与地面之间的距离、摄像机与目标参考点之间的距离,将所有角点分别对应的摄像机与地面之间的距离,取平均值,得到摄像机与地面之间的目标距离,将所有角点分别对应的摄像机与目标参考点之间的距离,取平均值,得到摄像机与目标参考点之间的目标距离。

在实施中,对于标定板上的任一角点,可以根据该角点对应的边角信息、该角点与地面之间的距离,确定在该角点下,摄像机与地面之间的距离,并确定在该角点下,摄像机与车辆的目标参考点之间的距离。这样,对于每个角点,都可以确定出一个摄像机与地面的距离,并都可以确定出一个摄像机与车辆的目标参考点之间的距离。

然后将所有角点的摄像机与地面之前的距离,取平均值,得到摄像机与地面的目标距离,并且将所有角点的摄像机与目标参考点之间的距离,取平均值,得到摄像机与车辆的目标参考点之间的目标距离。

在上述过程中,将所有角点的摄像机与地面的距离,取平均值,得到摄像机与地面之间的目标距离之前,还可以对确定出的摄像机与地面的距离取平均值,并计算标准差,然后将该标准差乘以预设数值(如1.5),得到一个数值,确定出的摄像机与地面之间的距离与该平均值求差值的绝对值,如果该绝对值大于确定出的数值,则将该摄像机与地面的距离删除,对剩余的摄像机与地面的距离,取平均值,得到摄像机与地面的目标距离,同理也可以使用上述方式确定摄像机与车辆的目标参考点之间的距离。

需要说明的是,目标参考点为车辆前保险杠,上述提到的摄像机与目标参考点之间的目标距离为:摄像机与目标参考点在平行于地面的平面上的距离。

可选的,由于本公开实施例中的测量方法不适用于与摄像机同高的角点,所以要删除这部分角点,相应的处理可以如下:

确定角点的纵坐标值与消隐点的纵坐标值的差值中,最小的差值所对应的目标角点。将目标角点所在行的角点以及与行相邻的行的角点在图像坐标系中的位置坐标删除。对于删除后的每个角点,根据消隐点的位置坐标、摄像机的俯仰角、角点在图像中的成像点的位置坐标、在第一位置标定板分别与车辆、地面的位置关系以及在第二位置标定板分别与车辆、地面的位置关系,确定标定板在第一位置和第二位置时角点在图像中的成像点与摄像机的光心构成的三角形的边角信息。

在实施中,计算标定板在第一位置和第二位置时,角点在图像中的位置坐标的纵坐标值与消隐点的纵坐标值的差值,这样,可以得到多个差值,将最小的差值所对应的目标角点所在行的角点以及与该行相邻的行的角点在图像中的位置坐标删除。然后基于删除后的每个角点,确定每个角点对应的边角信息(此过程与前面的过程相同,此处不再赘述)。

可选的,可以基于摄像机与角点在垂直于地面方向的距离,确定摄像机与地面之间的距离,相应的处理可以如下:

根据角点对应的边角信息,确定角点对应的摄像机与标定板之间的距离,并确定标定板在第二位置时,摄像机与角点在垂直于地面方向的距离,根据摄像机与标定板之间的距离、目标参考点与标定板之间的距离,确定角点对应的摄像机与目标参考点之间的距离,并根据摄像机与角点在垂直于地面方向的距离、角点与地面之间的距离,确定角点对应的摄像机与地面之间的距离。

在实施中,终端设备可以使用角点对应的边角信息,确定出角点对应的摄像机与标定板之间的距离,并且可以确定出标定板处于第二位置时,摄像机与角点在垂直于地面方向的距离。

由于目标参考点与标定板之间的距离已知(测量得到),所以将摄像机与标定板之间的距离减去目标参考点与标定板之间的距离,即可得到角点对应的摄像机与目标参考点之间的距离。并且由于摄像机与角点之间的距离已知,所以可以基于摄像机与角点在垂直于地面方向的距离、角点与地面之间的距离,确定出角点对应的摄像机与地面之间的距离。

可选的,可以基于消隐点的位置坐标,确定出摄像机与地面之间的距离,相应的处理可以如下:

根据角点在图像中的成像点的纵坐标值与消隐点的纵坐标值之间的差值、摄像机与角点在垂直于地面方向的距离、角点与地面之间的距离,确定角点对应的摄像机与地面之间的距离。

在实施中,终端设备在确定出摄像机与该角点在垂直于地面方向的距离后,可以计算在标定板处于第二位置时,该角点在图像中的成像点的纵坐标值与消隐点的纵坐标值的差值,如果该差值大于0,则说明该角点低于摄像机安装,摄像机与地面的距离为第一距离(角点与地面之间的距离)与摄像机与角点之间的距离的和,如果该差值小于0,则说明该角点高于摄像机安装,摄像机与地面的距离为第一距离(角点与地面之间的距离)与摄像机与角点之间的距离的差值。

另外,上述在计算角点在图像坐标系中的纵坐标值与消隐点的纵坐标值的差值时,使用的是标定板处于第二位置时,该角点在图像中的成像点的纵坐标值,同样也可以使用标定板处于第一位置时,角点在图像坐标系中的纵坐标值。

可选的,可以基于解三角形的原理,确定标定板在第一位置和第二位置时角点在图像中的成像点与摄像机的光心构成的三角形的边角信息,以及确定摄像机的外参中摄像机的安装高度、摄像机与目标参考点之间的距离,相应的处理可以如下:

如图4所示,假设摄像机在图像坐标系中光心的位置坐标为(u0,v0)(光心的位置坐标为图像物理坐标系的原点),标定板上某个角点在第一位置wp1和第二位置wp2在图像中的成像点分别为ip1和ip2,ip1的位置坐标为(ip1.x,ip1.y)、ip2的位置坐标为(ip2.x,ip2.y),fy为摄像机在垂直方向上的等效焦距。消隐点的位置坐标为(vp.x,vp.y)

首先添加从摄像机的光心到消隐点之间的辅助线a,b/a=δy2/δy1再从ip1添加平行于a辅助线b,消隐点与ip2之间的距离为:

δy1=|vp.y-ip2.y|(1)

ip2与ip1之间的距离为:

δy2=|ip2.y-ip1.y|(2)

需要说明的是,上述消隐点、ip1、ip2都在图像坐标系的纵轴上,所以可以纵坐标值直接相减,得到距离。

通过俯仰角和摄像机在垂直方向上等效焦距,可知:

a=fy/cosθ(3)

在式(3)中,θ为摄像机的俯仰角。

由于a与b平行,由三角形相似原理可知:

b/a=δy2/δy1(4)

由式(1)至(4)可知:

b=a*δy2/δy1=fy*|ip2.y-ip1.y|/(cosθ*|vp.y-ip2.y|)(5)

在图4中,摄像机的光心o到ip1的距离为摄像机的光心o到wp1的距离为l2,wp1与wp2之间的距离为d。

由于wp1与wp2的连线与b平行,所以有:

l1/l2=b/d(6)

和式(5)代入式(6)可知:

同理可以从ip2添加平行于a的辅助线c,由a与c平行可知:

c/a=δy2/(δy1+δy2)(8)

由式(1)、(2)和(8)可知:

c=a*δy2/(δy1+δy2)=fy*|ip2.y-ip1.y|/(cosθ*|vp.y-ip1.y|)(9)

在图4中,摄像机的光心o到ip2的距离为摄像机的光心o到wp2的距离为l4,wp1与wp2之间的距离为d。

由于c与wp1与wp2的连线平行,所以可以得出:

l3/l4=c/d(10)

将式(9)和代入式(10)中,可得:

这样,owp1wp2组成的三角形的三边已经全部计算出来,分别为d、l2和l4,也即得到了标定板在第一位置和在第二位置时,该角点在图像中的成像点与摄像机的光心组成的三角形的边长。

然后利用解三角形原理,可以得到wp1o与wp1wp2的夹角的余弦值为:

cosψ=(l22+d2-l42)/(2*d*l2)(12)

这样,就得到了标定板在第一位置和第二位置时角点在图像中的成像点与摄像机的光心构成的三角形的边角信息。

在图4中,s2为摄像机到标定板的距离(摄像机在地面的投影点到标定板在地面上的投影线的距离),s1为车辆的目标参考点到标定板的距离(目标参考点在地面的投影点到标定板在地面上的投影线的距离),s为摄像机到车辆的目标参考点的距离(摄像机在地面的投影点与目标参考点在地面的投影点之间的距离):

s2=-l2*cosψ(13)

由式(13)和s2=s1+s可知:

s=s2-s1=-l2*cosψ-s1(14)

由于s1可以准确测出,所以可以计算出摄像机到车辆目标参考点的距离。

在图4中,h为标定板的该角点wp1与地面的距离,δh为摄像机在垂直于地面的方向与角点之间的距离。

这样,就得到了该角点对应的摄像机在垂直于地面的方向与角点之间的距离,这样每个角点都进行相同的计算,即可确定出多个δh。

对于每个角点,在该角点在图像中的成像点的纵坐标值与消隐点的纵坐标值的差值大于0时,摄像机与地面之间的距离等于h+δh。在该角点在图像中的成像点的纵坐标值与消隐点的纵坐标值的差值小于0时,摄像机与地面之间的距离等于h-δh。在该角点在图像中的成像点的纵坐标值与消隐点的纵坐标值的差值等于0时,摄像机与地面之间的距离等于h。例如,某个角点在图像中的成像点的纵坐标值为ip2.y,消隐点的纵坐标值为vp.y,如果ip2.y-vp.y>0,则摄像机与地面之间的距离等于h+δh,如果ip2.y-vp.y<0,则摄像机与地面之间的距离等于h-δh。

需要说明的是,在图4中,仅示出了图像坐标系的截面图。

可选的,本公开实施例中,还给出了确定摄像机的目标俯仰角的方式,相应的处理可以如下:

根据标定板处于第一位置时每个角点在图像中的成像点的位置坐标中的纵坐标值、标定板处于第一位置时每个角点对应的摄像机的成像角,拟合图像坐标系下,图像中的成像点的纵坐标值与摄像机的成像角的关系直线,根据摄像机的俯仰角和逆透视投影方法,确定关系直线上描述的预设数目个成像点在世界坐标系中的第一纵坐标值,根据每个成像点对应的第一纵坐标值和第二纵坐标值,确定摄像机的俯仰角对应的目标数值,其中,对于每个成像点,成像点对应的第二纵坐标值为基于成像角计算得到的成像点在世界坐标系中的纵坐标值,如果目标数值大于预设阈值,则将摄像机的俯仰角按照预设步长进行调节,基于调节后的俯仰角,重新确定目标数值,当目标数值小于或等于预设阈值时,将调节后的俯仰角,确定为摄像机的目标俯仰角。

在实施中,终端设备可以计算摄像机的光心的纵坐标值与消隐点的纵坐标值之差,得到δy=v0-vp.y,然后在图4中可知,这样,摄像机的俯仰角此处由于摄像机向下偏转时,俯仰角θ为正,且此时消隐点上偏,因此δy=v0-vp.y,以保证符号的一致性。

然后如图5所示,摄像机与标定板上角点wp1的成像角为α,该成像点与摄像机的光心的连线与地面的交点距离摄像机的纵向距离为yw=h*tanα,其中,hs为wp1与地面的距离,s2为标定板与摄像机的纵向距离,因此对于图像中的任一成像点,只要能确定该成像点经过畸变矫正后的纵坐标值vp.y,即可计算出该成像点与摄像机的光心的连线与地面的交点距离摄像机的纵向距离。

由于标定板处于第一位置时,标定板距离摄像机更近,成像更清晰,所以可以使用标定板处于第一位置时,获取到的角点在图像中的成像点的位置坐标中的纵坐标值来拟合图像中的成像点的纵坐标值与摄像机的成像角的关系直线,处理过程可以如下:

终端设备可以按照上述式子以及每个角点与地面的距离,前面确定的摄像机与地面之间的距离,以及摄像机与每个角点的纵向距离,确定出每个角点所对应的摄像机的成像角。然后使用每个角点在图像中的成像点的位置坐标中的纵坐标值,以及每个角点所对应的摄像机的成像角,使用最小二乘法拟合出图像中的成像点的纵坐标值与摄像机的成像角的关系直线。

然后终端设备可以从关系直线上,随机获取预设数目个成像点在图像中的纵坐标值,以及每个成像点对应的摄像机的成像角,然后使用yw=h*tanα计算出每个成像点对应的yw,即每个成像点对应的第二纵坐标值,对于每个成像点,第二纵坐标值实际上是该成像点对应的交点与摄像机之间的距离,该成像点对应的交点为该成像点与摄像机的光心的连线与地面的交点。

然后终端设备可以使用摄像机的俯仰角、光心的位置坐标、摄像机在水平方向上的等效焦距、摄像机在垂直方向的等效焦距和和逆透视投影方法,确定关系直线上描述的预设数目个成像点在世界坐标系中的位置坐标,公式可以如下:

在式(16)中,h为摄像机与地面的距离,θ为摄像机的俯仰角,fx和fy分别为摄像机在水平方向上的等效焦距、摄像机在垂直方向的等效焦距,(u0,v0)为在图像坐标系下摄像机的光心的位置坐标,(x,y)为图像坐标系下,预设数目个成像点中的某个成像点的位置坐标,(xw,yw)为该成像点在世界坐标系中的位置坐标,yw为成像点在世界坐标系中的第一纵坐标值。

这样,通过式子(16)就可以将预设数目个成像点在图像中的成像点的位置坐标转换到世界坐标系中。

对于式子(16)中yw还可以进行如下变换:

然后对于预设数目个成像点中的每一成像点,计算经过两种方式计算得到的yw的差值的绝对值,也即计算每个成像点对应的第一纵坐标值和第二纵坐标值的差值的绝对值,然后将所有成像点对应的差值的绝对值相加,得到目标数值。

然后可以判断目标数值与预设阈值的大小,如果目标数值大于预设阈值,说明俯仰角计算不准确,可以在此次摄像机的俯仰角θ的基础上,增加预设步长δδ,得到θ+δδ,然后使用θ+δδ,代入式子(16)中,重新计算预设数目个成像点对应的yw,然后对于每个成像点再计算该成像点这次计算得到yw与使用成像角计算出的yw的差值的绝对值,然后将所有成像点对应的差值的绝对值相加,得到目标数值,然后判断目标数值与预设阈值的大小,如果目标数值大于预设阈值,说明俯仰角计算不准确,则可以在θ+δδ的基础上,增加预设步长δδ,得到θ+2*δδ,然后使用θ+2*δδ,代入式子(16)中,重新计算预设数目个成像点对应的yw,然后对于每个成像点再计算该成像点这次计算得到yw与使用成像角计算出的yw的差值的绝对值,然后将所有成像点对应的差值的绝对值相加,得到目标数值,然后判断目标数值与预设阈值的大小,如果目标数值小于预设阈值,则将θ+2*δδ确定为摄像机的俯仰角。

另外,经过多次调整使摄像机的俯仰角达到预设角度(如85度等),但是所有成像点对应的差值的绝对值相加,得到的目标数值依然大于目标数值,则可以将多次调整中,得到目标数值最小的摄像机的俯仰角,确定为摄像机最终的俯仰角。

需要说明的是,基于上述式子(17),以v0为253.825,fy为834.272为例,从无穷远到距离为0涵盖的成像点的纵坐标值取值范围为149.0630到480,因此arctan[(y-v0)/fy]范围为-0.1249190925到0.264741115。在如此小的角度范围内,涵盖如此大的距离范围,因此θ有轻微的误差即会给纵向距离的计算带来较大的误差。所以为了使最终计算出的摄像机的俯仰角更准确,一般预设步长δδ比较小,如0.02度等。

需要说明的是,上述仅是以在摄像机的俯仰角增加预设步长得到目标数值,也可以将摄像机的俯仰角减小预设步长,来确定出目标数值,此处不再赘述。

还需要说明的是,本公开实施例中,在地面建立世界坐标系,世界坐标系的原点为摄像机在地面的投影点,纵轴为车辆的行驶方向所在直线,横轴为处于地面上垂直于车辆的行驶方向的方向所在直线。

可选的,本公开实施例在确定出摄像机的外参后,即可应用于测距中,相应的处理可以如下:

根据摄像机的外参,对拍摄到的图像中包含的目标的位置坐标,进行图像像素坐标和世界坐标的转换,确定出摄像机与目标之间的纵向距离,根据纵向距离、摄像机与目标参考点之间的距离,确定目标参考点与目标之间的纵向距离。

其中,在地面建立世界坐标系,世界坐标系的原点为摄像机在地面的投影点,纵轴为车辆的行驶方向所在直线,横轴为处于地面上垂直于车辆的行驶方向的方向所在直线,横向距离指车辆的目标参考点在横轴方向上与目标之间的侧向距离,纵向距离指车辆的目标参考点在纵轴方向上与目标之间的直线距离。

在实施中,在标定完摄像机的外参后,每当摄像机拍摄到一幅图像,终端设备可以识别图像中的目标,然后可以根据摄像机与地面的距离,摄像机与目标参考点的距离和最终确定出的摄像机的目标俯仰角,对拍摄到的图像中的目标的位置坐标,进行图像像素坐标和世界坐标的转换,使用式子(16)得到摄像机与拍摄到的目标之间的纵向距离(即投影到地面后它们之间的距离)、以及摄像机与拍摄到的目标之间的横向距离,然后将该纵向距离减去摄像机与目标参考点之间的距离,即可得到目标参考点与目标之间的距离。

这样,目标参考点为车辆的前保险杠时,可以知道车辆与前面障碍物(即目标)的距离,这样,可以及时的提醒驾驶员,避免撞到障碍物。

本公开实施例中,在标定摄像机的外参时,可以获取标定板处于第一位置和标定板处于第二位置时,在图像坐标系中,标定板的每个角点在图像中的成像点的位置坐标,然后根据每个角点在图像中的成像点的位置坐标、在第一位置标定板分别与车辆的目标参考点、地面的位置关系以及在第二位置标定板分别与车辆的目标参考点、地面的位置关系,确定摄像机的外参。这样,由于可以使用标定板在两个位置的成像,确定出摄像机的外参,而不需要人工测量,所以可以节约外参的标定时长。

而且在进行上述过程时,仅需要两个位置,标定板所在的第一位置和标定板所在的第二位置,在标定过程中,一般是标定板与目标参考点距离越近,标定越准确(一般车辆前面的空间为三米即可),所以标定所用的场地不需要太大,降低了对场地的要求。

基于相同的技术构思,本公开实施例还提供了一种摄像机外参标定的装置,应用于车载摄像机外参标定系统,如图6所示,该装置包括:

获取模块610,用于获取标定板处于第一位置和所述标定板处于第二位置时,在图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标;

确定模块620,用于根据每个角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆的目标参考点、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆的目标参考点、地面的位置关系,确定所述摄像机的外参。

可选的,所述获取模块610,用于:

获取标定板处于所述第一位置时,所述摄像机拍摄的第一图像,并获取所述标定板处于所述第二位置时,所述摄像机拍摄的第二图像;

对所述第一图像进行灰度化处理和畸变校正处理,得到第一理想图像,并对所述第二图像进行灰度化处理和畸变校正处理,得到第二理想图像;

从所述第一理想图像中,获取标定板处于所述第一位置时,在所述图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标,并从所述第二理想图像中,获取所述标定板处于所述第二位置时,在所述图像坐标系中,所述标定板的每个角点在图像中的成像点的位置坐标。

可选的,所述确定模块620,用于:

根据每个角点在图像中的成像点的位置坐标,确定所述图像坐标系中所述摄像机的消隐点的位置坐标;

根据所述消隐点的位置坐标,确定所述摄像机的目标俯仰角;

根据所述消隐点的位置坐标、所述摄像机的目标俯仰角、每个角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆、地面的位置关系,确定所述摄像机与所述地面之间的目标距离、所述摄像机与所述目标参考点之间的目标距离。

可选的,所述确定模块620,用于:

根据所述标定板在所述第一位置和所述第二位置时同一角点的位置坐标,确定同一角点对应的直线表达式;

根据确定出的直线表达式,确定任意两个直线表达式对应的直线的交点的位置坐标;

将确定出的位置坐标中的横坐标值取平均值,得到第一平均值,并将确定出的位置坐标中的纵坐标值取平均值,得到第二平均值;

将所述第一平均值确定为所述图像坐标系中所述摄像机的消隐点的横坐标值,并将所述第二平均值确定为所述图像坐标系中所述摄像机的消隐点的纵坐标值。

可选的,所述确定模块620,用于:

对于每个角点,根据所述消隐点的位置坐标、所述摄像机的俯仰角、所述角点在图像中的成像点的位置坐标、在所述第一位置所述标定板分别与所述车辆、地面的位置关系以及在所述第二位置所述标定板分别与所述车辆、地面的位置关系,确定所述标定板在所述第一位置和第二位置时所述角点在图像中的成像点与所述摄像机的光心构成的三角形的边角信息;

根据每个角点对应的边角信息、每个角点与所述地面之间的距离,确定所述摄像机与所述地面之间的目标距离、所述摄像机与所述目标参考点之间的目标距离。

可选的,所述确定模块620,用于:

对于每个角点,根据所述角点对应的边角信息、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离、所述摄像机与所述目标参考点之间的距离;

将所有角点分别对应的所述摄像机与所述地面之间的距离,取平均值,得到所述摄像机与所述地面之间的目标距离,将所有角点分别对应的所述摄像机与所述目标参考点之间的距离,取平均值,得到所述摄像机与所述目标参考点之间的目标距离。

可选的,所述确定模块620,用于:

根据所述角点对应的边角信息,确定所述角点对应的所述摄像机与所述标定板之间的距离,并确定所述标定板在所述第二位置时,所述摄像机与所述角点在垂直于所述地面方向的距离;

根据所述摄像机与所述标定板之间的距离、所述目标参考点与所述标定板之间的距离,确定所述角点对应的所述摄像机与所述目标参考点之间的距离,并根据所述摄像机与所述角点在垂直于所述地面方向的距离、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离。

可选的,所述确定模块620,用于:

根据所述角点在图像中的成像点的纵坐标值与所述消隐点的纵坐标值之间的差值、所述摄像机与所述角点在垂直于所述地面方向的距离、所述角点与所述地面之间的距离,确定所述角点对应的所述摄像机与所述地面之间的距离。

可选的,所述确定模块620,用于:

根据所述标定板处于所述第一位置时每个角点在图像中的成像点的位置坐标中的纵坐标值、所述标定板处于所述第一位置时每个角点对应的所述摄像机的成像角,拟合所述图像坐标系下,图像中的成像点的纵坐标值与所述摄像机的成像角的关系直线;

根据所述摄像机的俯仰角和逆透视投影方法,确定所述关系直线上描述的预设数目个成像点在世界坐标系中的第一纵坐标值;

根据每个成像点对应的第一纵坐标值和第二纵坐标值,确定所述摄像机的俯仰角对应的目标数值,其中,对于每个成像点,所述成像点对应的第二纵坐标值为基于成像角计算得到的所述成像点在所述世界坐标系中的纵坐标值;

如果目标数值大于预设阈值,则将所述摄像机的俯仰角按照预设步长进行调节,基于调节后的俯仰角,重新确定目标数值,当所述目标数值小于或等于所述预设阈值时,将调节后的俯仰角,确定为所述摄像机的目标俯仰角。

可选的,所述确定模块620,还用于:

根据所述摄像机的外参,对拍摄到的图像中包含的目标的位置坐标,进行图像像素坐标和世界坐标的转换,确定出所述摄像机与所述目标之间的纵向距离;

根据所述纵向距离、所述摄像机与所述目标参考点之间的距离,确定所述目标参考点与所述目标之间的纵向距离。

本公开实施例中,在标定摄像机的外参时,可以获取标定板处于第一位置和标定板处于第二位置时,在图像坐标系中,标定板的每个角点在图像中的成像点的位置坐标,然后根据每个角点在图像中的成像点的位置坐标、在第一位置标定板分别与车辆的目标参考点、地面的位置关系以及在第二位置标定板分别与车辆的目标参考点、地面的位置关系,确定摄像机的外参。这样,由于可以使用标定板在两个位置的成像,确定出摄像机的外参,而不需要人工测量,所以可以节约外参的标定时长。

而且在进行上述过程时,仅需要两个位置,标定板所在的第一位置和标定板所在的第二位置,在标定过程中,一般是标定板与目标参考点距离越近,标定越准确(一般车辆前面的空间为三米即可),所以标定所用的场地不需要太大,降低了对场地的要求。

需要说明的是:上述实施例提供的确定摄像机外参的装置在确定摄像机的外参时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的确定摄像机外参的装置与确定摄像机外参的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

本公开实施例还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述确定摄像机的外参的方法步骤。

本公开实施例还提供了一种终端设备,包括处理器和存储器,其中,所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,实现上述确定摄像机的外参的方法步骤。

本公开实施例还提供了一种摄像机外参标定的系统,所述系统包括:安装在车辆后视镜处的摄像机、设置在所述车辆前方的标定杆和终端设备,其中,所述标定杆为可移动标定杆,所述终端设备用于实现上述摄像机外参标定的方法步骤,在所述标定杆上设置有位置可调的棋盘状的标定板,其中,在进行标定时,所述标定板与所述车辆的车身纵向中轴线垂直,且垂直于地面,所述标定板的下边缘与所述地面平行。

图7是本公开实施例提供的一种终端设备的结构示意图,该终端设备700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,cpu)701和一个或一个以上的存储器702,其中,所述存储器702中存储有至少一条指令,所述至少一条指令由所述处理器701加载并执行以实现上述确定终端设备的步骤。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1