双光相机校准设备、方法、电子设备及存储介质与流程

文档序号:25731003发布日期:2021-07-02 21:19阅读:102来源:国知局
双光相机校准设备、方法、电子设备及存储介质与流程

本申请涉及相机校准技术领域,特别是涉及一种双光相机校准设备、方法、电子设备及存储介质。



背景技术:

双光相机中存在两个图像传感器,如可见光图像传感器、红外光图像传感器等。由于生产误差、装配误差等原因,双光相机中的两个图像传感器的视场范围之间不能有效重合。例如,假设双光相机中可见光图像传感器的视场角较大、红外光图像传感器的视场角较小,可见光图像传感器的视场范围应该完全包含红外光图像传感器的视场范围,但由于存在误差,导致可见光图像传感器的视场范围未能完全包含红外光图像传感器的视场范围。

由于存在上述情况,现有技术中,通常会对两个图像传感器所采集的图像进行处理,确定两个图像传感器所采集的、视场范围重合部分的图像区域为有效图像,舍弃视场范围重合部分之外的图像区域。这样虽然可以得到有效图像,但是在两个图像传感器的视场范围重合部分较小的情况下,会使得有效图像较小,舍弃的图像区域较多,造成资源浪费。因此,为了增大有效图像的大小,需要对双光相机中的两个图像传感器进行校准。



技术实现要素:

本申请实施例的目的在于提供一种双光相机校准设备、方法、电子设备及存储介质,以实现对双光相机中的两个图像传感器进行校准。具体技术方案如下:

第一方面,本申请实施例提供了一种双光相机校准设备,所述双光相机校准设备包括:带有参照物的标定板、第一固定件、第二固定件和控制器,其中:

所述第一固定件和所述第二固定件用于分别固定双光相机的第一传感器和第二传感器,所述控制器与所述第二固定件通信连接,所述控制器还用于与所述第一传感器和第二传感器通信连接;

所述控制器,用于获得第一图像和第二图像,根据所述参照物在所述第一图像及第二图像中的位置,获得所述第一传感器与第二传感器间的偏移信息,并按照所述偏移信息控制所述第二固定件移动,以对所述双光相机校准;

其中,所述第一图像为:在所述参照物处于重合视场范围的情况下,所述第一传感器采集的图像;所述第二图像为:在所述参照物处于所述重合视场范围的情况下,所述第二传感器采集的图像;所述重合视场范围为:所述第一传感器的视场与第二传感器的视场相重合的范围。

本申请的一个实施例中,所述第二固定件包括固定部、活动部,所述固定部用于固定所述第二传感器,所述活动部用于带动所述固定部移动;

所述控制器,用于按照所述偏移信息控制所述活动部移动。

本申请的一个实施例中,所述活动部包括步进电机和角度滑台;所述步进电机与所述角度滑台相连接;所述角度滑台与所述活动部相连接;所述控制器与所述步进电机通信连接,

所述控制器具体用于:按照所述偏移信息控制所述步进电机驱动所述角度滑台转动;

所述角度滑台,用于驱动所述固定部转动。

本申请的一个实施例中,所述设备还包括:活动连接件;

所述活动连接件分别与所述第一固定件、标定板相连接,用于调节所述第一固定件与所述标定板之间的距离。

本申请的一个实施例中,所述参照物为热源物,所述热源物位于所述标定板的表面上,所述标定板还用于对所述热源物进行温度控制。

本申请的一个实施例中,所述第一固定件与所述第二固定件的初始位置为:使得所固定的第一传感器、第二传感器的镜头正面平行的位置。

本申请的一个实施例中,所述设备还包括显示器,所述显示器与所述控制器通信连接;

所述控制器还用于:对所述第一传感器采集的第一图像、及所述第二传感器采集的第二图像进行图像处理,将处理后的图像发送至所述显示器;

所述显示器用于:对所接收到的图像进行显示。

第二方面,本申请实施例提供了一种双光相机校准方法,所述方法包括:

获得预设的参照物处于重合视场范围的情况下双光相机的第一传感器采集的第一图像,并获得所述参照物处于所述重合视场范围的情况下所述双光相机的第二传感器采集的第二图像,其中,所述重合视场范围为:所述第一传感器的视场与第二传感器的视场相重合的范围;

根据所述参照物在所述第一图像及第二图像中的位置,获得所述第一传感器与第二传感器间的偏移信息;

按照所述偏移信息对所述双光相机进行校准。

本申请的一个实施例中,所述根据所述参照物在所述第一图像及第二图像中的位置,获得所述第一传感器与第二传感器间的偏移信息,包括:

确定所述参照物在所述第一图像以及第二图像中的位置;

根据所确定的位置,获得所述第一图像与第二图像中像素位置的第一转换关系;

根据所述第一转换关系,确定预设图像在所述第二图像的位置转换至所述第一图像中的位置,作为第二目标位置;

根据第一目标位置与所述第二目标位置之间的偏差,计算所述第一传感器与第二传感器间的偏移信息,其中,所述第一目标位置为:所述预设图像在所述第一图像的位置。

本申请的一个实施例中,所述根据第一目标位置与所述第二目标位置之间的偏差,计算所述第一传感器与第二传感器间的偏移信息,包括:

根据所述第二目标位置与第一目标位置,以及预设的第二转换关系,获得第二实际位置与第一实际位置之间的偏差,作为参考偏差,其中,所述第二转换关系为:所述第一图像中像素位置与所述参照物所在平面中实际位置之间的转换关系,所述第一实际位置为:所述第一目标位置对应的、位于所述参照物所在平面的实际位置,所述第二实际位置为:所述第二目标位置对应的、位于所述参照物所在平面的实际位置;

根据所述第一传感器与所述参照物之间的垂直距离、所述参考偏差,计算所述第一传感器与所述第二传感器之间的偏移角度,作为偏移信息。

本申请的一个实施例中,所述第一传感器与所述第二传感器之间的偏移角度包括:所述第一传感器与所述第二传感器之间在水平方向上的水平偏移角度、所述第一传感器与所述第二传感器之间在垂直方向上的垂直偏移角度;

所述按照所述偏移信息对所述双光相机进行校准,包括:

在所述水平偏移角度大于水平角度余量的情况下,按照所述水平偏移角度对所述第二传感器进行水平调整,其中,所述水平角度余量为:所述第一传感器的视场角与所述第二传感器的视场角在水平方向上的差值的一半;

在所述垂直偏移角度大于垂直角度余量的情况下,按照所述垂直偏移角度对所述第二传感器进行垂直调整,其中,所述垂直角度余量为:所述第一传感器的视场角与所述第二传感器的视场角在垂直方向上的差值的一半。

本申请的一个实施例中,所述方法还包括:

根据所述参照物在第三图像中的位置,获得所述第一图像与第三图像中像素位置的第三转换关系,其中,所述第三图像为校准后的第二传感器对所述参照物进行图像采集得到的图像;

根据所述第三转换关系,确定所述预设图像在所述第三图像的位置转换至所述第一图像中的位置,作为第三目标位置;

在所述第三目标位置处于预设校准区域以外的情况下,根据所述第一目标位置与第三目标位置之间的偏差,计算所述第一传感器与第二传感器间新的偏移信息,按照所述新的偏移信息对所述双光相机再次校准,其中,所述预设校准区域为:包含所述第一目标位置的预设大小的区域。

第三方面,本申请实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现第二方面任一所述的方法步骤。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第二方面任一所述的方法步骤。

本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的双光相机校准方法。

本申请实施例有益效果:

本申请实施例提供的双光相机校准设备包括:带有参照物的标定板、第一固定件、第二固定件和控制器,其中:第一固定件和第二固定件用于分别固定双光相机的第一传感器和第二传感器,控制器与第二固定件通信连接,控制器还用于与第一传感器和第二传感器通信连接;控制器,用于获得第一图像和第二图像,根据参照物在第一图像及第二图像中的位置,获得第一传感器与第二传感器间的偏移信息,并按照偏移信息控制第二固定件移动,以对双光相机校准;其中,第一图像为:在参照物处于重合视场范围的情况下,第一传感器采集的图像;第二图像为:在参照物处于重合视场范围的情况下,第二传感器采集的图像;重合视场范围为:第一传感器的视场与第二传感器的视场相重合的范围。首先获得参照物在两个图像传感器所采集的图像中的位置,基于上述位置之间的偏差,可以确定第一图像和第二图像之间的偏差,而第一图像与第二图像之间的偏差,可以反映第一传感器、第二传感器之间的偏差信息,进而按照上述偏移信息控制第二固定件移动,第二固定件带动第二传感器移动,可以实现对双光相机校准。由此可见,应用本申请实施例提供的双光相机校准设备可以实现对双光相机中的两个图像传感器进行校准。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的一种双光相机校准设备的结构示意图;

图2为本申请实施例提供的一种获得偏移信息的流程示意图;

图3为本申请实施例提供的一种偏移角度的示意图;

图4a和4b分别为本申请实施例提供的一种视场角的示意图;

图5为本申请提供的一种再次校准方法的流程示意图;

图6为本申请实施例提供的一种预设校准区域的示意图;

图7为本申请实施例提供的第一种双光相机校准方法的流程示意图;

图8为本申请实施例提供的第二种双光相机校准方法的流程示意图;

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。

为实现对双光相机中的两个图像传感器进行校准,本申请实施例提供了一种双光相机校准设备、方法、电子设备及存储介质,下面分别进行详细介绍。

参见图1,图1为本申请实施例提供的一种双光相机校准设备的结构示意图,如图1所示,该双光相机校准设备包括:带有参照物的标定板101、第一固定件102、第二固定件103和控制器104,其中:

第一固定件102和第二固定件103用于分别固定双光相机的第一传感器和第二传感器,控制器104与第二固定件103通信连接,控制器104还用于与第一传感器和第二传感器通信连接;

控制器104,用于获得第一图像和第二图像,根据参照物在第一图像及第二图像中的位置,获得第一传感器与第二传感器间的偏移信息,并按照偏移信息控制第二固定件103移动,以对双光相机校准;

其中,第一图像为:在参照物处于重合视场范围的情况下,第一传感器采集的图像;第二图像为:在参照物处于重合视场范围的情况下,第二传感器采集的图像;重合视场范围为:第一传感器的视场与第二传感器的视场相重合的范围。

具体的,在进行双光相机校准时,可以将双光相机的第一传感器固定在第一固定件102上,并将第二传感器固定在第二固定件103上,保持参照物处于重合视场范围内,这样第一传感器、第二传感器均可对上述参照物进行图像采集,分别得到第一图像和第二图像。

上述第一传感器、第二传感器分别与控制器104通信连接,从而能够将采集到的图像发送至上述控制器104。

控制器104在获得第一传感器采集到第一图像、第二传感器采集的第二图像之后,可以识别上述参照物分别在第一图像、第二图像中的位置,进而能够获得不同图像中参照物的位置之间的偏差,并基于上述偏差确定第一图像和第二图像之间的偏差,而第一图像与第二图像之间的偏差,可以反映第一传感器、第二传感器之间的偏差信息,因此可以按照上述偏移信息控制第二固定件103移动,第二固定件103带动第二传感器移动,可以实现对双光相机校准。由此可见,应用上述实施例提供的双光相机校准设备可以实现对双光相机中的两个图像传感器进行校准。

首先,对双光相机校准设备的结构进行详细说明。

上述参照物的形状可以是块状、球状等。标定板101中可以带有一个或多个参照物,例如,可以带有4个参照物、5个参照物等。

本申请的一个实施例中,上述参照物可以为热源物,上述热源物可以位于标定板101的表面上,标定板101还用于对热源物进行温度控制。

具体的,热源物可以产生热量,标定板101可以控制热源物的温度,例如,可以控制热源物加热、保持恒温、降温等。这样在对包含热成像传感器的双光相机进行校准时,由于上述热源块能够发出热量,从而能够被热成像传感器进行图像采集,便于后续基于上述图像对包含热成像传感器的双光相机进行校准。

本申请的一个实施例中,上述标定板101可以与控制器104通信连接,控制器104可以生成温度控制指令,并发送至标定板101,上述温度控制指令中可以携带温度信息,标定板101接收到上述指令后,按照上述指令对热源物进行温度控制。

本申请的一个实施例中,标定板101还可以包括支撑板,上述支撑板用于安装参照物,参照物可以按照预设的排布方式安装在支撑板上,也可以随机安装在支撑板上等。

第一固定件102用于对双光相机中的第一传感器进行固定。具体的,可以将上述第一传感器固定于第一固定件102中,以使得在对双光相机进行校准过程中,第一传感器不发生移动。

其中,上述第一传感器为双光相机中的任一图像传感器,可以是可见光图像传感器,也可以是非可见光图像传感器,如红外光图像传感器等。

本申请的一个实施例中,第一固定件102的形状为根据第一传感器的形状设计得到的,这样可以使得第一固定件102与第一传感器更加契合,提高固定效果。

除此之外,第一固定件102也可以是可变形结构,这样便于第一固定件102对不同形状的第一传感器进行固定。

本申请的一个实施例中,双光相机校准设备还可以包括:活动连接件,该活动连接件分别与第一固定件102、标定板101相连接,用于调节第一固定件102与标定板101之间的距离。

其中,上述活动连接件可以是丝杆,如梯形丝杆、滚珠丝杆等,还可以是弹性连接件等。

具体的,第一固定件102、标定板101可以分别连接于上述活动连接件上,通过上述活动连接件可以对第一固定件102和标定板101之间的距离进行调节。

本申请的一个实施例中,第一固定件102与标定板101之间的垂直距离可以调整至预设距离,上述预设距离可以使得第一固定件102所连接的第一传感器能够采集到标定板清晰的图像。上述预设距离的取值可以由人工设定,也可以根据第一传感器的类型进行确定。

具体的,可以预先设定不同传感器与距离之间的对应关系,在需要对双光相机进行校准时,可以获得第一传感器的类型,然后在上述对应关系中查询上述类型对应的距离,作为预设距离,并调整第一固定件102与标定板之间的距离为该预设距离,以使得第一固定件102所固定的第一传感器能够采集到参照物清晰的图像。

本申请的一个实施例中,上述活动连接件还可以与控制器104通信连接,从而便于控制器104通过调节活动连接件的方式,调整第一固定件102、标定板101之间的距离。

上述第二固定件103用于对双光相机中的第二传感器进行固定。具体的,可以将上述第二传感器固定于第二固定件103中,以使得在对双光相机进行校准过程中,第二传感器不会相对第二固定件103发生移动,便于通过对第二固定件103进行移动的方式,调整第二传感器,进而实现对双光相机的校准。

其中,上述第二传感器为双光相机中除第一传感器之外的图像传感器,可以是可见光图像传感器,也可以是非可见光图像传感器,如红外光图像传感器等。

本申请的一个实施例中,第二固定件103包括固定部、活动部,固定部用于固定第二传感器,活动部用于带动固定部移动;

控制器104,用于按照偏移信息控制活动部移动。

具体的,第二固定件103中的活动部与固定部相连接,固定部固定第二传感器,活动部与固定部相连接,可以通过调整固定部移动的方式,实现对第二传感器的调整。

其中,控制器104可以直接与上述活动部通信连接,便于控制器直接控制活动部,从而实现对第二传感器的调整。

本申请的一个实施例中,活动部可以包括步进电机和角度滑台;步进电机与角度滑台相连接;角度滑台与活动部相连接;控制器104与步进电机通信连接,

控制器104具体用于:按照偏移信息控制步进电机驱动角度滑台转动;角度滑台,用于驱动固定部转动。

具体的,控制器104可以根据上述偏移信息,控制步进电机转动,从而驱动角度滑台转动,进而角度滑台可以驱动固定部转动,带动第二传感器转动,实现对双光相机的校准。

本申请的一个实施例中,上述固定部可以是夹持机构,用于夹持第二传感器,实现对第二传感器的固定。

本申请的一个实施例中,第一固定件102与第二固定件103的初始位置为:使得所固定的第一传感器、第二传感器的镜头正面平行的位置。具体的,在将第一传感器固定在第一固定件102、将第二传感器固定在第二固定件103上时,可以使得第一传感器、第二传感器的镜头正面平行,这样可以提高第一传感器和第二传感器的视场重合的概率,便于使得参照物处于第一传感器和第二传感器共同的视场之内。

本申请的一个实施例中,双光相机校准设备还可以包括显示器,显示器与控制器通信连接;

控制器还用于:对第一传感器采集的第一图像、及第二传感器采集的第二图像进行图像处理,将处理后的图像发送至显示器;

显示器用于:对所接收到的图像进行显示。

具体的,上述控制器可以对第一图像、第二图像进行图像处理,如渲染、缩放、图像增强等,然后将处理后的图像发送至显示器,显示器从而可以显示第一传感器和第二传感器采集的图像,便于用户通过显示器直观地判断参照物是否处于第一传感器、第二传感器的视场,并判断校准后的双光相机的准确度。

然后,对双光相机校准设备的工作方式进行详细说明。

参见图2,图2为本申请实施例提供的一种获得偏移信息的流程示意图,控制器104在获得第一传感器与第二传感器间的偏移信息时,可以包括如下步骤s201-s204:

s201、确定参照物在第一图像以及第二图像中的位置。

其中,上述位置可以是参照物在图像中的像素位置。

具体的,由于第一图像为第一传感器在参照物处于重合视场范围的情况下采集的图像,而上述重合视场范围为:第一传感器和第二传感器的视场中重合部分的范围,也就是参照物处于第一传感器的图像采集范围之内,因此上述参照物处于第一图像中;

同样的,参照物也处于第二传感器的图像采集范围之内,因此上述参照物也处于第二图像中。

本申请的一个实施例中,可以利用图像检测的方式,分别检测参照物在第一图像中的位置,以及参照物在第二图像中的位置。

除此之外,还可以接收用户的选中操作,由用户通过输入设备选中第一图像、第二图像中参照物所在的位置,从而控制器可以确定参照物分别在第一图像、第二图像中的位置。

本申请的一个实施例中,可以以第一传感器所采集的图像为基准,建立第一坐标系,这样在确定上述参照物在第一图像中的位置后,可以获得该位置处于上述第一坐标系中的坐标,作为表示参照物在第一图像中位置的第一坐标;

并且,可以以第二传感器所采集的图像为基准,建立第二坐标系,这样在确定上述参照物在第二图像中的位置后,可以获得该位置处于上述第二坐标系中的坐标,作为表示参照物在第二图像中位置的第二坐标。

s202、根据所确定的位置,获得第一图像与第二图像中像素位置的第一转换关系。

具体的,由于第一传感器、第二传感器的传感器像素阵列数量、视场范围可能并不相同,因此同一参照物分别在第一图像、第二图像中的像素位置也不相同,基于上述参照物分别在第一图像、第二图像中的像素位置,可以获得第一图像与第二图像中像素位置之间的转换关系。

本申请的一个实施例中,在上述s201中以坐标的形式表示参照物分别在第一图像、第二图像中的位置的情况下,可以利用参照物在第一坐标系中的第一坐标、在第二坐标系中的第二坐标,获得第一坐标系、第二坐标系之间的坐标转换关系,将上述坐标转换关系作为第一图像、第二图像之间像素位置的第一转换关系。

s203、根据第一转换关系,确定预设图像在第二图像的位置转换至第一图像中的位置,作为第二目标位置。

其中,上述预设图像可以是图像内中心位置处的图像区域、左下角顶点位置处的图像区域、右上角顶点位置处的图像区域等。以上述预设图像是图像内中心位置处的图像区域为例,预设图像在第二图像的位置可以为:第二图像内中心位置处的图像区域、在第二图像中的像素位置。

具体的,可以首先获得上述预设图像在第二图像中的像素位置,然后根据s202中获得的、第一图像与第二图像中像素位置的第一转换关系,将上述像素位置转化至第一图像中,得到第二目标位置。

本申请的一个实施例中,可以获得上述第二图像中的预设图像在第二坐标系中的坐标,并根据第一坐标系与第二坐标系之间的坐标转换关系,将所获得的坐标转换至第一坐标系中,得到预设图像在第二图像的位置转换至第一图像中的位置,作为第二目标位置。

s204、根据第一目标位置与第二目标位置之间的偏差,计算第一传感器与第二传感器间的偏移信息。

其中,第一目标位置为:上述预设图像在第一图像的位置。以上述预设图像是图像内右上角顶点位置处的图像区域为例,第一目标位置可以为:第一图像中右上角顶点位置处的图像区域所在的像素位置。

具体的,在确定第一目标位置和第二目标位置之后,可以获得上述位置之间的偏差,该偏差可以反映第一图像与第二图像之间的偏差。

以上述预设图像是图像内中心位置处的图像区域为例,可以首先获得第二图像内中心位置处的图像区域在第二坐标系中的坐标,然后按照上述坐标转换关系获得该坐标在第一坐标系中的位置,作为第二目标位置,另外还可以获得第一图像内中心位置处的图像区域在第一坐标系中的坐标,作为第一目标位置,这样可以将第一图像和第二图像的中心位置转换至同一坐标系中,二者位置之间的偏差即为第二图像与第一图像之间的偏差。

又由于,第一图像、第二图像之间的偏差可以反映第一传感器与第二传感器之间的偏差,因此根据上述第一目标位置与第二目标位置之间的偏差,可以计算得到第一传感器、第二传感器之间的偏移信息,便于后续基于上述偏移信息对双光相机的两个图像传感器进行校准。

本申请的一个实施例中,在获得偏移信息时,可以根据第二目标位置与第一目标位置,以及预设的第二转换关系,获得第二实际位置与第一实际位置之间的偏差,作为参考偏差,根据第一传感器与标定板101之间的垂直距离、参考偏差,计算第一传感器与第二传感器之间的偏移角度,作为偏移信息。

其中,第二转换关系为:第一图像中像素位置与标定板101所在平面中实际位置之间的转换关系。具体的,参照物处于标定板101中,也就是上述参照物处于标定板101所在的平面上,根据上述参照物在标定板平面中的位置,以及参照物在第一图像中的位置,可以获得第一图像中的像素位置与标定板平面中的实际位置之间的转换关系。

第一实际位置为:第一目标位置对应的、位于标定板101所在平面的实际位置,可以理解为,第一实际位置为:第一图像中的第一目标位置按照上述第二转换关系进行转换后的、对应于标定板平面的位置。

第二实际位置为:第二目标位置对应的、位于标定板101所在平面的实际位置,可以理解为,第二实际位置为:第一图像中的第二目标位置按照上述第二转换关系进行转换后的、对应于标定板平面的位置。

具体的,可以根据上述第二转换关系,获得第一目标位置对应的第一实际位置,并获得第二目标位置对应的第二实际位置,然后获得上述第一实际位置、第二实际位置之间的偏差,作为参考偏差,并获得第一传感器相对标定板之间的垂直距离,进而根据上述垂直距离、参考偏差,可以计算出第一目标位置、第二目标位置在实际场景中的间隔的角度,上述角度可以反映第一传感器和第二传感器之间的偏移角度,因此可以将上述角度作为第一传感器与第二传感器之间的偏移信息。

参见图3,图3为本申请实施例提供的一种偏移角度的示意图。本申请的一个实施例中,在计算上述偏移角度γ时,可以按照以下公式进行计算:

γ=tan-1(r/l)

其中,上述r表示第一实际位置、第二实际位置之间的参考偏差,上述l表示第一传感器、标定板之间的垂直距离。

本申请的一个实施例中,除了获得上述偏移角度之外,还可以获得第一实际位置相对第二实际位置的方位,将上述偏移角度、方位共同作为偏移信息,这样后续在进行校准时,可以控制第二固定件102沿上述方位转动上述偏移角度,从而实现对双光相机的第一传感器、第二传感器的校准。

本申请的一个实施例中,在获得上述参考偏差时,还可以预先以标定板101所在平面为基准建立实际坐标系,获得上述参照物在实际坐标系中的坐标,然后根据参照物在第一坐标系中的坐标,获得第一坐标系与实际坐标系之间的坐标转换关系,作为第二转换关系。

这样在获得第一目标位置、第二目标位置之后,可以按照上述第二转换关系,对第一目标位置、第二目标位置分别在第一坐标系中的坐标进行转化,从而得到第一实际位置、第二实际位置分别在实际坐标系中的坐标,进而根据上述坐标获得第一实际位置、第二实际位置之间的参考偏差。

本申请的一个实施例中,在获得参考偏差时,可以根据第二目标位置与第一目标位置,以及预设的第二转换关系,获得第二实际位置与第一实际位置之间的水平偏差和垂直偏差。

具体的,在基于第二转换关系分别得到第一目标位置对应的第一实际位置、以及第二目标位置对应的第二实际位置之后,可以计算第一实际位置、第二实际位置之间在水平方向上的距离,作为水平偏差,并计算第一实际位置、第二实际位置之间在垂直方向上的距离,作为垂直偏差。

相对应地,上述第一传感器与第二传感器之间的偏移角度可以包括:第一传感器与第二传感器之间在水平方向上的水平偏移角度、第一传感器与第二传感器之间在垂直方向上的垂直偏移角度。

这样在获得偏移信息时,可以根据第一传感器与标定板101之间的垂直距离、水平偏差,计算第一传感器与第二传感器之间的水平偏移角度;

并根据第一传感器与标定板101之间的垂直距离、垂直偏差,计算第一传感器与第二传感器之间的垂直偏移角度。

具体的,可以按照以下公式进行计算上述水平偏移角度γx、以及垂直偏移角度γy:

γx=tan-1(rx/l)

γy=tan-1(ry/l)

其中,上述rx表示第一实际位置、第二实际位置之间的水平偏差,ry表示第一实际位置、第二实际位置之间的垂直偏差,上述l表示第一传感器、标定板之间的垂直距离。

本申请的一个实施例中,在按照上述偏移信息控制第二固定件103移动时,可以在水平偏移角度大于水平角度余量的情况下,按照水平偏移角度对第二固定件103进行水平调整;

在垂直偏移角度大于垂直角度余量的情况下,按照垂直偏移角度对第二固定件103进行垂直调整。

其中,水平角度余量为:第一传感器的视场角与第二传感器的视场角在水平方向上的差值的一半;

垂直角度余量为:第一传感器的视场角与第二传感器的视场角在垂直方向上的差值的一半。

具体的,可以预先获得第一传感器的第一视场角、以及第二传感器的第二视场角,并计算第一视场角与第二视场角之间在水平方向上的差值的一半,作为水平角度余量,计算第一视场角与第二视场角之间在垂直方向上的差值的一半,作为垂直角度余量。

例如,假设第一传感器在水平方向上的视场角为170°,在垂直方向上的视场角为110°,第二传感器在水平方向上的视场角为120°,在垂直方向上的视场角为90°,则可以计算得到水平角度余量为(170°-120°)/2=25°,垂直角度余量为(110°-90°)/2=10°。

参见图4a和4b,图4a和4b分别为本申请实施例提供的一种视场角的示意图。假设其中实线框表示第一传感器的视场,实线箭头所示角度表示第一传感器的视场角,十字标识表示第一实际位置,虚线框表示第二传感器的视场,虚线箭头所示角度表示第二传感器的视场角,小方框表示第二实际位置,由于水平角度余量为:第一传感器的视场角与第二传感器的视场角在水平方向上的差值的一半,因此可以将图4a所示的、虚线箭头与实现箭头所成夹角作为水平角度余量。

如图4b所示,当第一实际位置、第二实际位置之间的水平偏移角度过大时,第一传感器的视场将会超出第二传感器的视场。

这样在控制第二固定件103进行移动时,可以判断上述水平偏移角度是否大于水平角度余量:

若为是,则说明,在水平方向上,当前一传感器的视场处于另一传感器的视场之内,因此可以不在水平方向上对第二传感器进行调整;

若为否,则说明,在水平方向上,当前一传感器的视场不处于另一传感器的视场之内,因此可以在水平方向上对第二传感器进行调整。

除此之外,还可以判断上述垂直偏移角度是否大于垂直角度余量:

若为是,则说明,在垂直方向上,当前一传感器的视场处于另一传感器的视场之内,因此可以不在垂直方向上对第二传感器进行调整;

若为否,则说明,在垂直方向上,当前一传感器的视场不处于另一传感器的视场之内,因此可以在垂直方向上对第二传感器进行调整。

参见图5,图5为本申请提供的一种再次校准方法的流程示意图,在基于上述方式对双光相机进行校准之后,控制器104还可以用于执行一下步骤s501-s503:

s501、根据参照物在第三图像中的位置,获得第一图像与第三图像中像素位置的第三转换关系。

其中,第三图像为校准后的第二传感器对参照物进行图像采集得到的图像。

具体的,第二传感器在校准之后,可以重新对上述参照物进行图像采集,并将所采集的图像发送至控制器104,控制器104从而得到第三图像。然后可以获得该参照物在上述第三图像中的位置。由于之前已获得参照物在第一图像中的位置,而且第一传感器并未发生移动,也就是参照物在第一图像中的位置未发生改变,因此无需再次获得参照物在第一图像中的位置。进而根据参照物分别在第一图像和第三图像中的位置,可以获得第一图像和第三图像中像素位置之间的转换关系,作为第三转换关系。

s502、根据第三转换关系,确定预设图像在第三图像的位置转换至第一图像中的位置,作为第三目标位置。

具体的,可以首先获得上述预设图像在第三图像中的像素位置,然后根据步骤s501中获得的、第一图像与第三图像中像素位置的第三转换关系,将上述像素位置转化至第一图像中,得到第三目标位置。

s503、在第三目标位置处于预设校准区域以外的情况下,根据第一目标位置与第三目标位置之间的偏差,计算第一传感器与第二传感器间新的偏移信息,按照新的偏移信息控制第二固定件103移动,实现对双光相机的再次校准。

其中,预设校准区域为:包含第一目标位置的预设大小的区域。

具体的,可以判断上述第三目标位置是否处于预设校准区域以外,若为否,则可以认为已经对双光相机校准成功;若为是,则说明校准后的第一传感器、第二传感器之间依然存在较大的偏差,需要再从对双光相机的第一传感器、第二传感器进行校准,这种情况下,可以根据第一目标位置与第三目标位置之间的偏差,重新计算第一传感器与第二传感器间新的偏移信息,然后按照新的偏移信息再次控制第二固定件103移动,实现对双光相机的再次校准。

参见图6,图6为本申请实施例提供的一种预设校准区域的示意图。图6中实线框可以表示第一图像,虚线框可以表示第三图像,如图6所示,在第三目标位置处于预设校准区域之外的情况下,第三图像未能完全包含第一图像,说明校准后的第一传感器、第二传感器之间依然存在较大的偏差,因此需要对双光相机的第一传感器、第二传感器进行校准;

在第三目标位置处于预设校准区域之内的情况下,第三图像能够完全包含第一图像,说明校准后的第一传感器、第二传感器之间的偏差较小,因此无需再对双光相机的第一传感器、第二传感器进行校准。

本申请的一个实施例中,上述预设校准区域的中心位置可以是第一目标位置,除此之外,还可以以第一目标位置作为预设校准区域的顶点、边缘点等。上述预设校准区域可以是方形、矩形、圆形等,预设校准区域的大小可以由人工设定。

本申请的一个实施例中,上述预设校准区域对应的实际宽度小于等于宽度阈值,对应的实际高度小于等于高度阈值。

其中,实际宽度为:第一图像中预设校准区域的像素宽度转换至标定板101所在平面的实际的宽度,实际高度为:第一图像中预设校准区域的像素高度转换至标定板101所在平面的实际的高度,

宽度阈值c为:

c=l*tan(αx-βx);

高度阈值g为:

g=l*tan(αy-βy)

l为第一固定件102与标定板101之间的垂直距离,αx为第一传感器在水平方向上的视场角,αy为第一传感器在垂直方向上的视场角,βx为第二传感器在水平方向上的视场角,βy为第二传感器在垂直方向上的视场角。

具体的,上述(αx-βx)可以表示第一传感器和第二传感器之间视场角的水平角度余量,(αy-βy)可以表示第一传感器和第二传感器之间视场角的垂直角度余量。按照上述水平角度余量、垂直角度余量以及第一固定件101与标定板之间的垂直距离,可以计算得到预设校准区域对应于上述标定板平面中的实际的宽度和高度,然后按照第一图像中像素位置与标定板所在平面中实际位置之间的第二转换关系,可以获得上述预设校准区域在第一图像中的区域,从而实现对预设校准区域的确定。

参见图7,图7为本申请实施例提供的第一种双光相机校准方法的流程示意图,该方法可以应用于上述控制器104,上述方法包括如下步骤s701-s708:

s701,在参照物处于重合视场范围的情况下,获得双光相机中可见光图像传感器采集的第一图像,并获得双光相机中红外光图像传感器采集的第二图像。

其中,上述重合视场范围为:可见光图像传感器的视场与红外光图像传感器的视场中重合部分的范围。

s702,确定参照物在第一坐标系中的第一坐标,并获得参照物在第二坐标系中的第二坐标,基于上述第一坐标和第二坐标,获得第一坐标系和第二坐标系之间的第一转换关系。

其中,上述第一坐标系为:以可见光图像传感器所采集的图像为基准建立的坐标系,上述第二坐标系为:以红外光图像传感器所采集的图像为基准建立的坐标系。

s703,获得第二图像中的中心位置在第二坐标系中的坐标,并根据第一坐标系与第二坐标系之间的第一转换关系,将所获得的坐标转换至第一坐标系中,得到第二目标位置。

s704,获得第一图像的中心位置在第一坐标系中的坐标,作为第一目标位置。

s705,根据第二转换关系,获得第一目标位置对应的第一实际位置、第二目标位置对应的第二实际位置之间在水平方向上的水平偏移角度,以及在垂直方向上的垂直偏移角度。

其中,第二转换关系为:第一图像中像素位置与标定板101所在平面中实际位置之间的转换关系。

s706,在水平偏移角度大于水平角度余量的情况下,按照水平偏移角度对双光相机进行校准;在垂直偏移角度大于垂直角度余量的情况下,按照垂直偏移角度对双光相机进行校准。

其中,水平角度余量为:第一传感器的视场角与第二传感器的视场角在水平方向上的差值的一半;

垂直角度余量为:第一传感器的视场角与第二传感器的视场角在垂直方向上的差值的一半。

s707,获得校准后的第二传感器对参照物进行图像采集得到的第三图像,确定参照物在第三图像中的位置,根据所确定的位置,获得第一图像与第三图像中像素位置的第三转换关系,根据第三转换关系,确定第三图像的中心位置转换至第一图像中的位置,作为第三目标位置。

s708,在第三目标位置处于预设校准区域以外的情况下,根据第一目标位置与第三目标位置之间的偏差,计算第一传感器与第二传感器间新的偏移信息,按照新的偏移信息控制第二固定件103移动,实现对双光相机的再次校准,并返回步骤s707,直至校准后第三目标位置处于预设校准区域。

上述实施例提供的双光相机校准设备包括:带有参照物的标定板、第一固定件、第二固定件和控制器,其中:第一固定件和第二固定件用于分别固定双光相机的第一传感器和第二传感器,控制器与第二固定件通信连接,控制器还用于与第一传感器和第二传感器通信连接;控制器,用于获得第一图像和第二图像,根据参照物在第一图像及第二图像中的位置,获得第一传感器与第二传感器间的偏移信息,并按照偏移信息控制第二固定件移动,以对双光相机校准;其中,第一图像为:在参照物处于重合视场范围的情况下,第一传感器采集的图像;第二图像为:在参照物处于重合视场范围的情况下,第二传感器采集的图像;重合视场范围为:第一传感器的视场与第二传感器的视场相重合的范围。首先获得参照物在两个图像传感器所采集的图像中的位置,基于上述位置之间的偏差,可以确定第一图像和第二图像之间的偏差,而第一图像与第二图像之间的偏差,可以反映第一传感器、第二传感器之间的偏差信息,进而按照上述偏移信息控制第二固定件移动,第二固定件带动第二传感器移动,可以实现对双光相机校准。由此可见,应用上述实施例提供的双光相机校准设备可以实现对双光相机中的两个图像传感器进行校准。

参见图8,图8为本申请实施例提供的第二种双光相机校准方法的流程示意图,所述方法包括:

s801,获得预设的参照物处于重合视场范围的情况下双光相机的第一传感器采集的第一图像,并获得所述参照物处于所述重合视场范围的情况下所述双光相机的第二传感器采集的第二图像,其中,所述重合视场范围为:所述第一传感器的视场与第二传感器的视场相重合的范围;

s802,根据所述参照物在所述第一图像及第二图像中的位置,获得所述第一传感器与第二传感器间的偏移信息;

s803,按照所述偏移信息对所述双光相机进行校准。

本申请的一个实施例中,上述方法可以应用于上述实施例所提供的双光相机校准设备中,除此之外,还可以应用于电子计算机、手机、平板、摄像机等电子设备中。

例如,上述方法可以应用于双光相机中,双光相机中的处理器可以应用上述方法对所包含的第一传感器、第二传感器进行校准,从而实现对自身的校准。

本申请的一个实施例中,所述根据所述参照物在所述第一图像及第二图像中的位置,获得所述第一传感器与第二传感器间的偏移信息,包括:

确定所述参照物在所述第一图像以及第二图像中的位置;

根据所确定的位置,获得所述第一图像与第二图像中像素位置的第一转换关系;

根据所述第一转换关系,确定预设图像在所述第二图像的位置转换至所述第一图像中的位置,作为第二目标位置;

根据第一目标位置与所述第二目标位置之间的偏差,计算所述第一传感器与第二传感器间的偏移信息,其中,所述第一目标位置为:所述预设图像在所述第一图像的位置。

本申请的一个实施例中,所述根据第一目标位置与所述第二目标位置之间的偏差,计算所述第一传感器与第二传感器间的偏移信息,包括:

根据所述第二目标位置与第一目标位置,以及预设的第二转换关系,获得第二实际位置与第一实际位置之间的偏差,作为参考偏差,其中,所述第二转换关系为:所述第一图像中像素位置与所述参照物所在平面中实际位置之间的转换关系,所述第一实际位置为:所述第一目标位置对应的、位于所述参照物所在平面的实际位置,所述第二实际位置为:所述第二目标位置对应的、位于所述参照物所在平面的实际位置;

根据所述第一传感器与所述参照物之间的垂直距离、所述参考偏差,计算所述第一传感器与所述第二传感器之间的偏移角度,作为偏移信息。

本申请的一个实施例中,所述第一传感器与所述第二传感器之间的偏移角度包括:所述第一传感器与所述第二传感器之间在水平方向上的水平偏移角度、所述第一传感器与所述第二传感器之间在垂直方向上的垂直偏移角度;

所述按照所述偏移信息对所述双光相机进行校准,包括:

在所述水平偏移角度大于水平角度余量的情况下,按照所述水平偏移角度对所述第二传感器进行水平调整,其中,所述水平角度余量为:所述第一传感器的视场角与所述第二传感器的视场角在水平方向上的差值的一半;

在所述垂直偏移角度大于垂直角度余量的情况下,按照所述垂直偏移角度对所述第二传感器进行垂直调整,其中,所述垂直角度余量为:所述第一传感器的视场角与所述第二传感器的视场角在垂直方向上的差值的一半。

本申请的一个实施例中,所述方法还包括:

根据所述参照物在第三图像中的位置,获得所述第一图像与第三图像中像素位置的第三转换关系,其中,所述第三图像为校准后的第二传感器对所述参照物进行图像采集得到的图像;

根据所述第三转换关系,确定所述预设图像在所述第三图像的位置转换至所述第一图像中的位置,作为第三目标位置;

在所述第三目标位置处于预设校准区域以外的情况下,根据所述第一目标位置与第三目标位置之间的偏差,计算所述第一传感器与第二传感器间新的偏移信息,按照所述新的偏移信息对所述双光相机再次校准,其中,所述预设校准区域为:包含所述第一目标位置的预设大小的区域。

上述实施例提供的双光相机校准方案中,首先获得参照物在两个图像传感器所采集的图像中的位置,基于上述位置之间的偏差,可以确定第一图像和第二图像之间的偏差,而第一图像与第二图像之间的偏差,可以反映第一传感器、第二传感器之间的偏差信息,进而按照上述偏移信息控制第二传感器移动,可以实现对双光相机校准。由此可见,应用上述实施例提供的双光相机校准方案可以实现对双光相机中的两个图像传感器进行校准。

本申请实施例还提供了一种电子设备,如图9所示,包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信,

存储器903,用于存放计算机程序;

处理器901,用于执行存储器903上所存放的程序时,实现双光相机校准方法。

上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect,pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory,ram),也可以包括非易失性存储器(non-volatilememory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一双光相机校准方法的步骤。

在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一双光相机校准方法。

上述实施例提供的双光相机校准方案中,首先获得参照物在两个图像传感器所采集的图像中的位置,基于上述位置之间的偏差,可以确定第一图像和第二图像之间的偏差,而第一图像与第二图像之间的偏差,可以反映第一传感器、第二传感器之间的偏差信息,进而按照上述偏移信息控制第二传感器移动,可以实现对双光相机校准。由此可见,应用上述实施例提供的双光相机校准方案可以实现对双光相机中的两个图像传感器进行校准。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于方法实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1