利用陀螺仪的相机自动校准的制作方法

文档序号:18744882发布日期:2019-09-21 02:13阅读:来源:国知局

技术特征:

1.一种对相机进行校准的方法,包括:

在处理器中接收第一图像帧;

由所述处理器在所述第一图像帧中选择至少一个点;

在所述处理器中接收第二图像帧;

由所述处理器确定所述至少一个点在所述第二图像帧中的位置;

在所述处理器中从陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;

由所述处理器基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;

由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数;以及

使用所计算的校准参数来处理来自所述相机的数据。

2.根据权利要求1所述的方法,还包括:

由所述处理器在存储器中存储所述至少一个点在所述第二图像帧中的所述确定位置;以及

由所述处理器在所述存储器中存储所选择的至少一个点在所述第二图像帧中的所述预测位置,

其中,由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于所述至少一个点在所述第二图像帧中的所存储的确定位置和所述至少一个点在所述第二图像帧中的预测位置,来计算所述校准参数。

3.根据权利要求1所述的方法,还包括:

计算所计算的用于所述相机的校准参数的质量或置信度值;

确定所计算的校准参数的所述质量或置信度值是否超过门限值;

响应于确定所计算的校准参数的所述质量或置信度值超过所述门限值,使用所计算的校准参数来对权利要求1中记载的所述操作进行重复,以处理来自所述相机的数据,以生成下一图像帧;以及

响应于确定所计算的校准参数的所述质量或置信度值未超过所述门限值,使用所计算的校准参数或先前计算的校准参数来处理来自所述相机的数据。

4.根据权利要求1所述的方法,其中,由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:将所选择的至少一个点在所述第二图像帧中的所述预测位置和所选择的至少一个点在所接收的第二图像帧中的所述确定位置应用于卡尔曼滤波器。

5.根据权利要求4所述的方法,其中,所述卡尔曼滤波器是扩展型卡尔曼滤波器。

6.根据权利要求1所述的方法,其中,使用所计算的校准参数来处理来自所述相机的数据包括:使用所计算的校准参数来处理来自所述相机的数据,以矫正由镜头导致的畸变。

7.根据权利要求1所述的方法,其中,使用所计算的校准参数来处理来自所述相机的数据包括:使用所计算的校准参数作为计算机视觉算法或机器视觉算法的输入。

8.根据权利要求1所述的方法,其中,所述处理器和所述陀螺仪被包括在所述相机内。

9.根据权利要求1所述的方法,其中,所述相机在电子设备中,并且所述处理器和所述陀螺仪在所述电子设备中。

10.根据权利要求1所述的方法,其中,所述相机在包括航空电子单元的无人机上,并且其中,由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于从所述航空电子单元接收的平移速度信息、加速度信息、或者平移速度信息和加速度信息二者来计算所述校准参数。

11.一种电子设备,包括:

相机;

陀螺仪;

存储器;以及

耦合到所述相机、所述陀螺仪和所述存储器的处理器,其中,所述处理器被配置有用于执行包括以下各项的操作的处理器可执行指令:

从所述相机接收第一图像帧;

在所述第一图像帧中选择至少一个点;

从所述相机接收第二图像帧;

确定所述至少一个点在所述第二图像帧中的位置;

从所述陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;

基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;

基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数;以及

使用所计算的校准参数来处理来自所述相机的数据。

12.根据权利要求11所述的电子设备,其中,所述处理器被配置有用于执行还包括以下各项的操作的处理器可执行指令:

在所述存储器中存储所述至少一个点在所述第二图像帧中的所述确定位置;以及

在所述存储器中存储所选择的至少一个点在所述第二图像帧中的所述预测位置,

其中,基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于所述至少一个点在所述第二图像帧中的所存储的确定位置和所述至少一个点在所述第二图像帧中的预测位置,来计算所述校准参数。

13.根据权利要求11所述的电子设备,其中,所述处理器被配置有用于执行还包括以下各项的操作的处理器可执行指令:

计算所计算的用于所述相机的校准参数的质量或置信度值;

确定所计算的校准参数的所述质量或置信度值是否超过门限值;

响应于确定所计算的校准参数的所述质量或置信度值超过所述门限值,使用所计算的校准参数来对权利要求11中记载的所述操作进行重复,以处理来自所述相机的数据,以生成下一图像帧;以及

响应于确定所计算的校准参数的所述质量或置信度值未超过所述门限值,使用所计算的校准参数或先前计算的校准参数来处理来自所述相机的数据。

14.根据权利要求11所述的电子设备,其中,所述处理器被配置有用于执行操作的处理器可执行指令,使得基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:将所选择的至少一个点在所述第二图像帧中的所述预测位置和所选择的至少一个点在所接收的第二图像帧中的所述确定位置应用于卡尔曼滤波器。

15.根据权利要求14所述的电子设备,其中,所述卡尔曼滤波器是扩展型卡尔曼滤波器。

16.根据权利要求11所述的电子设备,其中,所述处理器被配置有用于执行操作的处理器可执行指令,使得使用所计算的校准参数来处理来自所述相机的数据包括:使用所计算的校准参数来处理来自所述相机的数据,以矫正由镜头导致的畸变。

17.根据权利要求11所述的电子设备,其中,所述处理器被配置有用于执行操作的处理器可执行指令,使得使用所计算的校准参数来处理来自所述相机的数据包括:使用所计算的校准参数作为计算机视觉算法或机器视觉算法的输入。

18.根据权利要求11所述的电子设备,其中,所述处理器和所述陀螺仪被包括在所述相机内。

19.根据权利要求11所述的电子设备,其中,所述电子设备是还包括航空电子单元的无人机,并且

其中,所述处理器被配置有用于执行操作的处理器可执行指令,使得基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于从所述航空电子单元接收的平移速度信息、加速度信息、或者平移速度信息和加速度信息二者来计算所述校准参数。

20.一种处理设备,其被配置为耦合到电子设备的相机和陀螺仪并且被配置为:

从所述相机接收第一图像帧;

在所述第一图像帧中选择至少一个点;

接收第二图像帧;

确定所述至少一个点在所述第二图像帧中的位置;

从所述陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;

基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;

基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数;以及

使用所计算的校准参数来处理来自所述相机的数据。

21.根据权利要求20所述的处理设备,其中,所述处理设备还被配置为:

存储所述至少一个点在所述第二图像帧中的所述确定位置;以及

存储所选择的至少一个点在所述第二图像帧中的所述预测位置,

其中,所述处理设备还被配置为:基于所述至少一个点在所述第二图像帧中的所存储的确定位置和所述至少一个点在所述第二图像帧中的预测位置,来计算用于所述相机的校准参数。

22.根据权利要求20所述的处理设备,其中,所述处理设备还被配置为:

计算所计算的用于所述相机的校准参数的质量或置信度值;

确定所计算的校准参数的所述质量或置信度值是否超过门限值;

响应于确定所计算的校准参数的所述质量或置信度值超过所述门限值,使用所计算的校准参数来对权利要求20中记载的操作进行重复,以处理来自所述相机的数据,以生成下一图像帧;以及

响应于确定所计算的校准参数的所述质量或置信度值未超过所述门限值,使用所计算的校准参数或先前计算的校准参数来处理来自所述相机的数据。

23.根据权利要求20所述的处理设备,其中,所述处理设备还被配置为:通过将所选择的至少一个点在所述第二图像帧中的所述预测位置和所选择的至少一个点在所接收的第二图像帧中的所述确定位置应用于卡尔曼滤波器,来基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数。

24.根据权利要求23所述的处理设备,其中,所述卡尔曼滤波器是扩展型卡尔曼滤波器。

25.根据权利要求20所述的处理设备,其中,所述处理设备还被配置为:使用所计算的校准参数来处理来自所述相机的数据,以矫正由镜头导致的畸变。

26.根据权利要求20所述的处理设备,其中,所述处理设备还被配置为:使用所计算的校准参数作为计算机视觉算法或机器视觉算法的输入,来处理来自所述相机的数据。

27.根据权利要求20所述的处理设备,其中,所述处理设备被配置为实现在包括航空电子单元的无人机上,并且其中,所述处理设备还被配置为:通过基于从所述航空电子单元接收的平移速度信息、加速度信息、或者平移速度信息和加速度信息二者来计算所述校准参数,来基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数。

28.一种电子设备,包括:

相机;

陀螺仪;

用于从所述相机接收第一图像帧的单元;

用于在所述第一图像帧中选择至少一个点的单元;

用于从所述相机接收第二图像帧的单元;

用于确定所述至少一个点在所述第二图像帧中的位置的单元;

用于从所述陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果的单元;

用于基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置的单元;

用于基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数的单元;以及

用于使用所计算的校准参数来处理来自所述相机的数据的单元。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1