宽视场摄像机图像的校准和扭曲恢复的制作方法
【专利摘要】本发明涉及宽视场摄像机图像的校准和扭曲恢复，具体提供一种对超宽视场摄像机进行校准和扭曲恢复的系统和方法。所述方法包括利用接近光轴的物点的多个测量值和针孔摄像机模型估算固有参数，诸如摄像机的焦距和摄像机的像中心。所述方法进一步包括利用角变形模型估算摄像机的变形参数，该角变形模型限定穿过物体空间中的物点的入射光线与像平面上的像点之间的角关系，所述像平面上的像点是入射光线上的物点的图像。所述方法可包括参数优化过程以进一步精确参数估算值。
【专利说明】宽视场摄像机图像的校准和扭曲恢复
[0001]相关申请的交叉引用
本申请要求2012年9月25日提交的名称为宽视场摄像机图像的校准和扭曲恢复的美国临时专利申请序列号N0.61/705，534的 优先权日:的权益。
【技术领域】
[0002]本发明总体涉及对宽视场(F0V)摄像机进行校准和扭曲恢复的系统和方法，更具体地涉及对超宽视场(F0V)车辆摄像机进行校准和扭曲恢复的系统和方法，其中，所述方法首先估算摄像机的焦距和摄像机像平面的光学中心，然后利用角变形估算模型确定变形参数。
【背景技术】
[0003]现代车辆通常包括一个或多个摄像机，用于提供倒车辅助，拍摄车辆驾驶员的图像以确定驾驶员困倦或专注程度，在车辆行驶时为了避免碰撞而提供路面图像，提供结构识别(诸如道路标志识别)，等等。对于图形重叠在摄像机图像上的那些应用，关键是准确地校准摄像机相对于车辆的位置和方向。摄像机校准通常包括确定使摄像机图像坐标与车辆坐标相关(反之亦然)的一组参数。一些摄像机参数是稳定的，诸如摄像机焦距、光学中心等，而另一些参数是不稳定的，诸如摄像机的方向和位置。例如，摄像机的高度取决于车辆的负荷，该负荷将实时变化。该变化会导致摄像机图像上的车辆轨迹重叠图像不准确。
[0004]当前的车辆上的后倒车摄像机通常是宽视场摄像机，例如，135°视场。宽视场摄像机通常提供弯曲的图像，这导致图像的边缘周围发生图像变形。在本领域已知为这些类型的摄像机图像提供变形修正的各种方法，包括利用基于针孔摄像机的模型和通过限定径向参数来修正径向变形的模型。
[0005]在本领域中已经提出在车辆上设置包括前摄像机、后摄像机以及左和右摄像机的环绕视野摄像机系统，其中，该摄像机系统利用来自摄像机的图像产生车辆和周围区域的俯视视野，并且其中，图像在车辆转角处互相重叠。该俯视视野可以显示给车辆驾驶员，以观看围绕车辆的事物，以便倒车、停车等。此外，未来的车辆可能不采用后视镜，但是可以替代地包括由环绕视野摄像机提供的数字图像。
[0006]为了用最少数量的摄像机在车辆的整个周围提供环绕视野，可用的具有135°视场的宽视场摄像机将无法提供所需的覆盖程度，并且因此，摄像机将必须是具有180°或更大视场的超宽视场摄像机。这些类型的超宽视场摄像机有时被称作鱼眼摄像机，因为它们的图像是显著弯曲或变形的。为了使车辆倒车和环绕视野应用有效，需要修正图像的变形。
【发明内容】
[0007]根据本发明的教导，公开了对超宽视场摄像机进行校准和扭曲恢复的系统和方法。所述方法包括利用接近光轴的物点的多个测量值和针孔摄像机模型估算固有参数，诸如摄像机的焦距和摄像机的像中心。所述方法进一步包括利用角变形模型估算摄像机的变形参数，该角变形模型限定穿过物体空间中的物点的入射光线与作为入射光线上的物点的图像的像平面上的像点之间的角关系。所述方法可包括参数优化过程以进一步精确参数估算值。
[0008]方案1.一种用于对摄像机进行校准和扭曲恢复的方法，所述方法包括:
估算摄像机的焦距；
估算摄像机的像平面的像中心；
提供角变形模型，该角变形模型限定穿过物体空间中的物点的入射光线与像平面上的像点之间的角关系，所述像平面上的像点是入射光线上的物点的图像；以及估算变形模型中的变形参数。
[0009]方案2.根据方案1所述的方法，进一步包括优化所估算的参数以进一步精确参数估算。
[0010]方案3.根据方案2所述的方法，其中，优化所估算的参数包括:利用摄像机的焦距和像中心以及目标上多个点的变形参数的初步估算值来进一步精确焦距和像中心的估算值和摄像机位置的估算值，并且利用经进一步精确的焦距和像中心的估算值来进一步精确变形参数的估算值，并且其中，迭代地执行对焦距、像中心、摄像机位置和变形参数的估算值的进一步精确，直至达到预定值。[0011]方案4.根据方案1所述的方法，其中，估算摄像机的焦距和像平面的像中心包括:将摄像机安装到平移台并且沿该台将摄像机移动到不同位置，将棋盘式目标安装到与平移台相对应地安置的目标台，围绕摄像机的光轴在目标上限定包括棋盘式目标中的方块的目标区域，以及利用针孔摄像机模型和沿所述台的不同位置处获取的图像中的方块的角的位置来确定焦距和像中心。
[0012]方案5.根据方案4所述的方法，进一步包括确定摄像机的非固有参数。
[0013]方案6.根据方案5所述的方法，其中，所述摄像机的非固有参数包括在物体空间坐标中的摄像机的旋转矩阵和摄像机的平移矢量。
[0014]方案7.根据方案6所述的方法，其中，利用从摄像机光圈点到物体空间中心点的矢量确定所述平移矢量。
[0015]方案8.根据方案6所述的方法，其中，通过针孔摄像机模型确定旋转矩阵和平移矢量。
[0016]方案9.根据方案4所述的方法，其中，所述目标区域满足针孔摄像机模型和立体直线投影条件。
[0017]方案10.根据方案1所述的方法，其中，估算变形参数包括将摄像机安装到沿两个垂直旋转方向旋转摄像机的双轴旋转台，以及基于两个旋转角的组合计算组合角。
[0018]方案11.根据方案10所述的方法，其中，确定角变形参数包括确定多组两个旋转角的组合入射角。
[0019]方案12.根据方案1所述的方法，其中，提供角变形模型包括利用下列方程:
【权利要求】
1.一种用于对摄像机进行校准和扭曲恢复的方法，所述方法包括:估算摄像机的焦距；估算摄像机的像平面的像中心；提供角变形模型，该角变形模型限定穿过物体空间中的物点的入射光线与像平面上的像点之间的角关系，所述像平面上的像点是入射光线上的物点的图像；以及估算变形模型中的变形参数。
2.根据权利要求1所述的方法，进一步包括优化所估算的参数以进一步精确参数估笪
3.根据权利要求2所述的方法，其中，优化所估算的参数包括:利用摄像机的焦距和像中心以及目标上多个点的变形参数的初步估算值来进一步精确焦距和像中心的估算值和摄像机位置的估算值，并且利用经进一步精确的焦距和像中心的估算值来进一步精确变形参数的估算值，并且其中，迭代地执行对焦距、像中心、摄像机位置和变形参数的估算值的进一步精确，直至达到预定值。
4.根据权利要求1所述的方法，其中，估算摄像机的焦距和像平面的像中心包括:将摄像机安装到平移台并且沿该台将摄像机移动到不同位置，将棋盘式目标安装到与平移台相对应地安置的目标台，围绕摄像机的光轴在目标上限定包括棋盘式目标中的方块的目标区域，以及利用针孔摄像机模型和沿所述台的不同位置处获取的图像中的方块的角的位置来确定焦距和像中心。
5.根据权利要求4所述的方法，进一步包括确定摄像机的非固有参数。`
6.根据权利要求5所述的方法，其中，所述摄像机的非固有参数包括在物体空间坐标中的摄像机的旋转矩阵和摄像机的平移矢量。
7.根据权利要求6所述的方法，其中，利用从摄像机光圈点到物体空间中心点的矢量确定所述平移矢量。
8.根据权利要求6所述的方法，其中，通过针孔摄像机模型确定旋转矩阵和平移矢量。
9.一种用于对宽视场或超宽视场车用摄像机进行校准和扭曲恢复的方法，所述方法包括:估算摄像机的焦距和像平面的像中心，其中，估算摄像机的焦距和像平面的像中心包括:将摄像机安装到平移台并且沿该台将摄像机移动到不同位置，将棋盘式目标安装到与平移台相对应地安置的目标台，围绕摄像机的光轴在目标上限定包括棋盘式目标中的方块的目标区域，以及利用针孔摄像机模型和沿所述台的不同位置处获取的图像中的方块的角的位置来确定焦距和像中心；提供角变形模型，该角变形模型限定穿过物体空间中的物点的入射光线与作为入射光线上的物点的图像的像平面上的像点之间的角关系；以及估算变形模型中的变形参数，其中，估算变形参数包括将摄像机安装到沿两个垂直的旋转方向旋转摄像机的双轴旋转台，以及基于两个旋转角的组合来计算组合角。
10.一种用于对摄像机进行校准和扭曲恢复的系统，所述系统包括:用于估算摄像机的焦距的装置；用于估算摄像机的像平面的像中心的装置；用于提供角变形模型的装置，该角变形模型限定穿过物体空间中的物点的入射光线与作为入射光线上的物点的图像的像平面上的像点之间的角关系；以及用于估算变形模型中的变形参数的装置。
【文档编号】H04N5/232GK103685936SQ201310440993
【公开日】2014年3月26日 申请日期:2013年9月25日 优先权日:2012年9月25日
【发明者】W.张, J.王, B.B.利特库希 申请人:通用汽车环球科技运作有限责任公司