一种摄像头模组的安装方法及移动平台与流程

一种摄像头模组的安装方法及移动平台
1.本技术是分案申请，原申请的申请号是202180002256.4，原申请日是2021年3月24日，原申请的全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及传感器技术领域，尤其涉及一种摄像头模组的安装方法及移动平台。


背景技术：

3.镜头组和图像传感器是摄像头模组的两个重要组成部分。其中，镜头组可以是一组凸(凹)透镜，图像传感器是成像面。图像传感器将从镜头组传导过来的光线转换为电信号，再内部通过模拟-数字转换将电信号转换为数字信号，形成图像。
4.目前，可以应用摄像头模组实现对周围环境的探测，进而对周围环境进行三维重建，从而实现目标定位。例如，在摄像头模组应用于车载感知系统时，摄像头模组的功能主要可以包括对自车周围车辆、行人、一般障碍物、车道线、路面标识物、交通标志牌等目标的检测和识别，也包括对上述检测到的目标的距离、速度测量，还包括对摄像头运动(也即自车运动)(包括旋转和平移)的估计、以及在此基础上的对周围环境的三维重建，从而实现目标定位。
5.摄像头模组在移动平台，例如，车辆等运动物体上的安装还需要考虑摄像头运动估计的准确性和鲁棒性，减少目标定位误差。


技术实现要素：

6.本技术提供一种摄像头模组的安装方法及移动平台，用以解决为了满足所需的探测范围，安装方法会影响摄像头运动估计的准确性和鲁棒性，进而导致目标定位误差较大的问题。
7.第一方面，本技术提供了一种摄像头模组的安装方法，具体可以包括：将所述摄像头模组安装在移动平台上，所述摄像头模组与所述移动平台所在的地面平行；其中，所述摄像头模组包括镜头组和图像传感器，所述镜头组包括至少一个镜头；所述镜头组的中心在所述图像传感器平面的投影为第一位置；所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。
8.通过上述安装方法，由于摄像头模组可以与所述移动平台所在的地面平行，可以保证运动方向与图像传感器平面垂直，这样可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差，并且通过镜头组中心在图像传感器平面投影的第一位置与图像传感器中心的距离大于第一阈值，可以增大镜头组的中心以上部分或者以下部分的感知能力，从而无需将摄像头模组倾斜安装，就可以满足所需的探测范围。
9.在一个可能的设计中，所述镜头组的光轴和所述图像传感器平面的法线均与所述移动平台所在的地面平行。这样可以保证运动方向与图像传感器平面垂直，从而可以提高摄像头运动估计的准确性和鲁棒性。
10.在一个可能的设计中，所述第一位置与所述图像传感器中心的连线与第一坐标系中横轴方向垂直，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。这样可以使所述第一位置与所述图像传感器中心仅在竖直方向上存在距离，在水平方向上不存在距离，从而可以保证摄像头模组的探测性能。
11.在一个可能的设计中，所述第一位置和所述图像传感器中心的距离与第一角度相关，所述第一角度为所述摄像头模组的垂直视场(vertical filed of view，vfov)角的角平分线与所述镜头组的光轴之间的角度。具体的，所述第一角度可以表征所述摄像头模组的vfov的方向，进而可以指示实际探测范围的位置，可以通过调整所述第一角度来获得所需的探测范围。这样可以根据实际探测需求来确定所述第一位置和所述图像传感器中心的距离。
12.在一个可能的设计中，所述第一角度大于0度且小于或者等于所述摄像头模组的vfov补角的一半。可以根据实际所需的探测范围确定要采用的第一角度的度数，以确定所述摄像头模组的vfov的方向，进而确定所述第一位置和所述图像传感器中心的距离，以满足实际探测需求。
13.在一个可能的设计中，所述第一位置高于所述图像传感器中心，从而可以增大所述镜头组的中心以下部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到；或者，所述第一位置低于所述图像传感器中心，从而可以增大所述镜头组的中心以上部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到。
14.在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0的绝对值符合以下公式：
15.|y0|＝|fyh(θ)|
16.其中，fy为所述摄像头模组中心的焦距，θ为所述第一角度，h(θ)＝tan(θ)，或者h(θ)为θ的一元n次函数，n为大于0的整数，|*|为对其中参数取绝对值，tan(*)表示正切函数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
17.在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0符合以下公式：
[0018][0019]
其中，fy为所述摄像头模组中心的焦距，为所述摄像头模组的vfov，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
[0020]
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0符合以下公式：
[0021]
y0＝-fyθd[0022]
其中，fy为所述摄像头模组中心的焦距，θd与θ1相关，θd可以为与θ1有关的函数g(θ1)，1)，为所述摄像头模组的vfov，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
[0023]
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0符合以下公式：
[0024][0025]
其中，fy为所述摄像头模组中心的焦距，θ0为预设度数，为所述摄像头模组的vfov，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
[0026]
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0符合以下公式：
[0027]
y0＝fyθs[0028]
其中，fy为所述摄像头模组中心的焦距，θs与θ2相关，θs可以为与θ2有关的函数g(θ2)，2)，为所述摄像头模组的vfov，θ0为预设度数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
[0029]
第二方面，本技术提供了一种移动平台，所述移动平台安装有与其所在的地面平行的摄像头模组，所述摄像头模组包括镜头组和图像传感器，所述镜头组包括至少一个镜头；其中：所述镜头组的中心在所述图像传感器平面的投影为第一位置；所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。
[0030]
这样，由于摄像头模组可以与移动平台所在的地面平行，可以保证运动方向与图像传感器平面垂直，这样可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差，并且通过镜头组中心在图像传感器平面投影的第一位置与图像传感器中心的距离大于第一阈值，可以增大镜头组的中心以上部分或者以下部分的感知能力，从而无需将摄像头模组倾斜安装，就可以满足所需的探测范围。
[0031]
在一个可能的设计中，所述镜头组的光轴和所述图像传感器平面的法线均与所述移动平台所在的地面平行。这样可以保证运动方向与图像传感器平面垂直，从而可以提高摄像头运动估计的准确性和鲁棒性。
[0032]
在一个可能的设计中，所述镜头组的中心与所述图像传感器中心的连线与第一坐标系中横轴方向垂直，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。这样可以使所述第一位置与所述图像传感器中心仅在竖直方向上存在距离，在水平方向上不存在距离，从而可以保证摄像头模组的性能。
[0033]
在一个可能的设计中，所述第一位置和所述图像传感器中心的距离与第一角度相关，所述第一角度为所述摄像头模组的垂直视场vfov的角平分线与所述镜头组的光轴之间的角度。具体的，所述第一角度可以表征所述摄像头模组的vfov的方向，进而可以指示实际探测范围的位置，可以通过调整所述第一角度来获得所需的探测范围。这样可以根据实际探测需求来确定所述第一位置和所述图像传感器中心的距离。
[0034]
在一个可能的设计中，所述第一角度大于0度且小于或者等于所述摄像头模组的vfov补角的一半。可以根据实际所需的探测范围确定要采用的第一角度的度数，以确定所述摄像头模组的vfov的方向，进而确定所述第一位置和所述图像传感器中心的距离，以满足实际探测需求。
[0035]
在一个可能的设计中，所述第一位置高于所述图像传感器中心，从而可以增大所述镜头组的中心以下部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到；或者，所述第一位置低于所述图像传感器中心，从而可以增大所述镜头组的中心以上部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到。
[0036]
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0的绝对值符合以下公式：
[0037]
|y0|＝|fyh(θ)|
[0038]
其中，fy为所述摄像头模组中心的焦距，θ为所述第一角度，h(θ)＝tan(θ)，或者h(θ)为θ的一元n次函数，n为大于0的整数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
[0039]
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0符合以下公式：
[0040][0041]
其中，fy为所述摄像头模组中心的焦距，为所述摄像头模组的vfov，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
[0042]
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0符合以下公式：
[0043]
y0＝-fyθd[0044]
其中，fy为所述摄像头模组中心的焦距，θd与θ1相关，例如θd可以为与θ1有关的函数g(θ1)，数g(θ1)，为所述摄像头模组的vfov，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
[0045]
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0符合以下公式：
[0046][0047]
其中，fy为所述摄像头模组中心的焦距，θ0为预设度数，为所述摄像头模组的vfov，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
[0048]
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点foe在第一坐标系中的纵坐标y0符合以下公式：
[0049]
y0＝fyθs[0050]
其中，fy为所述摄像头模组中心的焦距，θs与θ2相关，θs可以为与θ2有关的函数g(θ2)，2)，为所述摄像头模组的vfov，θ0为预设度数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
附图说明
[0051]
图1为本技术提供的一种摄像头模组爆炸图的示意图；
[0052]
图2为现有技术中的镜头组和图像传感器的组装位置的示意图；
[0053]
图3为现有技术中的摄像头模组的可以感知的vfov和水平视场的示意图；
[0054]
图4为现有技术中的一种车载环视感知系统中前视摄像头安装示意图；
[0055]
图5为现有技术中的一种车载前视感知系统中前视摄像头安装示意图；
[0056]
图6为本技术提供的一种摄像头模组的安装示意图；
[0057]
图7为本技术提供的一种摄像头模组的侧视图；
[0058]
图8为本技术提供的一种摄像头模组的投影图；
[0059]
图9为本技术提供的另一种摄像头模组的投影图；
[0060]
图10为本技术提供的另一种摄像头模组的安装示意图；
[0061]
图11为本技术提供的另一种摄像头模组的安装示意图；
[0062]
图12为本技术提供的一种通过摄像头模组拍摄的两帧图像中匹配的特征点估计摄像头运动的示意图；
[0063]
图13为本技术提供的一种求解结果的示意图；
[0064]
图14为本技术提供的一种摄像头模组平移方向对平移向量估计的影响示意图。
具体实施方式
[0065]
下面将结合附图，对本技术实施例进行详细描述。
[0066]
本技术实施例提供一种摄像头模组的安装方法及移动平台，用以解决为了所需的探测范围，安装方法会影响摄像头运动估计的准确性和鲁棒性，进而导致目标定位误差较大的问题。
[0067]
本技术中所涉及的至少一个是指一个或多个；多个，是指两个或两个以上。
[0068]
在本技术的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
[0069]
目前摄像头模组(camera compact module，ccm)的主要组成部分可以如图1摄像头模组爆炸图呈现的器件所示。在图1中，所述摄像头模组主要可以包括镜头组和图像传感器。所述镜头组可以包括至少一个镜头(镜片)，例如图1中所述镜头组可以包括镜头1、镜头2和镜头3。其中所述镜头组包括的至少一个镜头可以为凸(凹)透镜。具体的，如图1中示出的，所述镜头组可以通过镜筒和镜座固定，在所述镜头组和所述镜座之间有滤光片。所述图像传感器可以是一个半导体芯片，所述半导体芯片上包含芯片感光区。具体的，所述图像传感器可以将从所述镜头组传导过来的光线转换为电信号，再内部通过模拟-数字转换将电信号转换为数字信号，形成图像。
[0070]
示例性的，如图1所示，所述摄像头模组还可以包括电路板，所述电路板是电子元器件的支撑体，是电子元器件电气相互连接的载体。
[0071]
需要说明的是，图1所示的镜头组包括的镜头的个数仅仅是示例，实际中镜头组可以包含更多或者更少的镜头，本技术对此不作限定。
[0072]
目前，在摄像头模组的组装过程中，通常会保证镜头组的中心和图像传感器中心对齐，例如图2所示的镜头组和图像传感器的组装位置示意图和图3所示的摄像头模组的投
影示意图中可以看出，所述镜头组的中心在所述图像传感器平面的投影与所述图像传感器中心重合(即中心对齐)。在这种组装方式下，受到图像传感器宽高比例的限制，通常摄像头模组实际可以感知的垂直视场(vertical filed of view，vfov)较小。示例性的，摄像头模组的可以感知的vfov和水平视场(horizontal filed of view，hfov)可以如图3中所示，其中，vfov为镜头组对高度的张角，hfov为镜头组对宽度的张角，在图3中仅示例出该高度和宽度。
[0073]
摄像头模组可以广泛应用于各种需要位姿估计和目标物三维重建的场景，以实现通过摄像头模组对周围环境的探测，对周围环境进行三维重建，从而实现目标定位。例如，摄像头模组可以应用于移动平台等，实现对移动平台等周围环境的探测。例如，摄像头模组可以应用于车辆，具体可以应用于车载感知系统。例如，摄像头模组可以用于车载前视感知系统的前视摄像头，也可以应用于车载环视感知系统的前视摄像头、侧视摄像头或者后视摄像头。其中，前视摄像头、侧视摄像头或者后视摄像头的视场(filed of view，fov)可以是一般规格的40～60度，也可以是较窄的23～40度，还可以是较宽的100～180度等。示例性的，前视摄像头、侧视摄像头或者后视摄像头具体可以为单目摄像头、双目摄像头或者鱼眼摄像头等类型的摄像头。
[0074]
示例性的，当摄像头模组应用于车载感知系统时，摄像头模组的功能主要可以包括对自车周围车辆、行人、一般障碍物、车道线、路面标识物、交通标志牌等目标的检测和识别，也包括对上述检测到的目标的距离、速度测量，还包括对摄像头运动(包括旋转和平移)的估计，以及在此基础上对周围环境的三维重建，从而实现目标定位。
[0075]
在一个具体的示例中，当摄像头模组应用于车载环视感知系统时，是基于摄像头模组探测车身周围环境。为了保证车身四周的盲区足够小，在安装时会将摄像头模组倾斜向下指向地面，以保证其vfov下沿贴近自车车身边缘。例如，图4所示的车载环视感知系统中前视摄像头安装示意图所示，假设前视摄像头的vfov为120度，为了满足探测范围，可以将摄像头模组向下倾斜30度(也即将摄像头模组的光轴向下倾斜30度)，以保证其vfov下沿贴近自车前保。
[0076]
需要说明的是，在车载环视感知系统中侧视摄像头和后视摄像头的安装原理与上述前视摄像头的安装原理相同，可以互相参照，此处不再详细描述。
[0077]
在另一个具体的示例中，当摄像头模组应用于车载前视感知系统时，是基于摄像头模组探测交通标志牌和交通信号灯等目标。例如，图5所示的车载前视感知系统中前视摄像头安装示意图所示，假设前视摄像头的vfov为40度，受限于自车引擎盖，其水平向下部分的视场约有12度。为了满足探测范围，在安装时可以将摄像头模组向上倾斜8度(也即将摄像头模组的光轴向上倾斜8度)。
[0078]
在图4和图5所示的两个示例中，为了满足探测范围均将摄像头模组倾斜安装。这样会导致运动方向与图像传感器平面之间并不是垂直关系，从而会影响摄像头运动估计的准确性和鲁棒性，进而会导致目标定位误差较大。基于此，本技术提出一种摄像头模组的安装方法及移动平台，以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差。
[0079]
为了更加清晰地描述本技术实施例的技术方案，下面结合附图，对本技术实施例提供的摄像头模组的安装方法及移动平台进行详细说明。
[0080]
本技术实施例提供了一种摄像头模组的安装方法，具体可以为：将所述摄像头模
组安装在移动平台上，所述摄像头模组与所述移动平台所在的地面平行，例如摄像头模组的安装示意图可以如图6所示，需要说明的是，图6中摄像头模组的形状以及在移动平台上的安装位置仅仅是一种示例，本技术对此不作限定。其中，所述摄像头模组可以包括镜头组和图像传感器，所述镜头组包括至少一个镜头；所述镜头组的中心在所述图像传感器平面的投影为第一位置；所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。示例性的，所述摄像头模组的侧视图可以如图7中(a)或图7中(b)所示。
[0081]
在一种实施例中，在不考虑组装误差的情况下，现有的摄像头模组中的镜头组的中心和图像传感器中心是绝对对齐的，此时所述镜头组的中心在所述图像传感器平面的投影与所述图像传感器中心重合在一起，也即投影位置与所述图像传感器中心的距离为0。也就是说在不考虑组装误差的情况下，本技术涉及的所述摄像头模组中所述第一阈值大于0。
[0082]
在另一种实施例中，在考虑组装误差的情况下，现有的摄像头模组中的镜头组的中心和图像传感器中心对齐，也会存在一个误差值，此时所述镜头组的中心在所述图像传感器平面的投影位置与所述图像传感器中心距离所述误差值即认为镜头组的中心和图像传感器中心对齐。也就是说在考虑组装误差的情况下，本技术涉及的所述摄像头模组中所述第一阈值大于所述误差值。
[0083]
具体的，所述摄像头安装在所述移动平台上，所述摄像头模组与所述移动平台所在的地面平行时，所述镜头组的光轴和所述图像传感器平面的法线均与所述移动平台所在的地面平行。这样可以提高摄像头运动估计的准确性和鲁棒性，从而可以减小目标定位误差，提高目标定位的准确性。示例性的，所述移动平台可以是机动车辆、无人机、轨道车、自行车、信号灯、测速装置或网络设备(如各种系统中的基站、终端设备)等等。例如，摄像头模组可以安装在运输设备、家居设备、机器人、云台等可移动的设备上。本技术对安装摄像头模组的终端设备类型和摄像头模组的功能不做限定。
[0084]
示例性的，所述第一位置与所述图像传感器中心的连线可以与第一坐标系中横轴方向垂直，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。也就是说，所述镜头组的中心在所述图像传感器平面上的投影位置与所述图像传感器中心在竖直方向上存在距离，在水平方向上不存在距离。
[0085]
在一种可选的实施方式中，如图7中(a)所示，所述第一位置可以高于所述图像传感器中心。在这种情况下，所述摄像头模组的投影图可以如图8所示，在图8中可以看出所述镜头组在所述图像传感器平面上的投影位置(也即所述第一位置)高于所述图像传感器中心。
[0086]
具体的，图8所示的摄像头模组相对于图3所示的摄像头模组，可以增大所述镜头组的中心以下部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到。
[0087]
在另一种可选的实施方式中，如图7中(b)所示，所述第一位置可以低于所述图像传感器中心。在这种情况下，所述摄像头模组的投影图可以如图9所示，在图9中可以看出所述镜头组在所述图像传感器平面上的投影位置(也即所述第一位置)低于所述图像传感器中心。
[0088]
具体的，图9所示的摄像头模组相对于图3所示的摄像头模组，可以增大所述镜头
组的中心以上部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到。
[0089]
在一种实施方式中，所述第一位置和所述图像传感器中心的距离可以与第一角度相关，其中，所述第一角度可以为所述摄像头模组的vfov的角平分线与所述镜头组的光轴之间的角度。可选的，所述第一角度可以大于0度且小于或者等于所述摄像头模组的vfov补角的一半。
[0090]
其中，所述第一位置与所述图像传感器中心的距离为以下涉及的摄像头模组对应的光心或扩张焦点(focus of expansion，foe)在所述第一坐标系中的纵坐标的绝对值。
[0091]
具体的，所述摄像头模组对应的光心或foe在所述第一坐标系中的纵坐标y0的绝对值可以符合以下公式一：
[0092]
|y0|＝|fyh(θ)|
ꢀꢀ
公式一；
[0093]
其中，fy为所述摄像头模组中心的焦距，θ为所述第一角度，h(θ)＝tan(θ)，或者h(θ)为θ的一元n次函数，n为大于0的整数。其中，|*|为对其中参数取绝对值，tan(*)表示正切函数。
[0094]
可选的，所述foe可以为当摄像头模组在基于移动平台运动时，静止目标上光流的汇聚点。
[0095]
在上述方法中，所述第一角度可以为待调整角度，也即通过所述摄像头模组探测的探测范围需要在满足所述vfov的基础上调整所述第一角度对应的探测范围。
[0096]
在一种可选的实施方式中，在实际成像时，如图7中(a)和图8所示的摄像头模组的摄像头内参标定时标定出的光心坐标位于所述图像传感器平面的上半部分，所述foe的坐标同样的在所述图像传感器平面的上半部分，此时在所述第一坐标系中y0为负值，则基于上述公式一可以得到y0可以符合以下公式二：
[0097]
y0＝-fyh(θ)
ꢀꢀ
公式二。
[0098]
在另一种可选的实施方式中，在实际成像时，如图7中(b)和图9所示的摄像头模组的摄像头内参标定时标定出的光心坐标位于所述图像传感器平面的下半部分，所述foe的坐标同样的在所述图像传感器平面的下半部分，此时在所述第一坐标系中y0为正值，则基于上述公式一可以得到y0可以符合以下公式三：
[0099]
y0＝fyh(θ)
ꢀꢀ
公式三。
[0100]
可选的，由于摄像头模组的成像模型不同，θ的函数h(θ)也可能不同。例如，当所述摄像头模组的成像模型为小孔成像模型时，h(θ)＝tan(θ)。又例如，当所述摄像头模组的成像模型为鱼眼成像模型时，h(θ)可以为θ的一元n次函数。可选的，θ的一元n次函数可以为θ的一元9次函数，例如，h(θ)＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)，其中，k1,k2,k3,k4为所述鱼眼成像模型中的四个系数。例如，k1,k2,k3,k4的取值可以分别为：-1.2101823606265119，2.348159905176264，-2.8413822488946474，1.3818466241138192；又例如，k1,k2,k3,k4的取值可以分别为：-1.1529851704803267，2.114443595798193，-2.458009210238794，1.1606670303240054；又例如，k1,k2,k3,k4的取值可以分别为：-1.1741024894366126，2.1870282871688733，-2.5272904743180695，1.170976436497773。当然，k1,k2,k3,k4的取值还可以为其他取值，本技术此处不再一一列举。
[0101]
需要说明的是，上述θ的一元9次函数仅仅是一个示例，不作为对h(θ)的限定。
[0102]
需要说明的是，上述仅仅以两种成像模型为例示出了可能的h(θ)，并不能对h(θ)进行限定，h(θ)还可以有其它多种函数表示，本技术在此不再一一列举。
[0103]
在一种可选的实施方式中，所述第一位置和所述图像传感器中心的距离可以与所述摄像头模组的vfov相关。同样的，所述第一位置和所述图像传感器中心的距离为以下涉及的摄像头模组对应的光心或foe在所述第一坐标系中的纵坐标的绝对值。
[0104]
在一种示例中，所述摄像头模组对应的光心或foe在所述第一坐标系中的纵坐标y0可以符合以下公式四：
[0105][0106]
其中，fy为所述摄像头模组中心的焦距，为所述摄像头模组的vfov。
[0107]
可选的，当所述摄像头模组的成像模型为小孔成像模型时可以采用上述公式四的方法。
[0108]
在另一种示例中，所述摄像头模组对应的光心或foe在所述第一坐标系中的纵坐标y0可以符合以下公式五：
[0109]
y0＝-fyθdꢀꢀ
公式五；
[0110]
其中，fy为所述摄像头模组中心的焦距，θd与θ1相关，例如θd可以为与θ1有关的函数g(θ1)，数g(θ1)，为所述摄像头模组的vfov。
[0111]
可选的，当所述摄像头模组的成像模型为鱼眼成像模型时可以采用上述公式五的方法。此时，θd＝θ1(1+k1θ12+k2θ14+k3θ16+k4θ18)，k1,k2,k3,k4为所述鱼眼成像模型中的四个系数。例如，k1,k2,k3,k4的取值可以分别为：-1.2101823606265119，2.348159905176264，-2.8413822488946474，1.3818466241138192；又例如，k1,k2,k3,k4的取值可以分别为：-1.1529851704803267，2.114443595798193，-2.458009210238794，1.1606670303240054；又例如，k1,k2,k3,k4的取值可以分别为：-1.1741024894366126，2.1870282871688733，-2.5272904743180695，1.170976436497773。当然，k1,k2,k3,k4的取值还可以为其他取值，本技术此处不再一一列举。
[0112]
需要说明的是，上述θd的计算方式仅仅是一个示例，还可以有其它多种方式，本技术对此不作限定。
[0113]
在具体实施时，当所述摄像头模组为图7中(a)和图8中所示的摄像头模组时，可以采用上述公式四和公式五中的方法。
[0114]
在又一种示例中，所述摄像头模组对应的光心或foe在所述第一坐标系中的纵坐标y0可以符合以下公式六：
[0115][0116]
其中，fy为所述摄像头模组中心的焦距，θ0为预设度数，为所述摄像头模组的vfov。
[0117]
可选的，θ0可以为0.21弧度(rad)等，或者θ0可以为12度等，当然θ0还可以为其它度数，本技术对此不作限定。
[0118]
可选的，当所述摄像头模组的成像模型为小孔成像模型时可以采用上述公式六的方法。
[0119]
在又一种示例中，所述摄像头模组对应的光心或foe在所述第一坐标系中的纵坐
标y0可以符合以下公式七：
[0120]
y0＝fyθsꢀꢀ
公式七；
[0121]
其中，fy为所述摄像头模组中心的焦距，θs与θ2相关，例如θs可以为与θ2有关的函数g(θ2)，数g(θ2)，为所述摄像头模组的vfov。
[0122]
可选的，当所述摄像头模组的成像模型为鱼眼成像模型时可以采用上述公式七的方法。此时，θs＝θ2(1+k1θ22+k2θ24+k3θ126+k4θ28)，k1,k2,k3,k4为所述鱼眼成像模型中的四个系数。例如，k1,k2,k3,k4的取值可以分别为：-1.2101823606265119，2.348159905176264，-2.8413822488946474，1.3818466241138192；又例如，k1,k2,k3,k4的取值可以分别为：-1.1529851704803267，2.114443595798193，-2.458009210238794，1.1606670303240054；又例如，k1,k2,k3,k4的取值可以分别为：-1.1741024894366126，2.1870282871688733，-2.5272904743180695，1.170976436497773。当然，k1,k2,k3,k4的取值还可以为其他取值，本技术此处不再一一列举。
[0123]
需要说明的是，上述θs的计算方式仅仅是一个示例，还可以有其它多种方式，本技术对此不作限定。
[0124]
在具体实施时，当所述摄像头模组为图7中(b)和图9中所示的摄像头模组时，可以采用上述公式六和公式七中的方法。
[0125]
示例性的，所述移动平台可以是车辆等等。
[0126]
例如，当所述摄像头模组安装在车辆上时，图7中(a)和图8所示的摄像头模组可以应用于车载环视感知系统，图7中(b)和图9所示的摄像头模组可以应用于车载前视感知系统。在一种实施方式中，采用本技术实施例提供的摄像头模组的安装方法，将上述涉及的摄像头模组安装在车辆上时，在安装时可以不必将摄像头模组倾斜安装，即可以满足探测需求。
[0127]
在一种可选的实施方式中，当所述移动平台为车辆，并且安装在车辆上的所述摄像头模组应用于所述车载环视感知系统时，在安装时不需要将摄像头模组倾斜向下指向地面，则可以保证车身四周的盲区足够小。例如，当所述摄像头模组应用于所述车载环视感知系统的前视摄像头时，假设所述摄像头模组的vfov为120度时，所述摄像头模组的安装示意图可以如图10所示。在图10中可以看出，所述摄像头模组的光轴平行于车辆所在的地面，这样可以保证运动方向与图像传感器平面垂直，从而可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差。
[0128]
在又一种可选的实施方式中，当所述移动平台为车辆，并且安装在车辆上的所述摄像头模组应用于所述车载前视感知系统时，在安装时不需要将摄像头模组倾斜向上安装，则可以增大交通标志牌、交通信号灯等目标的感知范围。例如，当所述摄像头模组应用于所述车载前视感知系统时，假设所述摄像头模组的vfov为40度时，所述摄像头模组的安装示意图可以如图11所示。在图11中可以看出，所述摄像头模组的光轴平行于车辆所在的地面，这样可以保证运动方向与图像传感器平面垂直，从而可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差。
[0129]
采用本技术实施例提供的摄像头模组的安装方法，由于摄像头模组可以与移动平台所在的地面平行，可以保证运动方向与图像传感器平面垂直，这样可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差，并且无需将摄像头模组倾斜安装，就可以
满足所需的探测范围。
[0130]
基于以上描述，本技术实施例还提供了一种移动平台，包括摄像头模组，所述摄像头模组包括镜头组和图像传感器，所述镜头组包括至少一个镜头；其中：所述摄像头模组与所述移动平台所在的地面平行；所述镜头组的中心在所述图像传感器平面的投影为第一位置；所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。具体的，所述摄像头模组的详细介绍可以参见上述实施例中涉及的相关描述，此处不再重复赘述。在一种可选的实施方式中，所述移动平台可以但不限于是车辆等等。
[0131]
基于以上实施例，采用本技术实施例提供的摄像头模组的安装方法，将所述摄像头模组安装在移动平台上，以进行目标定位时，通过所述摄像头模组拍摄的两帧图像中匹配的特征点估计摄像头运动是空间三维重建算法中重要的一个环节。以图12为例，假设求取两帧图像i1、i2之间的运动，即求取从第一帧图像i1到第二帧图像i2摄像头的旋转r和平移t。两帧图像对应的镜头组的中心分别为o1、o2。考虑i1中的一个特征点p1在i2中对应着特征点p2。其中，两帧图像中特征点相匹配或相对应，表示两帧图像中特征点为同一个空间三维点p在这两帧图像上的投影。
[0132]
从代数角度分析其中的几何关系，在第一帧图像的坐标系下，设p的空间位置为：p＝[x，y，z]
t
。
[0133]
假设摄像头模组的成像模型为小孔成像模型时，根据小孔成像模型，p点在两帧图像i1、i2中的像素点p1、p2的像素位置可以符合以下公式八：
[0134]
s1p1＝kp，s2p2＝k(rp+t)
ꢀꢀ
公式八；
[0135]
其中，k是摄像头内参矩阵。
[0136]
在齐次坐标系下，一个向量将等于它自身乘上任意的非零常数。这通常用于表达一个投影关系。例如p1和s1p1成投影关系，p1和s1p1在齐次坐标系的意义下是相等的，或称为尺度意义下相等，可以记作：s1p1～p1。
[0137]
那么，公式八中两个投影可以记作：p1～kp，p2～k(rp+t)；
[0138]
令x1＝k-1
p1，x2＝k-1
p2，代入上式则有：x2～rx1+t；
[0139]
两边同时左乘t^，再同时左乘则有：其中，t＝[t1，t2，t3]
t
，
[0140]
由于等号左侧中向量t^x2和向量x2垂直，因此两者内积为0，因此有以下公式九：
[0141][0142]
可以称上述公式九为对极约束。定义本质矩阵e＝t^r，是一个3
×
3的矩阵。
[0143]
假设一对匹配点的归一化坐标为x1＝[u1，v1，1]
t
，x2＝[u2，v2，1]
t
。根据上述对极约束，则有：
[0144]
将矩阵e展开写成向量的形式则有：e＝[e1，e2，e3，e4，e5，e6，e7，e8，e9]
t
；
[0145]
那么对极约束可以写成如下线性形式：[u2u1，u2v1，u2，v2u1，v2v1，v2，u1，v1，1]
·
e＝0。
[0146]
通常，可以使用n≥8对特征点来估计e。把所有点放到一个方程中，可以变成如公式十所示的线性方程组：
[0147]ae
＝0
ꢀꢀ
公式十
[0148]
其中，
[0149]
易证明，上述公式十所示的线性方程组的解为矩阵a
t
a最小特征值对应的特征向量。
[0150]
在求解得e之后，可以通过奇异值分解(singular value decomposition，svd)恢复出摄像头的旋转r和平移t。设e的svd为：e＝u∑v
t
，其中，u、v为正交阵，∑为奇异值矩阵。对于任意一个e，存在两个可能的r、t与之对应可以如下：
[0151][0152]
其中，rz(π/2)表示沿z轴旋转90
°
得到的旋转矩阵。因此，从e分解到r、t时，一共存在4个可能的解，可以如图13所示。
[0153]
从图13中可以看出，只有第一种解(图13中(a)所示)中的p在两个摄像头中都具有正的深度。因此，只要把任意一点代入4种解中，检测该点在两个摄像头下的深度，就可以确定哪个解是正确的了。
[0154]
令b＝a
t
a，通过正交矩阵h对角化，即h-1
bh＝diag{λ1，λ2，...，λn}，其中λi，i＝1，2，...，n为矩阵b的特征值。
[0155]
不失一般性，设λ1为简单特征值，并令λ1＜λ2≤λ3≤
…
≤λn，再令对应的特征向量张成h＝[h1，h2，...，hn]，其中，e为对应特征值λ1的特征向量，即e在h1张成的空间中。
[0156]
设b(∈)＝b+δb，表示b上叠加了噪声，其中∈为矩阵的最大值，则有：其中
[0157]
因此，有|b
ij
|≤1。记矩阵δb的最小特征值为λ1(∈)，对应的特征向量为：e(∈)＝e+δe。其中，δe在{h2，h3，...，hn}张成的空间中。
[0158]
当∈足够小时，则误差λ1(∈)-λ1可以展开为级数λ1(∈)-λ1＝a1∈+a2∈2+a3∈3+
…
，其中线性部分可以表示为：
[0159]
令h2＝[h2，h3，...，hn]。易证明，存在(n-1)维向量g1，g2，g3，...，使得δe＝∈h2g1+∈2h2g2+∈3h2g3+
…
，其中线性部分可以表示为：∈h2g1＝hδh
t
δbe。其中，δ可以符合以下公式十一：
[0160]
δ＝diag{0，(λ
1-λ2)-1
，...，(λ
1-λn)-1
}
ꢀꢀ
公式十一。
[0161]
舍弃误差级数中二次和高次项，则特征值λ1的误差可以为特征向量e的误差可以为
[0162]
当矩阵a为非退化阵，即矩阵a的秩为8时，λ1＝0。而当矩阵a的秩小于8时，矩阵e的求解是噪声敏感的。所述噪声主要来自于特征点检测误差、特征点匹配误差、量化误差，以及摄像头内参标定误差等。具体的，当矩阵a的秩小于8时，有λ1≈λ2。由上述公式十一可以看
出，δ的第二项变为无穷大，这使得矩阵e的估计误差也变得无穷大。
[0163]
上述噪声影响在摄像头模组实际工作时体现如下：
[0164]
由上述公式九以及上述r、t计算过程可以看出：t
·
(x2×
rx1)＝0。即t和x2×
rx1互相垂直。
[0165]
如图14中(a)所示，当平移向量t垂直于图像传感器平面xy时，x2×
rx1覆盖着较大的区域(见阴影区域)；而如图14中(b)所示，当平移向量t平行于图像传感器平面xy时，x2×
rx1覆盖区域较小(见阴影区域)。当矩阵a受到噪声影响时，阴影区域将偏离其原有位置，从而在平移向量t的估计中引入误差。很显然，此时图14中(a)所示场景相比图14中(b)所示场景具有更高的鲁棒性。
[0166]
基于上述分析，可以看出：为了保证摄像头运动估计的准确性和鲁棒性，应使得摄像头平移方向(运动方向)垂直于图像传感器平面。
[0167]
基于上述分析，很显然，由于采用本技术实施例提供摄像头模组的安装方法，在将所述摄像头模组安装在移动平台上时，可以使所述摄像头模组与所述移动平台所在的地面平行，具体的，可以使摄像头模组的镜头组的光轴和图像传感器平面的法线均与移动平台所在的地面平行，例如图10和图11所示，也即使得摄像头运动方向垂直于所述图像传感器平面，从而提高摄像头运动估计的准确性和鲁棒性。也就是说，相对于现有技术中摄像头模组安装在移动平台上时，由于摄像头模组倾斜安装例如图4和图5所示，导致摄像头运动方向与图像传感器平面不能垂直，影响摄像头运动估计的准确性和鲁棒性，采用本技术实施例提供的摄像头模组的安装方法后，摄像头运动估计的准确性和鲁棒性明显可以提高。
[0168]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0169]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0170]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的保护范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。