本发明涉及能够获取图像并进行高精度测距的测距设备和移动物体，并且特别地涉及利用摄像面相位差方法来测距的测距设备和移动物体。
背景技术
为了辅助诸如车辆、无人机和机器人等的移动物体的移动，需要测量移动物体和该移动物体周边的物体(例如，障碍物)之间的距离。特别地，为了进行涉及躲避碰撞或跟随其它物体的操作的移动辅助，还需要使用障碍物的图像的识别处理。因此，移动物体通常设置有作为摄像设备的照相机以测量到障碍物的距离。作为在照相机的技术领域中用于获取到障碍物(被摄体)的距离以及识别处理所使用的障碍物的图像的方法，已知有摄像面相位差方法(参见专利文献1和2)。在摄像面相位差方法中，获得由分别穿过了照相机的光学系统的出射光瞳中存在的两个不同区域(部分光瞳)的两个光束所引起的一对图像的视差，并且根据所获得的视差使用三角测量原理来测量到被摄体的距离。在使用摄像面相位差方法的照相机中，例如，摄像器件的各像素包括两个光电转换部(光电二极管)。在摄像面相位差方法中，从通过对由入射到两个光电转换部的光束形成的光学图像进行转换所获得的电气信号(以下称为“图像信号”)来获得一对图像的视差，并且将从两个光电转换部获得的图像信号彼此相加以获取被摄体图像。
顺便提及，在所谓的静态照相机或摄像机中需要高质量的图像。由于分别穿过两个部分光瞳的两个光束分别入射到像素的两个相应光电转换部，因此需要增大出射光瞳的两个部分光瞳的大小，以使通过将从两个光电转换部获得的图像信号相加所形成的图像等于由穿过了整个出射光瞳的光束形成的图像。
引文列表
专利文献
专利文献1：日本特开2013-190622
专利文献2：日本特开2001-21792
技术实现要素：
技术问题
然而，如图16所示，在两个部分光瞳160和161的大小增大时，作为两个部分光瞳160和161之间的中心间距离的基线长度缩短，因而根据从两个光电转换部获得的图像信号162和163而获得的一对图像的视差缩小。结果，担心在用于根据视差使用三角测量原理测量到被摄体的距离的摄像面相位差方法中所测量的距离的精度可能劣化。
本发明的目的是提供一种能够获取图像并进行高精度测距的测距设备。
问题的解决方案
为了实现上述目的，根据本发明，提供一种测距设备，包括：摄像部，其被配置为包括具有光圈的光学系统和内部排列有多个像素的摄像器件；以及距离信息获取部，其被配置为基于所述摄像器件的输出信号来获取被摄体距离信息，其中，所述光圈设置有第一光圈孔和第二光圈孔，以及所述多个像素包括具有不同的入射角灵敏度特性的第一像素和第二像素。
发明的有益效果
根据本发明，可以提供一种能够获取图像并进行高精度测距的测距设备。
附图说明
图1是示意性示出根据本发明第一实施例的测距设备的结构的框图。
图2是示意性示出图1中的摄像器件的结构的正面图。
图3a～3c是示出摄像面相位差方法的测距原理的图。
图4a～4c是示出本发明第一实施例中的光学系统的出射光瞳的图。
图5a和5b是示出摄像/测距用像素的pd的配置的图。
图6a和6b是示出摄像/测距用像素的pd的配置的变形例和光学系统的出射光瞳的变形例的图。
图7a～7c是示出本发明第二实施例中的测距用光束的光圈的状态的图。
图8a～8c是示出本发明第二实施例中的测距用光束的光圈的状态的图。
图9是示意性示出根据本发明第二实施例的测距设备的结构的框图。
图10是示出利用光圈孔的测距用光束的入射角范围的限制的图。
图11是示出利用光圈孔的测距用光束的入射角范围的限制的图。
图12a～12e是示出在沿光轴方向观看时的图9的光圈的图。
图13是示意性示出在作为根据本实施例的移动物体的汽车中的驾驶辅助系统的结构的图。
图14是示意性示出在作为根据本实施例的移动物体的汽车中的驾驶辅助系统的结构的图。
图15是示出作为本实施例的驾驶辅助系统的操作示例的碰撞躲避处理的流程图。
图16是示出光学系统的出射光瞳的两个部分光瞳和基线长度之间的关系的图。
具体实施方式
以下将参考附图来说明本发明的实施例。
通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
首先，将说明本发明的第一实施例。图1是示意性示出根据本发明第一实施例的测距设备的结构的框图。
在图1中，测距设备包括：照相机10，其具有光学系统11和包括内部排列的多个像素的摄像器件12；图像分析部13；以及距离信息获取部14。光学系统11包括例如沿着光轴排列的两个透镜11a和11b，并且在摄像器件12上形成被摄体的光学图像。如图2所示，将摄像器件12的像素分割成多个摄像用像素12a和多个测距用像素12b(第一像素和第二像素)。应当注意，为了防止图2变复杂，在图2中，部分地示出左上侧的像素的排列，并且没有示出摄像器件12的整个表面的像素的排列。摄像用像素12a和测距用像素12b各自包括作为一个光电转换部的光电转换器件，例如光电二极管(以下称为“pd”)。在本实施例中，例如，pd包括由硅或者具有光吸收特性的薄膜形成的光电转换膜。摄像用像素12a分别接收穿过光学系统11的出射光瞳的相应部分区域(出射光瞳中的不同区域，并且在下文中将被称为“部分光瞳”)的光束，并且协作地形成被摄体的光学图像。此外，各个测距用像素12b接收穿过光学系统11的出射光瞳中的两个不同的部分光瞳的光束中的任一光束。在摄像器件12中，例如，在根据拜尔阵列的2行×2列的四个像素中，具有g(绿色)的光谱灵敏度的摄像用像素12a作为两个像素配置在对角位置处，并且分别具有r(红色)和b(蓝色)的光谱灵敏度的摄像用像素12a逐一地配置作为其它两个像素。各摄像用像素12a的特定颜色的光谱灵敏度是由各摄像用像素12a的原色的颜色滤波器给出的。此外，在摄像器件12中，在一部分的2行×2列的像素中，对角位置处的具有g的光谱灵敏度的两个摄像用像素12a保留，并且具有r和b的光谱灵敏度的摄像用像素12a被测距用像素12b替换。在摄像器件12中，一部分的2行×2列的像素中的对角位置处的两个测距用像素12b通过分别接收穿过了两个相应部分光瞳的光束来形成一对光学图像，并且进一步将这些光学图像光电转换成图像信号(电气信号)并输出该图像信号。图像分析部13对所输出的图像信号进行图像处理。距离信息获取部14根据经过了图像处理的图像信号来计算一对光学图像的视差，并且进一步基于所计算出的视差来计算到被摄体的距离。也就是说，测距设备利用摄像面相位差方法来测量到被摄体的距离。应当注意，在根据图像信号计算视差时，没有必要一定对从摄像器件12输出的图像信号进行图像处理。例如，在可以根据图像信号直接计算视差的情况下，摄像器件12将图像信号在没有通过图像分析部13的情况下直接输出至距离信息获取部14。
在摄像器件12中，两个测距用像素12b通过分别接收分别穿过了部分光瞳的光束来形成一对光学图像，但后面要说明的一个摄像/测距用像素12c可以通过接收穿过了两个部分光瞳的光束来形成一对光学图像。在这种情况下，摄像/测距用像素12c包括至少两个pd，并且两个pd分别接收穿过了两个部分光瞳的光束。此外，摄像/测距用像素12c通过合成两个pd所接收到的穿过了两个部分光瞳的光束来形成被摄体的光学图像。因而，摄像/测距用像素12c可以配置在摄像器件12的大致整个区域中。应当注意，在本实施例中，由于光学系统11的透镜11a和11b固定到照相机10，因此省略了所谓的自动调焦功能。也就是说，在照相机10中焦点是固定的。然而，照相机10可以具有自动调焦功能。在这种情况下，基于距离信息获取部14所计算出的到被摄体的距离来进行自动调焦。
图3a～3c是示出摄像面相位差方法的测距原理的图。具体地，图3a示出使用由被形成为一对像素的两个测距用像素12b分别形成的光学图像来测距的情况。图3b示出沿光轴方向观看图3a的像素的情况。图3c示出使用由一个摄像/测距用像素12c形成的一对光学图像来测距的情况。应该注意，图3a和3c中的摄像用像素12a是在从侧方观看测距用像素12b或摄像/测距用像素12c的状态下描绘的。
首先，在图3a中，光学系统11的出射光瞳30包括分别位于出射光瞳30在水平方向(图3a中的横方向、第一方向)(以下称为“视差方向”)上的两端附近的两个部分光瞳(以下称为“测距用光瞳”)31和32。此外，出射光瞳30包括以沿视差方向插入在测距用光瞳31和32之间的方式位于出射光瞳30的大致中央的部分光瞳(以下称为“摄像用光瞳”)33。测距用光束34和35(第一光束和第二光束)分别从测距用光瞳31和32出射，并且分别入射到一对测距用像素12b。此外，摄像用光束36从摄像用光瞳33出射并且入射到摄像用像素12a。两个测距用像素12b分别包括微透镜37(第一微透镜和第二微透镜)和经由微透镜37与出射光瞳30相对的pd38(第一光电转换部和第二光电转换部)。此外，两个测距用像素12b分别包括遮光膜40(第一遮光膜和第二遮光膜)，其中各遮光膜配置在微透镜37和pd38之间、并且包括被形成为使得pd38与微透镜37部分相对的开口39(第一开口或第二开口)。图3b的左侧的摄像用像素12b的开口39(第一开口)从该像素的中心和相应微透镜37的光轴沿视差方向(第一方向)偏心配置。此外，图3b的右侧的摄像用像素12b的开口39(第二开口)从该像素的中心和相应微透镜37的光轴沿视差方向(与第一方向相反的第二方向)偏心配置。另外，图3b的左侧的摄像用像素12b的pd38和图3b的右侧的摄像用像素12b的pd38具有不同的入射角灵敏度特性。应当注意，权利要求书和说明书中的像素的中心是像素的重心。例如，在像素为矩形的情况下，两个对角线的交点与像素的中心相对应。摄像用像素12a包括微透镜41和经由微透镜41与出射光瞳30相对的pd42。此外，摄像用像素12a包括遮光膜66(第三遮光膜)，其中该遮光膜66配置在微透镜41和pd42之间、并且包括被形成为使得pd42与微透镜41部分相对的开口65(第三开口)。摄像用像素12a的开口65(第三开口)配置在像素的中心或微透镜41的光轴上。应当注意，摄像用像素12a的pd42的入射角灵敏度特性不同于两个摄像用像素12b各自的pd38的入射角灵敏度特性。
在一对测距用像素12b中，两个微透镜37配置在光学系统11的摄像面附近，并且这些微透镜37分别使测距用光束34和35向着两个遮光膜40(开口39)聚集。光学系统11和两个微透镜37被形成为使得出射光瞳30与两个遮光膜40(开口39)光学共轭。因而，利用两个微透镜37将两个遮光膜40的开口39的形状分别投射到出射光瞳30的两个测距用光瞳31和32。也就是说，两个测距用光瞳31和32的配置(位置和大小)由遮光膜40的开口39的位置和大小来确定。此外，在摄像用像素12a中，微透镜41配置在光学系统11的摄像面附近，并且光学系统11和微透镜41被形成为使得出射光瞳30与遮光膜66(开口65)光学共轭。因而，利用微透镜41将开口65的形状投射到出射光瞳30的摄像用光瞳33。也就是说，摄像用光瞳33的配置(位置和大小)由遮光膜66的开口65的位置和大小来确定。一对测距用像素12b的两个pd38输出通过对由分别穿过了测距用光瞳31和32的测距用光束34和35在微透镜37上形成的光学图像进行转换所获得的图像信号。对所输出的图像信号进行图像位移检测计算处理(相关处理和相位差检测处理)等，使得计算出一对光学图像的视差。此外，根据所计算出的视差使用三角测量原理(例如，参见美国专利2015/0092988)来计算散焦量和到被摄体的距离。此外，摄像用像素12a的pd42输出通过对由穿过摄像用光瞳33的摄像用光束36在微透镜41上形成的光学图像进行转换所获得的图像信号，并且根据该图像信号形成被摄体图像。应当注意，在图3a和3b中设置了遮光膜40和遮光膜66，但是可以省略这些遮光膜。在这种情况下，通过将pd38或pd42的位置和大小设置成与开口39或开口65的位置和大小相同，可以实现测距用光瞳31和32的配置或者摄像用光瞳33的配置。
此外，在图3c中，测距用光束34和35分别从测距用光瞳31和32出射并且入射到摄像/测距用像素12c。摄像用光束36从摄像用光瞳33出射并且入射到同一摄像/测距用像素12c。摄像/测距用像素12c包括微透镜43和经由微透镜43与出射光瞳30相对的pd44～46。在摄像/测距用像素12c中，微透镜43配置在光学系统11的摄像面附近，并且微透镜43使测距用光束34和35向着两个pd44和45聚集。光学系统11和微透镜43被形成为使得出射光瞳30与pd44～46光学共轭。因而，利用微透镜43将pd44的形状投射到出射光瞳30的测距用光瞳31。此外，利用微透镜43将pd45的形状投射到出射光瞳30的测距用光瞳32。利用微透镜43将pd46的形状投射到出射光瞳30的摄像用光瞳33。也就是说，测距用光瞳31和32以及摄像用光瞳33的配置(位置和大小)由pd44～46的位置和大小来确定。摄像/测距用像素12c的pd44和45输出通过对由分别穿过了测距用光瞳31和32的测距用光束34和35在微透镜43上形成的光学图像进行转换所获得的图像信号。即使如此，也对所输出的图像信号进行图像位移检测计算处理(相关处理和相位差检测处理)等，使得计算出一对光学图像的视差。此外，使用三角测量原理来计算散焦量和到被摄体的距离。另外，摄像/测距用像素12c的pd46输出通过对由穿过摄像用光瞳33的摄像用光束36在微透镜43上形成的光学图像进行转换所获得的图像信号。应当注意，pd44～46具有不同的入射角灵敏度特性。
图4a～4c是示出本发明的第一实施例的光学系统的出射光瞳的图。应当注意，该图中的横方向与视差方向相对应。
在图4a中，出射光瞳30包括两个椭圆形的测距用光瞳31和32，其中测距用光瞳31和32被定位成相对于出射光瞳30的中心(光学系统11的光轴)在视差方向上彼此对称，并且分别被定位在出射光瞳30的两端附近。此外，出射光瞳30包括正圆形的摄像用光瞳33，其中摄像用光瞳33以在视差方向上插入在测距用光瞳31和32之间的方式位于出射光瞳30的大致中央。测距用光瞳31和32在视差方向上的中心间距离l相对于作为出射光瞳30在视差方向上的长度的出射光瞳宽度w的比大于等于0.6且小于等于0.9。此外，作为测距用光瞳31和32在视差方向上的长度的各个测距用光瞳宽度wa和wb(部分光瞳宽度)相对于出射光瞳宽度w的比大于等于0.1且小于等于0.4。椭圆形的测距用光瞳31和32在图4a的纵方向(与视差方向垂直的方向)上具有长边。作为测距用光瞳31和32在图4a的纵方向上的长度的各个测距用光瞳高度h(部分光瞳高度)相对于各个测距用光瞳宽度wa和wb的比(以下称为“高宽比”)为1以上且优选为2以上。可以根据与各个测距用光瞳宽度wa和wb以及测距用光瞳高度h有关的限制来任意设置测距用光瞳31和32的大小或形状，并且例如，如图4b所示，测距用光瞳31和32可以略小。此外，如图4c所示，各个测距用光瞳31和32以及摄像用光瞳33可以具有相同的形状(正圆形状)。然而，需要将测距用光瞳31和32的大小设置为如下的大小：基于分别穿过了测距用光瞳31和32的测距用光束34和35的图像信号的强度增加到可以获取到正确的被摄体距离信息的程度。
根据本实施例，由于测距用光瞳31和32在视差方向上的中心间距离l(基线长度)相对于出射光瞳30的出射光瞳宽度w的比大于等于0.6且小于等于0.9，因此可以增加基线长度。结果，可以提高利用摄像面相位差方法所测量到的到被摄体的距离的精度。此外，由于各个测距用光瞳宽度wa和wb相对于出射光瞳宽度w的比大于等于0.1且小于等于0.4，因此可以提高测距用光瞳31和32在出射光瞳30的视差方向上的配置的自由度。结果，由于测距用光瞳31和32可以分别位于出射光瞳30在视差方向上的两端附近，因此可以可靠地增加基线长度。此外，在测距用光瞳宽度wa和wb过小时，测距用光束34和35的光量大幅减少，因此所获得的测距用图像信号的s/n比减小。因此，所测量到的距离的精度下降。然而，由于如上所述测距用光瞳宽度wa和wb各自相对于出射光瞳宽度w的比为0.1以上，因此可以防止测距用光束34和35各自的光量大幅减少。此外，在测距用光瞳宽度wa和wb增大、即测距用光瞳31和32的大小增大时，基线长度缩短，因而所测量到的距离的精度下降。然而，由于如上所述测距用光瞳宽度wa和wb各自相对于出射光瞳宽度w的比为0.4以下，因此可以防止基线长度缩短。此外，由于测距用光瞳31和32各自的高宽比为1以上，因此可以增加分别穿过测距用光瞳31和32的测距用光束34和35的量。因而，由于可以增大从测距用光束34和35所形成的光学图像获得的图像信号的s/n比，因此可以高度精确地获得被摄体距离信息。此外，出射光瞳30包括沿视差方向插入在测距用光瞳31和32之间的摄像用光瞳33，并且根据通过对由穿过摄像用光瞳33的摄像用光束36形成的光学图像进行转换所获得的图像信号来形成被摄体图像。因此，由于与使用穿过出射光瞳30的整个区域的光束的情况相比、可以减小光圈，因此可以增加被摄体的焦深，使得可以获得适合识别处理的被摄体图像。
如上所述，两个测距用光瞳31和32的配置由两个测距用像素12b中的两个遮光膜40的开口39的位置和大小来确定，并且摄像用光瞳33的配置由摄像用像素12a中的遮光膜66的开口65的位置和大小来确定。可选地，两个测距用光瞳31和32以及摄像用光瞳33的配置由摄像/测距用像素12c的pd44～46的位置和大小来确定。因而，在摄像/测距用像素12c中，如图5a所示，两个pd44和45被形成为在图5a的纵方向(与视差方向垂直的方向)上具有长边的矩形形状，以便分别对应于纵长的测距用光瞳31和32。此外，两个pd44和45是以沿视差方向彼此分离的状态配置的，以便分别对应于位于出射光瞳30的两端附近的两个测距用光瞳31和32。此外，pd46被形成为正方形形状，以便对应于正圆形的摄像用光瞳33，并且pd46配置在摄像/测距用像素12c的大致中央，以便对应于位于出射光瞳30的大致中央的摄像用光瞳33。如图5a所示，在一个摄像/测距用像素12c包括两个pd44和45的情况下，一个摄像/测距用像素12c可以提供一个图像信号，由此可以从摄像器件12总地获得用于计算一对光学图像的视差的许多图像信号。因而，可以提高图像信号的分辨率。因此，所形成的图像可以具有高质量。此外，可以提高距离信息的分辨率。
应当注意，摄像/测距用像素12c可以包括pd44和pd45中的仅一个。例如，如图5b所示，(图5b的下侧的)一个摄像/测距用像素12c包括pd44，并且(图5b的上侧的)其它摄像/测距用像素12c包括pd45。在这种情况下，穿过测距用光瞳31的测距用光束34由一个摄像/测距用像素12c的pd44接收到，并且pd44输出通过对由测距用光束34形成的光学图像进行转换所获得的图像信号。此外，穿过测距用光瞳32的测距用光束35由其它摄像/测距用像素12c的pd45接收到，并且pd45输出通过对由测距用光束35形成的光学图像进行转换所获得的图像信号。另外，根据从一个摄像/测距用像素12c的pd44和其它摄像/测距用像素12c的pd45输出的图像信号来计算一对光学图像的视差。如图5b所示，在摄像/测距用像素12c包括pd44和pd45中的仅一个的情况下，一个摄像/测距用像素12c中的pd的数量可以减少为两个。因此，由于可以在存在余量的情况下配置pd，因此可以增大pd的大小。结果，pd的受光量增加，由此可以提高pd的灵敏度。因此，即使在光量不足的环境中，所形成的图像也可以具有高质量，因而可以提高距离计算精度。
在本实施例中，应当注意，出射光瞳30包括沿图4a～4c中的横方向配置的测距用光瞳31和32，而且还可以包括沿图4a～4c的纵方向配置的两个测距用光瞳。例如，如图6a所示，出射光瞳30除包括测距用光瞳31和32外，还包括沿图6a中的纵方向排列的两个椭圆形的测距用光瞳47和48。两个测距用光瞳47和48分别位于出射光瞳30在图6a的纵方向上的两端附近。因此，由于可以计算图6a的纵方向上的一对光学图像的视差和图6a的横方向上的一对光学图像的视差，因此可以提高到被摄体中的横线或斜线的距离的测量精度。在这种情况下，如图6b所示，摄像/测距用像素12c包括被形成为在图6b的横方向上具有长边的矩形形状以便对应于各自具有椭圆形形状的两个测距用光瞳47和48的pd49和50。此外，两个pd49和50以如下状态配置：在图6b的纵方向上彼此分开，以便对应于分别位于出射光瞳30在图6b的纵方向上的两端附近的两个测距用光瞳47和48。
此外，在本实施例中，摄像用像素12a包括具有原色的颜色滤波器，但代替原色，颜色滤波器可以具有补色。由于穿过了具有补色的颜色滤波器的光束的光量大于具有原色的颜色滤波器的光量，因此可以提高pd42的灵敏度。另一方面，测距用像素12b中的pd38所接收到的光束局限于穿过开口39的光束，并且摄像/测距用像素12c中的pd44和45的大小受到限制。然而，测距用像素12b和摄像/测距用像素12c不包括颜色滤波器或者包括具有补色的颜色滤波器。因此，没有特别限制pd38或者pd44和45所接收到的光束的光量。因而，pd38或者pd44和45的灵敏度不会大幅下降。
接着，将说明本发明的第二实施例。由于本发明的第二实施例的结构和操作与上述第一实施例的结构和操作基本相同，因此将省略对重复的结构和操作的说明，并且将说明不同的结构和操作。
在将测距设备应用于移动物体(例如，汽车或无人机)的情况下，优选进一步减小测距设备的大小和重量并且需要进一步减小照相机10的大小。此时，摄像器件12的大小进一步减小，并且摄像器件12的摄像用像素12a和测距用像素12b的大小进一步减小。这里，如果测距用像素12b的大小减小、使得该像素的大小(像素大小)变为可见光的波长的数倍，则入射到微透镜37的测距用光束34和35由于衍射而扩散。具体地，如图7a所示，入射到微透镜37的测距用光束35发生衍射，使得该测距用光束35(参见在图7a中利用虚线表示的光束)与在像素大小足够大并且几乎不会发生衍射时的测距用光束35(参见在这些图中利用实线表示的光束)相比扩散。因此，穿过开口39的光束的光量减少，并且pd38所接收到的测距用光束35的受光量减少，使得pd38对测距用光束35的灵敏度下降。结果，与在像素大小足够大并且几乎不会发生衍射时的入射角灵敏度特性(参见在图7a中利用实线表示的特性)相比，在测距用光束35由于衍射而扩散时的入射角灵敏度特性(参见在图7a中利用虚线表示的特性)的灵敏度的绝对值减小。然后，由于所获得的图像信号的snr(s/n比)减小，因此测距精度下降。此外，在使用pd38所接收到的测距用光束35来形成被摄体图像的情况下，所形成的被摄体图像的质量下降，因而识别处理中的识别精度下降。应当注意，在表示图7a的入射角灵敏度特性的曲线图中，横轴表示灵敏度且纵轴表示入射角，并且横轴和纵轴彼此相交的交叉点处的入射角表示测距用光束35的主光线入射角。
为了提高pd38对测距用光束35的灵敏度，如图7b所示，优选通过扩大开口39的宽度wc来增加穿过开口39的光束的光量。然而，在开口39的宽度wc扩大时，能够穿过开口39的光束的入射角的范围也变宽(参见在图7b中利用虚线表示的光束)。结果，由于与理想状态下的入射角灵敏度特性(参见在图7b中利用实线表示的特性)相比、在开口39的宽度wc扩大时的入射角灵敏度特性(参见在图7b中利用虚线表示的特性)的入射角的范围变宽，因此基线长度缩短并由此测距精度下降。
在本实施例中，为了应对该问题，如图7c所示，在扩大开口39的宽度wc的同时限制入射角灵敏度特性的入射角的范围，以提高pd38的灵敏度。也就是说，限制测距用光束35的入射角的分布(宽度)，使得测距用光束35变窄，从而限制穿过开口39的光束的入射角(参见在图7c中利用实线表示的光束)。具体地，通过应用光圈51的光圈孔52来使测距用光束35的入射角范围(光学系统11的摄像面上的入射角分布)变窄。此时，即使在穿过了光圈孔52的测距用光束35被微透镜37衍射时，测距用光束35在遮光膜40(第一遮光膜)上与宽度wc扩大的开口39相比也不会扩散。结果，pd38可以充分地接收测距用光束35。通过应用相同的措施，pd38也可以充分地接收测距用光束34。利用上述结构，由于可以在维持入射角灵敏度特性的灵敏度的绝对值高的同时使入射角灵敏度特性的入射角的范围变窄，因此可以防止测距精度的下降。
此外，即使在摄像/测距用像素12c的大小减小、并且例如像素大小变为可见光的波长的约数倍时，入射到微透镜43的测距用光束34和35由于衍射而进一步扩散。具体地，如图8a所示，与在像素大小足够大并且几乎不会发生衍射时的测距用光束35(参见在图8a中利用实线表示的光束)相比，入射到微透镜43的测距用光束35由于衍射而扩散(参见在图8a中利用虚线表示的光束)。因此，pd45所接收到的测距用光束35的光量减少，并且pd45对测距用光束35的灵敏度下降。结果，与在像素大小足够大并且几乎不会发生衍射时的入射角灵敏度特性(参见在图8a中利用实线表示的特性)相比，在测距用光束35由于衍射而扩散时的入射角灵敏度特性(参见在图8a中利用虚线表示的特性)的灵敏度的绝对值减小。然后，由于所获得的图像信号的snr下降，因此测距精度下降。此外，在使用pd45所接收到的测距用光束35来形成被摄体图像的情况下，所形成的被摄体图像的质量下降，因此识别处理中的识别精度下降。
为了提高pd45对测距用光束35的灵敏度，如图8b所示，优选通过扩大pd45的宽度wd来增加pd45所接收到的光束的光量。然而，在pd45的宽度wd扩大时，可以入射到pd45的光束的入射角的范围也变宽(参见在8b中利用虚线所示的光束)。结果，由于与理想状态下的入射角灵敏度范围(参见在图8b中利用实线所示的特性)相比、在pd45的宽度wd扩大时的入射角灵敏度特性(参见在图8b中利用虚线所示的特性)的入射角的范围变宽，因此基线长度缩短并由此测距精度下降。
在本实施例中，为了应对该问题，如图8c所示，在扩大pd45的宽度wd的同时限制入射角灵敏度特性的入射角的范围，以提高pd45的灵敏度。也就是说，限制测距用光束35的入射角的分布(宽度)，使得测距用光束35变窄，从而限制入射到pd45的光束的入射角(参见在图8c中利用实线表示的光束)。具体地，通过应用光圈51的光圈孔52来使测距用光束35的入射角范围(光学系统11的摄像面上的入射角分布)变窄。此时，即使在穿过了光圈孔52的测距用光束35被微透镜37衍射时，测距用光束35在包括pd45的平面上与宽度wd扩大的pd45相比也不会扩散。结果，pd45可以充分地接收测距用光束35。通过应用相同的措施，pd44也可以充分地接收测距用光束34。利用上述结构，由于可以在维持入射角灵敏度特性的灵敏度的绝对值高的同时使入射角灵敏度特性的入射角的范围变窄，因此可以提高测距精度。
图9是示意性示出根据本发明第二实施例的测距设备的结构的框图。在图9中，测距设备包括：照相机10，其包含光学系统53和内部排列有多个像素的摄像器件12；图像分析部13；以及距离信息获取部14。光学系统53包括例如沿着光轴排列的两个透镜11a和11b，并且在摄像器件12上形成被摄体的光学图像。此外，光学系统53包括配置在两个透镜11a和11b之间的光圈51。光圈51包括与两个测距用光瞳31和32相对应的两个光圈孔52。在摄像器件12中配置有测距用像素12b的情况下，光学系统53和微透镜37被形成为使得光圈51的两个光圈孔52与遮光膜40(开口39)光学共轭。此外，在摄像器件12中配置有摄像/测距用像素12c的情况下，光学系统53和微透镜43被形成为使得光圈51的两个光圈孔52与pd44和45光学共轭。
如上所述，两个光圈孔52限定穿过测距用光瞳31和32的测距用光束34和35。例如，如图10所示，光圈孔52通过限定测距用光束34和35的入射角范围，来实现入射角的范围受到限制的入射角灵敏度特性(以下称为“限制入射角灵敏度特性”)(参见在图10中利用实线表示的特性)。此时，利用we来表示宽度wc扩大的开口39或者各自的宽度wd扩大的pd44和45的入射角灵敏度特性(以下称为“宽度扩大的情况下的入射角灵敏度特性”)(参见利用虚线表示的特性)的半值宽度。半值宽度we表示在宽度扩大的情况下的入射角灵敏度特性的灵敏度变为最大灵敏度ha的一半灵敏度hb时的入射角范围。此外，利用wf来表示限制入射角灵敏度特性的半值宽度。半值宽度wf表示在限制入射角灵敏度特性的灵敏度变为最大灵敏度ha的一半灵敏度hb时的入射角范围。在本实施例中，定义各光圈孔52的大小(视差方向上的宽度)，使得限制入射角灵敏度特性的半值宽度wf变得小于在宽度扩大的情况下的入射角灵敏度特性的半值宽度we。具体地，在摄像器件12中配置有摄像/测距用像素12c的情况下，如图11所示，利用wg来表示各光圈孔52在视差方向(图11中的横方向)上的宽度。此时，定义宽度wg，使得宽度wg变得小于光圈51处的具有与宽度扩大的情况下的入射角灵敏度特性的半值宽度we相对应的入射角的光束(参见在图11中利用虚线表示的光束)在视差方向上的宽度wh。此外，定义两个光圈孔52的大小、形状或位置，使得测距用光束34和35具有相同的偏光状态和相同的波长。
图12a～12e是示出在沿光轴方向观看时的图9中的光圈的图。在图12a中，盘状光圈51包括被配置成在视差方向(图12a中的横方向)上在直径内彼此分离的两个光圈孔52(第一光圈孔孔和第二光圈孔孔)。设置两个光圈孔52的位置、大小和形状以实现测距用光瞳31和32的位置、大小和形状。应当注意，如图12a所示，在光圈51仅包括两个光圈孔52的情况下，没有生成摄像用光束36。因而，测距用光束34和35在用于测量到被摄体的距离的同时，用于形成被摄体图像。如图12b所示，光圈51除包括两个光圈孔52以外，还可以在大致中央处包括另一光圈孔54(第三光圈孔)。在这种情况下，设置另一光圈孔54的位置、大小和形状以实现摄像用光瞳33的位置、大小和形状。此外，没有特别限制各光圈孔52的形状，但如图12c所示，纵长、即各光圈孔52在与视差方向垂直的方向(图12c中的纵方向)上的长度相对于视差方向上的长度的比可以为1以上。在这种情况下，由于各个测距用光瞳31和32的高宽比可被设置为1以上，因此可以通过增加分别穿过测距用光瞳31和32的测距用光束34和35的量来提高从测距用光束34和35所获得的图像信号的强度。此外，如图12d所示，光圈51可以包括用于调整另一光圈孔54的开口的光圈机构55。光圈机构55包括两个遮蔽叶片56，并且各遮蔽叶片56在图12d中的纵方向上可滑动。因此，由于可以使穿过摄像用光瞳33的摄像用光束36变窄，因此可以增加被摄体的焦深并且可以容易地获得高质量的被摄体图像。此外，如图12e所示，光圈51可以包括用于调整光圈孔52的开口的光圈机构57。各光圈机构57包括两个遮蔽叶片58，并且各遮蔽叶片58在图12e中的纵方向上可滑动。因此，可以自由地调整分别穿过测距用光瞳31和32的测距用光束34和35的光量。
应当注意，在本实施例中，将光圈(开口光圈)51的开口描述为“光圈孔52”，但光圈51的开口可以不必是贯通孔。也就是说，光圈可以包括上面形成有遮光膜的透明玻璃板，并且可以包括液晶快门或电致变色装置。此外，在本实施例中，例示了透过型开口光圈作为光圈51，但作为代替，可以应用反射型开口光圈。在这种情况下，可以应用镜上的除光圈孔以外的部分被吸光材料覆盖的构件，或者可以应用板(金属板)上的没有反射光的光圈孔的一部分被镜覆盖的构件。在权利要求书和说明书中，与反射型开口光圈的光圈孔相对应的部分(透明玻璃和镜)也将被解释为“光圈孔”。
接着，将说明本发明的第三实施例。在本发明的第三实施例中，将根据第一实施例和第二实施例的测距设备应用于作为移动物体的汽车。
图13和14是示意性示出作为根据本实施例的移动物体的汽车的驾驶辅助系统的结构的图。
在图13和14中，车辆59包括：测距设备60，其包含照相机10、图像分析部13和距离信息获取部14；以及车辆位置判断部61。车辆位置判断部61基于测距结果(例如，测距设备60所计算出的到前方车辆的距离)来判断车辆59相对于该前方车辆的相对位置。应当注意，图像分析部13、距离信息获取部14和车辆位置判断部61可以由软件(程序)或硬件体现，并且可以通过软件和硬件的组合体现。例如，可以以如下方式实现各部的处理：将程序存储在嵌入照相机10内的计算机(微计算机或fpga等)的存储器中，并且利用计算机执行该程序。此外，设置有使用逻辑电路来实现各个部所执行的处理的一部分或全部的诸如asic等的专用处理器。
此外，车辆59包括车辆信息获取装置62(移动物体信息获取装置)、控制装置63和警报装置64。车辆位置判断部61连接至车辆信息获取装置62、控制装置63和警报装置64。车辆位置判断部61从车辆信息获取装置62获取包括车辆59的车速(速度)、横摆率和舵角的参数中的任一个作为车辆信息(移动物体信息)。控制装置63基于车辆位置判断部61的判断结果来控制车辆59。警报装置64基于车辆位置判断部61的判断结果来产生警报。控制装置63例如是ecu(发动机控制单元)。例如，在作为车辆位置判断部61的判断结果、与前方车辆的碰撞可能性高的情况下，控制装置63通过在车辆59中启用制动器、禁用加速器并且抑制发动机输出来进行躲避碰撞并减轻损坏的车辆控制。此外，例如，在与前方车辆的碰撞可能性高的情况下，警报装置64通过产生诸如声音等的警报、在汽车导航系统等的画面上显示警报信息、或者使安全带或方向盘振动等，来警告用户。在本实施例中，测距设备60的照相机10拍摄车辆59的周边(例如，车辆的前方或后方)的图像。应当注意，控制装置63可以基于车辆信息获取装置62所获取到的车辆信息和测距设备60的测距结果来控制车辆59。
图15是示出作为本实施例的驾驶辅助系统的操作示例的碰撞躲避处理的流程图。将根据该流程图来说明驾驶辅助系统的各部的操作。
首先，在步骤s1中，利用照相机10来获取多个图像(例如，测距所用的两个图像和摄像所用的一个图像)的图像信号。接着，在步骤s2中，从车辆信息获取装置62获取车辆信息。这里的车辆信息是包括车辆59的车速、横摆率和舵角的参数中的任一参数的信息。接着，在步骤s3中，对所获取到的图像信号至少之一进行特征分析(识别处理)。具体地，图像分析部13分析图像信号的诸如边缘量、边缘方向、浓度值、颜色值和亮度值等的特征量，以识别(检测)被摄体(汽车、自行车、行人、车道、护栏和制动灯等)。应当注意，可以对图像信号中的各个图像信号或者仅一部分图像信号(例如，摄像所用的仅一个图像信号)进行图像的特征量分析。
随后，在步骤s4中，利用距离信息获取部14来获取照相机10所获取到的图像的视差，以获取到所拍摄到的图像上所存在的被摄体的距离信息。利用距离信息获取部14来获取该距离信息。应当注意，由于众所周知视差计算方法是ssda法或面积相关法，因此在本实施例中将不详细说明该视差计算方法。应当注意，可以通过以顺次地或并行地执行步骤的方式执行步骤s2、s3和s4来获取视差。这里，可以根据在步骤s4中获得的视差以及照相机10的内部参数和外部参数来计算到所拍摄到的图像上所存在的被摄体的距离或者散焦量。在本实施例中，将距离信息定义为与到被摄体的距离、散焦量和视差(相位偏差量)有关的被摄体距离信息。应当注意，距离信息也被称为深度信息。
接着，在步骤s5中，通过判断所获得的距离信息是否在预定范围内、即在所设置的距离内是否存在障碍物，来判断前方或后方的碰撞的可能性。在所设置的距离内存在障碍物的情况下，判断存在碰撞可能性，并且控制装置63进行车辆59的躲避操作(步骤s6)。具体地，将碰撞可能性通知给控制装置63和警报装置64。此时，控制装置63控制车辆59的移动方向和移动速度至少之一。例如，生成并发送使制动器工作的控制信号、即使车辆59的车轮制动的控制信号，由此抑制发动机的输出。这样，避免了与前方车辆的碰撞并且降低了碰撞可能性。此外，警报装置64从声音、图像或振动方面向用户通知风险。接着，本处理终止。另一方面，在所设置的距离内不存在障碍物的情况下，判断为不存在碰撞可能性并且本处理终止。
根据图15的处理，可以有效地检测障碍物。也就是说，可以通过正确地检测障碍物来躲避碰撞并减少损坏。
应当注意，在本实施例中，基于距离信息来躲避碰撞，但本发明可以应用于如下的车辆：基于距离信息，该车辆在跟随前方车辆的同时行驶，在保持车道中央的同时行驶，或者在抑制背离车道的同时行驶。此外，本发明还可以还应用于车辆59的自主操作以及车辆59的驾驶辅助。另外，本发明的测距设备60的应用不限于诸如汽车等的车辆，并且还可以是例如船舶、飞机、无人机或工业机器人等的移动物体。此外，本发明的测距设备60的应用不限于移动物体，而且还可以是用在十字路口监视系统和智能交通系统(its)中的广泛使用的被摄体识别装置。例如，本发明还可以应用于作为十字路口监视系统中的非移动物体的十字路口监视照相机。
附图标记列表
10照相机
11,53光学系统
12摄像器件
12a摄像用像素
12b测距用像素
12c摄像/测距用像素
13图像分析部
14距离信息获取部
30出射光瞳
31,32,47,48测距用光瞳
33摄像用光瞳
34,35测距用光束
36摄像用光束
37,41,43微透镜
38,42,44～46,49,50pd
39,65开口
40,66遮光膜
51光圈
52光圈孔
54另一光圈孔
59车辆
60测距设备