专利名称：测距装置、三维计测方法以及光源装置的制作方法
技术领域：
本发明涉及一种能对被拍摄体的三维信息进行摄影的测距装置(能测定距离图像的三维照相机)
在此，把照相机的光学中心作为原点，把照相机的光轴方向设定为Z轴，在水平方向上设定X轴，在垂直方向上设定Y轴，把从光源看上去的着眼点方向与X轴所成的角设定为φ，把从照相机看上去的着眼点方向与X轴所成的角设定为θ，把光源位置设为(0，-D)即把基线长设为D，这样一来，就能根据三角测量的原理，利用Z＝Dtanθtanφ/(tanθ-tanφ) (1)进行计算。为了获得角度φ，利用光源52a、52b，投射给定的光图像。
作为光源52a、52b，例如纵向配置如图22(a)所示的氙闪光灯等闪光光源57、58，使用向左右错开后方反射板59、60的方向的闪光光源。图22(b)是图22(a)的俯视图。光源52a、52b分别在范围A、B内辐射光。
图23是表示由这样的光源52a、52b所辐射的光图像的图。在图23中，在图中的箭头方向表示把光投射到假定的屏幕Y上时的亮度。即，由各光源52a、52b所投射的光具有中心轴上最亮，而越靠近周边越暗的特性。具有这种特性是因为把半圆筒形的反射板59、60设置在闪光光源57、58的背后。而且，因为反射板59、60 的方向错位，所以各光源52a、52b的投光范围部分重叠。
图24是表示图23的H方向的投射光角度φ与光强之间关系的图。所谓的H方向是指在包含光源中心和透镜中心的多个面中的任意的面S与假定的屏幕Y之间的交叉线方向。在图24的α部分，由光源52a、52b所投射的光图像，一个右侧相对明亮，另一个左侧相对明亮。但是，光图像的亮度在高度方向(Y轴方向)上也不相同。
图25是表示图24的α部分的2种投射光的光强比与投射光角度φ之间关系的图。如图25所示，在α部分中，光强比与角度φ之间的关系是1对1对应的。
为了进行距离测定，预先在离开光源给定的距离并且垂直竖立的平面上交替投射两种光图像，从利用照相机1对其反射光进行摄象而获得的结果，对每个Y坐标(对应CCD上的Y坐标)取得如图25那样的光强比与投射光角度之间的关系数据。所谓每个Y坐标是指包含光源中心和透镜中心的多个面中的每一个面。而且，如果配置光源52a、52b，使连接照相机51的透镜中心和光源52a、52b的线段与CCD摄像面的X轴平行，则通过使用由每个Y坐标所决定的光强比与投射光角度的关系数据，就能正确地进行距离计算。
当把图21的点P作为着眼点时，通过使用从照射两种光图像时的摄像图像所得的点P的亮度与对应点P的Y坐标的图25的关系，来计测从光源看上去的点P的角度φ。而且，从照相机看上去的点P的角度θ，由在图像中的位置(即点P的像素坐标值)与照相机参量(焦点距离、透镜系的光学中心位置)决定。而且，根据式(1)，从这两个角度φ、θ和光源位置与照相机光学中心位置之间的距离(基线长)D就可以计算出距离。
这样，如图24的α部分那样，如果有生成按投射方向单调增加并单调减少那样的光源，就能简单地对被拍摄体进行三维计测。
但是，如果按照现有的构成，则存在以下问题即虽然使用氙闪光灯作为光源，但由于氙闪光灯只有5000次左右的发光寿命，所以当长期使用测距装置时，就需要频繁地进行闪光灯更换等维修工作。而且，由于闪光灯的发光量稳定度只有百分之几，也不可能获得更高的测量精度。
而且，还存在以下问题即虽然也有如LED(发光二极管)等寿命较长的光源，但由于每个LED的发光量较小，所以单独使用时发光量不足，不能进行稳定的三维计测。
而且，按照现有的构成，由于投射的光图像是由发射板的形状决定的，所以原则上只能生成一组光图像。
为了实现以上所述目的，本发明1的测距装置通过对被拍摄体进行光投射并接收其反射光，来测定所述被拍摄体的三维位置，包括设有多个光源的光源阵列部；通过对所述光源阵列部中各光源的发光状态进行控制，来使所述光源阵列部至少投射两种光图像的光源控制部。
如果根据本发明1，则由于是从光源阵列部所具有的多个光源来投射光图像的，所以即使在每一个光源的光量较小的情况下，从整体上来说也能把足够的光量照射到被拍摄体上，从而能实施稳定的三维计测。而且，由于是通过对光源阵列部各光源的发光状态进行控制来生成光图像的，所以无需机械装置，利用电气性能就能生成任意的光图像。
在本发明2中，使所述本发明1测距装置的光源为LED。
如果根据本发明2，则由于LED具有光量小但寿命较长的特征，所以通过利用LED来构成光源阵列部，就能实现能够长期使用的测距装置。
在本发明3中，使所述本发明1测距装置的光源阵列部的各光源呈点阵状或蜂巢状配置。
在本发明4中，使所述本发明1测距装置的光源阵列部的各光源在曲面上配置。
在本发明5中，使所述本发明1测距装置的光源阵列部的各光源在平面上配置，并且使其光轴呈放射状。
在本发明6中，使所述本发明1测距装置的光源阵列部的光图像投光范围在光图像形成方向上被分割为多个范围，把与所分割的各范围相关的光源群排列设在与光图像形成方向垂直的方向上。
在本发明7中，使所述本发明1测距装置的光源控制部按照每个光源的位置来控制各光源的发光强度并生成光图像。
在本发明8中，使所述本发明1测距装置的光源控制部按照每个光源的位置来控制各光源的发光时间并生成光图像。
在本发明9中，使所述本发明7或8测距装置的光源控制部在投射两种光图像时，对设置在所述光源阵列部端点附近的光源的发光强度或发光时间进行修正，从而使能进行三维位置测定的空间范围进一步增大。
在本发明10中，设置多个所述本发明1测距装置的光源阵列部，并使所设置的所述多个光源阵列部的光投射方向互不相同。
在本发明11中，所述本发明1的测距装置具有根据反射光图像来进行三维计测的三维计测部，所述三维计测部预先储存近似所述光源阵列部所投射的两种光图像的光强比为一定的空间轨迹的计算公式参数，并从投射所述两种光图像时的各个反射光图像来求出着眼象素的亮度比，根据所求出的着眼象素的亮度比和所储存的空间轨迹的参数来进行三维计测。
在本发明12中，所述本发明1的测距装置具有根据反射光图像来进行三维计测的三维计测部，所述三维计测部就不同的进深值来预先储存多幅在进深值一定的平面上表示从所述光源阵列部投射的两种光图像的光强比的亮度比图像，从投射所述两种光图像时的各个反射光图像来求出着眼象素的亮度比，比较所求出的着眼象素亮度比和所述各亮度比图像的所述着眼象素坐标附近的光强比来进行三维计测。
在本发明13中，所述本发明1的测距装置具有根据反射光图像来进行三维计测的三维计测部，所述三维计测部就不同的进深值来预先储存多幅在进深值一定的平面上表示从所述光源阵列部投射的两种光图像的光强比的亮度比图像，在所述亮度比图像中设定代表点，并根据所述多幅亮度比图像以及对应各个亮度比图像的进深值来决定各代表点的光强比和进深值的关系式的参数，从投射所述两种光图像时的各个反射光图像来求出着眼象素的光强比，使用着眼象素的坐标值、所述着眼象素的光强比、和所述各代表点的光强比和进深值的关系式的参数来进行三维计测。
而且，本发明14的三维计测方法，是向被拍摄体至少投射两种光图像，并根据其反射光图像来测定所述被拍摄体的三维位置；就所述两种光图像，预先储存近似其光强比为一定的空间轨迹的计算公式参数，并从投射所述两种光图像时的各个反射光图像中求出着眼象素的亮度比，根据所求出的着眼象素的亮度比和所储存的空间轨迹的参数来进行三维计测。
而且，本发明15的三维计测方法，是向被拍摄体至少投射两种光图像，并根据其反射光图像来测定所述被拍摄体的三维位置；就不同的进深值来预先储存多幅在进深值一定的平面上表示所述两种光图像的光强比的亮度比图像，从投射所述两种光图像时的各个反射光图像来求出着眼象素的亮度比，比较所求出的着眼象素亮度比和所述各亮度比图像的所述着眼象素坐标附近的光强比来进行三维计测。
而且，本发明16的三维计测方法，是向被拍摄体至少投射两种光图像，并根据其反射光图像来测定所述被拍摄体的三维位置；就不同的进深值来预先储存多幅在进深值一定的平面上表示所述两种光图像的光强比的亮度比图像，在所述亮度比图像中设定代表点，根据所述多幅亮度比图像以及对应各个亮度比图像的进深值来决定各代表点的光强比和进深值的关系式的参数，从投射所述两种光图像时的各个反射光图像来求出着眼象素的光强比，使用着眼象素的坐标值、所述着眼象素的光强比、和所述各代表点的光强比和进深值的关系式的参数来进行三维计测。
而且，本发明17的测距装置通过对被拍摄体进行光投射并接收其反射光，来测定所述被拍摄体的三维位置，包括至少投射两种光图像的光投射部；通过使由所述光投射部投射的光图像组发生变化，来改变计测范围或计测精度的投射光图像控制部。
如果根据本发明17，则通过使由所述光投射部投射的光图像组发生变化，就能控制计测范围或计测精度，从而能实现各种各样的测定模式。
在本发明18中，使所述本发明17的测距装置的光投射部包括排列有多个光源的光源阵列部；通过对所述光源阵列部中各光源的发光状态进行控制，来使所述光源阵列部投射光图像的光源控制部；使所述投射光图像控制部向所述光源控制部发出指示，指示使所述光源阵列部投射的光图像组的种类。
在本发明19中，使所述本发明17的测距装置的投射光图像控制部具有投射具有通常投光范围的第一光图像组的通常测定模式；向多个方向投射投光范围比所述第一光图像组窄的第二光图像组的精密测定模式。
在本发明20中，使所述本发明17的测距装置的投射光图像控制部具有在计测开始时投射具有相对较宽的投光范围的第一光图像组，而在其后针对所述相对较宽的投光范围中的特定区域投射具有相对较窄的投光范围的第二光图像组的测定模式。
而且，本发明21的光源装置，其构成是排列有多个光源，能通过对各光源的发光状态进行控制来投射给定的光图像，并且，把各光源配置在平面上，并使其光轴呈放射状。
而且，本发明22的光源装置，其构成是排列有多个光源，能通过对各光源的发光状态进行控制来投射给定的光图像，并且，光图像的投光范围在光图像形成方向上被分割为多个范围，把与所分割的各范围相关的光源群排列设有在与光图像形成方向垂直的方向上。
图1是表示本发明实施例1的测距装置构成的框图。
图2是表示光源阵列部构成一例的图，图2(a)是剖面图，图2(b)、图2(c)是俯视图。
图3是表示光源阵列部一例的外观图。
图4(a)、图4(b)是表示对光源的发光强度进行控制从而生成的两种光图像的图。
图5是表示光图像切换时间的图。
图6(a)、图6(b)是表示对光源的发光时间进行控制从而生成的两种光图像的图。
图7是用于说明本发明实施例的三维计测方法的图，是表示照相机y坐标一定的平面上的光源阵列部、照相机以及被拍照体的位置关系的图。
图8是表示近似光强比为一定的空间轨迹的曲线的图。
图9是用于说明本发明实施例三维计测方法的图，是表示预先准备的亮度比图像的图。
图10是表示计算出亮度比图像的着眼象素附近平均亮度比的图。
图11是表示亮度比的差(ρm-ρ0)与各亮度比图像进深值之间关系的曲线图。
图12是表示本实施例三维计测方法的其他例子的图。
图13是表示在三维计测中使用的代表点的图。
图14是用于距离计算的有限要素模型的图。
图15是就光源阵列发光光量的修正进行说明的图。
图16是表示通过实验测定而获得的光图像与亮度比之间关系的曲线图。
图17是表示本发明实施例2的测距装置构成的框图。
图18表示本发明实施例2中的对计测范围进行控制的一个例子，其中，图18(a)是对计测范围的大小进行切换的情况，图18(b)是对计测范围的位置进行切换的情况。
图19是本发明实施例2测定模式的一个例子。
图20是表示有机EL元件构造的图。
图21是表示以往测距装置构成的图。
图22是表示图21的光源构成一例的图。
图23是表示图21的构成的投射光分布的图。
图24是表示图21构成的光图像和计测范围的曲线图。
图25是表示从图24的曲线图所获得的投射光角度与光强比之间关系的图。
下面，简要说明附图符号。
11-光源阵列部，12-光源控制部，13-距离计算部(三维计测部)，14-投射光图像控制部，20-光投射部。
在图1所示的构成中，从光源阵列部11投射如图23所示的两种光图像，用照相机1对来自被拍摄体的反射光进行摄像，计测被拍摄体的三维位置。
图2是表示光源阵列部11构成一例的图，其中，图2(a)是剖面图，图2(b)、图2(c)是俯视图。在图2所示的光源阵列部11中，使用红外LED(发光二极管)作为光源。如图2(a)所示，把多个LED设置在圆筒面或球面等曲面上。其理由在于LED单体的光辐射范围(辐射角度)约为20度左右，不能在较广的范围内进行光投射，所以要使各LED的光轴为放射状态。
而且，或如图2(b)所示，将LED呈点阵状排列设有在平面上，或如图2(c)所示，将LED呈蜂巢状排列设有在平面上。在图2(c)的情况下，由于每单位面积的LED个数比图2(b)要多，能增大同一面积情况下的光量，所以能进一步缩小光源阵列部11的尺寸。作为光源的排列状态，此外还可以考虑同心圆形状。
图3(a)是表示本发明人试验制作的光源阵列部11一例的外观立体图。在图3(a)中，把200个LED呈蜂巢状排列设有在作为曲面的圆筒面上。
图3(b)是表示本发明人试验制作的作为光源装置的光源阵列部11其他例子的外观图，图3(c)是其剖面图。在图3(c)中，将各LED设置在平面上并使其光轴呈放射状。这样就能通过把LED安装为近似平板状态来缩小光源阵列部11的纵深方向的尺寸。
而且，在图3(a)中，是把LED沿光图像形成方向(在图中为宽度方向)排成一列设置。与此相对，在图3(b)中的构成是把投射光图像的范围分割为左侧和右侧两个范围，使水平方向各列的LED对应所分割的某一投光范围。换言之，把与所分割的各范围相关的光源群(在图中为G1、G2)在与光图像形成方向垂直的方向上排列设有。通过这种构成，就能把光源阵列部11宽度方向尺寸小型化为原尺寸的大约1/2。与图3(a)相比，其构成更接近点光源。
并且，在图3(b)中，使LED群G1、G2分别由3列构成，每隔3列改变一次LED的放射方向，但也可以每隔1列就改变一次LED的放射方向，也可以每隔3列以外的多数列改变一次LED的放射方向。
而且，虽然在图3(b)中是把光图像投光范围分割为两个，但也可以分割为3个以上，也可以纵向排列与各范围相关的光源群。此时，通过增加分割数就能进一步缩小光源阵列部11宽度方向的尺寸。但是由于纵向尺寸反而增大，所以如图15(a)所示那样的光强分布可能会向图像的纵向变动。但是，只要该变动的程度是在利用下面要说明的计算方法就能较精确地近似光强图像的范围内，就可以作为实际光源来加以利用。
图4(a)、图4(b)是表示使用光源阵列部11生成的两种光图像的图。光源控制部12通过按照该LED的位置控制光源阵列部11的各LED的发光强度(亮度)，来生成光图像。在此，通过对给与光源LED的电压(即流动在LED中的电流)进行控制，就能控制其发光强度。图4(a)所示的光图像A为按照列序号使LED的光量单调增加的图像，而图4(b)所示的光图像B为按照列序号使LED的光量单调减小的图像。
如图5所示，光源控制部12结合照相机1的曝光时间来依次交替切换图4所示的光图像A和光图像B。据此，就能从照相机1交替获得投射光图像A时的反射光图像和投射光图像B时的反射光图像。即，把与图24所示的α部分相同的光图像投射到被拍摄体上，交替获得其拍摄结果。
并且，虽然在此为了拍摄动画图像而连续交替投射两种光图像A和B，但在拍摄静止图像时，只要投射光图像A和B各一次，用照相机1拍摄两幅图像就可以了。
而且，虽然在以上所述例子中，为了控制LED的光量而控制LED自身的亮度，但光源控制部12也可以通过按照该LED的位置控制各LED的发光时间，来生成光图像。此时，可以使流动在LED中的电流为一定，可以只控制照相机曝光时间内的各LED的发光时间。
图6(a)、图6(b)是表示通过对光源的发光时间进行控制而生成的两种光图像的图。图中(a)所示的光图像A为按照列序号使LED的发光时间单调增加的图像，而(b)所示的光图像B为按照列序号使LED的发光时间单调减小的图像。在照相机1的曝光时间内，光的投射时间越长，则总计的光量越大，所以能够生成光图像。
当LED自身具有热量时，或由于LED驱动电路的温度特性而使流动在LED中的电流随时间变化时，其亮度发生变化。此时，在控制发光强度时，在所生成的光图像上可能会产生误差。但是，当流动在LED中的电流为一定，改变发光时间来控制光量时，由于LED驱动电路稳定，也能抑制LED自身的发热，所以光图像形状自身几乎不发生变化。因此，在使用反射光强度比的本三维测定方式中，其影响几乎不存在。而且，由于发光强度一定，改变发光时间，所以即使各个LED的性能出现偏差，也能正确地设定光量比。而且，虽然利用LED中的电流来控制光量时，其控制电路是模拟电路，但由于利用数字电路能很容易地实现发光时间控制，所以能提高发光控制的精度。即，通过利用发光时间控制来控制各LED的光量，就能生成精度高、稳定性好的光图像。
下面，说明根据所获得的反射光图像来进行三维计测的方法。它相当于图1的距离计算部13所进行的处理内容。
在此，虽然在本实施例中也可以使用现有技术中说明的计算方法，但现有技术的三维计算是在光源为点光源的前提下使用的方法。因此，如本实施例这样，当使用LED阵列为光源时，由于光源自身具有大小，所以如果原封不动地使用现有方法，可能会产生误差。为此，在此详细说明即使在光源自身具有大小的情况下，也能防止产生误差并正确地进行三维计测的方法。
图7是表示照相机y坐标一定(y1)的平面上的光源阵列部11、照相机1以及被拍照体的位置关系的图。如图7所示，利用曲线群F表示从投射光图像A、B拍摄到的各图像中求出的亮度比的值为ρ(光强比)的一定的位置(ρ＝ρ0，ρ1，ρ2，ρ3，ρ4)。在此，在使用测距装置之前，预先求解与这些曲线近似的方程式f(ρ，x，z)＝0。
方程式f的求解方法如下。在图7中，在照相机1的前面，在各种各样的距离位置(Z＝z0，z1，…)上设置Z坐标一定的平面(作为前面平行面而设置的平面)，使光源阵列部11照射光图像A、B，用照相机1拍摄该图像。
下面，如图8所示，按照对应光图像A、B的图像的每一个像素来求亮度比的值，对于同一y坐标值y0，可把连接亮度比值ρ相同的点的曲线(图8中的点线)应用于回归曲线。在此，也可以不套用回归曲线，使用直线的折线。针对图像的各y坐标预先求解象这样把ρ作为参数的回归曲线式子。即，为了准备进行三维计算，预先储存与光强比ρ为一定的空间轨迹近似的计算式的参变量。
下面，根据所拍摄的图像数据来实施实际的三维计算。
现在，设定所着眼的像素的坐标为(x1，y1)。对坐标(x1，y1)，计算投射光图像A、B时的图像的亮度比值。如果将该亮度比设定为ρ1，则在y＝y1的平面上选择满足ρ＝ρ1等亮度比曲线(图7中的曲线f1)。此时，所选择的曲线f0与通过CCD上的着眼点(x1，y1)和照相机的透镜中心的直线1的交点C成为所求的三维位置。
这样，针对各像素，从2幅图像中求其亮度比，对所着眼的像素，根据其亮度比来决定其对应的等亮度比曲线。而且，通过求出该等亮度比曲线与直线1的交点，就能对所拍摄图像的各像素实施三维测定。
而且，把y项也输入到等亮度比曲线的近似方程式f中，作为f(ρ，x，y，z)＝0，在三维立体空间上应用回归曲线，从亮度比值ρ就能直接决定用于三维计算的曲线f。此时，有时也存在图7的直线1与曲线f没有焦点的情况，但在这种情况下，例如也可以把直线1与曲线f的距离最近的点的平均值或投影在ZX平面上时的交点作为其交点来求出。
下面，说明进行三维计测的其他方法。
如图9所示，在照相机1的前面设置Z值(进深值)一定(Z0)的平面，把光图像A、B投射到该平面上，利用照相机1对各个图像进行拍摄。而且，求出各像素的亮度比的值，预先把表示其亮度比的图像作为亮度比图像C0来储存。同样，对于不同的进深值Z1～Z5，分别储存亮度比图像C1～C5。
下面，根据所拍摄的图像数据来实际进行三维计测。
现在，设定所着眼的像素(着眼象素)的坐标为(x1，y1)。对坐标(x1，y1)，设定投射光图像A、B时的图像的亮度比值为ρ0。此时，如图10所示，在预先准备的各亮度比图像Ci(i＝0～5)中，求出亮度比的平均值ρm。而且，通过比较所着眼的像素的亮度比ρ0与该坐标附近的亮度比平均值ρm来进行三维位置计测。
图11是表示亮度比的差(ρm-ρ0)与各亮度比图像进深值之间关系的曲线图。如图11所示，把假定(ρm-ρ0)为0的位置，即在所着眼的像素(x1，y1)计测的亮度比ρ0与该坐标附近的亮度比平均值ρm相等的亮度比图像的Z值Zm，作为该着眼像素(x1，y1)的进深值来求出。此时，不需要预先求回归曲线，利用单纯的计算就能实现三维计测。
图12是表示本实施例三维计测方法的其他例子的图。在图12中，100是预先储存有关多个进深值的亮度比图像的存储器，S11是进深值计算用参数计算步骤，S12是根据光图像A和光图像B来计算光强比图像的光强比计算步骤，S13是进深值计算步骤，S14是三维坐标值计算步骤。把存储器100设置在图1构成的距离计算部13上，利用该距离计算部13实施各步骤S11～S14。
与图9所示的所述三维计测方法相同，存储器100预先储存有关多个进深值的亮度比图像。
下面，就三维坐标值中进深值Z的计算进行说明。如图13所示，进深值Z的计算是使用呈矩形状设置在亮度比图像中的节点(代表点)的光强比ρ与进深值Z的关系式，利用插值计算来对各像素进行计算的。即，在图13中，使用通过节点与Z轴平行的直线(节线)上的光强比ρ与进深值Z的关系式，利用插值计算来决定节线间的光强比ρ与进深值Z的关系。
下面，就节线的光强比ρ与进深值Z的关系式的计算方法(即校准方法)进行说明。
节线的光强比ρ与进深值Z的关系是通过应用光强比的空间分布模型，针对以多个距离值配置的平面上的光强比来求出的。据此，就能明确光强比ρ与进深值Z的关系，从而能计算出进深值。
图14表示用于距离计算的有限要素模型。图中，x、y是像素坐标值，Z是进深值(三维坐标值)。作为由垂直于xy面的4条节线构成的4角柱来定义要素。在该模型中，根据xyz三维空间的光强比ρ的分布求出距离Z。即，可以观测ρ(x、y、Z)，对其求出Z。
在本实施例中，在各节线上，作为〖算式1〗，把光强比ρ与距离Z的关系用三元方程式模型化。在上式中ρ是光强比，p＝(a，b，c，d)t是参数向量。如图13所示，通过在二维平面上设置节线，相对于参数向量p的任意变化，能够进行保持一定精度的距离计测。即，如果把节线设得较密，则虽然增加了计算量但能提高进深值的计测精度，反之，如果把节线设得较疏，则虽然进深值的计测精度下降了但能降低计算量。
在节线间的像素坐标值中，由节线的参数向量p0～p3的线形插值来决定参数向量p，并设置〖算式2〗。在此，是〖算式3〗，s，t是有关x方向、y方向的线形重合。决定各节线的参数向量p0、p1、p2、p3，使有关预先储存的多个平面的距离误差在各要素内为最小，即，使〖算式4〗最小化。在此，如图14所示，W表示用4条节线包围的要素的底面区域，n是设置在Z方向的平面的数量。从使式(4)最小化的条件、〖算式5〗变成〖算式6〗。对此进行整理，就能得到〖算式7〗。以上所述的是有关局部要素的联立方程式。关于由多个要素构成的整个系统，对局部要素的联立方程式进行加法运算来决定整个系统的联立方程式，通过对其求解，就能全部求出各节线的参数a、b、c、d。
对于宽640像素、高480像素的亮度比图像，如果把节线间隔设定为纵横10像素，则成为配置65×49＝3185个节线。由于各节线具有a、b、c、d这4个参数，所以通过解3185×4＝12740元的联立方程式，就能决定有关输入图像的各像素的进深值(Z)计算中所需要的参数。
在进深值计算用参数计算步骤S11中，对于预先储存在存储器100中的多幅较正用亮度比图像，通过实施所述计算来决定进深值计算所需的参数。
在光强比计算步骤S12中，对于输入图像(光图像A、光图像B)，计算每个像素的光强比ρ。
在进深值计算步骤S13中，使用着眼像素的坐标值x、y与着眼像素的光强比ρ和附近4条节线的参数，利用对式(2)、(3)的计算，算出各像素的进深值Z。
在三维坐标值计算步骤S14中，从像素坐标值x、y和进深值Z计算剩余的三维坐标值X、Y。使用摄像系的几何学特性(每个像素的视角、透镜偏差)来进行从图像坐标值x、y和进深值Z向三维坐标值X、Y的变换。
并且，通过对输入的光图像A、B和用于校正用光强度比计算的多幅图像加上低通滤波器，就能降低图像中所包含的干扰的影响。而且，即使给进深值加上低通滤波器或中间滤波器，也能获得相同的效果。
并且，如果缩短节点的间隔，则计算时使用的参数数量增加，但距离测定精度提高，反之，如果增大节点的间隔，则参数数量减少，但距离测定精度下降，根据现在的实验结果可知，对于纵向480个像素、横向640个像素的图像，即使把节点间隔扩大到纵横50像素的间隔，距离测定精度也几乎不下降。
利用以上这样的三维计算，即使在光源不是点光源而是如本实施例的光源阵列部11那样，具有给定大小的情况下，也能正确地进行三维计测。当然，即使在使用点光源的情况下，也可以利用在此所表示的三维计测方法。而且，不用说，即使是对使用光源阵列以外的、具有给定大小的光源的装置，在此所示的方法也同样是有效的。
图15(a)是表示向设在照相机前方的平行面上投射如图4所示的光图像A、B时的亮度比分布的曲线图。而图15(b)表示光图像A时的光源阵列部11的各LED的发光强度。
由图15(a)可知，作为亮度比的变化单调减小(或单调增加)的部分，即用于三维计测的范围局限于图像光照射范围中的α部分。这是因为在图像光的照射范围的端点附近，光源阵列部11的光量降低，光量变化开始呈非线性。即，各LED的辐射角度相互重合，利用它们相互相加来实现光图像均匀的光量变化，但在阵列的端点附近，能进行有效相加的LED个数减少，所以光量相对地降低。而且，还有一个原因是当用照相机1拍摄时，在图像周围，由于透镜周边减光而使受光量减少。
由于这样的原因，能用于三维计测的范围就被限定在比图像光的照射范围更窄的范围内。因此，在这里，使用如图15(c)所示的修正系数对各LED的光量进行修正。
具体地说，就是把如图15(c)所示的修正系数乘以对应如图15(b)所示的光图像的光量控制值之后的值作为新的光量控制值。不改变两种光图像的光量比，而把光源阵列部11端点附近的光源光量与中心部的光源光量进行比较，以给定的比率使其增大，控制光源阵列部11端部的光量下降，并扩大如图15(a)所示的α部分的范围。即，如果对设在光源阵列部11端点附近的光源的发光强度进行修正，由于亮度较大的空间范围增大，而且亮度比单调变化的空间范围增大，所以能进行三维空间位置计测的空间范围就会增大。
图16是表示本发明人通过实验测定而获得的光图像与亮度比之间关系的曲线图。图中，(a)是修正前的数据，(b)是修正后的数据。如以上所述的那样，通过进行修正，在修正前，如图16(a)所示，峰值点与端部附近最小点之间的亮度差d1较大，其周边部呈不能进行计测的状态，但在修正后，如图16(b)所示，能一面使亮度比保持与图16(a)相同，一面降低峰值点与端部附近最小点之间的亮度差d2，并能扩大可进行计测的范围。
并且，除了发光强度之外，当通过控制发光时间来生成光图像时，通过把如图15(c)所示的修正系数乘以该发光时间，也能取得同样的效果。实施例2图17是表示本发明实施例2的测距装置构成的框图。图中，对与图1共同的构成要素，使用与图1相同的符号。在图17的构成中，还设有所述投射光图像控制部14，它向光源控制部12发指示，指示使所述光源阵列部11投射的光图像组的种类。利用光源阵列部11以及光源控制部12构成光投射部20。
本实施例的特征是投射光图像控制部14通过改变所投射的光图像组，就能改变计测范围和计测精度。并且，本实施例的基本动作与实施例1相同，投射如图4所示的两种光图像，利用照相机1对来自被拍摄体的反射光进行摄象，计测被拍摄体的三维位置。三维计测方法也与实施例1同样实现。投射光图像控制部14按照向光源控制部12指示的光图像组的种类，把三维计测所需的计算参数信息提供给距离计算部。
图18表示对计测范围进行控制的一个例子。图18(a)对计测范围的大小进行切换。即，①的情况与实施例1相同，在光源阵列部11的整个光投射范围内改变光强，获得其结果的计测范围AR①变得最大。对此，②的情况是只在光投射范围的近似中心的一部分范围内改变光强，因此，AR②变窄。但在②的情况下，虽然计测范围变窄，但在测定范围内的光强变化比①的情况要大，所以其计算精度也比①的情况提高了。
而且，图18(b)是对计测范围的位置进行切换的情况。即，③的情况下，光图像投射范围靠近左侧的一部分成为AR③，④的情况下，靠近右侧的一部分成为AR④。即，在照相机的视野范围内，能任意移动计测范围。换言之，这也就是相当于能够改变计测方向。
使用光源阵列部11的情况下，通过对提供给各光源的供给电压进行控制，利用电子性能极容易生成图18所示的任意的光图像。据此，就能够使测距装置具有各种各样的测定模式。
图19是测定模式的一个例子。如图19(a)所示，将计测范围分割为多个(在图中为7个)，对各计测范围，投射如图18(b)所示的光图像，如依次进行三维计测并合成这些结果，就能在整个照相机的视野范围内进行高精度的三维计测。即，与投射具有图18(a)的①那样的通常的投光范围的第一光图像组的通常测定模式不同，如图19(a)所示，能设置向多个方向投射投光范围比该第一光图像组窄的第二光图像组的精密测定模式。
而且，也可以如图19(b)所示的那样，首先，在计测初始时，在整个照相机的视野范围内投射光图像，进行三维计测；然后，从所获得的图像数据中特定出有兴趣的部分，对该特定的区域投射具有较窄投光范围的第二光图像组，进行高精度的计测。使之具有进行这种智能动作的测定模式也是可能的。
如以上所述，根据本实施例就能依靠电子性能来改变进行三维计测的范围和方向。而且，还能根据需要对三维计测的精度进行控制。
而且，在本实施例中，虽然是使用光源阵列部来生成任意的光图像，但，例如也可以用电反射镜等扫描点光源那样的构成来生成任意的光图像。即，如果使反射镜扫描时的光源的光强随时间可变，也能得到同样的效果。而且，即使使用动画重放用的投影仪也能生成同样的光图像。即，只要使投影仪表示的图像成为图18所示那样的光图像就可以实现。
而且，在本实施例中，也可以设置多个光源阵列部，使各光源阵列部的光投射方向相互不同。据此，就能把光图像投射到更广的空间范围。
此外，虽然在本实施例中，是按时间分割来生成多个光图像A、B的，但通过使用波长相互不同的光源也能同时照射两种光图像。此时，例如也可以在光源阵列部11中，均一混合设置两种波长不同光源，使用两种波长的光源分别生成光图像A、B。但是，在这种情况下，在照相机一侧，就需要滤波器等用来选择波长的机构。而且，即使使用能输出多种波长的光的光源，也能够实现同样的构成。
而且，即使使用LED以外的其他光源构成本发明的光源阵列部，例如使用有机EL(场致发光)元件等也能实现同样的构成效果。
图20是表示有机EL显示器一个像素构造的图。如图20所示，有机EL元件由阳极和阴极夹入有机薄膜的结构来形成，如果给其提供直流电压，则从阳极注入空穴，从阴极注入电子，在有机薄膜中发生空穴与电子的再结合，此时产生的能量对有机材料进行激发，产生有机材料固有色的发光。由于至少一方电极(此时为阳极)是透明的，所以从有机材料放射出的光就输出到外部。
把如图20所示的元件作为RGB各象素，通过二维配置形成有机EL显示器。这是与图3所示的光源阵列部相同的结构，因此，能生成本实施例所示那样的光图像。此时，如果给各象素配置微型透镜，则光的扩散变窄，能更有效地进行光的投射。
而且，通过增大单一元件的结构，也可以制作出面发光的光源。此时，通过按照电极位置来外加不同的电压，也能获得如图15那样的光分布。
而且，在各实施例中说明的测距装置能对被拍摄体的三维位置进行测定，所以能够用于例如使用人的虹膜来进行个人认证的装置。此时，首先，用测距装置测定人眼睛的三维位置，使照相机面对该位置正确地进行图象放大，拍摄较大的人的虹膜图像。而且，使用所拍摄的虹膜图像进行认证处理。或者，测距装置也可以用于被拍摄体的立体形状数据的制作。此时，以利用测距装置测定的进深图像为基础，用在三维CG(计算机制图)中所使用多角表现来表现被拍摄体。据此，就能把被拍摄体的立体形状作为一般的CG数据来进行处理。
如以上所述的那样，如果根据本发明，则即使在每一个光源的光量较小的情况下，从整体上来说也能把足够的光量照射到被拍摄体上，从而能实施稳定的三维计测。而且，无需机械装置，利用电气性能就能生成任意的光图像。 Z＝Xp…(12)算式2p＝(1-s)(1-t)p0+s(1-t)p1+(1-s)tp2+stp3…(13)算式3 ∂J∂p1=2Σk=1nΣW∈x,ysx(1-ty)Xxyt(Xxyp-Zk)=0]]>∂J∂p2=2Σk=1nΣW∈x,y(1-sx)tyXxyt(Xxyp-Zk)=0]]>∂J∂p3=2Σk=1nΣW∈x,ysxtyXxyt(Xxyp-Zk)=0]]>…(16) =Σk=1nΣW∈x,y(1-sx)(1-ty)XxytZkΣk=1nΣW∈x,ysx(1-ty)XxytZkΣk=1nΣW∈x,y(1-sx)tyXxytZkΣk=1nΣW∈x,ysxtyXxytZk----(17)]]>算式权利要求
1.一种测距装置，通过把光投射到被拍摄体上并接收其反射光，对所述被拍摄体的三维位置进行测定，其特征在于包括排列设有多个光源的光源阵列部；通过对所述光源阵列部各光源的发光状态进行控制，使所述光源阵列部至少投射两种光图像的光源控制部。
2.根据权利要求1所述的测距装置，其特征在于所述光源是LED。
3.根据权利要求1所述的测距装置，其特征在于把所述光源阵列部的各光源设置成点阵形状或方格花纹形状。
4.根据权利要求1所述的测距装置，其特征在于把所述光源阵列部的各光源设置在曲面上。
5.根据权利要求1所述的测距装置，其特征在于把所述光源阵列部的各光源设置在平面上，并使其光轴呈放射状态。
6.根据权利要求1所述的测距装置，其特征在于在光图像形成方向上，把光图像的投光范围分割为多个范围，把有关所分割的各范围的光源群排列设有在与光图像形成方向正交的方向上。
7.根据权利要求1所述的测距装置，其特征在于所述光源控制部按照该光源的位置对各光源的发光强度进行控制，生成光图像。
8.根据权利要求1所述的测距装置，其特征在于所述光源控制部按照该光源的位置对各光源的发光时间进行控制，生成光图像。
9.根据权利要求7或8所述的测距装置，其特征在于当所述光源控制部投射两种光图像时，对设在所述光源阵列部的端部附近的光源的发光强度或发光时间进行修正，使能进行三维位置测定的空间范围进一步增大。
10.根据权利要求1所述的测距装置，其特征在于设置多个所述光源阵列部，并使所述多个光源阵列部的光投射方向相互不同。
11.根据权利要求1所述的测距装置，其特征在于具有根据反射光图像来进行三维计测的三维计测部；所述三维计测部预先储存近似所述光源阵列部所投射的两种光图像的光强比为一定的空间轨迹的近似计算式的参数，并从投射所述两种光图像时的各个反射光图像求出着眼像素的亮度比，并根据所求出的着眼象素的亮度比和所储存的空间轨迹的参数来进行三维计测。
12.根据权利要求1所述的测距装置，其特征在于具有根据反射光图像来进行三维计测的三维计测部；所述三维计测部在进深值一定的平面上，针对不同的进深值，预先储存多幅表示由所述光源阵列部所投射的两种光图像的光强比的亮度比图像，并根据投射所述两种光图像时的各个反射光图像，求出着眼象素的亮度比，并比较所求出的着眼象素的亮度比和所述各亮度比图像的所述着眼象素坐标附近的光强比，以此来进行三维计测。
13.根据权利要求1所述的测距装置，其特征在于具有根据反射光图像来进行三维计测的三维计测部；所述三维计测部在进深值一定的平面上，针对不同的进深值，预先储存多幅表示由所述光源阵列部所投射的两种光图像的光强比的亮度比图像，并在所述亮度比图像中设定代表点，根据所述多幅亮度比图像以及对应各个亮度比图像的进深值来决定各代表点上的光强比和进深值的关系式的参数，并从投射所述两种光图像时的各个反射光图像求出着眼象素的光强比，并使用着眼象素的坐标值、所述着眼象素的光强比、和所述各代表点上的光强比和进深值的关系式的参数，来进行三维计测。
14.一种三维计测方法，向被拍摄体至少投射两种光图像，并根据其反射光图像来测定所述被拍摄体的三维位置，其特征在于预先储存近似所述两种光图像的光强比为一定的空间轨迹的近似计算式的参数；根据投射所述两种光图像时的各个反射光图像求出着眼象素的亮度比；根据所求出的着眼象素的亮度比和所储存的空间轨迹的参数来进行三维计测。
15.一种三维计测方法，向被拍摄体至少投射两种光图像，根据其反射光图像来测定所述被拍摄体的三维位置，其特征在于在进深值为一定的平面上，针对不同的进深值预先储存多幅表示所述两种光图像的光强比的亮度比图像；根据投射所述两种光图像时的各个反射光图像，求出着眼象素的亮度比；通过比较所求出的着眼象素亮度比和所述各亮度比图像的所述着眼象素坐标附近的光强比来进行三维计测。
16.一种三维计测方法，向被拍摄体至少投射两种光图像，根据其反射光图像来测定所述被拍摄体的三维位置，其特征在于在进深值为一定的平面上，针对不同的进深值预先储存多幅表示所述两种光图像的光强比的亮度比图像；在所述亮度比图像中设定代表点，根据所述多幅亮度比图像以及对应各个亮度比图像的进深值，来决定各代表点上的光强比和进深值的关系式的参数；从投射所述两种光图像时的各个反射光图像，求出着眼象素的光强比；使用着眼象素的坐标值、所述着眼象素的光强比、和所述各代表点上的光强比和进深值的关系式的参数，来进行三维计测。
17.一种测距装置，通过把光投射到被拍摄体上并接收其反射光，对所述被拍摄体的三维位置进行测定，其特征在于包括至少投射两种光图像的光投射部；通过使所述光投射部投射的光图像组发生变化，来使计测范围或计测精度为可变的投射光图像控制部。
18.根据权利要求17所述的测距装置，其特征在于所述光投射部包括排列设有多个光源的光源阵列部；通过对所述光源阵列部的各光源的发光状态进行控制，使所述光源阵列部投射光图像的光源控制部；所述投射光图像控制部向所述光源控制部发指示，指示使所述光源阵列部投射的光图像组的种类。
19.根据权利要求17所述的测距装置，其特征在于所述投射光图像控制部具有投射具有通常的投光范围的第一光图像组的通常测定模式；向多个方向投射投光范围比所述第一光图像组窄的第二光图像组的精密测定模式。
20.根据权利要求17所述的测距装置，其特征在于所述投射光图像控制部具有在计测初始时，投射具有相对较宽的投光范围的第一光图像组，然后，针对所述相对较宽的投光范围中的特定区域，投射具有相对较窄投光范围的第二光图像组的测定模式。
21.一种光源装置，排列设有多个光源，其特征在于其构成是通过对各光源的发光状态进行控制，就能投射给定的光图像；并且，把各光源设置在平面上，并使其光轴呈放射状态。
22.一种光源装置，排列设有多个光源，其特征在于其构成是通过对各光源的发光状态进行控制，就能投射给定的光图像；并且，在光图像形成方向上，把光图像的投光范围分割为多个范围；把有关所分割的各范围的光源群排列设在与光图像形成方向正交的方向上。
全文摘要
一种测距装置,使用排列设有多个如LED那样的光源的光源阵列部11,把光图像投射到被拍摄体上。尽管每个LED的光量较小,但作为整个光源阵列部11来说,仍能把足够的光量照射到被拍摄体上,所以能实现稳定的三维计测。而且,由于是通过对光源阵列部11的各LED的发光状态进行控制,来生成光图像的,所以无需机械装置,利用电气性能就能生成任意的光图像。因此,能长期使用并能稳定地进行三维计测。
文档编号G01S17/87GK1350202SQ0113661
公开日2002年5月22日 申请日期2001年10月22日 优先权日2000年10月20日
发明者鱼森谦也, 森村淳, 和田穣二, 吾妻健夫 申请人:松下电器产业株式会社