本发明涉及计测距被摄体的距离的距离计测装置和距离计测方法。
背景技术
以往，公知有使用由照相机的摄像部得到的摄像图像(图像数据)的模糊量来计测距被摄体(物体)的距离(被摄体距离)的距离计测装置(例如参照专利文献1)。并且，公知有根据利用照相机拍摄由投光装置照射图案光的被摄体(被测定物体)而得到的摄像图像(图像数据)来计测被测定物体的形状的装置(例如参照专利文献2)。
现有技术文献
专利文献
专利文献1：日本特表2013-512626号公报(段落0009-0032、图1、图2a、图2b)
专利文献2：日本特开平5-332737号公报(第3-5页、图1)
技术实现要素：
发明要解决的课题
但是，专利文献1所示的装置不具有照射图案光的投光装置，因此，存在如下问题：无法准确计测距不具有边缘等适合于特征提取的点(特征点)的被摄体的距离。
并且，专利文献2所示的装置具有照射图案光的投光装置，因此，能够计测距不具有特征点的被摄体的距离，但是存在如下问题：无法准确计测距位于照相机无法对焦的位置(图像模糊所在的位置)的被摄体的距离。
因此，本发明的目的在于，提供与有无图像模糊无关而能够准确计测距被摄体的距离的距离计测装置和距离计测方法。
用于解决课题的手段
本发明的一个方式的距离计测装置的特征在于，所述距离计测装置具有：投射部，其向被摄体投射多个图案光；光学系统，其具有变更焦距的机构；摄像部，其借助于所述光学系统拍摄所述被摄体；控制部，其在将所述光学系统的所述焦距设定为第1焦距时，使所述投射部依次投射所述多个图案光，使所述摄像部取得与所述多个图案光对应的多个第1摄像图像，并且，在将所述光学系统的所述焦距设定为比所述第1焦距长的第2焦距时，使所述投射部依次投射所述多个图案光，使所述摄像部取得与所述多个图案光对应的多个第2摄像图像；第1距离计测部，其根据所述多个第1摄像图像和所述多个第2摄像图像，按照每个像素判定有无图像模糊，根据表示所述图像模糊的程度的图像模糊指标值，按照每个像素取得距所述被摄体的距离即第1距离；第2距离计测部，其根据所述多个第1摄像图像和所述多个第2摄像图像，通过三角测量，按照每个像素取得距所述被摄体的距离即第2距离；以及计测结果合成部，其针对由所述第1距离计测部判定为存在所述图像模糊的像素输出所述第1距离，针对判定为不存在所述图像模糊的像素输出所述第2距离。
本发明的另一个方式的距离计测方法用于如下装置，该装置具有：向被摄体投射多个图案光的投射部；具有变更焦距的机构的光学系统；以及借助于所述光学系统拍摄所述被摄体的摄像部，其特征在于，所述距离计测方法具有以下步骤：在将所述光学系统的所述焦距设定为第1焦距时，使所述投射部依次投射所述多个图案光，使所述摄像部取得与所述多个图案光对应的多个第1摄像图像；在将所述光学系统的所述焦距设定为比所述第1焦距长的第2焦距时，使所述投射部依次投射所述多个图案光，使所述摄像部取得与所述多个图案光对应的多个第2摄像图像；根据所述多个第1摄像图像和所述多个第2摄像图像，按照每个像素判定有无图像模糊，根据表示所述图像模糊的程度的图像模糊指标值，按照每个像素取得距所述被摄体的距离即第1距离；根据所述多个第1摄像图像和所述多个第2摄像图像，通过三角测量，按照每个像素取得距所述被摄体的距离即第2距离；以及针对取得所述第1距离的所述步骤中判定为存在所述图像模糊的像素输出所述第1距离，针对判定为不存在所述图像模糊的像素输出所述第2距离。
发明效果
根据本发明，与有无图像模糊无关而能够准确计测距被摄体的距离。
附图说明
图1是示出本发明的实施方式1的图像处理装置的概略结构的框图。
图2是概略地示出图1所示的光学系统、摄像部和投射部的配置的图。
图3的(a1)、(a2)、(b1)、(b2)、(c1)、(c2)、(d1)、(d2)、(e1)、(e2)、(f1)和(f2)是示出由图1所示的投射部投射的12种图案光的例子的图。
图4的(a)和(b)是示出亮部区域的条纹和暗部区域的条纹的排列顺序相互为相反顺序的图案光的图，(c)和(d)是示出对被投射图4的(a)和(b)的图案光的物体进行摄像而得到的摄像图像的像素值(不存在图像模糊时)的图，(e)是示出图4的(c)和(d)的像素值差分的图，(f)和(g)是示出对被投射图4的(a)和(b)的图案光的物体进行摄像而得到的摄像图像的像素值(存在图像模糊时)的图，(h)是示出图4的(f)和(g)的像素值差分的图。
图5是以表形式示出图1所示的第1距离计测部对应于第1判定结果和第2判定结果的组合而输出的图像模糊有无标志和图像模糊指标值标志的图，其中，该第1判定结果是将光学系统的焦距设定为较近位置(第1位置)时的判定结果，该第2判定结果是将光学系统的焦距设定为较远位置(第2位置)时的判定结果。
图6的(a)和(b)是示出作为图1所示的第1距离计测部根据图像模糊指标值求出被摄体距离而使用的数据的lut的例子的图。
图7是示出用于表示被投射图案光的被摄体上的位置的、构成图案光的条纹的位置编号(图3的(a1)和(a2)的亮部区域的条纹和暗部区域的条纹的位置编号)的计算方法的图。
图8是示出被投射图案光的被摄体上的位置与构成图案光的条纹的位置编号(图3的(a1)和(a2)的亮部区域的条纹和暗部区域的条纹的位置编号)之间的关系的图。
图9是示出图1所示的第2距离计测部根据投射部、摄像部和被摄体的位置关系进行的距离计测方法的图。
图10是示出图1所示的图像数据处理部中的被摄体距离的计测结果的输出处理的流程图。
图11是示出本发明的实施方式2的距离计测装置的概略结构的框图。
图12是示出图11所示的图像数据处理部中的被摄体距离的计测结果的输出处理的流程图。
图13的(a)是示出决定拍摄单元相对于错误产生区域的移动方向时参照的像素位置的图，(b)～(e)是示出决定拍摄单元相对于错误产生区域的移动方向时参照的像素位置的图。
图14是示出包含图11所示的光学系统、摄像部和投射部的拍摄单元的位置的移动的图。
图15是示出实施方式1和2的距离计测装置的变形例的结构的硬件结构图。
具体实施方式
《1》实施方式1
《1-1》结构
图1是示出本发明的实施方式1的距离计测装置1的概略结构的框图。距离计测装置1是能够实施实施方式1的距离计测方法的装置。如图1所示，作为主要结构，距离计测装置1具有：图像数据取得部(照相机和投光装置)10，其通过拍摄被摄体(物体)而取得摄像图像(图像数据)；以及图像数据处理部20，其使用由图像数据取得部10取得的图像数据(例如摄像图像中的各像素的亮度值)求出距被摄体的距离(被摄体距离)，输出表示所求出的距离的距离数据zout(例如每个像素的距离数据)。图像数据处理部20也可以具有显示部(液晶显示部)和用户操作用的操作部，该显示部用于利用数值或作为表示距离数据的图(map)来显示距离数据zout。
如图1所示，图像数据取得部10具备：具有透镜或透镜组等光学部件和变更焦距(焦点位置)的机构的光学系统11、借助于光学系统11(例如借助于透镜)拍摄被摄体的摄像部12、向摄像空间内存在的被摄体投射(照射)多个图案光的投光装置即投射部13。并且，光学系统11可以具有调节光圈的光圈调节机构。并且，图像数据取得部10具有对图像数据取得部10的整体(实施方式1中为光学系统11、摄像部12和投射部13)进行控制的控制部14。
控制部14将光学系统11的焦距设定为第1焦距(较短焦距、即与摄像部12较近的焦点位置)f1，此时，使投射部13依次投射多个图案光，使摄像部12取得与多个图案光对应的多个第1摄像图像g1。后述图3的(a1)、(a2)、(b1)、(b2)、(c1)、(c2)、(d1)、(d2)、(e1)、(e2)、(f1)和(f2)中示出多个图案光的一例。与多个图案光对应的多个第1摄像图像g1也表记为g1a1、g1a2、g1b1、g1b2、g1c1、g1c2、g1d1、g1d2、g1e1、g1e2、g1f1、g1f2。
并且，控制部14将光学系统11的焦距设定为比第1焦距f1长的第2焦距(较长焦距、即与摄像部12较远的焦点位置)f2，此时，使投射部13依次投射多个图案光，使摄像部12取得与多个图案光对应的多个第2摄像图像g2。后述图3的(a1)、(a2)、(b1)、(b2)、(c1)、(c2)、(d1)、(d2)、(e1)、(e2)、(f1)和(f2)中示出多个图案光的一例。与多个图案光对应的多个第2摄像图像g2也表记为g2a1、g2a2、g2b1、g2b2、g2c1、g2c2、g2d1、g2d2、g2e1、g2e2、g2f1、g2f2。
如图1所示，图像数据处理部20具有第1距离计测部(图像模糊判定部)21、第2距离计测部(三角测量部)22、计测结果合成部23、控制部24。第1距离计测部21可以具有存储信息的存储器等存储部21a。第2距离计测部22可以具有存储信息的存储器等存储部22a。存储部21a可以设置在第1距离计测部21的外部。存储部22a可以设置在第2距离计测部22的外部。存储部21a和22a也可以是相同存储器的不同区域。
第1距离计测部21根据从摄像部12接受的多个第1摄像图像g1和多个第2摄像图像g2，按照每个像素判定有无图像模糊，输出表示该判定结果的图像模糊有无标志qf。并且，第1距离计测部21输出表示图像模糊的程度的图像模糊指标值标志qi。进而，第1距离计测部21根据图像模糊指标值if，按照每个像素取得并输出距被摄体的距离即第1距离zd。
第2距离计测部22根据从摄像部12接受的多个第1摄像图像g1和多个第2摄像图像g2，通过三角测量，按照每个像素取得距被摄体的距离即第2距离zn、zf。第2距离zn是根据将光学系统11的焦距设定为第1焦距f1(与光学系统11较近的焦点位置)时的多个第1摄像图像g1，通过三角测量计算出的距离。第2距离zf是根据将光学系统11的焦距设定为第2焦距f2(与光学系统11较远的焦点位置)时的多个第2摄像图像g2，通过三角测量计算出的距离。
计测结果合成部23针对由第1距离计测部21判定为存在图像模糊的像素(qf＝1)输出第1距离zd作为输出值zout，针对判定为不存在图像模糊的像素(qf＝0)输出第2距离zf或zn作为输出值zout。另外，计测结果合成部23针对第1距离计测部21中的判定结果错误的像素(qf＝-1)输出表示错误的数据作为输出值zout。
图2是概略地示出图1的光学系统11、摄像部12和投射部13的配置的图。如图2所示，距离计测装置1的图像数据取得部10通过投射部13朝向摄像空间js内的被摄体oj1、oj2投射由交替排列的亮部区域(被照射来自投射部13的光的区域)的条纹和比亮部区域暗的暗部区域(未被照射来自投射部13的光的区域)的条纹构成的(即，由亮条纹和暗条纹构成的)图案光13a，通过光学系统11，利用摄像部12拍摄被投射图案光13a的被摄体oj1、oj2。
图3的(a1)、(a2)、(b1)、(b2)、(c1)、(c2)、(d1)、(d2)、(e1)、(e2)、(f1)和(f2)是示出由图1所示的投射部13投射的12种图案光13a的例子、即亮部区域(图中的网格区域)的条纹和暗部区域(图中的空白区域)的条纹在排列方向(图中的横向)上交替排列的图案光的例子的图。图案光13a的例子不限于图示的例子，图案光13a的种类的数量也不限于12种。
图3的(a1)、(a2)示出亮部区域的条纹的排列方向的宽度最窄的图案光。
图3的(b1)、(b2)的图案光的条纹的宽度是图3的(a1)、(a2)的图案光的条纹的宽度的2倍。图3的(c1)、(c2)的图案光的条纹的宽度是图3的(b1)、(b2)的图案光的条纹的宽度的2倍。图3的(d1)、(d2)的图案光的条纹的宽度是图3的(c1)、(c2)的图案光的条纹的宽度的2倍。图3的(e1)、(e2)的图案光的条纹的宽度是图3的(d1)、(d2)的图案光的条纹的宽度的2倍。图3的(f1)、(f2)的图案光的条纹的宽度是图3的(e1)、(e2)的图案光的条纹的宽度的2倍。
通过调换图3的(a1)的图案光中的亮部区域的条纹和暗部区域的条纹(使其相反)而得到的图案光是图3的(a2)的图案光。通过调换图3的(b1)的图案光中的亮部区域的条纹和暗部区域的条纹(使其相反)而得到的图案光是图3的(b2)的图案光。通过调换图3的(c1)的图案光中的亮部区域的条纹和暗部区域的条纹(使其相反)而得到的图案光是图3的(c2)的图案光。通过调换图3的(d1)的图案光中的亮部区域的条纹和暗部区域的条纹(使其相反)而得到的图案光是图3的(d2)的图案光。通过调换图3的(e1)的图案光中的亮部区域的条纹和暗部区域的条纹(使其相反)而得到的图案光是图3的(e2)的图案光。通过调换图3的(f1)的图案光中的亮部区域的条纹和暗部区域的条纹(使其相反)而得到的图案光是图3的(f2)的图案光。
《1-2》动作
控制部14将光学系统11的焦距设定为第1焦距(较短焦距、即与摄像部12较近的焦点位置)f1，此时，使投射部13依次投射多个图案光，使摄像部12取得与多个图案光对应的多个第1摄像图像g1。图3的(a1)、(a2)、(b1)、(b2)、(c1)、(c2)、(d1)、(d2)、(e1)、(e2)、(f1)和(f2)中示出多个图案光的一例。
并且，控制部14将光学系统11的焦距设定为比第1焦距f1长的第2焦距(较长焦距、即与摄像部12较远的焦点位置)f2，此时，使投射部13依次投射多个图案光，使摄像部12取得与多个图案光对应的多个第2摄像图像g2。图3的(a1)、(a2)、(b1)、(b2)、(c1)、(c2)、(d1)、(d2)、(e1)、(e2)、(f1)和(f2)中示出多个图案光的一例。
这样，在实施方式1中，控制部14进行使光学系统11设定2种焦距(焦点位置)f1和f2中的任意一方的控制、使投射部13依次投射多种图案光的控制、与图案光的种类的切换同步的摄像部12的快门的动作的控制(即拍摄定时的控制)，由此，使图像数据取得部10针对多个图案光分别拍摄图案光投射时的图像。实施方式1的距离计测装置1在2种焦点位置拍摄12种图案图像，因此，根据合计24张摄像图像，按照每个像素求出被摄体距离。
图4的(a)和(b)是示出亮部区域的条纹和暗部区域的条纹的排列顺序相互为相反顺序的图案光的图。图4的(c)和(d)是示出对被投射图4的(a)和(b)的图案光的物体进行摄像而得到的摄像图像的像素值(不存在图像模糊时)的图，图4的(e)是示出图4的(c)和(d)的像素值差分df的图。图4的(f)和(g)是示出对被投射图4的(a)和(b)的图案光的物体进行摄像而得到的摄像图像的像素值(存在图像模糊时)的图，图4的(h)是示出图4的(f)和(g)的像素值差分df的图。
第1距离计测部21根据像素值差分df，按照包含关注像素的每个局部区域，判定摄像图像中是否存在图像模糊，该像素值差分df是针对亮部区域和暗部区域相互相反的一对图案光的摄像图像的差分。该判定中使用的图案光例如是1条条纹的宽度最窄的图案光，即，在使用图3的(a1)、(a2)～(f1)、(f2)的图案的情况下，是图3的(a1)和图3的(a2)的图案光。并且，第1距离计测部21对在2种焦点位置f1、f2拍摄的图像分别进行处理。
被投射图案光的被摄体上的明亮度(图案的明亮度)根据被摄体的反射率而不同，因此，按照每个像素求出利用像素值进行归一化后的图像模糊指标值。即，设某个(任意)像素位置r的像素值为p(a1)、p(a2)。p(a1)表示投射了图案光a1(图3的(a1)所示)时的像素位置r的像素值，p(a2)表示投射了图案光a2(图3的(a2)所示)时的相同像素位置r的像素值，df表示相同像素位置r处的归一化后的像素值差分df。像素位置r处的像素值差分df由式(1)表示，像素位置r处的像素平均值sf由式(2)表示。
df＝{p(a1)-p(a2)}/{(p(a1)+p(a2))/2}(1)
sf＝(p(a1)+p(a2))/2(2)
在要求取某个关注像素的图像模糊指标值if的情况下，设关注像素附近(例如以关注像素为中心的纵向5像素、横向5像素的矩形中包含的范围)的归一化后的像素值差分df的最大值dfmax与最小值dfmin的差分(dfmax-dfmin)为图像模糊指标值if。即，图像模糊指标值if由下式(3)表示。
if＝dfmax-dfmin(3)
并且，设关注像素的像素平均值sf的关注像素附近的平均值为sf_avg。
第1距离计测部21在关注像素附近的像素平均值sf_avg小于预定的像素平均值阈值ta的情况下(sf_avg<ta)(即，图案光的亮部区域的条纹的区域不充分亮的情况下)，视为关注像素位置处的图像的亮度不充分，判定为错误，停止处理。
在图4的(c)、(d)、(e)所示的图像不存在图像模糊的情况下，与图4的(f)、(g)、(h)所示的图像存在图像模糊的情况相比，2张图像的像素值差分df更大地变动，因此，图像模糊指标值if较大。即，图像模糊指标值if越大，则图像模糊越小，图像模糊指标值if越小，则图像模糊越大。
因此，第1距离计测部21在关注像素附近的像素平均值sf_avg为像素平均值阈值ta以上的情况下(sf_avg≧ta)，如果图像模糊指标值if大于预定的图像模糊判定阈值tf(if>tf)，则针对关注像素位置判定为不存在图像模糊，在图像模糊判定阈值tf以下的情况下(if≦tf)，判定为存在图像模糊。
第1距离计测部21在要求取图像模糊指标值if时，由于原图像的噪声等，归一化后的像素值差分df的误差(噪声成分)可能较大，因此，也可以不根据像素值差分df的最大值和最小值计算图像模糊指标值if，而是采用根据第n大的像素值和第n小的像素值的差分求出图像模糊指标值if的方法(n＝2、3、4…)。
图5是以表形式示出第1距离计测部21根据将光学系统11的焦距设定为较近位置即第1焦点位置(较短的第1焦距f1)时的判定结果和将光学系统11的焦距设定为较远位置即第2焦点位置(比第1焦距f1长的第2焦距f2)时的判定结果的组合而输出的信息(图像模糊有无标志qf和图像模糊指标值标志qi)的图。
第1距离计测部21针对将焦距设定为与光学系统11较近的第1焦点位置(第1焦距f1)时(第1设定)的图像和将焦距设定为与光学系统11较远的第2焦点位置(第2焦距f2)时(第2设定)的图像，进行向被摄体投射图案光并调查有无图像模糊的图像模糊有无的判定处理，进行第1设定时的判定和第2设定时的判定。第1距离计测部21根据2种焦点位置处的判定结果的组合，决定针对图像的组合的最终判定。
第1距离计测部21根据2种焦点位置处的判定结果的组合，输出基于图像模糊有无标志qf、图像模糊指标值标志qi、图像模糊量的被摄体距离zd。qf＝1表示“存在图像模糊”。qf＝0表示“不存在图像模糊”。qf＝-1表示“错误”。图5中示出针对2种判定结果的组合的图像模糊有无标志qf和图像模糊指标值标志qi的输出值。在图5中，关于记载为“qi＝*”的项目，根据图像模糊指标值if(ifn、iff)的大小关系来决定值。
在图5中，在记载为“qi＝*”的项目中，当设2种焦点位置中的焦点位置较近(第1焦距f1)的图像的图像模糊指标值if为ifn、焦距较远(第2焦距f2)的图像的图像模糊指标值if为iff时，在ifn>iff的情况下(焦距较近的图像的图像模糊较小的情况下)，设定qi＝1，在ifn≦iff的情况下(焦距较远的图像的图像模糊较小的情况下)，设定qi＝0。
并且，在qf＝1(存在图像模糊)的情况下，在被摄体距离zd中设定基于后述图像模糊量的距离计测结果的值。在qf≠1的情况下(即qf＝0的情况下或qf＝-1的情况下)，设定zd＝0。
在根据2种焦点位置处的判定结果的组合判定为存在图像模糊的情况下，即设定了qf＝1(存在图像模糊)的情况下，接着进行各像素的距离计测。
图6的(a)和(b)是示出作为图1所示的第1距离计测部21根据图像模糊指标值if求出被摄体距离所使用的数据的查找表(lut)的例子的图。lut例如预先存储在第1距离计测部21的存储部21a中。
在ifn>iff的情况下(焦距较近的图像的图像模糊较小的情况下)，即焦距较近的图像的图像模糊指标值ifn大于焦距较远的图像的图像模糊指标值iff的情况下，第1距离计测部21视为被摄体存在于焦距较近侧，进行距离计测。参照被摄体存在于较近侧时用的lut(图6的(a))，根据图像模糊指标值ifn的值求出被摄体距离。
在ifn≦iff的情况下(焦距较远的图像的图像模糊较小的情况下)，即，焦距较近的图像的图像模糊指标值ifn为焦距较远的图像的图像模糊指标值iff以下的情况下，第1距离计测部21视为被摄体存在于焦距较远侧，进行距离计测。参照被摄体存在于较远侧时用的lut(图6的(b))，根据图像模糊指标值iff的值求出被摄体距离。
第1距离计测部21输出使用lut求出的距离作为距离zd。
图7是示出用于表示被投射图案光的被摄体上的位置的、构成图案光的条纹的位置编号(图3的(a1)和(a2)的亮部区域的条纹和暗部区域的条纹的位置编号)s的计算方法的图。图8是示出被投射图案光的被摄体上的位置与构成图案光的条纹的位置编号(图3的(a1)和(a2)的亮部区域的条纹和暗部区域的条纹的位置编号)s之间的关系的图。
第2距离计测部(三角测量部)22根据针对亮部区域和暗部区域相互相反的一对图案光的摄像图像的差分，确定投射到摄像图像上的图案的位置，利用三角测量的原理计测距被摄体的距离。
设被投射图3的(a1)、(a1)～(f1)、(f2)的图案光时的摄像图像中的某个关注像素的像素值为p(a1)、p(a2)、p(b1)、p(b2)、p(c1)、p(c2)、p(d1)、p(d2)、p(e1)、p(e2)、p(f1)、p(f2)。
第2距离计测部22根据像素值p(a1)与p(a2)的关系，决定图案位置编号s的bit0的值。第2距离计测部22设图案位置编号为s(6比特值)，使用预定的阈值ts，如果p(a1)+ts<p(a2)，则对图案位置编号s的bit0分配1，如果p(a1)>p(a2)+ts，则对图案位置编号s的bit0分配0。另外，如果|p(a1)-p(a2)|≦ts，则第2距离计测部22设为错误，在图案位置编号s中设定表示错误的值。在错误的情况下，能够停止处理。
同样，第2距离计测部22根据p(b1)与p(b2)的关系，决定图案位置编号s的bit1的值。如果p(b1)+ts<p(b2)，则第2距离计测部22对图案位置编号s的bit1分配1，如果p(b1)>p(b2)+ts，则第2距离计测部22对图案位置编号s的bit1分配0。另外，如果|p(b1)-p(b2)|≦ts，则第2距离计测部22设为错误，在图案位置编号s中设定表示错误的值。在错误的情况下，能够停止处理。
同样，第2距离计测部22根据p(c1)与p(c2)的关系，决定图案位置编号s的bit2的值。如果p(c1)+ts<p(c2)，则第2距离计测部22对图案位置编号s的bit2分配1，如果p(c1)>p(c2)+ts，则第2距离计测部22对图案位置编号s的bit2分配0。另外，如果|p(c1)-p(c2)|≦ts，则第2距离计测部22设为错误，在图案位置编号s中设定表示错误的值。在错误的情况下，能够停止处理。
同样，第2距离计测部22根据p(d1)与p(d2)的关系，决定图案位置编号s的bit3的值。如果p(d1)+ts<p(d2)，则第2距离计测部22对图案位置编号s的bit3分配1，如果p(d1)>p(d2)+ts，则第2距离计测部22对图案位置编号s的bit3分配0。另外，如果|p(d1)-p(d2)|≦ts，则第2距离计测部22设为错误，在图案位置编号s中设定表示错误的值。在错误的情况下，能够停止处理。
同样，第2距离计测部22根据p(e1)与p(e2)的关系，决定图案位置编号s的bit4的值。如果p(e1)+ts<p(e2)，则第2距离计测部22对图案位置编号s的bit4分配1，如果p(e1)>p(e2)+ts，则第2距离计测部22对图案位置编号s的bit4分配0。另外，如果|p(e1)-p(e2)|≦ts，则第2距离计测部22设为错误，在图案位置编号s中设定表示错误的值。在错误的情况下，能够停止处理。
同样，第2距离计测部22根据p(f1)与p(f2)的关系，决定图案位置编号s的bit5的值。如果p(f1)+ts<p(f2)，则第2距离计测部22对图案位置编号s的bit5分配1，如果p(f1)>p(f2)+ts，则第2距离计测部22对图案位置编号s的bit5分配0。另外，如果|p(f1)-p(f2)|≦ts，则第2距离计测部22设为错误，在图案位置编号s中设定表示错误的值。在错误的情况下，能够停止处理。
通过以上的处理，在图案位置编号s中设定与图案上的位置对应的唯一值。
图9是示出图1所示的第2距离计测部22根据投射部13、摄像部12和被摄体的位置关系进行的距离计测方法的图。在图9中，能够根据之前求出的图案位置编号s计算角度θ。具体而言，在存储部22a中预先准备用于将图案位置编号s和角度θ对应起来的数据即第1查找表(lut)，通过参照第1lut，能够求出角度θ。并且，在图9中，能够根据通过摄像部12的拍摄而取得的摄像图像上的位置计算角度
另外，在上述处理中，针对2种焦点位置f1、f2的图像实施处理，求出分别对应的距离。将使用2种焦点位置f1、f2中的焦点位置与光学系统11较近(第1焦距f1)的图像计算出的距离z表记为zn，将使用焦点位置与光学系统11较远(第2焦距f2)的图像计算出的距离z表记为zf。
图10是示出由图像数据处理部20的计测结果合成部23进行的处理的流程图。计测结果合成部23根据被摄体距离zd、以及由第2距离计测部22计算出的2种距离信息所表示的被摄体距离zn和zf，决定每个像素的输出信号(表示被摄体距离的信号或表示错误的信号)zout，其中，该被摄体距离zd是基于从第1距离计测部21输出的图像模糊有无标志qf、图像模糊指标值标志qi和图像模糊量得到的。
首先，计测结果合成部23判断从第1距离计测部21得到的图像模糊有无标志qf是否是表示判定错误的-1(qf＝-1)(步骤st1)，在qf＝-1(步骤st1：是)的情况下，输出表示计测错误的-1作为输出信号zout(zout＝-1)(步骤st2)。
在步骤st1中的判断为否(qf≠-1)的情况下，计测结果合成部23判断从第1距离计测部21得到的图像模糊有无标志qf是否是表示存在图像模糊的1(qf＝1)(步骤st3)。在qf＝-1(步骤st3：是)的情况下，计测结果合成部23输出根据图像模糊量得到的距离zd作为输出信号zout(zout＝zd)(步骤st4)。
在步骤st3中判断为否(qf≠1、不存在图像模糊)的情况下，计测结果合成部23判断从第1距离计测部21得到的图像模糊指标值标志qi是否是1(qi＝1)(ifn>iff的情况、即焦距较近的图像的图像模糊较小的情况)(步骤st5)。在qi＝1(步骤st5：是)的情况下，计测结果合成部23输出通过第2距离计测部22使用焦距较近的图像计算出的距离zn作为输出信号zout(zout＝zn)(步骤st6)。在步骤st6中，在距离zn的计算结果错误的情况下，输出-1(zout＝zn＝-1)作为zout。
在步骤st5中判断为否(qi≠1)的情况下(ifn≦iff的情况下、即焦距较远的图像的图像模糊较小的情况下)，计测结果合成部23输出通过第2距离计测部22使用焦距较远的图像计算出的距离zf作为输出信号zout(zout＝zf)(步骤st7)。在步骤st7中，在距离zf的计算结果错误的情况下，输出-1(zout＝zf＝-1)作为zout。
将摄像图像上的各点作为关注像素而依次进行上述处理，由此，能够得到摄像图像整体的被摄体距离的分布数据(即表示摄像图像整体的被摄体距离的图(map))。
《1-3》效果
在基于三角测量的距离计测的现有的距离计测中，针对摄像图像内的存在图像模糊的区域，无法得到准确的距离信息。与此相对，根据实施方式1的距离计测装置1和距离计测方法，输出根据图像模糊量求出的距离zd，作为存在图像模糊的区域的被摄体距离zout，输出通过基于三角测量的距离计测而计算出的距离zn或距离zf，作为不存在图像模糊的区域的被摄体距离zout。因此，根据实施方式1的距离计测装置1和距离计测方法，能够准确计测距被摄体的距离而与有无图像模糊无关。
《2》实施方式2
《2-1》结构
在实施方式1中，说明了如下的装置和方法：将投射部13和摄像部12固定在一个位置，组合使用图像模糊量的距离计测和基于三角测量的距离计测，输出距离数据zout。但是，在被摄体的形状复杂的情况下(例如包含凹部的情况下)，如果基于固定在一个位置的投射部13来投射图案光，则有时在被摄体上出现图案光未到达的作为死角的区域。在被摄体上的图案光未到达的区域中，即使使用实施方式1的距离计测装置1和方法，有时也无法准确计测被摄体距离。因此，在实施方式2中，使包含投射部13、光学系统11和摄像部12的拍摄单元10b移动，并且变更摄像部12的拍摄方向(使拍摄单元10b旋转)，从多个位置以多个拍摄角度进行拍摄，由此，减少(优选为消除)图案光未到达的区域(不能进行距离计测的区域)。
图11是示出本发明的实施方式2的距离计测装置2的概略结构的框图。距离计测装置2是能够实施实施方式2的距离计测方法的装置。在图11中，对与图1所示的结构要素相同或对应的结构要素标注与图1中的标号相同的标号。如图11所示，距离计测装置2在光学系统11、摄像部12、投射部13、控制部14、图像数据处理部20的基础上，还具有作为移动旋转机构的照相机臂部15。光学系统11、摄像部12和投射部13安装在相同的支承部件上，构成拍摄单元(照相机)10b。
照相机臂部15是从被固定的基准位置伸出的臂，在前端安装有实施方式2中的拍摄单元10b。照相机臂部15由控制部14来控制，用于使拍摄单元10b相对于被摄体的位置变化。照相机臂部15可以是能够通过用户对位置和角度进行变更的机构、或者能够通过马达等驱动力产生机构和齿轮等驱动力传递机构对位置和角度进行变更的机构中的任意一方。
《2-2》动作
首先，实施方式2的距离计测装置2在实施了通过基于图像模糊量的距离计测和基于三角测量的距离计测的组合的距离计测(第1次距离计测)后，对照相机臂部15进行控制，使拍摄单元10b的位置移动，进行第2次以后的距离计测。
通过基于图像模糊量的距离计测和基于三角测量的距离计测的组合的第1次距离计测可以是精度较低的距离计测(这是因为，能够通过第2次以后的距离计测来提高精度)，但是，也可以采用与实施方式1中的距离计测相同的处理。
首先，对根据第1次距离计测的结果决定使拍摄单元10b移动的位置的方法进行说明。
在第1次距离计测的结果中，关于某个部位(像素位置)r0处的距离计测结果错误的情况，考虑该部位r0处的反射光较弱而未得到充分亮度的摄像图像的情况(情况a)、以及该部位r0的拍摄结果中针对亮部区域和暗部区域相互相反的一对图案光的图像的亮度值的差不充分大的情况(情况b)这2种情况。情况a分类为该部位r0成为投射光的死角的情况(情况a1)、以及被摄体的反射率较低或在具有金属光泽的物质中不容易引起扩散反射而使得虽然投射光到达但是朝向摄像部12的反射光的成分较弱的情况(情况a2)。
图12是示出图11所示的图像数据处理部20的计测结果合成部23中的被摄体距离的计测结果的输出处理的流程图。在图12中，对与图10中的处理步骤相同的处理步骤标注与图10中的步骤编号相同的步骤编号。能够在第1次距离计测时根据错误的产生部位来判别情况a(a1、a2)和情况b。图12的处理与图10中的处理大致相同，但是，通过在错误时改变zout中设定的值(成为与图10的情况不同的值)，能够判别错误的产生原因。即，zout＝-1的情况(步骤s22)表示产生情况a的错误。并且，zout＝-2的情况(步骤s26、s27)表示产生情况b的错误。
关于情况a的错误产生部位，摄像图像的亮度可能较暗，因此，进行用于使摄像图像更亮的曝光控制，拍摄图像。作为使摄像图像变亮的控制方法，存在(方法1)延长曝光时间(摄像部12中打开快门的时间)、(方法2)提高光学系统11中的光圈的开度、(方法3)提高摄像部12中的摄像元件的传感器增益这样的方法。图像数据处理部20的控制部(未图示)根据系统的制约，在可设定的范围内，例如按照(方法1)、(方法2)、(方法3)的顺序优先进行控制。使(方法1)最优先的理由是，在拍摄中被摄体不移动的前提下，通过延长曝光时间，不存在针对摄像图像的缺点，与此相对，当增大光圈的开度时，摄像部12的被摄场深度变浅，摄像图像容易模糊。并且，(方法3)的优先顺位较低的理由是，在提高了传感器增益的情况下，基于摄像部12的摄像图像的噪声增加，无法正确判定摄像图像间的亮度的大小关系的可能性提高。
在第1次距离计测的结果中成为zout＝-1、使摄像图像变亮进行拍摄的结果为消除了错误的部位，将距离计测结果置换为新的结果。在进行上述作业的结果还残留有zout＝-1的部位的情况下，在系统制约范围内进一步使摄像图像变亮，反复进行拍摄、距离计测。
接着，为了进行在第1次距离计测的结果中成为zout＝-2的部位的距离计测，使摄像图像变暗来进行拍摄。作为使摄像图像变暗的控制方法，存在(方法4)缩短曝光时间(摄像部12中打开快门的时间)、(方法5)降低光学系统11中的光圈的开度、(方法6)降低摄像部12中的摄像元件的传感器增益这样的方法。图像数据处理部20的控制部(未图示)根据系统的制约，在可能的范围内按照(方法6)、(方法5)、(方法4)的顺序进行控制。使(方法6)和(方法5)优先的理由是，针对(方法4)，不存在针对画质的影响，与此相对，(方法6)和(方法5)涉及画质提高的可能性较高。在使摄像图像变暗的结果为消除了错误的部位，将距离计测结果置换为新的距离计测结果。在进行上述作业的结果为还残留有zout＝-2的部位的情况下，在系统制约范围内进一步使摄像图像变暗，反复进行拍摄、距离计测。
改变图像的明亮度进行拍摄的结果也未消除错误的部位可能为图案光未到达的部位(死角)，因此，移动拍摄单元10b的位置来进行第2次以后的距离计测。此时，为了决定拍摄单元10b的移动方向，对错误产生区域的上侧和下侧的距离计测结果进行比较，并对错误产生区域的左侧和右侧的距离计测结果进行比较。首先，提取上下方向和左右方向上连续的错误产生位置的群组作为错误产生区域。
图13的(a)是示出决定拍摄单元10b相对于错误产生区域的移动方向时参照的像素位置的图，图13的(b)～(e)是示出决定拍摄单元10b相对于图13的(a)所示的错误产生区域的移动方向时参照的像素位置的图。
如图13的(b)所示，在相对于错误产生区域参照左侧的像素的情况下，提取符合右侧马上是错误产生区域这样的条件的像素位置(粗线部位的像素)，求出各像素位置处的距离计测结果的平均值。
同样，如图13的(c)所示，在相对于错误产生区域参照右侧的像素的情况下，提取符合左侧马上是错误产生区域这样的条件的像素位置(粗线部位的像素)，求出各像素位置处的距离计测结果的平均值。
同样，如图13的(d)所示，在相对于错误产生区域参照上侧的像素的情况下，提取符合下侧马上是错误产生区域这样的条件的像素位置(粗线部位的像素)，求出各像素位置处的距离计测结果的平均值。
同样，如图13的(e)所示，在相对于错误产生区域参照下侧的像素的情况下，提取符合上侧马上是错误产生区域这样的条件的像素位置(粗线部位的像素)，求出各像素位置处的距离计测结果的平均值。
当设图13的(b)所示的相对于错误产生区域参照左侧的像素的情况下的距离计测结果的平均值为zout_l，设图13的(c)所示的相对于错误产生区域参照右侧的像素的情况下的距离计测结果的平均值为zout_r，设图13的(d)所示的相对于错误产生区域参照上侧的像素的情况下的距离计测结果的平均值为zout_u，设图13的(c)所示的相对于错误产生区域参照下侧的像素的情况下的距离计测结果的平均值为zout_d时，能够根据这些值的大小关系求出拍摄单元10b的移动距离和旋转角度。控制部14将预定的距离差分阈值tz、拍摄单元10b的移动距离和旋转角度设为m，如下所述对拍摄单元10b的位置和摄像部12的拍摄方向进行变更(使拍摄单元10b旋转)。
例如，在zout_u>zout_d+tz时，使拍摄单元10b向上方向移动，将拍摄单元10b的摄像部12的拍摄方向变更为向下m度(例如与移动距离对应的角度)(使拍摄单元10b旋转)。
并且，在zout_u+tz<zout_d时，使拍摄单元10b向下方向移动，将拍摄单元10b的摄像部12的拍摄方向变更为向上m度(使拍摄单元10b旋转)。
并且，在|zout_u-zout_d|≦tz时，不进行拍摄单元10b的上下方向的移动，也不变更拍摄单元10b的摄像部12的拍摄方向。
例如，在zout_r>zout_l+tz时，使拍摄单元10b向右方向移动，将拍摄单元10b的摄像部12的拍摄方向变更为向左m度(使拍摄单元10b旋转)。
并且，在zout_r+tz<zout_l时，使拍摄单元10b向左方向移动，将拍摄单元10b的摄像部12的拍摄方向变更为向右m度(使拍摄单元10b旋转)。
并且，在|zout_r-zout_l|≦tz时，不进行拍摄单元10b的左右方向的移动，也不变更拍摄单元10b的摄像部12的拍摄方向(不使拍摄单元10b旋转)。
图14是示出包含图11所示的光学系统11、摄像部12和投射部13的拍摄单元10b的位置的移动和旋转的图。拍摄单元10b将原来的拍摄单元10b的位置作为基准，在上下方向或左右方向上移动(平移)。此时，进行移动以使得视场角的中心与拍摄单元10b的移动前一致。移动的结果，将拍摄单元10b的摄像部12的拍摄方向的变化(拍摄单元10b旋转)成为m度的位置作为拍摄单元10b的移动目的地。在判定结果为在上下方向和左右方向的任意方向上均不进行移动也不进行拍摄方向的变更的情况下，判断为很难通过拍摄单元10b的移动和拍摄方向的变更来扩大能够进行距离计测的范围，针对关注的错误产生区域，停止距离计测处理。
使拍摄单元10b移动时的曝光时间控制成为与第1次距离计测时相同的设定，根据移动后的位置处的计测错误的产生，与第1次距离计测时同样地以使摄像图像变亮或变暗的设定进行拍摄。
计测结果合成部23将使拍摄单元10b移动进行拍摄的结果得到的距离数据与第1次距离计测的结果的距离数据进行统合。首先，在三维空间上描绘使拍摄单元10b移动之前进行距离计测的距离数据。接着，在相同的三维空间上描绘使拍摄单元10b移动而取得的距离数据。此时，在连接要追加描绘的点和拍摄单元10b的摄像部12的线上存在使拍摄单元10b移动之前进行距离计测的距离数据的点的情况下，不进行描绘的追加。这样，通过在三维空间上描绘距离数据，仅描绘与拍摄单元10b之间的距离更近的距离计测结果，在距离计测结果数据中，能够降低由于漏检测而将实际存在被摄体的位置误判断为没有被摄体的可能性。
以错误产生区域的数量反复实施拍摄单元10b的位置的移动和距离计测。为了抑制距离计测所需要的时间，可以进行如下处理：对构成错误产生区域的像素数设置阈值，在错误产生区域中包含的像素数为阈值以下的情况下，从拍摄单元10b的移动和距离计测的对象中排除。
并且，为了抑制距离计测所需要的时间，也可以在实际实施拍摄单元10b的位置的移动和距离计测之前，预先列出拍摄单元10b相对于全部错误产生区域的移动位置，将重复的拍摄单元10b的移动位置汇集成一个之后，进行拍摄单元10b的移动和旋转、以及距离计测。
《2-3》效果
如以上说明的那样，根据实施方式2的距离计测装置2和距离计测方法，根据第1次实施的距离计测的结果使拍摄单元10b移动和旋转，以使得减少错误产生区域，使第2次以后的距离计测的曝光条件、拍摄位置、拍摄方向变化来取得图像数据，进行距离计测，进行距离计测，因此，能够减少无法进行距离计测的区域，能够取得高精度的被摄体距离。
《3》变形例
图15是示出上述实施方式1和2的距离计测装置的图像数据处理部的变形例的结构的硬件结构图。距离计测装置1和2的图像数据处理部20能够使用存储作为软件的程序的作为存储装置的存储器91和执行存储器91中存储的程序的作为信息处理部的处理器92(例如通过计算机)来实现。该情况下，图1和图11中的图像数据处理部20相当于图15中的存储器91和执行程序的处理器92。另外，也可以通过图15所示的存储器91和执行程序的处理器92实现图1所示的图像数据处理部20的一部分。
标号说明
1、2：距离计测装置；10、10a：图像数据取得部；10b：拍摄单元；11：光学系统；12：摄像部；13：投射部；14：控制部；15：照相机臂部；20：图像数据处理部；21：第1距离计测部(图像模糊判定部)；22：第2距离计测部(三角测量部)；23：计测结果合成部；24：控制部。