本公开涉及拍摄装置、图像处理方法以及程序。
背景技术
例如专利文献1以及2所公开的那样，已知使用具备鱼眼透镜的拍摄装置来对目标物进行测位的技术。使用了鱼眼透镜的测位，有可以进行广阔范围的测距这一优点。另一方面，鱼眼透镜的视场角大概宽为180度或其以上，因此，存在摄像头的视场中进入其它的摄像头的可能性。更严密地说，存在摄像头的视场中进入其它的摄像头的透镜中心或光学中心的可能性。该透镜中心或光学中心是立体测距中被称为极点(epipole)的点。从关注摄像头观察，在通过极点的线上，视差与距离无关地成为固定的，不可以进行立体测距。另外，即便在与极点完全不一致的情况下，对于靠近极点的方向，视差的变化相对于距离的变化也会变少，测距精度会降低。
在具备两个拍摄装置的双目鱼眼摄像头的情况下，在上述极点，不能进行立体测距。但是，在具备三个以上的拍摄装置的三目以上的鱼眼摄像头的情况下，能够选择各自由摄像头对构成的多个立体对，因此，在某立体对中由于极点而无法进行立体测距的情况下，也可以通过其他的立体对来进行立体测距。例如，进行立体测距的摄像头对的组合，在三目的情况下是3c2＝3，在四目的情况下是4c2＝6。这些之中，若考虑将关注摄像头作为基准的包含该关注摄像头的摄像头对的组合，在三目的情况下是2，在四目的情况下是3。若进行多个立体测距，则即便基准摄像头相同，由于另一方的摄像头不同，因此，作为其结果，各自的极点不同。因此，关于通过1个摄像头对的立体测距由于极点而无法进行立体测距的计测点以及由于靠近极点而难以得到测距精度的计测点，也能够通过其它的摄像头对的立体测距，来取得计测点的三维位置。
对于以上那样的多目鱼眼摄像头中的多个立体测距值，当然可以通过高精度的测距值的选择或多个测距值的综合，来得到高精度的测距值。关于这样的得到测距值的方法，在专利文献1中，将各个摄像头的光轴配置成平行，以使得在极点视差成为零后，基于视差的大小进行加权求和，来计算目标点的三维位置信息。另外，在专利文献2中，对视线方向的进深的倒数进行加权求和，作为该加权求和值的倒数来计算视线方向的进深。
现有技术文献
专利文献
专利文献1：日本特开2015-133691号公报
专利文献2：专利第5011528号公报
非专利文献
非专利文献1：c.zach，t.pockandh.bischof，“adualitybasedapproachforrealtimetv-l1opticalflow”，inproceedingsofthe29thdagmconferenceonpatternrecognition，2007，p214-223
非专利文献2：m.werlberger，t.pockandh.bischof，“motionestimationwithnonlocaltotalvariationregularization”，ieeeconferenceoncomputervisionandpatternrecognition(cvpr)，2010年6月13-18日，p.2464-2471
非专利文献3：松山隆司、ほか編、「コンピュータビジョン」、株式会社新技術コミュニケーションズ、p123～137
技术实现要素：
但是，专利文献1以及2所记载那样的以往的构成，虽然可以使距离测定误差定性地减少，但是由于没有考虑成为距离测定误差的原因的图像的噪声分量的方差等统计量，因此，存在无法通过加权求和在概率统计上使距离测定误差最小化这一问题。
本公开提供考虑了图像的噪声分布的能够使距离测定误差降低的拍摄装置、图像处理方法以及程序。
本公开的一个技术方案涉及的拍摄装置，是从多个图像算出被拍摄对象的三维位置并输出所述多个图像以及所述三维位置的信息的拍摄装置，所述拍摄装置具备：拍摄部，其具有至少三个摄像头，利用各个所述摄像头拍摄图像；摄像头参数存储部，其存储所述摄像头各自的摄像头参数；以及处理电路，所述处理电路，取得所述图像以及所述摄像头参数，从所述图像提取多个图像对，从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息，基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角(日文：見込み角)对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和，输出应用了加权求和值的所述计测点的位置信息。
本公开的一个技术方案涉及的图像处理方法，是从多个图像算出被拍摄对象的三维位置并输出所述多个图像以及所述三维位置的信息的图像处理方法，包括：(a1)取得由至少三个摄像头中的各摄像头拍摄到的图像；(a2)取得所述摄像头各自的摄像头参数；(a3)从所述图像提取多个图像对；(a4)从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息；(a5)基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和；以及(a6)输出应用了加权求和值的所述计测点的位置信息，处理(a1)～(a6)中的至少1个由处理器执行。
本公开的一个技术方案涉及的程序，使计算机执行：(a1)取得由至少三个摄像头中的各摄像头拍摄到的图像；(a2)取得所述摄像头各自的摄像头参数；(a3)从所述图像提取多个图像对；(a4)从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息；(a5)基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和；以及(a6)输出应用了加权求和值的所述计测点的位置信息。
此外，上述的总括性或者具体的技术方案既可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。计算机可读取的记录介质例如包括cd-rom(compactdisc-readonlymemory)等非易失性的记录介质。
根据本公开的技术，能够实现考虑了图像的噪声分布的距离测定误差的降低。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征提供而得到，无需为了获得一个以上的益处和/或优点而实施所有的实施方式及特征。
附图说明
图1是示出实施方式涉及的拍摄装置的构成的框图。
图2a是示出实施方式涉及的拍摄部的一例的构成的示意图。
图2b是示出实施方式涉及的拍摄部的另一例的构成的示意图。
图3是示出实施方式涉及的拍摄部中的因图像中的位置而产生的被拍摄对象像的形状、大小以及朝向的差异的例子的示意图。
图4是示出以往的技术的拍摄装置的构成例的示意图。
图5是示出实施方式涉及的拍摄装置的变形例的构成的框图。
图6是示出具有由计算机构成的图像处理部的实施方式涉及的拍摄装置的构成的框图。
图7是示出实施方式涉及的拍摄装置的图像处理部的工作的流程的一例的流程图。
图8a是示出实施方式涉及的拍摄装置的设置的例子的示意图。
图8b是示出图8a的拍摄装置的拍摄状况的例子的示意图。
图9a是示出实施方式涉及的拍摄装置的例子的示意图。
图9b是示出图9a的拍摄装置所拍摄的拍摄图像的例子的示意图。
图10是示出实施方式涉及的拍摄部的摄像头图像中的遮挡信息的例子的示意图。
图11是示出实施方式涉及的拍摄部的图像对中的遮挡区域的例子的示意图。
图12是示出四目摄像头与计测点的位置关系的说明图。
图13是示出三角测量与观察角对应长度的关系的说明图。
图14是示出观察角对应长度与测距误差的方差的关系的图。
图15是示出由四目摄像头拍摄到的四目图像的一例的图。
图16是示出评价图像的一例的图。
图17是说明作为测距误差的相对rms误差的评价区域的图。
图18是作为测距误差的相对rms误差的比较图。
图19是摄像头的坐标系与摄像头的外部参数的例子的图。
图20a是示出实施方式涉及的补全图像例的示意图。
图20b是示出实施方式涉及的选择位置综合信息的例子的示意图。
图21是示出从实施方式涉及的障碍物检测部输出的合成图像的例子的示意图。
标号的说明
1拍摄装置；100拍摄部；101摄像头；110图像处理部；111位置算出部；112位置选择综合部；120障碍物检测部；130显示器
具体实施方式
本发明人们，研究了使用由2个摄像头构成的立体摄像头拍摄到的2个图像的立体测距中的测距精度的提高。并且，本发明人们关于“背景技术”中例举出的专利文献1以及2所记载的技术，研究了立体测距的距离测定误差。专利文献1以及2所记载的技术虽然可以使距离测定误差定性地减少，但是，没有考虑成为距离测定误差的原因的摄像头图像的噪声分量的影响。于是，本发明人们研究了通过考虑摄像头图像的噪声分量的影响而产生的测距精度的改善。并且，本发明人们发现了在立体测距的距离测定处理中，通过使用摄像头图像的噪声分量的方差等统计量来对距离测定结果进行加权，能够在概率统计上降低距离测定误差。于是，本发明人们为了改善测距精度而发现了以下所记载的技术。
具体而言，本公开的一个技术方案涉及的拍摄装置，是从多个图像算出被拍摄对象的三维位置并输出所述多个图像以及所述三维位置的信息的拍摄装置，所述拍摄装置具备：拍摄部，其具有至少三个摄像头，利用各个所述摄像头拍摄图像；摄像头参数存储部，其存储所述摄像头各自的摄像头参数；以及处理电路，所述处理电路，取得所述图像以及所述摄像头参数，从所述图像提取多个图像对，从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息，基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和，输出应用了加权求和值的所述计测点的位置信息。
在上述技术方案中，摄像头对的观察角对应长度以及观察角越小，则立体视觉的测距精度越低。另外，在针对比摄像头对的视场的中央靠端部的位置的立体视觉时，观察角对应长度以及观察角会变小。使用了这样的观察角对应长度以及观察角的确定三维位置的信息的加权求和值可能成为降低了因三维位置而引起的测距精度的偏差的影响的值。摄像头图像的噪声分布对距离测定误差的影响，可能反映为距离测定误差的方差。此外，距离测定误差的方差可能与观察角对应长度以及观察角相关联。使用了这样的观察角对应长度或观察角的确定三维位置的信息的加权求和值，也降低因摄像头的图像的噪声分量的分布产生的测距精度的偏差的影响。因此，距离测定误差的降低可能会实现。
另外，在本公开的一个技术方案涉及的拍摄装置中，也可以是，所述处理电路以使所述加权求和值的方差最小化的方式决定对所述图像对各自的用于确定所述三维位置的信息赋予的权重。根据上述技术方案，通过使加权求和值的方差最小化，加权求和值能够从概率统计上降低因摄像头的图像的噪声分布引起的测距精度的偏差的影响。因此，能够实现稳定的距离测定误差的降低。
另外，在本公开的一个技术方案涉及的拍摄装置中，也可以是，所述至少三个摄像头中的各摄像头的视场角为180度以上。根据上述技术方案，拍摄装置能够实现广范围的拍摄。
另外，在本公开的一个技术方案涉及的拍摄装置中，也可以是，所述处理电路，在所述加权求和中使用以所述观察角对应长度的平方的总和对所述观察角对应长度的平方进行归一化而得到的权重。在上述技术方案中，观察角对应长度的平方与距离测定误差的方差成反比例关系，与距离测定误差具有较高的相关。此外，归一化后的观察角对应长度的平方取0～1之间的值、且其总和为1。因此，归一化后的观察角对应长度的平方不取决于观察角对应长度的平方的总和地作为权重有效地发挥功能。
另外，在本公开的一个技术方案涉及的拍摄装置中，也可以是，所述处理电路，在所述加权求和中使用以所述观察角的平方的总和对所述观察角的平方进行归一化而得到的权重。在上述技术方案中，观察角的平方与距离测定误差的方差成反比例关系，与距离测定误差具有较高的相关。此外，归一化后的观察角的平方取0～1之间的值、且其总和为1。因此，归一化后的观察角的平方不取决于观察角的平方的总和地作为权重有效地发挥功能。
另外，在本公开的一个技术方案涉及的拍摄装置中，所述摄像头参数包含与所述图像中的遮挡了被拍摄对象的投影的遮挡区域以及被拍摄对象被投影的非遮挡区域相关的遮挡信息，所述处理电路，对于所述图像中的第1图像的所述遮挡区域的像素值，基于其它的所述图像的所述非遮挡区域的像素值来补全。根据上述技术方案，能够遍及摄像头的视场整体地映现出被拍摄对象。例如，在拍摄装置用于周围的监视等的情况下，能够进行遍及周围整体的无遗漏的监视。
本公开的一个技术方案涉及的图像处理方法，是从多个图像算出被拍摄对象的三维位置并输出所述多个图像以及所述三维位置的信息的图像处理方法，包括：(a1)取得由至少三个摄像头中的各摄像头拍摄到的图像；(a2)取得所述摄像头各自的摄像头参数；(a3)从所述图像提取多个图像对；(a4)从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息；(a5)基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和；以及(a6)输出应用了加权求和值的所述计测点的位置信息，处理(a1)～(a6)中的至少1个由处理器执行。根据上述技术方案，能够得到与本公开的一个技术方案涉及的拍摄装置同样的效果。
另外，本公开的一个技术方案涉及的图像处理方法也可以是，以使加权求和值的方差最小化的方式决定对所述图像对各自的用于确定所述三维位置的信息赋予的权重。
另外，在本公开的一个技术方案涉及的图像处理方法中，也可以是，所述至少三个摄像头中的各摄像头的视场角为180度以上。
另外，本公开的一个技术方案涉及的图像处理方法也可以是，在所述加权求和中使用以所述观察角对应长度的平方的总和对所述观察角对应长度的平方进行归一化而得到的权重。
另外，本公开的一个技术方案涉及的图像处理方法也可以是，在所述加权求和中使用以所述观察角的平方的总和对所述观察角的平方进行归一化而得到的权重。
另外，在本公开的一个技术方案涉及的图像处理方法中，也可以是，所述摄像头参数包含与所述图像中的遮挡了被拍摄对象的投影的遮挡区域以及被拍摄对象被投影的非遮挡区域相关的遮挡信息，所述图像处理方法还包括：(b1)对于所述图像中的第1图像的所述遮挡区域的像素值，基于其它的所述图像的所述非遮挡区域的像素值来补全。
本公开的一个技术方案涉及的程序，使计算机执行：(a1)取得由至少三个摄像头中的各摄像头拍摄到的图像；(a2)取得所述摄像头各自的摄像头参数；(a3)从所述图像提取多个图像对；(a4)从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息；(a5)基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和；以及(a6)输出应用了加权求和值的所述计测点的位置信息。根据上述技术方案，能够得到与本公开的一个技术方案涉及的拍摄装置同样的效果。
另外，本公开的一个技术方案涉及的程序也可以是，以使加权求和值的方差最小化的方式决定对所述图像对各自的用于确定所述三维位置的信息赋予的权重。
另外，本公开的一个技术方案涉及的程序也可以是，在所述加权求和中使用以所述观察角对应长度的平方的总和对所述观察角对应长度的平方进行归一化而得到的权重。
另外，本公开的一个技术方案涉及的程序也可以是，在所述加权求和中使用以所述观察角的平方的总和对所述观察角的平方进行归一化而得到的权重。
另外，在本公开的一个技术方案涉及的程序中，也可以是，所述摄像头参数包含与所述图像中的遮挡了被拍摄对象的投影的遮挡区域以及被拍摄对象被投影的非遮挡区域相关的遮挡信息，所述程序还执行：(b1)对于所述图像中的第1图像的所述遮挡区域的像素值，基于其它的所述图像的所述非遮挡区域的像素值来补全。
此外，上述的总括性或者具体的技术方案既可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。计算机可读取的记录介质例如包括cd-rom等非易失性的记录介质。
以下，参照附图对实施方式涉及的拍摄装置等进行说明。此外，以下要说明的实施方式示出概括性或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤(工序)以及步骤的顺序等都是一例，并不旨在限定本公开。另外，以下的实施方式中的构成要素中的未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素来说明。另外，在以下的实施方式的说明中，存在使用大致平行、大致正交那样的带有“大致”的表达的情况。例如，大致平行是指不仅意味着完全地平行，也包含实质上平行即有例如几％左右的差异。其他的带有“大致”的表达也同样。
[实施方式]
以下，对实施方式涉及的拍摄装置1进行说明。在本实施方式中说明拍摄装置1构成为作为汽车的车载用被使用来检测障碍物的例子。此外，拍摄装置1，在车载的情况下也可以在汽车的周围的监视、汽车的驾驶辅助等用途中使用。另外，拍摄装置1也可以搭载于任意的对象物。例如，拍摄装置1也可以搭载于汽车以外的车辆、船舶、飞行器或机器人等移动体。汽车以外的车辆也可以是货车、公交车、二轮车，输送车，铁路，工程机械，装卸机械等。飞行器也可以是飞机、无人机等。
参照图1和图2a以及图2b，对拍摄装置1的构成进行说明。此外，图1示出实施方式涉及的拍摄装置1的功能性的构成的一例。图2a以及图2b分别示出拍摄装置1所具备的拍摄部100的不同的2个构造例。如图1所示，拍摄装置1具备拍摄部100、图像处理部110、障碍物检测部120、显示器130。
拍摄部100具备三个以上的摄像头。三个以上的摄像头各自具有鱼眼透镜。在本实施方式中，拍摄部100具备4个摄像头101a、101b、101c以及101d，但不限定于此。4个摄像头101a、101b、101c以及101d既可以一体化，又可以分离地配置。图像处理部110取得摄像头101a、101b、101c以及101d各自拍摄到的图像，并进行处理。图像处理部110具备位置算出部111、位置选择综合部112、图像补全部113、摄像头参数存储部114。此外，为了区别4个摄像头而使用了后缀a～d，以下，在不特别对它们进行区别的情况下，有时不利用后缀地记述为“摄像头101”。
参照图2a以及图2b，示出拍摄装置1的拍摄部100的构成例。图2a示出4个摄像头101被固定为一体的构成的拍摄部100的例子。在图2a中，拍摄部100用(a)的主视图、(b)的侧视图以及(c)的截面图示出。上述截面图是用通过拍摄部100的2个摄像头101的2个透镜中心的截面剖切拍摄部100而得的图。在图2a中，4个摄像头101配置成各自的透镜中心位于正方形的顶点。图2b示出三个摄像头101被固定为一体的构成的拍摄部100的另一例。在图2b中，拍摄部100用(a)的主视图以及(b)的侧视图示出。在图2b中，三个摄像头101配置成各个的透镜中心位于正三角形的顶点。
图2a中的拍摄部100的例子中，各摄像头101的透镜是鱼眼透镜，其直径大致相同。图2a中的4个摄像头101各自的光轴相互平行，并且，与相邻的2个透镜接近地配置。因此，相邻的2个摄像头的光轴间的距离、即透镜的中心间的距离与透镜的直径大致一致。各摄像头101的视场与相邻的摄像头101的视场重叠。
在图2b中的拍摄部100的例子中，各摄像头101的透镜是鱼眼透镜，其直径大致相同。图2b中的三个摄像头101各自的光轴相互平行，并且，与相邻的2个透镜接近地配置。因此，相邻的2个摄像头的光轴间的距离、即透镜的中心间的距离，与透镜的直径大致一致。各摄像头101的视场与相邻的摄像头101的视场重叠。
此外，在本实施方式中，拍摄部100具有图2a所示的例子的构成。
另外，如图2a以及图2b所示，相邻的摄像头101的光轴间的距离被称为基线长度，在拍摄部100中，在各摄像头101的光轴上设置有拍摄元件。拍摄元件只要是具有接收通过摄像头101的透镜而入射的光并从所接收到的光形成像的构成的元件即可，例如，也可以是cmos(complementarymetal-oxidesemiconductor)图像传感器或ccd(chargecoupleddevice)图像传感器。
此外，上述的拍摄装置1也可以是至少包含拍摄部100以及图像处理部110的构成。障碍物检测部120以及显示器130也可以不包含于设置在拍摄装置1的外部的设备。设置在外部的设备也可以例如包括pc(个人计算机)和其显示器，使用它们来实现障碍物检测部120以及显示器130。图像处理部110和障碍物检测部120既可以经由有线通信连接，又可以经由无线通信连接。另外，图像处理部110以及障碍物检测部120既可以1对1地直接连接，又可以经由因特网等通信网络间接地连接。
上述的拍摄部100中的摄像头101的构成基于本发明人们的以下的见解。具体而言，作为立体视觉(stereovision)中的、三维位置的推定误差的原因之一，有视差推定中的量化误差。量化误差是指通过用1个像素的精度推定实际上作为实际数值的视差而产生的误差。能够认为该量化误差的大小是固定的，因此，视差越大、即视差向量的长度越长，则量化误差的影响会变得越低，三维位置的精度会越高。因此，通常，成为立体视觉对的多个摄像头被配置成作为摄像头间的距离的基线长度成为足够的长度，以使得视差变大。
在此，“视差”是指在从位于2个不同的点a和点b、例如2个不同的位置的摄像头观察同一对象点o的情况下的同一对象点的方向或位置的差。视差也可以用例如包含点a和对象点o的线段与包含点b和对象点o的线段所成的角度(∠aob)来表现。在本说明书中，无论三维空间的对象点的方向的差还是二维投影像的对象点的位置的差，都不作区别地称为视差。
另一方面，由具有鱼眼透镜的摄像头拍摄到的被拍摄对象像较大地失真，因此，由于视场内的被拍摄对象的三维位置的不同、换言之图像中的被拍摄对象的位置的不同，被拍摄对象像的形状、大小和/或朝向不同。在将具有鱼眼透镜的某摄像头ccd对被拍摄对象进行拍摄而得到的图像iid和具有鱼眼透镜的其它的摄像头cce对被拍摄对象进行拍摄而得到的图像iie用于立体视觉的情况下，摄像头ccd和摄像头cce相对于被拍摄对象的视差越大，则图像iid中的被拍摄对象像的形状和图像iie中的被拍摄对象像的形状不同的程度越增大，图像iid中的被拍摄对象像的大小和图像iie中的被拍摄对象像的大小不同的程度越增大，图像iid中的被拍摄对象像的朝向和图像iie中的被拍摄对象像的朝向不同的程度越增加。因此，图像iid中的被拍摄对象位置和图像iie中的被拍摄对象位置的视差推定会较困难。
作为这样的例子，图3中示出在将被拍摄对象与摄像头的距离设为固定(距离1m)的状态下，将摄像头的朝向变更为0度、45度、90度而拍摄到的被拍摄对象像的例子。此外，摄像头的朝向为0度，是摄像头的光轴朝向被拍摄对象的情况下的摄像头的朝向。根据图3可知，由于图像中的位置的差异，被拍摄对象像的外观(日文：見え方)、即被拍摄对象像的形状、大小或朝向不同。这是因为鱼眼透镜的失真方式因包含被拍摄对象和摄像头的直线与光轴所成的角度而不同。能够类推在图3的摄像头的朝向0度(包含被拍摄对象和摄像头的直线与光轴所成的角度为0度)的图像与图3的摄像头的朝向90度(包含被拍摄对象和摄像头的直线与光轴所成的角度为90度)的图像之间，难以进行视差推定。摄像头间的基线长度越长以及被拍摄对象与拍摄装置的距离越近，则这样的2个图像中的被拍摄对象像的形状、大小以及朝向的差异会越显著。因此，尤其在被拍摄对象与拍摄装置的距离不保持为一定以上的情况下，通过使基线长度变短能够降低该影响。
于是，在本实施方式中，即便在被拍摄对象位于拍摄装置1的附近的情况下，为了使得多个鱼眼摄像头间的视差不变得过大，而如图2a以及图2b所示那样，使用具有多个鱼眼透镜的摄像头101的光轴相互平行且将多个鱼眼透镜接近地配置的拍摄部100。由此，能够期待可以降低推定出的视差的误差这一效果。进而，通过使用实数精度的视差推定手法，也能够期待视差推定中的量化误差的问题降低这一效果。
但是，如果使多个具有视场角为180度的某鱼眼透镜的摄像头、例如第1摄像头和第2摄像头接近地配置，则第1摄像头的透镜或主体会摄入由第2摄像头拍摄到的图像。即，如果没有第1摄像头，第2摄像头能够拍摄的第1摄像头的背部的被拍摄对象相对于第2摄像头被第1摄像头的透镜或主体遮挡，因此，会产生不包含于由第2摄像头拍摄到的图像这一其他问题。例如，在图4所示那样的使用三个以上的鱼眼摄像头c1～c3的以往的拍摄装置中，由于2个摄像头间、例如鱼眼摄像头c1与鱼眼摄像头c2的基线长度长，因此，即便在鱼眼摄像头c2的透镜或主体摄入鱼眼摄像头c1的视场的情况下，鱼眼摄像头c2的透镜或主体摄入鱼眼摄像头c1的视场的区域占鱼眼摄像头c1的视场的比例也较小。与此相对，若如图2a以及图2b那样使多个摄像头接近，则在多个摄像头所包含的某摄像头的视场中，被多个摄像头所包含的被其它的摄像头的透镜遮挡的区域变大。此外，由于被拍摄对象上的点的三维位置的算出使用2个摄像头分别拍摄到的图像，因此，若被拍摄对象上的点包含于摄像头ccf的视场中被遮挡的区域和摄像头ccg的视场中被遮挡的区域中的至少一方，则使用摄像头ccf拍摄到的图像和摄像头ccg拍摄到的图像，无法算出该被拍摄对象上的点的三维位置。即，在由摄像头ccf拍摄到的图像中无法算出三维位置的区域成为将包含于被拍摄对象的、在摄像头ccf的视场中被遮挡的区域和包含于被拍摄对象的、在摄像头ccg的视场中被遮挡的区域合在一起的区域。
对于上述问题，本发明人们完成了如下技术：是一种包含具有鱼眼透镜的摄像头的拍摄装置，生成如果没有拍摄装置的部分具有鱼眼透镜的摄像头原本拍摄遮挡区域而得到的“被拍摄对象的部分”的图像，利用所生成的图像对遮挡区域进行补全，算出与所生成的图像对应的“被拍摄对象的部分”的三维位置，该遮挡区域是具有鱼眼透镜的摄像头拍摄被拍摄对象而得到的图像所包含的拍摄了拍摄装置的部分的区域。由此，能够取得没有遮挡的图像和与该图像对应的三维位置。此外，图像中的遮挡区域的信息，能够基于多个透镜的物理的配置关系以及各透镜的规格而事先取得。
此外，在本说明书中，设为鱼眼透镜的视场角大致为180度或其以上，将这些记述为“大致180度以上”。大致180度包含180度以下的角度、例如从160度到180度的角度。另外，180度以上包含例如180度以上230度以下的角度。
参照图1，拍摄装置1利用拍摄部100拍摄包含于各摄像头101的视场的图像，生成补全了由图像处理部110拍摄到的图像中的遮挡区域的图像和该图像内的被拍摄对象的三维位置。障碍物检测部120基于拍摄部100的视场内的图像和该图像内的被拍摄对象的三维位置生成合成图像，并显示于显示器130。
拍摄部100包括4个摄像头101a～101d，4个摄像头101a～101d中的各摄像头具有视场角为大致180度的鱼眼透镜。4个摄像头101a～101d如图2a那样配置。4个摄像头101a～101d中的各摄像头拍摄视场内的图像并输出图像(以后，也将该图像称为摄像头图像)。即，4个摄像头101a～101d输出4个摄像头图像(即，图像数据)。相邻的2个摄像头101的光轴间的距离也可以比2个摄像头101的透镜直径之和小。一般地，随着2个摄像头的光轴间的距离变小，另一方的摄像头的透镜会更多地摄入一方的摄像头的摄像头图像，因此，位于另一方的摄像头的背部的物体会更多地被一方的摄像头的摄像头图像遮挡。一般地，随着2个摄像头的透镜的直径变大，另一方的摄像头的透镜会更多地摄入一方的摄像头的摄像头图像，因此，位于另一方的摄像头的背部的物体会更多地被一方的摄像头的摄像头图像遮挡。
在本公开的技术中，即便2个摄像头的光轴间的距离比2个摄像头101的透镜的直径之和小，也能够在一方的摄像头的摄像头图像中取得位于另一方的摄像头的背部的物体不被遮挡的图像和该物体的三维位置。
相邻的2个摄像头101的光轴间的距离也可以与2个摄像头101的透镜直径的平均大致相同。一般地，2个摄像头的光轴间的距离变得越小，则另一方的摄像头被较多地摄入一方的摄像头的摄像头图像，在一方的摄像头的摄像头图像中遮挡位于另一方的摄像头的背部的物体的区域会越增加。在将2个摄像头最靠近的情况下、即2个摄像头的透镜相接触的情况下，2个摄像头的光轴间的距离成为与2个摄像头的透镜直径的平均大致相同。此时，一方的摄像头的摄像头图像中遮挡位于其它的摄像头的背部的物体的区域和另一方的摄像头的摄像头图像中遮挡位于一方的摄像头的背部的物体的区域之和成为最大。即，在一方的摄像头的摄像头图像和另一方的摄像头的摄像头图像的各自中无法取得三维位置的区域会成为最大。
另一方面，在本公开的技术中，即便2个摄像头的光轴间的距离与2个摄像头的透镜直径的平均大致相同，在一方的摄像头的摄像头图像中，也能够取得没有遮挡位于其它的摄像头的背部的物体的区域的图像和该物体的三维位置。换言之，当2个摄像头的光轴间的距离与2个摄像头的透镜直径的平均大致相同时，本公开的技术的效果会最佳。
如图1所示，图像处理部110包括位置算出部111、位置选择综合部112、图像补全部113以及摄像头参数存储部114。摄像头参数存储部114关于4个摄像头101中的各摄像头预先存储摄像头参数。摄像头参数包含外部参数、内部参数以及遮挡信息。外部参数包含摄像头的位置以及朝向等与摄像头的物理配置相关的信息。内部参数包含透镜的失真以及焦距等与摄像头的特性相关的信息。遮挡信息包含表示摄像头图像中的并非拍摄被拍摄对象的部分而得的区域、而是拍摄拍摄装置1的部分而得的区域的信息。即，遮挡信息包含表示摄像头的视场的一部分被拍摄装置1的部分遮挡的结果的该摄像头的摄像头图像中没有被拍摄对象的部分的图像的区域的信息。例如，遮挡信息包含表示由各摄像头101进行了拍摄的情况下的各摄像头101的摄像头图像所包含的遮挡区域的信息。遮挡信息也可以是用于确定各摄像头101的摄像头图像中具有拍摄包含于拍摄装置1的部分而得到的像素值的像素的信息。
位置算出部111取得从4个摄像头101输出的4个摄像头图像(即，图像数据)，将4个摄像头图像中的2个摄像头图像作为1对，提取6对组合。另外，位置算出部111从摄像头参数存储部114读出4个摄像头101各自的摄像头参数。位置算出部111基于推定出的6对摄像头图像间的视差和摄像头参数所包含的外部参数以及内部参数，算出摄像头图像内的被拍摄对象的三维位置，并作为位置信息输出。此外，被拍摄对象也可以是摄像头图像整体的区域。
位置算出部111基于摄像头参数生成位置信息。位置信息各自包含确定三维空间内的1个点ppn的位置的信息、确定4个摄像头101所包含的摄像头cci拍摄包含点ppn的被拍摄对象而得到的摄像头图像iii所包含的像素plipn的位置的信息、确定4个摄像头101所包含的摄像头ccj拍摄包含点ppn的被拍摄对象而得到的摄像头图像iij所包含的像素pljpn的位置的信息。像素plipn是在观察摄像头cci拍摄点ppn而得的图像时被推定的像素，像素pljpn是在观察摄像头ccj拍摄点ppn而得的图像时被推定的像素。关于该推定的方法，后述。即，多个位置信息各自包含与三维空间内的1个点ppn相关的三维位置信息和与同点ppn对应的2个像素plipn、pljpn相关的像素对信息。
由像素对信息确定的2个像素所包含的像素plipn，在摄像头对所包含的摄像头cci拍摄到的摄像头图像iii中位于与点ppn对应的点，由像素对信息确定的2个像素所包含的像素pljpn，在摄像头对所包含的摄像头ccj拍摄到的摄像头图像iij中位于与点ppn对应的点。与点ppn相关的三维位置信息基于确定2个像素plipn、pljpn的位置的信息即位置信息来决定，2个像素plipn、pljpn分别包含于不同的摄像头cci、摄像头ccj的摄像头图像iii、摄像头图像iij。
位置选择综合部112取得由位置算出部111输出的位置信息，并且，从摄像头参数存储部114读出各摄像头101的摄像头参数。位置选择综合部112基于摄像头参数所包含的遮挡信息，从位置信息选择由像素对信息确定的2个像素双方都未包含于遮挡区域的位置信息的至少一部分，在各摄像头对的摄像头图像之间对所选择出的位置信息进行综合，并将综合结果作为选择位置综合信息输出。也可以是，选择位置综合信息通过从多个位置信息中排除预定的位置信息而被生成，预定的位置信息各自包含预定的像素对信息，由预定的像素对信息确定的2个像素中的至少一方包含于遮挡区域。选择位置综合信息中包含像素对信息，由像素对信息确定的2个像素分别在包含2个像素中的各像素的摄像头图像中不包含于遮挡区域，位于该2个摄像头图像间相互对应的点。即，使用由像素对信息确定的2个像素，能够确定被拍摄对象上的点。
图像补全部113取得摄像头图像和从位置选择综合部112输出的选择位置综合信息。图像补全部113，基于其它的摄像头图像的非遮挡区域和选择位置综合信息，对至少1个摄像头图像的遮挡区域生成补全图像，基于该其它的摄像头图像对遮挡区域的图像生成补全图像。并且，图像补全部113输出所生成的补全图像和上述选择位置综合信息。
图像补全部113使用通过选择位置综合信息所包含的像素对信息确定的2个像素中的至少一方的选择像素的像素值，在不包含该2个像素的摄像头图像中，决定包含于遮挡区域并且与选择像素对应的对象像素的像素值。对象像素和选择像素位于相互对应的对应点。此外，对象像素和选择像素是否位于对应点，也可以基于摄像头参数和与选择像素对应的三维位置信息来决定。
障碍物检测部120取得补全图像和选择位置综合信息，基于选择位置综合信息对障碍物等三维物体进行检测。此外，障碍物检测部120输出在与检测出的三维物体的位置对应的补全图像上的区域重叠表示注视区域的框而合成的合成图像。
显示器130取得合成图像并显示。显示器130也可以由液晶面板、有机或无机el(electroluminescence)等显示面板构成。
构成图1的图像处理部110以及障碍物检测部120的各构成要素，既可以由电子电路或集成电路等硬件实现，也可以由在计算机上执行的程序等软件来实现。程序，作为应用，也可以是由经由因特网等通信网的通信、遵循移动通信标准的通信等提供的程序。
此外，如图5所示，图像处理部110，除了位置算出部111、位置选择综合部112、图像补全部113以及摄像头参数存储部114之外，还可以包括摄像头参数取得部115。摄像头参数取得部115从摄像头参数存储部114取得摄像头101的摄像头参数，向位置算出部111、位置选择综合部112以及图像补全部113输出。
此外，图像处理部110不包括摄像头参数存储部114，例如也可以是，云服务器等外部装置包括摄像头参数存储部114。在该情况下，摄像头参数存储部114也可以通过无线以及有线的通信单元与摄像头参数取得部115连接。并且，摄像头参数取得部115也可以取得存储于摄像头参数存储部114的信息、例如摄像头参数。摄像头参数取得部115也可以从摄像头参数存储部114取得包含多个摄像头101的位置信息、多个摄像头101的焦距、包含表示多个摄像头101的摄像头图像中的哪个像素包含于遮挡区域的信息的遮挡信息在内的摄像头参数。
在图5的例子中，位置算出部111、位置选择综合部112以及图像补全部113经由摄像头参数取得部115，与摄像头参数存储部114收发信息，例如，也可以进行读出摄像头参数存储部114所保存的信息等。位置算出部111也可以经由摄像头参数取得部115从摄像头参数存储部114读出4个摄像头101的摄像头参数。也可以是，位置选择综合部112得到位置算出部111所输出的位置信息，经由摄像头参数取得部115从摄像头参数存储部114读出摄像头参数。
参照图6，示出实施方式涉及的拍摄装置1的硬件构成的一例。拍摄装置1具备拍摄部100、与图像处理部110以及障碍物检测部120对应的计算机300、显示器130。在拍摄装置1中，拍摄部100拍摄其视场内的图像而作为摄像头图像输出，计算机300取得所输出的摄像头图像，算出补全图像和选择位置综合信息，进而，生成合成图像并输出。显示器130显示由计算机300生成的合成图像。三个以上的摄像头101a、101b、101c...与拍摄部100对应。
计算机300包括cpu(centralprocessingunit)301、rom(readonlymemory)302、ram(randomaccessmemory)303、hdd(harddiskdrive)304、视频输入接口(i/f)305以及视频卡306。使计算机300工作的程序，预先保持于rom302或hdd304。程序通过作为处理器的cpu301从rom302或hdd304读出到ram303并被展开。cpu301执行在ram303中展开的程序中的编码化的各命令。视频输入i/f305与程序的执行相应地将由拍摄部100拍摄到的摄像头图像取入到ram303。视频卡306对与程序的执行相应地生成的图像进行处理并向显示器130输出，显示器130显示该图像。如上所述，计算机300与图像处理部110以及障碍物检测部120对应。摄像头参数存储部114与rom302、ram303或hdd304对应。
此外，计算机程序不限于保存于作为半导体的rom302或hdd304，例如也可以保存于cd-rom等记录介质。另外，计算机程序也可以经由有线网络、无线网络或播放等被传送，被取入到计算机300的ram303。
以下，使用图7对实施方式涉及的拍摄装置1的工作进行说明。此外，图7是表示实施方式涉及的拍摄装置1的图像处理部110以及障碍物检测部120的工作的一例的流程图。在图7中，步骤s401～s405的4个处理由图6的计算机300执行。
此外，图7的各步骤的处理，也可以由图5的图像处理部110以及障碍物检测部120所包含的各构成要素执行。即，也可以执行由摄像头参数存储部114以及摄像头参数取得部115进行的摄像头参数读出的步骤s401的处理、由位置算出部111进行的位置算出的步骤s402的处理、由位置选择综合部112进行的位置选择综合的步骤s403的处理、由图像补全部113进行的图像补全的步骤s404的处理、由障碍物检测部120进行的合成图像生成的步骤s405的处理。
在本实施方式中，说明拍摄装置1设置于汽车的例子，但不限定于此。具体而言，拍摄装置1取得汽车的后方的摄像头图像和与该摄像头图像对应的三维位置并检测障碍物，将其结果显示于设置在汽车内的显示器，由此，向作为利用者的驾驶员提示车体后方的状况。
参照图8a，示出表示实施方式涉及的拍摄装置1向汽车设置的例子的俯视图。拍摄部100在车体后部朝向车体后方地设置成摄像头101的光轴大致与汽车向后方直线前进的方向一致。图像处理部110、障碍物检测部120以及显示器130分别设置在驾驶员可以看到的车厢内。另外，参照图8b，用俯视图示出由搭载于汽车的拍摄装置1进行拍摄的状况的例子。拍摄部100的4个摄像头101a～101d相互同步地以固定时间间隔拍摄图像并输出，但不限定于此。
参照图9a，拍摄部100的4个摄像头101a～101d的配置的例子通过主视图的(a)以及后视图的(b)示出。另外，参照图9b，示出在图8a的拍摄部100的设置状况以及图8b的拍摄状况下由图9a的4个摄像头101a～101d拍摄的摄像头图像的例子。与各摄像头图像的左右两端相接的圆弧的内侧表示视场角为180度的视场内的被拍摄对象。在本实施方式中，设为摄像头101a～101d各自具有鱼眼透镜，各自的投影模型是等距离投影模型。另外，设为摄像头101a～101d、以及视频输入i/f305能够分别拍摄、取得横1280像素、纵960像素的彩色图像。此外，上述并不用于限定摄像头的投影模型以及摄像头图像的像素数，也可以是其它的投影模型以及像素数。如上所述，在本公开中，为了降低因摄像头图像间的被拍摄对象像的形状、大小以及朝向的差异而引起的视差推定的误差，多个摄像头101接近地配置。在本实施方式中，将图9a所示的摄像头101a～101d的最短的基线长度设为0.015m。用这样构成的拍摄部100拍摄的4个摄像头图像的例子在图9b中示出。可知图中的4个摄像头图像中的被拍摄对象各自的形状、大小以及朝向大致相同。另一方面，由于使摄像头101a～101d接近地配置，因此可知在所有的摄像头图像中在视场的端部会摄入相邻的摄像头的透镜，其背部的被拍摄对象被遮挡。此外，这些被遮挡的区域，是由图9b中的“因相邻的摄像头的透镜而产生的遮挡”的部分表示的区域。
计算机300与拍摄部100的工作并行地执行预先确定的程序，由此，进行图7的步骤s401～s405的处理。以后，使用图1以及图9a～图21说明由计算机300执行的步骤s401～s405的详细的处理。
在步骤s401中，位置算出部111从摄像头参数存储部114读出预先存储于摄像头参数存储部114的各摄像头101a～101d的包含内部参数、外部参数以及遮挡信息的摄像头参数。步骤s401的处理也可以由图5所示的摄像头参数取得部115执行。摄像头的外部参数{mq，r}和三维坐标的关系以及摄像头的内部参数(f，k)、三维坐标和像素坐标的关系分别在下述的式1以及式2中示出。
此外，在式1中，r＝1..4。
上述的式1中的外部参数{mq，r}是表示2个摄像头q以及r的各摄像头坐标系的位置关系的矩阵的集合。矩阵mq，r表示将摄像头q的摄像头坐标系的三维位置(xq，yq，zq)变换为摄像头r的摄像头坐标系的三维位置(xr，yr，zr)的4×4的矩阵。内部参数的f是焦距，k是拍摄元件上的像素尺寸。上述的式2表示摄像头坐标系的三维位置(x，y，z)和摄像头图像的像素坐标(u，v)的关系。这些外部参数{mq，r}以及内部参数(f，k)一般地通过被称为摄像头校正方法的广泛地公知的手法预先求出。此外，上述的式2中，使用了透镜的投影模型为等距离投影的情况下的内部参数，但是，应用的投影模型不限定于此，也可以是立体投影以及等立体角投影等其它的投影模型。
在此，图10中示出4个摄像头101a～101d的遮挡信息的例子。遮挡信息是表示摄像头图像中摄入透镜或摄像头主体而透镜或摄像头主体遮挡了其背部的被拍摄对象的区域的信息。在本实施方式中，遮挡信息表示摄像头图像的各像素属于“被拍摄对象区域”、“遮挡区域”以及“视场外区域”这三个中的任一个。例如，将摄像头图像i的像素坐标(u，v)的遮挡信息表示成o(u，v)。图10是关于各像素的三个状态，用白色(即，无着色无图案)表示被拍摄对象区域、用斜线表示遮挡区域、用黑色表示视场外区域的图。该遮挡信息能够通过事先用摄像头101拍摄图像并手动地判定各像素属于哪个区域来制作。在本实施方式中，拍摄装置1从包含图9b的遮挡区域的摄像头图像算出没有遮挡区域的图像和与该图像对应的三维位置。
接着，在步骤s402中，位置算出部111取得由拍摄部100的摄像头101a～101d拍摄到的多个摄像头图像(即，图像数据)。并且，位置算出部111从所取得的多个摄像头图像中提取多个“摄像头图像对”。多个“摄像头图像对”中的各图像对包含2个摄像头图像。例如，从摄像头101a～101d所拍摄到的4个摄像头图像中，提取6个“摄像头图像对”。此外，位置算出部111在各“摄像头图像对”所包含的摄像头图像中，使用在步骤s401中读出的摄像头参数，通过立体视觉算出摄像头图像中的多个点的三维位置。在立体视觉中，求出由配置成位于相互不同的视点并且视场重复的2个摄像头拍摄到的2个摄像头图像中的各摄像头图像所包含的点且是相互对应的点的组、即对应点组，使用求出的对应点组和预先求出的摄像头的位置以及朝向等摄像头参数，计算与对应点组相对的被拍摄对象上的点的三维坐标。
以下，说明步骤s402的处理的详细内容。将由摄像头101a、101b、101c以及101d拍摄到的4个摄像头图像分别设为摄像头图像ia、ib、ic以及id。从这些中提取由2个摄像头图像构成的6个图像的对(ia、ib)、(ia，ic)、(ia，id)、(ib，ic)、(ib，id)以及(ic，id)。以下，也将图像的对称为图像对。并且，针对各图像对，检测多组包含于对内的2个摄像头图像的各摄像头图像且相互对应的点的组、即对应点组。例如，在摄像头101a拍摄被拍摄对象上的点作为包含于摄像头图像ia的点pia、摄像头101b拍摄该点作为包含于摄像头图像ib的点pib的情况下，点pia和点pib是对应点组。也可以表达为点pia和点pib是相互对应的点、或者相互对应的对应点、或者点pia与点pib对应。也可以用像素的组表达对应点组。例如，也可以用点pia的像素和点pib的像素的组表达点pia和点pib的对应点组。也可以用像素坐标的组表达对应点组。例如，也可以用点pia的图像坐标和点pib的图像坐标的组表达点pia和点pib的对应点组。例如，在图像对(ia、ib)的情况下，对于摄像头图像ia上的各个像素，检测摄像头图像ib上的对应的像素。即，检测与摄像头图像ia上的像素坐标(uan，van)对应的摄像头图像ib上的像素坐标(ubn，vbn)。在此，n＝1、…、na，na是摄像头图像ia上的像素数。在摄像头图像ia的像素坐标(uan，van)和摄像头图像ib的像素坐标(ubn，vbn)相互对应的情况下，像素坐标(uan，van)中的像素的像素值ia(uan，van)和像素坐标(ubn，vbn)中的像素值ib(ubn，vbn)相等。将其称为辉度约束。
另外，由于某1个被拍摄对象占据摄像头图像中的多个相邻的像素，因此，与由同摄像头图像ia的像素坐标(uan，van)相邻的像素确定的点对应的摄像头图像ib所包含的点，位于摄像头图像ib的像素坐标(ubn，vbn)的附近的可能性较高。将其称为平滑度约束。通过推定最佳地满足上述的辉度约束和平滑度约束这2个条件的像素坐标(uan，van)以及(ubn，vbn)的组的集合，能够得到摄像头图像ia、ib各自所包含的、且相互对应的点的组、即对应点组。此外，也可以将摄像头图像ia上的像素坐标和与该摄像头图像ia上的像素坐标对应的摄像头图像ib上的像素坐标的组合信息称为像素对信息。
以实数精度算出2个摄像头图像间的对应的像素坐标的对应点搜索手法以及移动推定手法，在上述例举出的非专利文献1以及非专利文献2等中详细地进行了记载。由于这些手法是已知的以往技术，因此省略详细的说明。例如，在非专利文献1中，定义关于由光流约束的l1范数和全变分的加权和构成的图像整体的能量评价函数，关于图像中的所有像素求出将该能量评价函数最小化的流(视差或移动向量)的方法。在非专利文献2中记载了，用对应点组所包含的对应点间的颜色的差和对应点组所包含的对应点间的像素坐标值的差对非专利文献1中的全变分进行加权的方法。
接着，对各对应点组，通过使用摄像头图像ia以及ib各自的对应点的像素坐标(uan，van)以及(ubn，vbn)和预先求出的摄像头101a以及101b的外部参数mb、a以及内部参数fa、ka、fb、kb，对下述的式3所示的联立方程式进行求解，来算出与对应点组相对的被拍摄对象上的点的三维位置(xan，yan，zan)。在本实施方式中，三维位置设为摄像头101a的视点坐标系(也称为摄像头坐标系)的坐标值，但也可以应用摄像头101b的视点坐标系。此外，fa以及ka分别是摄像头101a的焦距以及单位像素尺寸，fb以及kb分别是摄像头101b的焦距以及单位像素尺寸。另外，对于其它的5个图像对也同样地进行三维位置的算出。
此外，从2个摄像头图像的对应点组和2个摄像头位置算出对于对应点组的被拍摄对象上的点的三维位置的双目立体手法以及2个三维坐标系间的坐标值的变换，在上述例举出的非专利文献3等中详细地进行了记载。由于这些手法是已知的以往技术，因此省略详细的说明。例如，在非专利文献3中，在p.123-137的第8章立体视觉中记载了立体视觉的相关联的详细内容，p.39中记载了关于2个三维坐标系间的坐标值的变换。
通过以上的步骤s402的详细的处理，位置算出部111关于6个图像对中的各图像对，算出多个“由对应点组确定的多个对应点的位置和对于对应点组的被拍摄对象上的点的三维位置”，并将这些作为位置信息输出。例如，关于2个摄像头图像iq以及ir，将2个摄像头图像iq以及ir间的nq个“由对应点组确定的多个对应点和对于对应点组的被拍摄对象上的点”的位置信息设为{pq，r，n}(n＝1，…，nq)。并且，nq个位置信息pq、r、n的集合即pq、r表示为下述的式4。另外，存在m个图像对即图像对1～图像对m的情况下，将{(与图像对1相关的所有的“‘由对应点组确定的多个对应点和对于对应点组的被拍摄对象上的点’的位置信息”)、...、(与图像对m相关的所有的“‘由对应点组确定的多个对应点和对于对应点组的被拍摄对象上的点’的位置信息”}即位置信息表示为ptotal。在本实施方式中，以由4个摄像头中的各摄像头拍摄到的摄像头图像ia、ib、ic、id作为前提，因此ptotal＝{pa，b，pa，c，pa，d，pb，c，pb，d，pc，d}。
位置信息也可以设为包含确定由对应点组确定的2个对应点各自的像素的像素对信息和与由像素对信息确定的像素对对应的被拍摄对象上的点的三维位置的信息。像素对信息也可以包含在2个摄像头图像间对应的2个像素的像素坐标。这样，在步骤s402中，位置算出部111从由摄像头101拍摄到的多个图像中的2个图像和摄像头参数，通过立体视觉算出被拍摄对象上的点的三维位置，作为位置信息而输出。
接着，在步骤s403中，位置选择综合部112取得在步骤s401中读出的遮挡信息和在步骤s402中算出的位置信息ptotal，从位置信息ptotal＝{pa，b，pa，c，pa，d，pb，c，pb，d，pc，d}，生成选择位置综合信息p’total＝{p’a，b，p’a，c，p’a，d，p’b，c，p’b，d，p’c，d}。具体而言，位置选择综合部112对于位置信息ptotal所包含的所有的对应点组，重复以下的选择综合处理。
位置选择综合部112关于2个摄像头图像、例如摄像头图像ia以及ib的对，从位置信息ptotal所包含的位置信息pa，b，n，读出摄像头图像ia的对应点的坐标值(uan，van)和摄像头图像ib的对应点的坐标值(ubn，vbn)。并且，位置选择综合部112从摄像头图像ia的遮挡信息oa和摄像头图像ib的遮挡信息ob，读出摄像头图像ia中的具有坐标值(uan，van)的对应点的遮挡信息即遮挡信息oa(uan，van)以及摄像头图像ib中的具有坐标值(ubn，vbn)的对应点的遮挡信息即ob(ubn，vbn)。在遮挡信息oa(uan，van)表示是“被拍摄对象区域”，并且，ob(ubn，vbn)表示是“被拍摄对象区域”的情况下，位置选择综合部112选择该位置信息pa，b，n。另一方面，在遮挡信息oa(uan，van)和遮挡信息ob(ubn，vbn)中的至少一方表示是“遮挡区域”或“视场外区域”的情况下，位置选择综合部112不选择该位置信息pa，b，n。
位置选择综合部112对于2个摄像头图像ia以及ib的对的所有的位置信息pa，b，n(n＝1..na)进行该选择操作，将所选择的位置信息的集合设为选择位置综合信息p’a，b。
此外，位置选择综合部112也对2个摄像头图像ia以及ib的对以外的所有的摄像头图像对的位置信息所包含的所有对应点组也进行该选择操作。即从pa，c生成p’a，c，从pa，d生成p’a，d，从pb，c生成p’b，c，从pb，d生成p’b，d，从pc，d生成p’c，d。由此，位置选择综合部112生成选择位置综合信息p’total＝{p’a，b，p’a，c，p’a，d，p’b，c，p’b，d，p’c，d}。
选择位置综合信息也可以通过从多个位置信息中排除预定的位置信息来生成。在该情况下，也可以是，排除的预定的位置信息各自包含预定的像素对信息，由该预定的像素对信息确定的像素的至少一方包含于遮挡区域。
参照图11，示出与图像对(ia、ib)、(ia，ic)、(ia，id)、(ib，ic)、(ib，id)以及(ic，id)分别对应的位置信息pa，b、pa，c、pa，d、pb，c、pb，d、pc，d和遮挡信息的关系的概念图。例如，在“摄像头101a-101b”的图中，基于从摄像头101a以及101b的2个摄像头图像ia、ib算出的位置信息pa，b，对摄像头101a的摄像头图像ia的各个包含像素的区域进行图解。具体而言，作为“视场外区域”的区域用黑色表示，作为“遮挡区域”的区域用斜线表示，作为“被拍摄对象区域”的区域用白色(即，无着色无图案)表示。图10的摄像头101a的摄像头图像ia的右上区域以及摄像头101b的摄像头图像ib的左上区域分别是遮挡区域，对此，若基于位置信息，则在摄像头101a的遮挡区域和摄像头101b的遮挡区域这两方中无法计测三维位置。因此，在图11的“摄像头101a-101b”中，在右上以及左上的区域产生遮挡区域。与此相对，在其它的摄像头对、即图像对中，遮挡区域的部位不同。例如，在“摄像头101a-101c”中，左上的区域不是遮挡区域，在“摄像头101b-101d”中，右上的区域不是遮挡区域。因此，通过从根据多个图像对算出的位置信息，选择并集合未被遮挡的被拍摄对象区域、即图10中的白色的区域，能够得到没有遮挡区域的位置信息。基于该想法，集合了未被遮挡的区域(白色区域)的区域与在步骤s403中选择出的选择位置综合信息p’total对应。例如，与由该4个摄像头中的各摄像头拍摄到的摄像头图像ia、ib、ic、id相关的p’total是p’total＝{p’a，b，p’a，c，p’a，d，p’b，c，p’b，d，p’c，d}。例如，p’a，b是包含图11的“摄像头101a-101b”中的未被遮挡的区域(白色区域)的位置信息、即确定由所选择出的对应点组确定的2个对应点的各自的像素的像素对信息和与由像素对信息确定的像素对对应的被拍摄对象上的点的三维位置的信息。
若考虑各摄像头的上述的未被遮挡的区域(白色区域)，则在未受到因透镜导致的遮挡的影响的区域中，得到多个选择位置综合信息。例如，若关注摄像头101a而将其作为基准摄像头，则得到基于与摄像头101a-101b、101a-101c以及101a-101d这三个摄像头对的各摄像头对对应的摄像头图像对的位置信息。关于这三个位置信息的综合，以下进行说明。
在此，参照图12，示出说明通过4个摄像头101a～101d得到被拍摄对象的位置信息的情况的图。在图12中，关于4个摄像头，标注与图9a相同的标号，设定了计测点151。在将摄像头101a作为基准摄像头的情况下，利用摄像头101a-101b、101a-101c以及101a-101d的对分别取得作为计测点151的位置信息的三维位置的信息。已知在从摄像头对取得位置信息的情况下，作为摄像头之间的距离的基线长度会影响位置信息的误差。在利用视场角比鱼眼透镜窄的一般的摄像头对取得位置信息的情况下，在拍摄的图像内，基线长度在实际应用中几乎能够视为固定的。但是，在通过使用了鱼眼透镜的摄像头对取得位置信息的情况下，在拍摄的图像内，基线长度的表观长度的变化大。该基线长度的表观长度与从2个摄像头的透镜到被拍摄对象的2个视线所形成的观察角的大小对应并且相关。因此，在本说明书中，将基线长度的表观长度称为观察角对应长度。与观察角对应长度相关的说明后述。并且，与从一方的摄像头观察的另一方的摄像头的方向(即，基线方向)和摄像头图像内的另一方的摄像头的位置相应地，观察角对应长度变化，与变化的观察角对应长度相应地取得的位置信息的误差会变化。关于该点，在专利文献1以及专利文献2中，为了综合多个位置信息而进行了分别不同的加权求和。通过这些加权求和，能够分别定性地降低位置信息的误差，在此，关于考虑取得时的误差要因而使加权求和后的综合结果的位置信息的误差最小化的方法进行说明。
以下，作为位置信息的误差，对关于距摄像头的光学中心的像素的方向的进深(depth)的误差进行说明。在取得位置信息时，所使用的各摄像头被预先校准，由摄像头拍摄的摄像头图像的像素坐标(u，v)和从被拍摄对象位置向摄像头的光学中心的光线的入射角的关系、即关于通过像素坐标(u，v)的光线的三维空间的式子是已知的。因此，进深(depth)和位置信息(x，y，z)能够使用摄像头参数来相互进行变换。
由摄像头拍摄到的摄像头图像中包含暗电流、散粒噪声(shotnoise)等噪声。这些噪声用高斯分布被模型化。
在立体测距时，以对应点的像素值相等作为前提来进行计算，但是若在包含噪声的图像间进行相关联、即进行视差推定，则视差推定值会产生误差。视差的误差，如下述的式5所示那样，同噪声的大小与沿着极线的方向的辉度梯度之比成比例。
在上述的式5中，δu是视差的误差，ε是像素值的噪声，
ε～n(0，σ2)(式7)
接着，使用图13对基于2个摄像头(摄像头1以及摄像头2)的三角测量中的观察角对应长度和角度误差的关系进行说明。在图13中，投影中心161是2个摄像头的单方的摄像头1的投影中心，投影中心162是另一方的摄像头2的投影中心。计测点163是使用摄像头1以及2进行三角测量的对象点。视线164是从摄像头1观察计测点163的视线，视线165是从摄像头2观察计测点163的视线。基线长度166是摄像头1和摄像头2之间的实际的距离。观察角对应长度167与从计测点163观察摄像头1以及2时的摄像头间的表观距离相当，也是从计测点163的表观基线长度。
视线164以及165各自的方向的直线164a以及165a在计测点163形成角度φ的内角。角度φ也是从摄像头1以及2观察计测点163的情况下的观察角。在与观察角φ的二等分线即直线168垂直的线段中，在摄像头2的投影中心162具有一端点并且在直线164a上具有另一端点的线段167a的长度成为观察角对应长度167。从摄像头2的投影中心162垂向二等分线168的垂线与直线164a交叉的点和投影中心162的距离也可以说是观察角对应长度167。直线168成为线段167a的垂直二等分线。另外，观察角对应长度也可以是与线段167a平行的线段169a的长度。线段169a在摄像头1的投影中心161具有一端点并且在直线165a上具有另一端点。作为线段169a的长度的观察角对应长度169也与从计测点163观察摄像头1以及2时的摄像头间的表观的距离相当。
观察角对应长度167也是以观察角φ作为中心角的扇形中的通过摄像头2的投影中心162的弦的长度。观察角对应长度169也是以观察角φ作为中心角的扇形中的通过摄像头1的投影中心161的弦的长度。这样，观察角对应长度是摄像头1或2的投影中心161或162处的、中心角φ的扇形的弦方向上的观察角φ的内侧区域的宽度。观察角φ的内侧区域是视线164以及165的内侧区域。
另外，观察角对应长度不限定于观察角对应长度167及169。例如，观察角对应长度也可以是以观察角φ为中心角的扇形的任意的弦。例如，观察角对应长度也可以是与线段167a以及169a平行并且在直线164a以及165a上具有两端的任意的线段的长度。与这样的观察角对应长度对应的线段也可以位于线段167a以及169a之间。
另外，观察角对应长度也可以用作为直线164a以及165a的内角的观察角φ来替代。观察角φ以与观察角对应长度具有同样的动作的方式相关。由此，观察角φ的变化能够表示观察角对应长度的变化，与观察角对应长度的变化是1对1对应的。具体而言，观察角φ越大，则观察角对应长度会越长，观察角φ越小，则观察角对应长度会越短。通过观察角φ和计测点163与投影中心161或162的距离，可以算出观察角对应长度。
在校准后的摄像头中，根据上述的式2的关系能够从摄像头图像中的坐标值计算摄像头的视线方向(即，视线方向的向量)。即，在式2中，若设摄像头1的视点坐标系中的计测点的坐标(x，y，z)＝(xi，yi，zi)，设摄像头1拍摄包含该计测点的被拍摄对象而得的摄像头图像中的计测点的图像的坐标为(u，v)＝(x1，y1)，设摄像头2拍摄包含该计测点的被拍摄对象而得的摄像头图像中的计测点的图像的坐标为(u，v)＝(x2，y2)，则从(x1，y1)向(xi，yi，zi)的视线向量(a1，b1，c1)能够如以下那样求出。
若设摄像头1的图像中的计测点(xi，yi，zi)的方位角为
若设摄像头2的图像中的计测点(x2，y2，z2)的方位角为
如以上那样，通过视线方向的向量和表示摄像头的位置以及姿势的外部参数，在三维空间中唯一地求出连结摄像头的投影中心与被拍摄对象的视线方向的直线。因此，从摄像头1以及摄像头2的图像中的坐标值，作为2个视线164以及165的方向的直线164a以及165a的交点，计算计测点163的三维位置。
此外，上述的2个视线方向的直线164a以及165a，由于摄像头图像间的相关联的误差以及量化误差，可能发生严格地不交叉的情况。因此，在实际的计测点163的位置计算中，有时将计测点163的三维位置作为位于与2直线164a以及165a等距离的点而求出。此外，位于与直线164a以及165a等距离的点，考虑相对于2直线164a以及165a共同的垂线，可以是关于各直线的垂线的垂足的中点。或者，以单方的摄像头作为基准考虑计测点163的三维位置，作为从该投影中心到该摄像头的视线方向上的垂线的垂足的位置而求出。此外，关于使2个直线上的点间的距离最小化的点的组会成为两者共有的垂线的垂足，在下文说明。
从上述2个视线164以及165的方向，从计测点163观察到的2个摄像头1以及2的角度φ，从下述的式8求出。此外，从摄像头1向(a1，b1，c1)的向量，是视线164的方向向量即视线向量，从摄像头2向(a2，b2，c2)的向量是视线165的视线向量。
若在观察角对应长度deff的条件下进行基于3角测量的测距，则从观察角对应长度的单方的位置(与单方的摄像头的视点相当)到顶点(与被拍摄对象位置相当)的距离depth，如下述的式9那样表示。例如，在图13中，计测点163与摄像头2的投影中心162的距离与距离depth相当。并且，若对从视点位置观察的角度φ重叠误差δφ，则距离depth的误差errdepth如下述的式10那样表示。
在上述式10中，距离depth的误差errdepth用噪声(概率变量ε)的分数式表示，无法对误差errdepth的方差进行解析地表示，但是可以数值性地进行评价。图14是其一例。图14示出关于位于距摄像头1m的位置、即覆盖关注摄像头的半径1m的半球上的被拍摄对象在σ＝1、
对于平均、方差不同的概率变量(即，伴随误差的数值，在此为距离depth的取得值)，关于它们的加权求和也能够计算平均以及方差。在四目摄像头的情况下，如上所述，包含关注摄像头的立体对成为3，因此，得到三个测距值。若将3个测距数据的误差xi视为下述的式11所示那样的概率变量，则如下述的式12所示那样，求出三个概率变量x1、x2以及x3的加权和。此外，μi是多个对应点中的误差xi的平均，σi2是多个对应点中的误差xi的方差。
通过以使加权求和值的方差最小化的方式决定权重α、β、γ，能够得到提高各个测距精度的精度的测距值。关于那样的α、β、γ的值，若为了简单而将误差的平均μ1、μ2、μ3分别设为0，则根据下述的式13所示的关系，以下述的式14所示的形式求出。
根据图14所示的关系，三个立体对中的距离depth的误差的方差即σ12、σ22、σ32分别与对应的立体对的观察角对应长度deff1、deff2、deff3的大约平方成反比例。根据该关系和式14的结果，加权综合时的系数即权重α、β、γ的值使用基于各个立体对的测距时的、观察角对应长度，如下述的式15那样表示。
此外，根据式9以及图13，从图13的计测点163观察到的摄像头1以及2的角度(观察角)φ，与观察角对应长度deff成比例关系，因此，式15所示的权重α、β、γ的值，作为下述的式16也可以得到相同效果，而包含于本公开。
根据上述，关于多个摄像头中的要关注的摄像头q，将其像素坐标值和位置信息的组作为关注摄像头视点的选择位置综合信息而如下述的式17那样表示。
pq"＝{pqn}，(n＝1，…，nq)
＝{(uqn，vqn·，xqn，yqn，zqn)}(式l7)
在2×2＝四目的情况下，关注摄像头q如图12所示那样是左下(ll)视点、右下(lr)视点、左上(ul)视点、右上(ur)中的任一个。关于关注摄像头q，例如，在q是摄像头100a(左下视点)的情况下，如下述的式18或式19那样，通过进行与多个位置信息所包含的误差的方差相应的加权求和，能够得到使位置信息的误差的方差最小化的对应点的三维位置。此外，在加权求和的权重α、β、γ中，在式18中，取代误差的方差而使用了观察角对应长度的平方，在式19中，取代误差的方差，而使用了观察角的平方。即，在式18以及式19中，不使用图像的噪声水平以及通过立体视觉求出的三维位置的误差的方差，而使用与这些对应的观察角对应长度以及观察角，进行加权求和。
在式18以及式19中，(xan，yan，zan)是计测点的三维位置，摄像头101a拍摄该计测点而得的图像意味着以摄像头101a的摄像头图像中的像素坐标(uan，van)观察。另外，关于(x(a-b)n，y(a-b)n，z(a-b)n)，在上述的式4中，是将q设为与摄像头101a对应的a，将r设为与摄像头101b对应的b的结果。即，(x(a-b)n，y(a-b)n，z(a-b)n)表示在摄像头101a以及101b的2个摄像头图像间通过立体视觉求出的三维位置。关于(x(a-c)n，y(a-c)n，z(a-c)n)也同样，在上述的式4中，是将q设为与摄像头101a对应的a、将r设为与摄像头101c对应的c的结果。关于(x(a-d)n，y(a-d)n，z(a-d)n)也同样地，是在上述的式4中，将q设为与摄像头101a对应的a、将r设为与摄像头101d对应的d的结果。(x(a-c)n，y(a-c)n，z(a-c)n)表示摄像头101a以及101c的2个摄像头图像间的通过立体视觉求出的三维位置。(x(a-d)n，y(a-d)n，z(a-d)n)表示摄像头101a以及101d的2个摄像头图像间的通过立体视觉求出的三维位置。
此外，式18的deff，(a-b)n是用摄像头101a以及摄像头101b对位置(x(a-b)n，y(a-b)n，z(a-b)n)进行三角测量的情况下的观察角对应长度。同样地，deff，(a-c)n是用摄像头101a以及摄像头101c对位置(x(a-c)n，y(a-c)n，z(a-c)n)进行三角测量的情况下的观察角对应长度，deff，(a-d)n是用摄像头101a以及摄像头101d对位置(x(a-d)n，y(a-d)n，z(a-d)n)进行三角测量的情况下的观察角对应长度。
另外，式19的φ(a-b)n是用摄像头101a以及摄像头101b对位置(x(a-b)n，y(a-b)n，z(a-b)n)进行三角测量的情况下的观察角。同样地，φ(a-c)n是用摄像头101a以及摄像头101c对位置(x(a-c)n，y(a-c)n，z(a-c)n)进行三角测量的情况下的观察角，φ(a-d)n是用摄像头101a以及摄像头101d对位置(x(a-d)n，y(a-d)n，z(a-d)n)进行三角测量的情况下的观察角。
通过式18或式19，与摄像头101a中的像素坐标(uan，van)对应的三维坐标(xan，yan，zan)，使用以摄像头101a作为基准的由摄像头101a～101d形成的三个摄像头对101a-101b、101a-101c以及101a-101d的图像对(ia、ib)、(ia，ic)、(ia，id)各自的通过立体视觉求出的三维位置来算出。
在式18中，为了算出(xan，yan，zan)，对基于摄像头对的摄像头图像对的三维坐标的坐标值添加了使用观察角对应长度的加权值。例如，对基于摄像头图像对ia和ib的三维坐标的x坐标值乘以(日文：積算)使用了观察角对应长度的加权值，对基于摄像头图像对ia和ic的三维坐标的x坐标值乘以使用了观察角对应长度的加权值，对基于摄像头图像对ia和id的三维坐标的x坐标值乘以使用了观察角对应长度的加权值，将该三个乘积值(日文：積算値)相加而算出xan。如上述的式15所示那样，添加的权重是用观察角对应长度的平方的总和去除各观察角对应长度的平方而得的值、即(观察角对应长度的平方)/(观察角对应长度的平方的总和)。这样的权重是观察角对应长度的平方被归一化的值，权重的总和成为1。
在式19中，为了算出(xan，yan，zan)，对基于摄像头对的摄像头图像对的三维坐标的坐标值添加了使用了观察角的加权值。例如，对基于摄像头图像对ia和ib的三维坐标的x坐标值乘以使用了观察角的加权值，对基于摄像头图像对ia和ic的三维坐标的x坐标值乘以使用了观察角的加权值，对基于摄像头图像对ia和id的三维坐标的x坐标值乘以使用了观察角的加权值，将该三个乘积值相加而算出xan。如上述的式16所示，添加的权重是用观察角的平方的总和去除各观察角的平方而得的值、即(观察角的平方)/(观察角的平方的总和)。这样的权重是对观察角的平方进行归一化后的值，权重的总和成为1。
图15～图17中示出用上述方法综合了位置信息的情况下的一例。图15是具有四目的鱼眼透镜的拍摄部100所拍摄到的立体图像的一例。图15示出摄像头101a～101b的摄像头图像。图16是用于位置信息的综合的摄像头101a的摄像头图像，配置成摄像头图像中的杆(日文：ポール)位置按各帧不同。图16表示6个帧的摄像头图像，在6个帧之间，被拍摄对象中的杆和拍摄部100的距离分别不同。具体而言，随着从帧1变向帧6，上述距离会变大。图17是示出评价图像中进行了位置综合的评价的部位的图。在图17中，关于各个帧中白的区域(即无着色无图案区域)、即杆的区域，能够根据在cg制作时准备的杆的三维位置与通过三角测量计算出的杆的三维位置的差异，进行位置信息的综合方法的比较。图17的帧1～6分别与图16的帧1～6对应。
在此，位置信息的误差的评价，使用到由从关注视点的摄像头(在此为摄像头101a)的各像素观察到的位置信息表示的位置为止的进深值、deptha来进行。进深值depthan与位置信息(xan，yan，zan)的关系用下述的式20来表示。
此外，在式11～式15的上述的说明中，示出了在所有的立体对、即图像对不产生遮挡的情况下的综合方法。但是，在1组立体对产生了遮挡的情况下，通过进行基于剩余的2组立体对的测距值的加权综合，综合值作为选择位置综合信息输出。另外，在2组立体对产生了遮挡的情况下，基于剩余的1组立体对的测距值作为选择位置综合值输出。由此，能够不受到遮挡的影响地对测距值进行选择综合。
参照图18，比较地示出上述的进深值deptha的相对测距误差(也称为相对rms误差)。图18中的相对rms误差，关于图16所示的6帧的摄像头图像中的各摄像头图像，从图17中作为杆的区域的评价区域中的测距误差计算出。从图18的结果可知，即便是相同被拍摄对象，与进行三角测量的摄像头对相应地，测距精度也不同。通过专利文献1以及2所公开的综合方法，测距误差被降低，但是，不能降低三个立体对中的最佳的立体对(101a-101b)的测距误差。与此相对，在用观察角对应长度的负二次方进行加权的本实施方式的综合方法中，能够以降低最佳的立体对(101a-101b)的测距误差的测距误差，对位置信息进行综合。
这样，在步骤s403中，位置选择综合部112基于遮挡信息选择未被遮挡的区域的位置信息，生成选择位置综合信息p’total＝{p’a，b，p’a，c，p’a，d，p’b，c，p’b，d，p’c，d}，此外基于观察角对应长度对所选择出的位置信息进行加权求和，生成关注摄像头视点处的选择位置综合信息p”q。
接着，在步骤s404中，图像补全部113取得由拍摄部100的摄像头101a～101d拍摄到的多个摄像头图像、在步骤s401中读出的遮挡信息和摄像头101a～101d的内部参数以及外部参数、在步骤s403中生成的选择位置综合信息p’total、关注摄像头视点处的选择位置综合信息p”q。此外，图像补全部113通过基于选择位置综合信息、用基于其它的图像的像素的像素值的值置换摄像头图像的遮挡区域的像素的像素值来生成补全图像，输出补全图像和关注摄像头视点处的选择位置综合信息p”q。
以下，说明步骤s404的处理的详细情况。在本实施方式中，说明使用其它的三个图像ib、ic以及id和选择位置综合信息p’total＝{p’a，b，p’a，c，p’a，d，p’b，c，p’b，d，p’c，d}补全图像ia中的遮挡区域的像素的像素值的情况。
在步骤s404中，图像补全部113最初关于选择位置综合信息p’total的所有位置信息，算出图像ia上的像素坐标(ua，va)。能够将遮挡信息与使用选择位置综合信息p’total＝{p’a，b，p’a，c，p’a，d，p’b，c，p’b，d，p’c，d}算出的图像ia上的像素坐标相关联。
算出图像ia上的像素坐标的方法如下。使用被选择位置综合信息p’total包含并且与摄像头101b、101c以及101d对应的摄像头q的坐标系的三维位置(xq，yq，zq)和摄像头101a以及摄像头q的外部参数mq，a，在摄像头101a的坐标系中算出图像ia的各像素所映现的被拍摄对象的三维位置(xa，ya，za)。关于摄像头101a以及101b的情况，在图19中示出各摄像头的坐标系xayaza以及xbybzb和摄像头的外部参数ma，b的关系。并且，能够使用三维位置(xa，ya，za)和摄像头101a的内部参数(f，k)，基于下述的式21算出摄像头101a的像素坐标(ua，va)，由此能够生成摄像头101a的视点处的遮挡区域中的距离值，对关注视点处的选择位置综合信息p”a增加遮挡区域(ua，va)中的距离值的信息。
通过上述的方法，能够生成摄像头101a的遮挡区域中的距离图像是因为，如(0088)所示那样，选择位置信息p’total＝{p’a，b，p’a，c，p’a，d，p’b，c，p’b，d，p’c，d}所包含的三维位置仅选择立体摄像头对的双方的图像中映现于“被拍摄对象区域”的位置，因此选择位置信息p’total＝{p’a，b，p’a，c，p’a，d，p’b，c，p’b，d，p’c，d}所包含的三维位置中的、对摄像头101a的“遮挡区域”的像素位置算出(ua，va)的三维位置，会成为由不包含摄像头101a的摄像头对算出的三维位置。
此外，在上述的说明中，为了简单，关于从三维位置向摄像头101a的二维图像的投影的方法进行了说明，但是，在选择位置综合信息p’total所包含的三维位置向摄像头101a的遮挡区域中的同一像素多次投影的情况下，也可以进行因在被拍摄对象区域中进行的使用了观察角对应长度的加权求和而带来的高精度化。
接着，在步骤s404中，图像补全部113提取图像ia的所有的像素中的、遮挡信息oa(u，v)是“遮挡区域”的像素的坐标(u，v)。将其称为遮挡像素oaj＝(uaj，vaj)。接着，图像补全部113关于各遮挡像素，从之前求出的选择位置综合信息p’total选择摄像头101a的像素坐标(ua，va)与遮挡像素的像素坐标(uaj，vaj)的图像上的距离最近的对应点的位置信息。并且，图像补全部113关于以选择出的对应点相关联的2个图像iq以及ir，从图像iq以及ir上的对应点的像素值iq(uqn，vqn)以及ir(urn，vrn)算出对应点的像素值，将该像素值设定为作为像素坐标(uaj，vaj)的图像ia的遮挡像素的像素值。作为从2个图像iq以及ir上的对应点的像素值iq(uqn，vqn)以及ir(urn，vrn)算出1个像素值的手法，在此使用平均像素值。此外，图像补全部113对所有的遮挡像素重复上述的处理，将图像ia的遮挡区域的所有的像素设定为新的像素值。通过上述的图像补全的步骤s404的详细的工作，生成补全图像。此外，不包含于遮挡区域的像素的像素值不变更地使用即可。
图20a以及图20b分别表示补全图像以及关注摄像头视点的选择综合位置信息p“q的例子。图20a是使用选择位置综合信息用其它的图像的像素值置换图9a中的“摄像头101a”的摄像头图像中的被相邻的透镜等遮挡的遮挡区域而生成的图像。在图9b的各摄像头图像中，右端的车辆的绝大部分被遮挡，与此相对，在图20a的补全图像中，车辆不被遮挡。另外，图20b是从摄像头101a的视点处的选择位置综合信息p”a的信息算出图像ia上的像素坐标值和与对应于各像素坐标值的三维点和摄像头101a的距离成比例的辉度值而表示为浓淡图像的图。
这样，在步骤s404中，图像补全部113关于基准图像上的遮挡区域的像素，基于选择位置综合信息p’total＝{p’a，b，p’a，c，p’a，d，p’b，c，p’b，d，p’c，d}和其它的图像决定像素值，生成补全了遮挡区域的补全图像。
最后，在步骤s405中，障碍物检测部120取得补全图像和选择位置综合信息，基于选择位置综合信息检测障碍物等三维物体，对与所检测出的三维物体的位置对应的补全图像上的区域重叠合成表示注视区域的框而作为合成图像输出。
在本实施方式中，作为基于选择综合位置信息检测障碍物的手法，使用在选择综合位置信息的被拍摄对象的各三维位置(xa，ya，za)与摄像头101a的距离d比预先确定的距离dth小的情况下，作为障碍物上的点来检测的手法。此外，作为障碍物检测出的点的集合的外接矩形与补全图像重叠，作为合成图像输出，并显示于显示器130。
这样，在步骤s405中，在比预先确定的阈值更近的位置处存在障碍物等三维物体的情况下，障碍物检测部120生成对补全图像的对应的区域重叠了引起注意的图形的合成图像，并向显示器130输出。
通过由以上的计算机300执行的步骤s401～s405的处理，从由拍摄部100拍摄到的4个摄像头图像，在图像处理部110中生成1个补全图像和关注摄像头视点处的选择位置综合信息，在障碍物检测部120中生成1个合成图像，并分别输出。此外，拍摄部100以及计算机300也可以重复上述的工作。
图21中示出通过步骤s405生成的合成图像的例子。由于显示了引起对位于靠近汽车的车体后方的摄像头的部位的障碍物(在该例子中，步行者和停止车辆)的注意的框，因此，从图21中驾驶者能够容易知晓会接触的可能性高的障碍物的存在。尤其是，在以往技术的使用了鱼眼的摄像头的三维位置算出方法中，关于由于被摄像头主体遮挡而无法取得图像以及与图像对应的三维位置的区域，本实施方式的拍摄装置1也能够取得例如180度内的没有遮挡的图像和与该图像对应的三维位置。例如，图9b中的“摄像头101a”的图像中的右侧的车辆，其一部分的区域被透镜遮挡。但是，如图20a所示，拍摄装置1能够取得180度内的没有遮挡区域的图像和与该图像对应的三维位置。此外，如图21那样，拍摄装置1能够显示没有遮挡区域的合成图像。
如上所述，摄像头图像的噪声可能成为摄像头图像间的对应点的匹配时的匹配误差的原因。并且，匹配误差产生三角测量时的角度误差，由基于摄像头的立体视觉确定的三维位置会产生误差。实施方式涉及的拍摄装置1，基于噪声的分布，推定立体视觉中的三维位置的误差的方差，以使得该方差最小化的方式用使用了观察角对应长度或观察角的权重对包含由多个立体对测定出的误差的三维位置进行加权求和，由此能够使三维位置的误差最小化。图像的噪声水平，在信号一样时能够从图像推定，但是在信号变化的情况下难以推定。与此相对，观察角对应长度以及观察角，在校准后的摄像头中能够进行像素坐标与从摄像头观察的视线方向的相关联，因此，能够容易地根据基于立体匹配的图像间的相关联唯一地进行计算。
[其它]
以上，对于本公开的1个以上的技术方案涉及的拍摄装置等，基于实施方式进行了说明，但是本公开不限定于实施方式。只要不脱离本公开的主旨，本领域技术人员所能想到的各种变形在本实施方式中实施后的技术方案、将不同的实施方式中的构成要素组合地构筑的技术方案也包含于本公开的1个以上的技术方案的范围内。
例如，在实施方式涉及的拍摄装置1中，设为拍摄部100由4个摄像头101a～101d构成，但是，摄像头的数量不限定于4个。为了弥补某摄像头的图像所包含的因其它的摄像头导致的遮挡，有至少三个摄像头即可，也可以设置三个以上的任意的数量的摄像头。
在实施方式涉及的拍摄装置1中，也可以是，在拍摄装置1所包含的多个摄像头中的1个摄像头所包含的像素的像素值表示拍摄该1个摄像头的部分而得的值的情况下，该像素也包含于遮挡区域。
在实施方式涉及的拍摄装置1中，设为受理多个摄像头图像对的输入，依次进行到步骤s402～s404的处理，但也可以是，不按各摄像头图像对限定步骤s402～s404的处理每一次处理的数据量，而按各摄像头图像中的一部分的区域或按各像素重复步骤s402～s404的处理。
在实施方式涉及的拍摄装置1中设为作为在步骤s404中从其它的图像的像素值补全包含于遮挡区域的像素的像素值的方法，使用了遮挡区域所包含的像素的最附近的对应点的像素的像素值，但是不限定于该方法。只要是使用选择位置综合信息所包含的对应点的信息并基于未包含于遮挡区域的图像的像素的像素值来设定遮挡区域的像素的像素值的方法，可以是任意的方法。例如，也可以使用基于遮挡区域的像素和某固定距离以内的多个对应点，参照未包含于遮挡区域的图像上的多个像素和它们的像素值对像素值进行加权求和等方法。
在实施方式涉及的拍摄装置1中，设为如下步骤：在步骤s402中对于多个像素检测对应点而算出三维位置后，在步骤s403中选择多个像素中的未包含于遮挡区域的像素。但是，用于选择未包含于遮挡区域的像素的步骤不限定于上述，只要作为结果能够选择未包含于遮挡区域的像素，可以是任意的步骤。例如，也可以是，取代算出像素的位置坐标后选择未包含于遮挡区域的像素的步骤，而使用遮挡信息选择未包含于遮挡区域的像素，之后，对于所选择出的像素进行对应点的检测和算出其三维位置。该步骤与实施方式中说明的步骤相比，由于进行对应点的检测和算出三维位置的像素的数少，因此，存在能够减少计算量这一效果。
实施方式涉及的拍摄装置1搭载于汽车，但是搭载对象不限定于此。拍摄装置1也可以应用于用多个摄像头对被拍摄对象和该被拍摄对象的三维位置进行计测的任意的用途。例如，拍摄装置1也可以搭载于汽车以外的任意的移动体，还可以搭载于监视摄像头那样的被固定的对象物。
另外，如上所述，本公开的技术既可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。计算机可读取的记录介质例如包括cd-rom等非易失性的记录介质。
例如，上述实施方式涉及的拍摄装置所包含的各构成要素典型地作为集成电路即lsi(largescaleintegration：大规模集成电路)来实现。它们既可以独立地单芯片化，也可以以包含一部分或全部的方式单芯片化。
另外，集成电路化不限定于lsi，也可以通过专用电路或通用处理器来实现。也可以利用能够在lsi制造后编程的fpga(fieldprogrammablegatearray)或能够重构lsi内部的电路单元的连接和/或设定的可重构处理器。
此外，在上述实施方式中，各构成要素可以由专用的硬件构成或通过执行适于各构成要素的软件程序来实现。如图6所示那样，各构成要素通过cpu(centralprocessingunit)或处理器等程序执行部读出并执行记录于硬盘或半导体存储器等记录介质的软件程序来实现。
另外，上述构成要素的一部分或全部也可以由能够拆装的ic(integratedcircuit)卡或单体的模块构成。ic卡或模块是由微处理器、rom、ram等构成的计算机系统。也可以设为ic卡或模块包含上述的lsi或系统lsi。微处理器根据计算机程序工作，由此ic卡或模块实现其功能。也可以设为这些ic卡以及模块具有抗篡改性。
本公开的图像处理方法也可以通过mpu(microprocessingunit)、cpu、处理器、lsi等电路、ic卡或单体的模块等来实现。
进而，本公开的技术既可以通过软件程序或由软件程序构成的数字信号实现，也可以是记录有程序的非瞬时性的计算机可读的记录介质。另外，上述程序当然也可以经由因特网等传送媒介来流通。
另外，在上述使用的序数、数量等数字，都是用于具体地说明本公开的技术的例示，本公开不限制于所例示的数字。另外，构成要素间的连接关系是用于具体地说明本公开的技术的例示，实现本公开的功能的连接关系不限定于此。
另外，框图中的功能块的分割仅是一例，可以将多个功能块作为1个功能块实现、或将1个功能块分割成多个、或将一部分的功能移到其他的功能块。另外，也可以由单一的硬件或软件并行或分时地对具有类似的功能的多个功能块的功能进行处理。
关于使2个直线上的点间的距离最小化的点的组成为两者共有的垂线的垂足，在以下进行说明。
将直线1设为
此外，单位方向向量(a1，b1，c1)和(a2，b2，c2)，通过预先对摄像头1和摄像头2进行校准，关于摄像头1、摄像头2的图像中的任意的像素坐标值(x，y)，唯一地决定它们的值(即，哪个像素与哪个方向对应，事先被校正)。
直线1上的点表示为(x1+sa1，y1+sb1，z1+sc1)，直线2上的点表示为(x2+ta2，y2+tb2，z2+tc2)。
直线1上的点和直线2上的点的距离的平方j成为
j＝((x1+sa1)-(x2+ta2))2+((y1+sb1)-(y2+tb2))2+((z1+sc1)-(z2+tc2))2。
在视差推定无误差地正确进行的情况下，直线1和直线2通常在1点交叉，但是，若视差推定中包含误差，则可能发生两者不交叉的情况。也包含那样的情况，通过求出使上述j最小化的s和t，能够求出距摄像头1和摄像头2的距离。
使上述j为最小的s和t，通过利用
对
进行求解，而能够求出为
此外，上式中的逆矩阵，除了(a1，b1，c1)＝(a2，b2，c2)、即2直线平行的情况，都能够计算。另外，在2直线平行的情况下，认为被拍摄对象位于无限远，认为s＝∞，t＝∞即可。
关于如以上那样求出的s和t，若将摄像头1认为是基准，则s表示距摄像头1的位置(x1，y1，z1)的距离，另一方面，若将摄像头2认为是基准，则t表示距摄像头2的位置的距离。
此外，若将摄像头1或摄像头2中的任一个摄像头都不认为是基准摄像头，也可以将上述2点的中点
此外，考虑使j为最小的点的组
(x1+sa1，y1+sb1，z1+sc1)，(x2+ta2，y2+tb2，z2+tc2)的意义，点(x1+sa1，y1+sb1，z1+sc1)是直线1上的点中与直线2最近的点，点(x2+ta2，y2+tb2，z2+tc2)是直线2上的点中与点(x1+sa1，y1+sb1，z1+sc1)最近的点，即是从点(x1+sa1，y1+sb1，z1+sc1)垂向直线2的垂线的垂足。另一方面，点(x2+ta2，y2+tb2，z2+tc2)是直线2上的点中与直线1最近的点，点(x1+sa1，y1+sb1，z1+sc1)是直线1上的点中与点(x2+ta2，y2+tb2，z2+tc2)最近的点，即是从点(x2+ta2，y2+tb2，z2+tc2)垂向直线1的垂线的垂足。
根据以上，通过由使上述j为最小的s和t决定的2点、点(x1+sa1，y1+sb1，z1+sc1)和点(x2+ta2，y2+tb2，z2+tc2)的直线成为与直线1和直线2双方垂直的直线、即关于直线1和直线2共同的垂线。
本公开涉及的拍摄装置等对三目以上的任意的多目摄像头有用。