专利名称：图像捕获设备及其控制方法
技术领域：
本发明涉及一种获得三维信息的图像捕获设备及其控制方法。
背景技术：
作为获得测量对象的三维信息的图像捕获设备，例如立体照相机是已知的。立体照相机将一对照相机定位成它们之间左右具有一定的距离，捕获测量对象作为主体，并且获得视差图。视差图由通过每个照相机捕获的一对右透视图和左透视图组成。基于每个透视图上的对应点的视差，可以获得测量对象的三维信息(即，测量对象的任意点在三维空间中的坐标值)。对象距离越短，或者拍摄镜头的焦距越长，则如上所述获得的三维信息的分辨率越高。因此，通常使用具有相对较长焦距的拍摄镜头，缩短对象距离来捕获测量对象的一部分。但是，当在这种条件下进行图像捕获时，根据测量对象的形状或表面图案，可能存在这样的问题，即，仅参考所记录的透视图找不到测量对象的图像捕获点。如通过专利文献1和2已知，存在这样的设备，其捕获并记录对象的大范围 (widespread)图像以及作为要测量或监视的主体的区域放大图，从而容易地确定对象的哪个区域是供测量或监视的区域。专利文献专利文献1 日本专利特许公开第8-223466号专利文献2 日本专利特许公开第2003-227706号
发明内容
本发明要解决的问题顺便提及，为了捕获并记录除了从捕获测量对象的一部分而获得的视差图之外的测量对象的大范围图像，捕获该大范围图像的额外操作时间和记录能力是必不可少的，但是，在可以容易地识别测量对象的哪个部分是视差图的图像捕获点的情况下，捕获并记录大范围图像是没有作用的。另一方面，当在捕获时通过操作者的判断来确定是否有必要对大范围图像进行捕获和记录时，由于判断中存在个体差异，因此存在这样的问题，即，其他用户分辨不出该图像捕获点。鉴于上述问题而作出本发明，本发明旨在，在不记录不必要的大范围图像的情况下，提供一种图像捕获设备及其控制方法，该图像捕获设备可以有效地执行图像捕获来获得测量对象的三维信息。解决所述问题的方法为了解决上述问题，本发明的图像捕获设备包括图像捕获部分、判断部分、以及记录控制部分。图像捕获部分包括多个照相机，其中包括具有可变焦类型的拍摄镜头的第一照相机。当捕获视差图作为测量图像来测量三维信息时，每个照相机以相同的焦距来捕获测量对象的测量部分。当捕获包括测量部分的测量对象的大范围图像时，第一照相机使用拍摄镜头的与用于捕获视差图的焦距相比更短的焦距来执行图像捕获。判断部分根据从图像捕获部分获得的测量对象中测量部分的图像或相邻部分的图像来判断是否有必要对大范围图像进行记录。当判断部分判断有必要对大范围图像进行记录时，记录控制部分产生并记录具有表示视差图的范围并叠加在大范围图像上的引导的图像。当图像捕获部分捕获大范围图像时，第一照相机的焦距优选地处于广角端。另外，本发明的图像捕获设备包括投影器、图像捕获部分、判断部分、以及记录控制部分。投影器将测量光投影到测量对象上。图像捕获部分包括具有可变焦类型的拍摄镜头的照相机。当捕获测量图像来测量三维信息时，图像捕获部分捕获将测量光投影到其上的测量对象中的测量部分的测量图像，并且当捕获包括测量部分的测量对象的大范围图像时，使用拍摄镜头的与用于捕获测量图像的焦距相比更短的焦距来执行图像捕获。判断部分根据从图像捕获部分获得的测量对象中测量部分的图像或相邻部分的图像来判断是否有必要对大范围图像进行记录。当判断部分判断有必要对大范围图像进行记录时，记录控制部分产生并记录具有表示视差图的范围并叠加在大范围图像上的引导的图像。优选的是，当判断部分在测量图像中检测不出有区别的图案时，判断部分判断有必要对大范围图像进行记录。还优选的是，当测量图像与相邻部分图像之间的相似度高于预定水平时，判断部分判断有必要对大范围图像进行记录。还优选的是，判断部分检测由多个照相机捕获的视差图的对应点，并且基于对应点的检测结果来判断是否有必要对大范围图像进行记录。还优选的是，判断部分检测以一对一的形式对应于对应点的参考点，并且当所检测到的参考点的数量至少为预定值N(N至少为1)时，判断没有必要对大范围图像进行记录，而在其他情况下，判断有必要对大范围图像进行记录。还优选的是，判断部分检测其中找到了作为对应点的候选的多个对应点候选的参考点，并且当所检测到的参考点的数量小于预定值M(M至少为1)时，判断没有必要对大范围图像进行记录，而在其他情况下，判断有必要对大范围图像进行记录。还优选的是，当判断部分检测到以一对一的形式对应于对应点的参考点并且所检测到的参考点的数量至少为预定值N(N至少为1)时，以及当判断部分检测到其中找到了作为对应点的候选的多个对应点候选的参考点并且所检测到的参考点的数量小于预定值M(M 至少为1)时，判断部分判断没有必要对大范围图像进行记录，而在其他情况下，判断部分判断有必要对大范围图像进行记录。此外，在本发明的图像捕获设备的控制方法中，基于测量对象中测量部分的图像或相邻部分的图像来判断是否有必要对使用拍摄镜头的与用于捕获测量图像的焦距相比更短的焦距所捕获的大范围图像进行记录，并且当判断有必要对大范围图像进行记录时， 产生并记录具有表示视差图的范围并叠加在大范围图像上的引导的图像。本发明的效果根据本发明，由于使用测量对象的测量部分的图像或相邻部分的图像来判断是否有必要对大范围图像进行记录，并且当判断有必要对大范围图像进行记录时，控制产生并记录具有表示视差图的范围并叠加在大范围图像上的引导的图像，因为当找到测量图像为测量对象的哪部分图像捕获点时不执行对大范围图像的记录，所以可以除去浪费并改进效率。另外，由于使用图像来判断是否有必要对大范围图像进行记录，因此受操作者判断的个体差异的影响消失，并且是否允许对大范围图像进行记录与对图像捕获点的识别的有效性适当地对应。
图1是示出执行本发明的三维信息获得装置的结构的框图。图2A是示出显示在显示部分上的具有边框的大范围图像的示例性示图。图2B是示出使用第一照相机捕获的右透视图的示例性示图。图2C是示出使用第二照相机捕获的左透视图的示例性示图。图3是示出三维信息的分析结果的显示示例的示例性示图。图4是示出图像捕获过程的流程图。图5是示出其中基于是否检测到有区别的图案来执行判断的判断处理的流程图。图6是示出其中基于视差图的捕获目标部分与相邻部分之间的相似度来执行判断的判断处理的流程图。图7是示出视差图的捕获目标部分与相邻部分之间的关系的示例性示图。图8是示出相邻部分的一部分叠加在捕获目标部分之上的状态的说明图。图9是示出其中基于对应点的检测结果来执行判断的判断处理的流程图。图10是示出其中除了第一和第二照相机之外还提供用于捕获大范围图像的照相机的结构的透视图。图11是示出通过光切法获得三维信息的三维信息获得装置的结构的框图。图12是示出光切法中三维信息获得装置的图像捕获过程的流程图。图13是示出在光切法中的三维信息获得装置中提供用于捕获大范围图像的照相机的结构的透视图。
具体实施例方式[第一实施例]图1示出了第一实施例的三维信息获得装置的结构。三维信息获得装置10包括本发明的图像捕获设备。三维信息获得装置10使用第一照相机11和第二照相机12来捕获测量对象Obj的视差图，分析该视差图并获得测量对象Obj的三维信息，即，在三维空间中测量对象上的任意点Pi的坐标值(Xi，Yi，Zi)。作为测量图像的视差图是从不同视点捕获的每个透视图的组，并且在三维信息获得装置10中，视差图由第一照相机11捕获的左透视图和由第二照相机12捕获的右透视图形成。系统控制器14对三维信息获得装置10的每个部分执行全面控制。通过操作操作部分15，可以执行对焦距的设置、对图像捕获的指示、对视差图进行分析的指示等。如同三维信息获得装置10的操作模式，存在用于设置测量对象Obj的测量范围的设置模式、用于捕获大范围图像的大范围图像捕获模式、用于捕获视差图的测量捕获模式、 以及用于分析视差图并获得三维信息的分析模式。在设置模式中，通过操作操作部分15来执行对测量范围的设置。对测量范围的设置包括对用于捕获视差图的焦距(图像捕获视角)(即，图像捕获范围的宽度)的设置，以及对测量对象Obj上的捕获目标部分的设置。
如上所述，三维信息获得装置10装备有第一照相机11和第二照相机12。第一照相机11和第二照相机12布置在光轴PL1、PL2彼此平行的方向上，并且在水平方向上具有恒定的间隔。注意，在该情况下光轴PL1、PL2被布置为平行的，但是第一照相机11和第二照相机12也可以被布置为其间具有适当的会聚角。另外，第一照相机11和第二照相机12 不限于水平方向。例如，第一照相机11和第二照相机12可以布置在垂直方向上。另外，在该情况下每个透视图从两个视点捕获，但是也可以是这样的结构，其中每个透视图从多于三个视点捕获。第一照相机11包括拍摄镜头Ila和图像传感器部分lib。该第一照相机11在图像传感器部分lib中将在拍摄镜头Ila处成像的光学图像转换为电信号并且将其输出。图像传感器部分lib包括例如CCD类型或MOS类型的图像传感器。拍摄镜头Ila是变焦类型的，其可以在广角端与望远端之间改变焦距。通过对拍摄镜头Ila进行变焦，可以控制第一照相机11的图像捕获范围的宽度。与第一照相机11类似，第二照相机12包括变焦类型的拍摄镜头1 和图像传感器部分12b。透镜控制器16控制每个拍摄镜头lla、12a的焦距，以使得每个焦距彼此相同。在设置模式和大范围图像模式中，透镜控制器16将每个拍摄镜头IlaUh的焦距控制为用于全视图(general view)的焦距，而在测量捕获模式中，每个拍摄镜头11a、12a的焦距被控制为在设置模式下设置的用于测量的焦距。注意，当捕获大范围图像时，可能是至少实际上捕获大范围图像的照相机被控制为具有用于全视图的焦距。因此，可能是第一照相机11被控制为在用于全视图的焦距与用于测量的焦距之间改变，而第二照相机12被控制为保持用于测量的焦距。大范围图像被用来示出测量对象Obj的哪个部分将要被捕获为视差图以及从哪个部分捕获图像。因此，大范围图像不需要包括整个测量对象。换句话说，只要测量对象 Obj上捕获目标部分的位置可以被找到，就可以部分地捕获测量对象Obj。用于全视图的焦距是用于捕获上述大范围图像的焦距，并且由操作者根据测量对象的尺寸来预设为，例如可以捕获整个测量对象Obj的焦距。注意，每个拍摄镜头lla、12a的广角端的焦距可以被设置为用于全视图的焦距。另外，镜头控制器16基于来自稍后描述的信号处理部分17的图像数据来控制每个拍摄镜头lla、12a的焦点，以使得焦点处于测量对象Obj上。通过例如对比检测法来执行对焦点的调节，但是也可以通过其他方法来执行对焦点的调节。摇摄云台(pan head) 19由摇摄云台控制部分19a控制。第一和第二照相机11、12 附着于摇摄云台19。摇摄云台控制部分19a根据操作部分15的操作来驱动摇摄云台19， 以在水平和垂直方向上摆动第一和第二照相机11、12的捕获方向。从而，捕获目标部分可以随着固定测量对象Obj而改变。注意，可以通过在水平和垂直方向上滑动第一照相机11和第二照相机12来改变捕获目标部分。另外，在该示例中，尽管摇摄云台19被固定来使得捕获方向在大范围图像捕获模式和测量捕获模式中相同，从而使得视差图的捕获范围位于大范围图像的中心，但是，可以改变测量捕获模式和捕获方向来使得整个测量对象Obj被捕获为设置模式和大范围图像捕获模式中的大范围图像。信号处理部分17包括根据每个照相机11、12提供的相关双采样电路、放大电路、A/D转换器等。在消除噪声并对来自每个照相机11、12的输出信号进行信号放大之后，信号处理部分17进行数字转换并将所获得的图像数据输出到总线18。诸如系统控制器14、透镜控制器16、以及信号处理部分17之类的每个部分都连接到总线18，并且可以通过总线18发送并接收各种指示。曝光控制部分21激活每个照相机11、12来捕获视差图和大范围图像。当进行图像捕获时，曝光控制部分21控制每个照相机11、12的电子快门速度，以使得可以以合适的曝光来捕获测量图像和大范围图像。在设置模式和大范围图像捕获模式中，仅一个照相机 (例如，第一照相机11)执行图像捕获。第一照相机11在设置模式中执行用于显示直通图像(through image)的图像捕获，而在大范围图像捕获模式中捕获静止图像。在测量捕获模式中，第一照相机11和第二照相机12中的每一个执行图像捕获。图像处理部分22对所捕获的大范围图像和视差图执行白平衡校正和伽玛校正。 另外，图像处理部分22执行边框合成处理，其中通过构成引导边框Gf (参见图幻来产生具有边框的大范围图像，引导边框Gf示出了大范围图像上将要捕获为视差图的范围。基于来自稍后描述的边框设置部分23的用于测量的焦距信息来执行边框合成处理。由于使用第一照相机11的相同的捕获方向和不同的焦距来捕获大范围图像和视差图(右透视图)，这些图像的中心是一致的。因此，在边框合成处理中，执行图像合成以使得引导边框Gf的中心与大范围图像的中心一致，并且叠加与用于测量的焦距信息中所示出的图像捕获视角对应大小的引导边框Gf。显示部分25包括用于存储应该被显示的图像的图像数据的VRAM、用于基于VRAM 中存储的图像数据来产生驱动信号的驱动器、由来自驱动器的驱动信号驱动以显示图像的监视器等。在设置模式下，应用了边框合成处理的从第一照相机11获得的大范围图像的数据(即，具有边框的大范围图像)被顺序地输入并显示在显示部分25上。因此，操作者可以通过叠加并显示在被第一照相机11捕获为正被观察的直通图像的大范围图像上的引导边框Gf来找到测量对象Obj的哪个部分为捕获目标部分。在分析模式下，在显示部分25 上显示例如具有边框的大范围图像、视差图、通过分析视差图所获得的三维信息等。当视差图和具有边框的大范围图像被记录在记录介质27中时，压缩/解压缩部分 26以预定形式压缩这些数据。另外，压缩/解压缩部分沈对从记录介质27读取的视差图和具有边框的大范围图像进行解压缩。解压缩后的视差图被发送到显示部分25和分析部分31，并且具有扩展边框的大范围图像被发送到显示部分25。注意，优选的是，对大范围图像进行图像压缩的压缩率大于对测量图像进行图像压缩的压缩率。记录部分观向/从记录介质27写入/读取图像数据。当通过稍后详细描述的判断处理判断有必要对大范围图像进行记录时，记录部分观产生包括具有边框的大范围图像和视差图的每一个数据的一个文件并且记录该文件。在要被记录的该文件中，还记录了分析三维信息所必需的用于捕获视差图的测量焦距。另一方面，当判断没有必要对大范围图像进行记录时，记录部分观产生仅包括视差图作为图像数据的文件并记录该文件。当从记录介质27读取文件时，记录部分观将文件中包括的视差图和具有边框的大范围图像发送到压缩/解压缩部分26。注意，在该示例中，通过将具有边框的大范围图像和测量图像记录为一个文件来使它们相关联，但是关联方法不限于此。例如，可以将具有边框的大范围图像和视差图记录为不同文件并且在另一个文件中记录与这些文件中所包含的标签相关的一个文件名，或者可以记录使两个文件相关联的文件。作为记录介质27的替代，可以使用存储器或硬盘来进行记录。另外，优选的是，根据大范围图像或具有边框的大范围图像来形成缩略图，并且该缩略图成为文件的缩略图。根据该方法，可以快速地找到包含所需要的视差图的文件。边框设置部分23设置测量捕获模式中用于测量的焦距，并且将用于测量的该焦距存储在存储器23a中。对用于测量的焦距进行的设置是响应于设置模式下通过操作部分 15对图像捕获视角进行的设置操作而执行的。存储在存储器23a中的用于测量的焦距被发送到图像处理部分22作为用于测量的焦距信息，并且在产生具有边框的大范围图像时使用该焦距。另外，在测量捕获模式中，透镜控制器16参考存储在存储器23a中的用于测量的焦距，并且控制第一照相机11和第二照相机12来执行变焦以成为该用于测量的焦距。判断部分32执行判断处理，其中判断是否有必要对具有边框的大范围图像进行记录。在判断处理中，判断部分32根据被捕获为视差图的捕获目标部分是否可与其他部分区分开来判断是否有必要对大范围图像进行记录。在该示例中，使用设置模式中所捕获的大范围图像，检查相当于该视差图的区域(测量图像的捕获目标部分)，然后当在该区域中可以检测到有区别的图案时，判断没有必要对具有边框的大范围图像进行记录，而当检测不到有区别的图案时，判断有必要对具有边框的大范围图像进行记录。该有区别的图案可以包括例如由点和线的排列、颜色的排列和色调、或它们的组合等所表示的形状或标记。另外，该有区别的图案可以是预定的图案。另外，从有区别的图案是否可以与其他部分区分开的角度来看，优选的是，当类似图案重复并且假定视差图的周围区域具有类似图案的排列时，判断检测不到有区别的图案。当判断有必要对具有边框的大范围图像进行记录时，在大范围图像捕获模式中捕获大范围图像之后，在测量捕获模式中捕获视差图。尽管判断部分32使用设置模式下捕获的大范围图像执行判断，但是，例如，也可以在设置模式下将第二照相机12设置为用于测量的焦距，并且使用第二照相机12捕获的透视图来执行判断。另外，可以在测量捕获模式中的图像捕获之后执行判断处理，在该情况下，可以使用测量捕获模式中所捕获的透视图中的任何一个来执行判断。分析部分31分析视差图并通过计算获得测量主体的每个区域的三维信息。在该分析中，透视图中的一个(例如，左透视图)被确定为标准图像，而另一个被确定为参考图像，并且计算标准图像中参考点(一个像素)与参考图像中对应点(被捕获的参考点的等值点)的视差，然后基于视差图来计算在平行方向上平行于拍摄镜头的光轴的方向上的距离(深度方向上的距离)和在垂直于深度方向的平面方向上的坐标、每个照相机11和12 的像素大小、焦距和物距、以及照相机的间隔(基线长度)。所计算的三维信息显示在显示部分25上，并且通过记录部分28记录在记录介质27中。图2A中示出了设置模式中显示部分25的显示屏幕的示例。在显示部分25的显示屏幕上，显示具有边框36的大范围图像，其由大范围图像35及其上的引导边框Gf组成。 引导边框Gf所示区域与图2B中所示右透视图37R和图2C中所示左透视图37L的图像捕获范围几乎相同。
注意，在该示例中，由于引导边框Gf的中心与使用第一照相机11捕获的大范围图像35的中心一致，因此引导边框Gf所示区域与右透视图37R的区域几乎相同。但是，由于在严格意义上来说右透视图和左透视图中的每一个的图像捕获范围是不同的，因此可以计算左透视图与右透视图的重叠区域并将该重叠区域显示为边框。同样，记录时的边框也可以显示该重叠区域。另外，在设置模式下也可以在显示部分25上显示使用用于测量的焦距所捕获的图像。图3示出了分析模式下显示部分25的显示状态的示例。在显示部分25的显示屏幕的右半边，提供了图形显示区域41和数据显示区域42。在图形显示区域41上，显示使基于根据视差图分析的三维信息所产生的测量对象Obj的测量部分的形状可视化的图形。在数据显示区域42上，显示所分析的三维信息的数据。在显示部分25的左半边，提供了右透视图区域43R、左透视图区域43L、和大范围图像区域44。在右透视图区域43R和左透视图区域43L上，显示右透视图和左透视图，而在大范围图像区域44上显示具有边框的大范围图像。注意，当具有边框的大范围图像没有被记录时，其不被显示。接下来，描述上述结构的操作。当捕获测量对象Obj时，首先将测量对象Obj定位于照相机11和12的前面。然后，操作者操作操作部分15来将三维信息获得装置10设置为设置模式。当三维信息获得装置10变为设置模式时，如图4所示，在透镜控制器16的控制下，每个拍摄镜头IlaUh都变焦为用于全视图的焦距。另外，在变为设置模式之后开始使用第一照相机11来进行视频捕获，然后所捕获的图像(即，大范围图像)通过信号处理部分17被发送到图像处理部分22。之前在边框设置部分23中设置的用于测量的焦距信息被输入到图像处理部分22。从而，在被捕获并发送到显示部分25以进行显示的大范围图像上产生具有边框的大范围图像，其上包含有表示对应于用于测量的焦距的图像捕获范围的引导边框Gf。当观察在显示部分25上显示的具有边框的大范围图像时，操作者对操作部分15 进行操作以使得将要被测量的测量对象Obj的一部分进入引导边框Gf内，并且激活摇摄云台19来调节每个照相机11、12的捕获方向。另外，通过对操作部分15进行操作，控制用于测量的焦距。当对用于测量的焦距进行控制时，此时每个照相机11、12的焦距保持为用于全视图的焦距，而改变在边框设置部分23中设置并存储的用于测量的焦距。从而，响应于该改变，在被捕获的大范围图像上形成的引导边框Gf的大小改变。因此，通过观察显示在显示部分25上的具有边框的大范围图像，操作者可以找到将要被捕获为视差图的捕获目标部分。通过上述操作，在期望的范围和位置设置捕获目标部分之后，通过操作部分15的操作来命令对视差图进行图像捕获。根据这些指示，首先通过判断部分32来执行用于判断是否有必要对大范围图像进行记录的判断处理。在判断处理中，如图5所示，提取针对此时由第一照相机11捕获的一个边框的大范围图像，并且检查在应该成为该大范围图像中的捕获目标部分的区域中是否检测到有区别的图案。当检测到有区别的图案时，由于没有必要对大范围图像进行记录，因此模式转换为测量捕获模式，而当没有检测到有区别的图案时，由于有必要对大范围图像进行记录，因此模式转换为大范围图像捕获模式。例如，当没有检测到有区别的图案并且模式转换为大范围图像捕获模式时，在保持用于全视图的焦距的情况下执行第一照相机11的曝光控制和聚焦，以捕获静止图像。从而，对将要记录的大范围图像进行捕获，并且在图像处理部分22中通过在大范围图像上形成引导边框Gf来产生具有边框的大范围图像。所产生的具有边框的大范围图像被发送到压缩/解压缩部分26来进行数据压缩，然后被发送到记录部分观。注意，代替执行大范围图像捕获模式并捕获大范围图像，当指示对视差图进行捕获时或者就在其之前，可以使用针对设置模式中捕获的一个边框的大范围图像。在上述具有边框的大范围图像产生之后，或者在判断没有必要对大范围图像进行记录之后，模式转换为测量捕获模式。当变为测量捕获模式时，透镜控制器16参考在边框设置部分23中设置并存储的用于测量的焦距，然后每个照相机11、12被变焦为该焦距。变焦后，对第一照相机11和第二照相机12进行曝光控制和聚焦，然后通过每个照相机11、12来执行对静止图像的图像捕获。从而，捕获由右透视图和左透视图组成的视差图，右透视图和左透视图是通过对由大范围图像上的引导边框Gf示出的测量对象Obj的捕获目标部分进行捕获而形成的。然后，视差图被发送到压缩/解压缩部分26来进行数据压缩，并且被发送到记录部分观。当视差图输入到记录部分观时，产生包括视差图和具有边框的大范围图像的文件，然后将其记录在记录介质27中。注意，当判断没有必要对大范围图像进行记录时，产生仅包括视差图的文件并将其记录在记录介质27中。当对视差图进行分析时，对操作部分15进行操作来设置分析模式。注意，测量捕获模式之后，模式可以自动地转换到分析模式。在分析模式下，对操作部分15进行操作来选择应该进行分析的记录在记录介质27中的文件。由记录部分观从记录介质27读取所选文件，并且取出其中包括的图像。例如，当所选文件包括视差图和具有边框的大范围图像时，从该文件取出这些图像中的每一个，并且通过压缩/解压缩部分沈对其进行解压缩。之后，视差图和具有边框的大范围图像被发送到显示部分25，并且被分别显示在右透视图区域43R、左透视图区域43L、以及大范围图像区域44中。通过参考在大范围图像区域44中显示的具有边框的大范围图像，操作者可以找到视差图来自测量对象的哪个部分。另外，视差图被发送到分析部分31，然后通过在分析部分31中进行分析获得的三维信息、以及对该结果可视化的图形被发送到显示部分25，并且被分别显示在数据显示区域42和图形显示区域41上。在上述实施例的判断处理中，尽管基于是否可以从视差图的捕获目标部分检测出有区别的图案来判断是否有必要对大范围图像进行记录，但是判断方法不限于此。图6示出了基于捕获目标部分的图像与相邻部分的图像之间的一致性(相似度) 来判断是否有必要对大范围图像进行记录的示例。在该示例中，通过计算来获得大范围图像中捕获目标部分的图像与相邻部分的图像之间的一致性，然后当一致性至少为预定值时，由于捕获目标部分周围存在类似区域，为了使捕获目标部分清楚，所以判断有必要对大范围图像进行记录，而当一致性小于预定值时，判断没有必要对大范围图像进行记录。例如，如图7所示，将视差图的捕获目标部分的图像Pt的相邻部分分成大小与图像Pt相同的多个图像Pc，并且计算每个图像Pt、Pc的象素值的直方图。然后，关于每个象素值来计算图像Pt的该象素值与图像Pc的该象素值之间的直方图值的差(绝对值)，并且将每个象素值的差的总值的倒数确定为一致性。然后，当任意一个图像Pc的一致性大于预定值时，判断有必要对大范围图像进行记录。注意，在上述示例中，使用直方图来判断一致性，但是用于计算一致性的方法不限于此，例如，可以将图像Pt和每个图像Pc分成由适当象素数组成的多个块，计算对应于图像Pt和图像Pc中的每一个的块的平均象素值之间的差，将差的总值的倒数确定为一致性。 另外，可以将图像Pt和图像Pc中的每一个转换为频率，通过频率之间的比较来判断一致性。另外，相邻部分不限于视差图的捕获目标部分的图像的周围部分，并且如图8中阴影线所示，相邻部分可以为叠加在视差图的捕获目标部分之上的区域部分。另外，当对捕获目标部分的图像与作为判断一致性的主体的图像Pc进行划分时，图像Pc的区域部分可
以相互重叠。此外，在判断处理中，如图9中所示的示例，可以检测使用每个照相机11、12捕获的大范围图像中的捕获目标部分的每个图像的对应点，并且可以基于对对应点的检测结果来判断是否有必要对大范围图像进行记录。在图9所示示例中，当不能正确地检测到对应点时，确定有必要对大范围图像进行记录，而当可以正确地检测到对应点时，判断没有必要对大范围图像进行记录。在该判断中，当检测到的以一对一的形式对应于对应点的参考点的数量至少为预定值N时，并且当检测到的针对其找到了作为对应点的候选的多个对应点候选的参考点的数量至少为预定值M时，判断可以正确地执行对应点的检测并且没有必要对大范围图像进行记录，而在其他情况下，判断不能正确地执行对应点的检测并且有必要对大范围图像进行记录。根据有必要对大范围图像进行记录时的捕获目标部分的特征度、视差图等的象素数等，用于上述判断的值N和M可以被适当地确定为大于1。值N成为用来判断捕获目标部分与其他部分区分开所必需的捕获目标部分中的特征部分量的标准值，并且当该值N较大时，即使在捕获目标部分更容易与其他部分区分开的情况下，也对大范围图像进行记录。 另一方面，值M成为用来判断捕获目标部分不能与其他部分区分开(例如由于存在许多重复的图案而不是一个图案和一个色调)的捕获目标部分中的部分量的标准值，并且当该值 M较大时，即使在捕获目标部分较难与其他部分区分开的情况下，也不对大范围图像进行记录。 注意，在该示例中，尽管值N和值M 二者都用于判断是否有必要对大范围图像进行记录，但是可以仅使用值N或值M来判断是否有必要对大范围图像进行记录。另外，代替大范围图像中捕获目标部分的每个图像，可以使用以用于测量的焦距所捕获的视差图。图10示出了除了用于捕获视差图的照相机之外还提供了用于捕获大范围图像的照相机的结构。第一照相机11和第二照相机12被设置为用于测量的焦距以捕获视差图， 第三照相机48被设置为用于全视图的焦距。该第三照相机48被固定到摇摄云台19，并且其捕获方向随着第一照相机11和第二照相机12来改变，以使得图像捕获范围的中心与第一照相机11和第二照相机12的图像捕获范围的中心大致一致。注意，可以不管第一照相机11和第二照相机12来单独改变第三照相机48的捕获方向。同样，在该情况下，可以控制使得图像捕获范围的中心与第一照相机11和第二照相机12的图像捕获范围的中心大致一致。另外，可以控制使得第三照相机48总是捕获整个测量对象Obj，而与第一照相机11和第二照相机12的捕获方向无关。[第二实施例]图11和图12中示出了第二实施例的三维信息获得装置的结构。该三维信息获得装置50通过光切(light-section)法来对测量对象的三维信息进行测量。注意，三维信息获得装置50与第一实施例的不同之处在于，使用缝隙光(slit light)来照射测量对象， 并且使用一个照相机来捕获测量对象，具有基本相同功能的部件采用相同的参考标号来表示，并且省略对它们的说明。在摇摄云台19上，定位光投影器51和照相机52。在测量捕获模式中，光投影器 51使用缝隙光来照射测量对象Obj，缝隙光具有垂直延伸的缝隙形状并且例如从激光器装置输出。该光投影器51具有由扫描控制部分53控制其操作的扫描机构51a，并且重复执行通过该扫描器51a对缝隙光的照射位置的移动以及该缝隙光的照射。照相机52包括拍摄镜头5 和图像传感器部分52b。该照相机52与第一实施例的第一照相机11以相同的方式控制，并且在设置模式和大范围图像捕获模式中使用用于全视图的焦距来捕获大范围图像，而在测量捕获模式中使用用于测量的焦距来捕获测量图像。在测量捕获模式中，通过在图像传感器部分52b中执行电荷积累，同时缝隙光的照射位置连续地在将要被捕获为测量图像的范围中移动，在一张用于测量的图像上捕获大量不同照射位置的缝隙光。分析部分31对如上所述捕获的用于测量的图像进行分析，并且计算测量对象Obj的测量范围的三维信息。注意，可以构造成使得每当缝隙光的照射位置移动时则捕获一张测量图像。同样，在该示例中，如图12中所示，判断是否有必要对大范围图像进行记录，并且当判断有必要对大范围图像进行记录时，使用照相机52来捕获大范围图像，然后对在大范围图像上合成了引导边框而形成的具有边框的大范围图像进行记录。注意，在判断处理中， 可以使用基于能否检测到有区别的图案的判断方法，也可以使用基于第一实施例中所描述的捕获目标部分的图像与相邻部分的图像之间的一致性(相似度)的判断方法。在第二实施例中，尽管说明了使用光切法的三维信息获得装置，但是本发明不限于此，并且可以被应用到使用来自光投影器的光对测量对象进行照射、并且捕获作为测量图像的图像的各种三维信息获得装置。例如，本发明可以被应用到从光投影器向测量对象投射网格图案并且使用照相机将变形的网格图像捕获为测量图像的装置、以及使用照相机将从光投影器照射到测量对象上的斑点光捕获为测量图像的装置。另外，如图13中所示， 与图10中所示的示例类似，可以提供用于捕获大范围图像的照相机48。在上述实施例的每一个中，尽管与测量图像相关联地对大范围图像进行记录，但是也可以与从测量图像获得的三维信息(而不是测量图像)相关联地对大范围图像进行记录。另外，可以使用诸如PC等之类的外部设备来执行对三维信息的分析。
权利要求
1.一种图像捕获设备，包括图像捕获部分，其包括多个照相机，其中包括具有可变焦类型的拍摄镜头的第一照相机，其中当捕获视差图作为测量图像来测量三维信息时，每个照相机以相同的焦距来捕获测量对象的测量部分，并且其中当捕获包括测量部分的测量对象的大范围图像时，第一照相机使用拍摄镜头的与用于捕获视差图的焦距相比更短的焦距来执行图像捕获；判断部分，其基于从图像捕获部分获得的测量对象中测量部分的图像或相邻部分的图像来判断是否有必要对大范围图像进行记录；以及记录控制部分，当判断部分判断有必要对大范围图像进行记录时，记录控制部分产生并记录具有表示视差图的范围并叠加在大范围图像上的引导的图像。
2.根据权利要求1所述的图像捕获设备，其中当捕获大范围图像时，图像捕获部分在第一照相机的焦距处于广角端的状态下执行图像捕获。
3.一种图像捕获设备，包括投影器，其将测量光投射到测量对象上；图像捕获部分，其包括具有可变焦类型的拍摄镜头的照相机，当捕获测量图像来测量三维信息时，该图像捕获部分对测量光投射到其上的测量对象中测量部分的测量图像进行捕获，并且当捕获包括测量部分的测量对象的大范围图像时，该图像捕获部分使用拍摄镜头的与用于捕获测量图像的焦距相比更短的焦距来执行图像捕获；判断部分，其基于从图像捕获部分获得的测量对象中测量部分的图像或相邻部分的图像来判断是否有必要对大范围图像进行记录；以及记录控制部分，当判断部分判断有必要对大范围图像进行记录时，记录控制部分产生并记录具有表示视差图的范围并叠加在大范围图像上的引导的图像。
4.根据权利要求1所述的图像捕获设备，其中当判断部分在测量图像中检测不出有区别的图案时，判断部分判断有必要对大范围图像进行记录。
5.根据权利要求1所述的图像捕获设备，其中当测量图像与相邻部分的图像之间的相似度高于预定水平时，判断部分判断有必要对大范围图像进行记录。
6.根据权利要求1所述的图像捕获设备，其中判断部分检测由多个照相机捕获的视差图的对应点，并且基于对应点的检测结果来判断是否有必要对大范围图像进行记录。
7.根据权利要求6所述的图像捕获设备，其中判断部分检测以一对一的形式对应于对应点的参考点，当所检测到的参考点的数量至少为预定值N(N至少为1)时，判断没有必要对大范围图像进行记录，而在其他情况下，判断有必要对大范围图像进行记录。
8.根据权利要求6所述的图像捕获设备，其中判断部分检测其中找到了作为对应点的候选的多个对应点候选的参考点，当所检测到的参考点的数量小于预定值M(M至少为1) 时，判断没有必要对大范围图像进行记录，而在其他情况下，判断有必要对大范围图像进行记录。
9.根据权利要求6所述的图像捕获设备，其中当判断部分检测到以一对一的形式对应于对应点的参考点并且所检测到的参考点的数量至少为预定值N(N至少为1)时，并且当判断部分检测到其中找到了作为对应点的候选的多个对应点候选的参考点并且所检测到的参考点的数量小于预定值M(M至少为1)时，判断部分判断没有必要对大范围图像进行记录，并且其中在其他情况下，判断部分判断有必要对大范围图像进行记录。
10. 一种图像捕获设备的控制方法，该图像捕获设备用于捕获测量对象的一部分的测量图像来测量三维信息，所述方法包括步骤基于测量对象中测量部分的图像或相邻部分的图像来判断是否有必要对使用拍摄镜头的与用于捕获测量图像的焦距相比更短的焦距所捕获的大范围图像进行记录；以及当判断有必要对大范围图像进行记录时，产生并记录具有表示测量图像的范围并叠加在大范围图像上的引导的图像。
全文摘要
防止对不必要的大范围图像进行记录。第一和第二照相机捕获视差图。在设置模式中，每个照相机被变焦为可以捕获整个测量对象的用于全视图的焦距，并且捕获用于显示直通图像的大范围图像。在设置模式中设置了焦距以及用于捕获视差图的捕获目标部分之后，当指示对视差图进行捕获时，检查用于显示直通图像的大范围图像的捕获目标部分的图像，以判断是否需要对大范围图像进行记录。当判断需要对大范围图像进行记录时，使用第一照相机来捕获大范围图像的静止图像，然后将每个照相机变焦为用于测量的焦距并且捕获视差图。与视差图一起记录大范围图像，在该大范围图像上包括有显示了视差图的范围的引导边框。
文档编号H04N5/232GK102349291SQ20108000278
公开日2012年2月8日 申请日期2010年10月14日 优先权日2010年3月25日
发明者增田智纪 申请人:富士胶片株式会社