本发明涉及摄像装置、内窥镜装置以及摄像方法等。
背景技术：
以往，公知有光学计测三维形状的技术。例如，提出了基于左右两眼的立体视觉的立体摄像方式、基于正弦图案等的图案照明的相位移位方式、基于反射光的时间测定的tof(timeofflight：飞行时间)方式等各种方式。
立体摄像方式由于利用仅使摄像系统为立体光学系统的简单的机构即可，而不需要特别的照明机构和照明控制、高级的信号处理，因此若考虑目前的摄像系统的小型化技术的进步，则面向小空间内的安装。例如，存在向内窥镜装置的前端部的安装和小型机器人的视觉传感器等多种需求。这些大多不仅要求高精度的计测功能也同时要求高画质的通常观察功能，为了确保分辨率，采取不使用左右各自的摄像元件而是将视差图像成像于共用的摄像元件的形式。在立体摄像方式中，由于根据左右图像的视差量来求出到被摄体的距离是基本的，因此若无法分离成像于共用的摄像元件的左右图像，则无法检测视差量，从而无法求出距离信息。
作为分离左右图像的方法，例如在专利文献1中公开了如下的方法：通过机械快门来时间上切换左右的成像光路从而分离获取左右的图像。在该方法中，作为照明，例如可以使用白色光。
现有技术文献
专利文献
专利文献1：日本特开2014-28008号公报
技术实现要素：
发明要解决的课题
在像专利文献1那样通过时间分割来分离获取左右的图像的方法中，左右的任何一个图像均可以用作观察用图像。然而，虽然用于立体计测的左右图像的分离性优异，但在摄像系统或被摄体运动的情况下，会在时间上产生摄像时刻的偏差，从而无法检测用于立体计测的准确的视差量。
另一方面，在立体计测中，作为利用白色光同时获取左右的图像的方法，考虑了使左右的图像成像于将摄像传感器左右分割后的各自的区域的方法。然而，在将左右图像中的任意图像用作观察用图像的情况下，由于成像于摄像元件的一半，因此图像的分辨率降低。
根据本发明的几个方式，能够提供能够拍摄高分辨率的图像并且能够进行立体计测的摄像装置、内窥镜装置以及摄像方法等。
用于解决课题的手段
本实施方式的一个方式涉及摄像装置，该摄像装置包含：摄像元件；光学系统，其使被摄体成像于所述摄像元件；以及相位差检测部，所述光学系统对通过一个光瞳使所述被摄体成像的第一状态和通过两个光瞳使所述被摄体成像的第二状态进行切换，所述相位差检测部根据在所述第一状态下利用所述摄像元件拍摄到的第一摄像图像生成伪相位差图像，进行在所述第二状态下利用所述摄像元件拍摄到的第二摄像图像与所述伪相位差图像之间的匹配处理，检测基于所述两个光瞳中的一个光瞳的成像与基于另一个光瞳的成像之间的相位差。
根据本实施方式的一个方式，根据基于一个光瞳的第一摄像图像生成伪相位差图像，进行基于两个光瞳的第二摄像图像与伪相位差图像之间的匹配处理，检测相位差。由此，能够根据基于两个光瞳的图像重叠的第二摄像图像来检测相位差，进行立体计测。由于不需要使各光瞳的图像成像于摄像传感器的各个区域，能够重叠成像在摄像传感器的宽的区域，因此能够拍摄高分辨率的图像。
另外，本实施方式的另一方式涉及内窥镜装置，该内窥镜装置包含上述所记载的摄像装置。
另外，本实施方式的再一方式涉及摄像方法，该摄像方法如下：切换光学系统通过一个光瞳使所述被摄体成像于摄像元件的第一状态和所述光学系统通过两个光瞳使所述被摄体成像于所述摄像元件的第二状态，根据在所述第一状态下利用所述摄像元件拍摄到的第一摄像图像生成伪相位差图像，进行在所述第二状态下利用所述摄像元件拍摄到的第二摄像图像与所述伪相位差图像之间的匹配处理，检测基于所述两个光瞳中的一个光瞳的成像与基于另一个光瞳的成像之间的相位差。
附图说明
图1是内窥镜装置的摄像部的基本结构例。
图2是内窥镜装置的摄像部的基本结构例。
图3是固定掩模、可动掩模的详细结构例。
图4是固定掩模、可动掩模的详细结构例。
图5是内窥镜装置的结构例。
图6是相位差的检测方法的说明图。
图7是考虑了抖动的相位差的检测方法的说明图。
图8是立体三维计测的原理的说明图。
图9是内窥镜装置的详细结构例。
图10是动态图像摄影中的动作的第一序列。
图11是动态图像摄影中的动作的第二序列。
图12是内窥镜装置的摄像部的第二基本结构例。
图13是内窥镜装置的摄像部的第二基本结构例。
图14是固定掩模、可动掩模的第二详细结构例。
图15是固定掩模、可动掩模的第二详细结构例。
图16是固定掩模、可动掩模的第三详细结构例。
图17是固定掩模、可动掩模的第三详细结构例。
图18是相位差的第三检测方法的说明图。
图19是相位差的第三检测方法的说明图。
图20是相位差的第三检测方法的说明图。
具体实施方式
下面，对本实施方式进行说明。另外，下面说明的本实施方式并不对权利要求书中记载的本发明的内容进行不当限定。另外，在本实施方式中说明的所有结构并不一定是本发明的必须构成要件。
例如，下面将工业用的内窥镜装置作为本发明的应用例并进行说明，但本发明不限定于对工业用的内窥镜装置的应用，只要是通过立体摄影方式(检测通过具有视差的摄像系统获得的两个图像的相位差来获取被摄体的距离信息的方法)来计测三维形状的三维计测装置或具有三维计测功能的摄像装置(例如医疗用的内窥镜装置、显微镜、工业用照相机、机器人的视觉功能等)，则能够应用。
1.基本结构
在内窥镜装置的检查中，例如将镜体插入于检查对象而一边拍摄通常的图像一边检查是否没有异常，在发现伤等想要详细地进行观察的部分时，计测该部分的三维形状而研究是否需要进一步检查。这样，通常的观察用图像是利用白色光拍摄到的。作为兼顾这样的白色光下的摄影和立体计测的方法，例如考虑利用白色光进行立体摄影。然而，在立体摄影中使用了白色光的情况下，需要将图像传感器左右分割，而在各自的区域中形成左图像和右图像，因此图像的分辨率降低。作为在图像传感器的同一区域中形成左图像和右图像的方法，存在彩色相位差法，但所拍摄的图像由于为色偏差图像，因此无法用作观察用图像。
由上述可知，为了利用白色光而在图像传感器的同一区域中拍到左图像和右图像，需要以时分方式进行切换(例如专利文献1)。然而，在摄像系统和被摄体相对运动的情况下，由于在左图像与右图像之间存在运动抖动，因此三角测定变得不准确。尤其是在像内窥镜那样无法将照相机相对于被摄体固定的情况下，容易产生运动抖动。
在本实施方式中，利用白色光来获得高分辨率的观察用图像，并且不使用彩色相位差法而以非时分的方式使左右光瞳的通过光成像于摄像元件的同一区域中，从而能够根据其摄像图像而进行立体计测。由此，能够解决上述那样的课题。另外，本实施方式中，能够实时地进行观察用图像和立体计测。
另外，作为下面说明的本发明的应用对象，例如是工业用内窥镜等摄像系统的位置不稳定(不固定)的装置，并且设想摄像机构较小而无法使用较大的摄像元件从而确保分辨率的装置。但是，本发明的应用不限定于上述装置，可以广泛地应用于以高精细观察、高精度计测为目的的三维计测装置。
在图1、图2中示出内窥镜装置的摄像部的基本结构例。在图1、图2中示出从横向观察摄像部的(包含光轴的平面的)剖视图、摄像元件上的成像的光量(或摄像元件所拍摄的图像的像素值)与位置x的关系。位置x是成像光学系统在与光轴垂直的方向上的位置(坐标)，例如是摄像元件的像素位置。实际上是二维坐标系，但在这里用二维中的视差方向的一维坐标系进行说明。另外，下面省略照明机构的图示。
本实施方式的内窥镜装置包含光学系统15(光学装置)、摄像元件40(摄像传感器、图像传感器)。光学系统15包含成像光学系统10、可动掩模30(第一掩模)、固定掩模20(第二掩模)。
成像光学系统10包含构成立体光学系统的左眼的成像光学系统11(第一光学系统)、右眼的成像光学系统12(第二光学系统)。各眼的成像光学系统例如由1个或多个透镜构成，使被摄体成像于摄像元件40的整个像素阵列(或大部分)。例如，左眼的成像光学系统11的像圈和右眼的成像光学系统12的像圈较大地重合，在它们的重合部分中收纳有摄像元件的像素阵列。d是左眼的成像光学系统11的光轴ax1与右眼的成像光学系统12的光轴ax2之间的距离，在立体计测中为基线长度。
摄像元件40例如具有rgb的拜耳排列的滤色器。另外，不限定于此，例如摄像元件40也可以具有补色滤镜等。
固定掩模20、可动掩模30例如设置在成像光学系统10的光瞳位置。固定掩模20相对于成像光学系统10固定，可动掩模30构成为在与光轴ax1、ax2垂直的平面内切换位置。可动掩模30高速地切换图1所示的观察模式(观察状态、第一模式、第一状态)和图2所示的立体计测模式(立体计测状态、第二状态、第二模式)这两个模式。可动掩模30是板状的遮光部(遮光部件)。在第一状态下，可动掩模30构成为遮光部覆盖固定掩模20的两个光圈孔中的一个光圈孔那样的大小。另外，在图1、图2中示出可动掩模30设置在比固定掩模20靠成像侧的位置的情况，但可动掩模30也可以设置在比固定掩模20靠物侧的位置。
成像光学系统10的成像光路的通过左眼、右眼的两个光路中的一方或双方通过固定掩模20和可动掩模30来选择。
图1示出获取通常的观察用图像的状态(观察模式)。由可动掩模30遮断(遮光)右眼光路，成为仅固定掩模20的光圈孔的左眼光路打开的状态。在该情况下，成像于摄像元件40的图像为仅左眼的成像图像il，可以获得通常的(基于单眼的白色光的)摄像图像。
另一方面，图2示出同时获取立体图像的左右图像的状态(立体计测模式)。通过可动掩模30使左右光路处于开放状态，获得左光瞳图像il’和右光瞳图像ir’重叠的图像(双重图像)。左光瞳图像il’和右光瞳图像ir’均是白色光图像。白色光图像是利用摄像元件的滤色器的分光特性拍摄的包含红色成分、绿色成分、蓝色成分的图像。在滤色器具有近红外波段的情况下，也可以在图像的各色的成分中包含近红外的成分。
2.固定掩模、可动掩模
在图3、图4中示出固定掩模20、可动掩模30的详细结构例。在图3、图4中示出成像光学系统10、固定掩模20以及可动掩模30的剖视图、从光轴方向观察固定掩模20和可动掩模30的图(从成像侧观察的后视图)。
在固定掩模20的左光瞳的光路上构成有光圈孔21，在右光瞳的光路上构成有光圈孔22。光圈孔21、22在遮光部24(遮光部件)处开口，均处于开放状态(通孔)。光圈孔21、22例如以旋转轴35为中心排列在同一圆上。光轴ax1、ax2分别通过光圈孔21、22的中心(例如圆的中心)。遮光部24设置成在从正面(或背面)观察收纳有成像光学系统10的壳体时封闭壳体，例如是设置成与光轴ax1、ax2垂直的板状部件。
可动掩模30是未设置光圈孔的遮光部。遮光部与垂直于光轴ax1、ax2的旋转轴35连接，例如是设置成与光轴ax1、ax2垂直的板状部件。遮光部的形状例如为棒状(棒的一端侧与旋转轴35连接)，但不限定于此，只要为能够实现图3和图4的状态的形状即可。
可动掩模30构成为以旋转轴35为中心向与光轴ax1、ax2垂直的方向旋转规定的角度。例如能够通过压电元件或电动机等来实现旋转运动。在图3的观察模式下，可动掩模30向右眼侧旋转规定的角度，固定掩模20的左光瞳光路(光圈孔21)处于开放状态，右光瞳光路(光圈孔22)处于遮光状态。在图4的立体计测模式下，可动掩模30返回到旋转角0度，固定掩模20的左右光瞳光路(光圈孔21、22)处于开放状态。
光圈孔21、22是尺寸与观察用图像的摄影所需的景深对应的孔(例如是圆形的孔，尺寸是直径)。在图1～图4中，图示了光圈孔21的面积φl与光圈孔22的面积φr不同的情况，但光圈孔21的面积φl与光圈孔22的面积φr也可以相同。在不同的情况下，例如光圈孔22是尺寸比光圈孔21小的孔。在图3、图4中，为φl＞φr，但不限于此，也可以是φl＜φr。
另外，在上述中，对通过使可动掩模30轴旋转规定的角度而形成两个状态的情况进行了说明，但不限定于此。例如，也可以通过滑动动作使可动掩模30移动来形成两个状态。旋转动作或滑动动作例如能够通过磁铁机构、压电机构等来实现，只要考虑到高速性和耐久性而选择适当的机构即可。
3.内窥镜装置
在图5中示出本实施方式的内窥镜装置(广义上是摄像装置)的结构例。内窥镜装置包含处理部210(处理装置、处理器)、摄像部105、存储部410(存储器)、操作部420(操作装置)、显示部220(显示装置、显示器)。处理部210包含相位差检测部330、图像输出部325。
处理部210进行内窥镜装置的各部的控制、例如图像处理等各种信息处理。处理部210包含相位差检测部330、图像输出部325、模式控制部345。存储部410例如存储摄像部105所拍摄的图像数据和内窥镜装置的设定数据等。或者，存储部410被用作处理部210的暂时存储用存储器(工作存储器)。摄像部105拍摄图像(动态图像、静态图像)。摄像部105包含摄像元件40、光学系统15。另外，摄像部105可以包含驱动光学系统15的对焦机构的驱动装置等。操作部420是用于供用户操作摄像装置的输入装置，例如可以由按钮或杆、旋转环、鼠标、键盘、触摸面板等构成。显示部220显示摄像部105所拍摄的图像、处理部210所处理的图像。显示部400例如可以由液晶显示装置或el(electro-luminescence：电致发光)显示装置等构成。
下面，对本实施方式的内窥镜装置的结构和动作的详细进行说明。
光学系统15对通过一个光瞳使被摄体5成像的第一状态和通过两个光瞳使被摄体成像的第二状态进行切换。相位差检测部330在第一状态下根据摄像元件40所拍摄的第一摄像图像il(x)而生成伪相位差图像。相位差检测部330在第二状态下进行摄像元件所拍摄的第二摄像图像ilr’(x)与伪相位差图像之间的匹配处理。而且，相位差检测部330检测基于两个光瞳中的一个光瞳的成像与基于另一个光瞳的成像之间的相位差。
第一状态对应于图1、图3的观察用图像获取状态(观察模式)，第二状态对应于图2、图4的计测用图像获取状态(立体计测模式)。第一状态下的一个光瞳对应于固定掩模20的光圈孔21，第二状态下的两个光瞳对应于固定掩模20的光圈孔21、22。另外，在图1～图4中，将两个光瞳设为左光瞳和右光瞳并进行说明，但两个光瞳的分离方向未被限定为左右。
另外，伪相位差图像(合成图像、模拟图像、模拟相位差图像)是合成了第一摄像图像il(x)和对第一摄像图像il(x)伪赋予相位差使位置移位后的图像从而对第二摄像图像ilr’(x)进行模拟而得的图像。赋予相当于任意相位差的变量而使位置x错开该变量的量相当于伪(有意地)赋予相位差。即，相当于将第一摄像图像il(x)转换为图像il(x-s)。在匹配处理中，使伪赋予的相位差变化，搜索取得匹配的相位差。关于该相位差的检测方法在图6、图7、图18～图20中进行详细地说明。在该详细的说明中，伪相位差图像对应于下式(2)的图像ilr(x，s)、下式(4)的图像ilr(x，δ，s)、下式(26)的矢量ncv，伪赋予的相位差对应于s，所检测的相位差对应于s’(xl)。
根据本实施方式，根据基于一个光瞳的第一摄像图像il(x)而生成伪相位差图像，进行基于两个光瞳的第二摄像图像ilr’(x)与伪相位差图像之间的匹配处理，检测相位差。第二摄像图像ilr’(x)是基于两个光瞳的图像重叠而被同时获取而得的。即，由于未以时分方式获取各光瞳的图像，因此相位差不受被摄体和摄像系统的抖动的影响。由此，不会受摄像系统的抖动的影响而能够检测准确的相位差(即被摄体距离)。另外，根据第一摄像图像il(x)而生成对第二摄像图像ilr’(x)进行模拟后的伪相位差图像，并进行匹配处理，由此能够根据基于两个光瞳的图像重叠的第二摄像图像ilr’(x)来检测相位差。由于能够根据重叠后的图像来检测相位差，因此不需要使用彩色相位差法，而能够进行基于白色光的立体计测。另外，第一摄像图像il(x)是通过一个光瞳拍摄到的图像，能够将该图像作为观察用图像而提供。由此，能够在立体计测的同时提供观察用图像。
另外，本实施方式的内窥镜装置(摄像装置)也可以如下构成。即，本实施方式的内窥镜装置包含摄像元件40、光学系统15、存储信息(例如程序和各种数据)的存储器(存储部410)、根据存储在存储器中的信息而进行动作的处理器(处理部210、包含硬件的处理器)。处理器进行如下的相位差检测处理：根据第一摄像图像il(x)而生成伪相位差图像，进行第二摄像图像ilr’(x)与伪相位差图像之间的匹配处理，检测基于两个光瞳中的一个光瞳的成像与基于另一个光瞳的成像之间的相位差。
处理器例如可以利用独立的硬件来实现各部的功能，或者也可以利用一体的硬件来实现各部的功能。处理器例如可以是cpu(centralprocessingunit：中央处理单元)。但是，处理器不限定于cpu，可以使用gpu(graphicsprocessingunit：图形处理单元)、或者dsp(digitalsignalprocessor：数字信号处理器)等各种处理器。另外，处理器也可以是asic的硬件电路。存储器可以是sram、dram等半导体存储器，也可以是寄存器，也可以是硬盘装置等磁存储装置，也可以是光盘装置等光学式存储装置。例如，存储器保存能够由计算机读取的指令，通过处理器执行该指令，从而实现处理部210的各部的功能。这里的指令可以是构成程序的指令集的指令，也可以是对处理器的硬件电路指示动作的指令。
本实施方式的动作例如如下那样实现。处理器进行将光学系统15切换为第一状态和第二状态的控制。摄像元件40所拍摄的第一摄像图像il(x)和第二摄像图像ilr’(x)保存在存储器(存储部410)中。处理器从存储器读出第一摄像图像il(x)，生成伪相位差图像，并将该伪相位差图像保存在存储器中。处理器从存储器读出第二摄像图像ilr’(x)和伪相位差图像，进行它们的匹配处理来检测相位差，并将该检测出的相位差保存在存储器中。
另外，本实施方式的处理部210的各部作为在处理器上进行动作的程序的模块而实现。例如，相位差检测部330实现为如下的相位差检测模块：根据第一摄像图像il(x)而生成伪相位差图像，进行第二摄像图像ilr’(x)与伪相位差图像之间的匹配处理，检测基于两个光瞳中的一个光瞳的成像与基于另一个光瞳的成像之间的相位差。
另外，在本实施方式中，相位差检测部330根据第一摄像图像il(x)而生成与基于一个光瞳的成像对应的第一伪光瞳图像和与基于另一个光瞳的成像对应的第二伪光瞳图像。相位差检测部330使第一伪光瞳图像与第二伪光瞳图像之间错开相当于相位差的偏移量，对第一伪光瞳图像和第二伪光瞳图像进行相加处理，由此生成伪相位差图像。而且，相位差检测部330一边使偏移量变化一边进行匹配处理来检测相位差。
第一伪光瞳图像(第一光瞳图像、第一模拟光瞳图像)是根据第一摄像图像il(x)而对包含于第二摄像图像ilr’(x)的基于一个光瞳的图像进行模拟而得的图像。另外，第二伪光瞳图像(第二光瞳图像、第二模拟光瞳图像)是根据第一摄像图像il(x)而对包含于第二摄像图像ilr’(x)的基于另一个光瞳的图像进行模拟而得的图像。赋予相当于任意相位差的变量，使第一伪光瞳图像与第二伪光瞳图像的相对位置错开该变量的量相当于对光瞳图像进行模拟。在图6中后述的方法中，第一、第二伪光瞳图像对应于图像il(x)、il(x，s)。il(x，s)在下式(1)中示出。如下式(2)所示，对第一、第二伪光瞳图像进行相加处理而得的图像是伪相位差图像ilr(x，s)。另外，在图7中后述的方法中，第一、第二伪光瞳图像对应于下式(3)的图像il(x，δ)、il(x，δ，s)。如下式(4)所示，对第一、第二伪光瞳图像进行相加处理而得的图像是伪相位差图像ilr(x，δ，s)。另外，在图18～图20中后述的方法中，第一、第二伪光瞳图像对应于下式(21)的矢量rl、rr。如下式(26)所示，对第一、第二伪光瞳图像(矢量rl、rr)进行相加处理而得的图像是伪相位差图像(矢量ncv)。
根据本实施方式，根据第一摄像图像il(x)而生成基于两个光瞳的各光瞳的图像，对它们进行相加处理，由此生成伪相位差图像。由此，生成设想了某种相位差(偏移量)时对第二摄像图像ilr’(x)进行模拟而得的图像。而且，通过一边改变该设想的相位差一边进行匹配处理，能够搜索性地确定基于两个光瞳的图像重叠的第二摄像图像ilr’(x)的相位差。
另外，在本实施方式中，光学系统15的两个光瞳的大小彼此不同。
光瞳的大小是光瞳的开口的面积。例如可以用开口的面积本身来表示光瞳的大小，或者也可以用在开口的形状上能够代替面积的参数来表示光瞳的大小。例如，在开口为圆的情况下，用圆的直径来表示光瞳的大小。
在匹配处理中，由于在局部区域中进行比较，因此若存在相似的图像(波形)，则有时伪相关度变高。这一点在本实施方式中由于改变两个光瞳的大小，而基于各光瞳的摄像图像的明亮度不同，对第二摄像图像ilr’(x)赋予特征。由此，能够减少在匹配处理中出现伪相关的可能性，从而进行更准确的相位差检测。
另外，像在图12～图15等中后述那样，也可以由单眼构成光学系统15的成像光学系统10。在这种情况下，如下式(17)所示，相位差的符号根据对焦位置(前焦点、后焦点)而改变。假设基于各光瞳的摄像图像的明亮度相同，则在相位差的绝对值相同的情况下不依赖于符号而第二摄像图像ilr’(x)相同，从而无法检测相位差。这一点在本实施方式中由于基于各光瞳的摄像图像的明亮度不同，因此即使在成像光学系统10为单眼的情况下也能够准确地检测相位差。
另外，如图1～图4所示，在成像光学系统10为立体光学系统的情况下，光学系统15的两个光瞳也可以为相同的大小。
另外，在本实施方式中，相位差检测部330通过对第一摄像图像il(x)基于两个光瞳彼此不同的大小进行增益调整，生成与基于一个光瞳的成像对应的第一伪光瞳图像和与基于另一个光瞳的成像对应的第二伪光瞳图像。相位差检测部330使第一伪光瞳图像与第二伪光瞳图像之间错开相当于相位差的偏移量，对第一伪光瞳图像和第二伪光瞳图像进行相加处理，由此生成伪相位差图像。而且，相位差检测部330一边使偏移量变化一边进行匹配处理来检测相位差。
在图6中后述的方法中，如下式(1)所示，对图像il(x-s)乘以系数(φr/φl)的处理对应于增益调整。另外，在图7中后述的方法中，如下式(3)所示，对图像il(x-δ-s)乘以系数(φr/φl)的处理对应于增益调整。系数(φr/φl)是光瞳的开口的面积比。另外，在图18～图20中后述的方法中，如下式(26)所示，对矢量vl、vr乘以系数gl、gr的处理对应于增益调整。如下式(25)所示，系数gl、gr是矢量的大小(图像的明亮度)的比。这与光瞳的开口的面积比相关(与面积比大致相同，但未必是一致的)。
根据本实施方式，在光学系统15的两个光瞳的大小彼此不同的情况下，能够生成适当的伪相位差图像。即，第一摄像图像il(x)是通过一个光瞳拍摄到的图像，但是，与此相对，通过进行基于开口大小的增益调整，能够生成对通过开口大小不同的两个光瞳拍摄到的第二摄像图像ilr’(x)进行模拟而得的伪相位差图像。
另外，在本实施方式中，相位差检测部330根据第一摄像图像il(x)和第二摄像图像ilr’(x)而进一步检测第一摄像图像il(x)与第二摄像图像ilr’(x)之间的基于被摄体抖动的抖动量。
被摄体抖动是指在摄像时刻不同的两个图像上被摄体的摄像位置发生移动(抖动)。被摄体抖动的要因是被摄体的移动(抖动)、或摄像系统的移动(抖动)、或者它们两者。
由于以时分方式拍摄第一摄像图像il(x)和第二摄像图像ilr’(x)，因此若在它们之间产生被摄体抖动，则有可能无法准确地检测相位差。这一点根据本实施方式，通过进一步检测第一摄像图像il(x)与第二摄像图像ilr’(x)之间的抖动量，能够提取未被被摄体抖动影响的相位差。由于基于两个光瞳的图像作为第二摄像图像ilr’(x)而被同时获取，因此在该图像中包含有未被抖动影响的相位差的信息。因此，能够将被摄体抖动和相位差分离地进行检测。
另外，在本实施方式中，相位差检测部330使第一伪光瞳图像与第二伪光瞳图像之间错开相当于相位差的第一偏移量，并且使第一伪光瞳图像和第二伪光瞳图像错开相当于抖动量的第二偏移量，对第一伪光瞳图像和第二伪光瞳图像进行相加处理，由此生成伪相位差图像。而且，相位差检测部330一边使第一偏移量和第二偏移量独立地变化一边进行匹配处理来检测相位差和抖动量。
在图7中后述的方法、在图18～图20中后述的方法中，在生成伪相位差图像时所赋予的第一偏移量(相位差)是s，第二偏移量(抖动量)是δ。通过匹配处理而检测出的相位差是s’(xl)，抖动量是δ’(xl)。
根据本实施方式，根据第一摄像图像il(x)而生成基于两个光瞳的各光瞳的图像，对它们进行相加处理，由此生成伪相位差图像。由此，生成设想了某种相位差(第一偏移量)和抖动量(第二偏移量)时对第二摄像图像ilr’(x)进行模拟而得的图像。而且，通过一边改变该设想的相位差和抖动量一边进行匹配处理，能够提取包含于第二摄像图像ilr’(x)的相位差的信息，并且检测第一摄像图像il(x)与第二摄像图像ilr’(x)之间的抖动量。
另外，在本实施方式中，光学系统15在第n帧(n为整数)中被设定为第一状态，在第n帧后的第n+1～第n+j帧(j为2以上的整数)中被设定为第二状态。相位差检测部330根据在第n帧中拍摄到的第一摄像图像il(x)和在第n+i帧(i为1以上且j以下的整数)中拍摄到的第二摄像图像ilr’(x)，来检测相位差从而获取j个相位差，并对j个相位差进行平均处理。
该处理的详细在图11中后述。在图11中，j＝5，通过下式(11)对j个相位差进行平均处理而求出最终的相位差s’(xl)。
在考虑到被摄体抖动的影响的情况下，通常是第一状态下的摄影与第二状态下的摄影的间隔越短越好。另一方面，在本实施方式中，由于能够将抖动量与相位差独立地进行检测，因此即使第一状态下的摄影与第二状态下的摄影的间隔存在某种程度，也能够准确地检测相位差。由此，能够在第一状态下拍摄一次之后在第二状态下连续地进行多次摄影，对由此获得的多个相位差进行平均来求出最终的相位差。通过对多个相位差进行平均，能够检测更加准确的相位差。
另外，在本实施方式中，内窥镜装置包含图像输出部325，该图像输出部325根据第一摄像图像il(x)而输出观察用的图像。
根据本实施方式，能够根据第一摄像图像il(x)和第二摄像图像ilr’(x)而进行立体计测，并且根据第一摄像图像il(x)而输出观察用的图像。由此，能够大致同时进行观察用图像的摄影和该被摄体的立体计测。如在图10、图11中后述的那样，只要可以在动态图像中进行以上动作，则能够实现大致实时的观察用图像的摄影和立体计测。
另外，在本实施方式中，光学系统15具有：固定掩模20，其具有第一开口和第二开口；以及可动掩模30，其相对于固定掩模20可以移动。在第一状态下，可动掩模30不遮蔽第一开口并且遮蔽第二开口，光学系统15将第一开口作为一个光瞳而使被摄体5成像。在第二状态下，可动掩模30不遮蔽第一开口和第二开口，光学系统15将第一开口和第二开口作为两个光瞳而使被摄体5成像。
在图3、图4中，第一开口对应于光圈孔21，第二开口对应于光圈孔22。这里，所谓掩模是遮蔽入射到掩模的光的部件或零件。在本实施方式的固定掩模20中，遮光部24对光进行遮蔽并且光圈孔21、22让光通过。另外，可动掩模30由没有开口的遮光部构成，对光进行遮蔽。
根据本实施方式，通过可动掩模30不遮蔽第一开口并且遮蔽第二开口，能够实现通过一个光瞳使被摄体成像的第一状态。另外，通过可动掩模30不遮蔽第一开口和第二开口，能够实现通过两个光瞳使被摄体成像的第二状态。
另外，在本实施方式中，固定掩模20的第二开口的尺寸比第一开口小。
根据本实施方式，能够实现彼此大小不同的两个光瞳。这里，开口的尺寸例如是在该开口的形状上能够代替面积的参数。例如，在开口为圆的情况下是圆的直径。或者，开口的尺寸也可以是开口的面积本身。
另外，本实施方式中，固定掩模20和可动掩模30也可以如下构成。即，固定掩模具有开口。而且，在第一状态下，可动掩模30使开口为未分割(开放状态)的开口，光学系统15将未分割的开口作为一个光瞳而使被摄体5成像。在第二状态下，可动掩模30将开口分割为第一分割开口和尺寸比第一分割开口小的第二分割开口，光学系统15将第一分割开口和第二分割开口作为两个光瞳而使被摄体5成像。
该结构的详细在图16、图17中进行说明。在图16、图17中，固定掩模20的开口对应于光圈孔23，第一、第二分割开口对应于孔fl、fr。
根据本实施方式，通过可动掩模30使固定掩模20的开口为未分割的开口，能够实现通过一个光瞳使被摄体成像的第一状态。另外，通过可动掩模30将固定掩模20的开口分割为第一分割开口和第二分割开口，能够实现通过两个光瞳使被摄体成像的第二状态。
另外，在本实施方式中，内窥镜装置包含模式控制部345，该模式控制部345进行如下控制：切换将光学系统15设定为第一状态的第一模式(观察模式)和将光学系统15设定为第二状态的第二模式(立体计测模式)。
模式控制部345的详细在图9中进行说明。图9的可动掩模控制部340对应于模式控制部345。
根据本实施方式，模式控制部345能够通过设定模式来切换光学系统15的第一状态和第二状态。另外，相位差检测部330能够根据来自模式控制部345的模式信息来判断所拍摄的图像是第一摄像图像还是第二摄像图像。
另外，在本实施方式中，该摄像装置包含错误检测部355，该错误检测部355根据在第一模式下拍摄到的图像il(x)和在第二模式下拍摄到的图像ilr’(x)，对在第一模式下光学系统15是否被设定为第一状态和在第二模式下光学系统15是否被设定为第二状态中的至少一方进行检测。
错误检测部355的详细在图9中进行说明。图9的可动掩模位置检测部350对应于错误检测部355。
光学系统15构成为切换第一状态和第二状态，包含可动部(可动掩模30)。在这样的包含可动部的情况下，需要考虑其误动作的可能性。在本实施方式中，能够根据图像来检测是否准确地切换了第一状态和第二状态。在检测到错误的情况下，例如可以停止摄影，或者也可以修正可动部的动作。例如，在暂时停止可动部的动作之后再次开始，如果未检测到错误，则判断为恢复到正常的状态。
4.相位差的检测方法
若无法检测左光瞳图像il’与右光瞳图像ir’的相位差s则不能求出到被摄体的距离。然而，在上述那样的立体计测模式下获得的图像中，左光瞳图像il’和右光瞳图像ir’重叠，因此仅根据该图像无法检测相位差s。因此，使用在观察模式下获得的图像il来求出相位差s。下面，对该方法进行说明。
在图6中示出相位差检测方法的说明图。这里，为了便于说明，省略y坐标，仅关注x坐标。将图像il、il’ir’的像素值看作坐标x的函数，分别记为il(x)、il’(x)、ir’(x)。另外，在立体计测模式下，实际上ilr’(x)＝[il’(x)+ir’(x)]是作为摄像图像而获得的，但在图6中用单独的波形图示出il’(x)和ir’(x)。另外，在相位差的检测处理中，例如将图像il(x)、ilr’(x)转换为单色图像(灰度图像)，根据该单色图像来检测相位差。
首先，生成将观察用的左光瞳图像il(x)从任意坐标xl偏移s后的图像il(x-s)。由于光圈孔21、22的大小不同，因此使用光圈孔21、22的面积φl、φr的比，以il(x)为基准像下式(1)那样对il(x-s)进行增益调整。将增益调整后的图像记为il(x，s)。
【数学式1】
il(x，s)＝(φr/φl)·il(x-s)(1)
调整增益(φr/φl)用于使左右光瞳图像的增益一致。在上式(1)中，用光圈孔21、22的面积比设定增益，但不限定于此，例如也可以根据实际的摄像系统的光学特性来进行最佳的增益调整。
接下来，对上式(1)的il1(x)、il(x，s)进行合成而生成下式(2)那样的合成图像ilr(x，s)，并将该合成图像作为搜索用比较图像。ilr(x，s)为两个图像il(x)(一方被增益调整)在偏离相位差s的状态下进行相加而得的图像。
【数学式2】
ilr(x，s)＝il(x)+il(x，s)＝il(x)+(φr/φl)·il(x-s)(2)
接下来，使偏移量s的值变化，进行偏移量s的各值下的合成图像ilr(x，s)与作为计测用而拍摄的重叠图像ilr’(x)[＝il’(x)+ir’(x)]的匹配评价。检测取得最匹配时的偏移量s，并将此时的偏移量s设为坐标xl下的左光瞳图像il’(x)与右光瞳图像ir’(x)的相位差s’(xl)。图6是w意味着进行匹配评价中的相似性比较的范围。
在本方法中，图像il(x)、il’(x)、ir’(x)是各自视点不同的图像，但看作局部地具有大致相似关系。即，在规定的区间中认为il(x)与il’(x)大致一致，il(x)偏移了s后的图像也与ir’(x)大致一致。因此，将s作为搜索值而使其变化，只要合成的状态下的ilr(x)与ilr’(x)彼此一致，则判断为il(x)与il’(x)一致并且il(x-s)与ir’(x)一致，此时的s作为要求的相位差s’。
5.考虑了抖动的相位差的检测方法
在上述中求出的相位差s’被看作在没有摄像系统与被摄体之间的抖动的状态下获取的图像。即，前提是图像il(x)和图像il’(x)在摄像面上位于同一位置。然而，观察用的左光瞳图像il(x)和计测用的重叠图像ilr’(x)虽然是连续的，但是是以时分方式拍摄的图像，因此在此期间摄像系统或被摄体抖动的情况下，需要在求相位差时考虑该抖动量。
在图7中示出了考虑了抖动的相位差的检测方法的说明图。这里，为了便于说明，省略y坐标，仅关注x坐标。在立体计测模式下，ilr’(x)＝[il’(x)+ir’(x)]是作为摄像图像而获得的，但在图7中用单独的波形图示出il’(x)和ir’(x)。
将连续获得的左光瞳图像il(x)与重叠图像ilr’(x)之间的抖动量设为δ。将观察用的左光瞳图像il(x)分离为从坐标xl偏移抖动量δ后的图像il(x，δ)和加上抖动量δ并偏移相位差s后的图像il(x，δ，s)，并生成它们的图像。接下来，使用光圈孔21、22的面积φl、φr的比，以il(x)为基准像下式(3)那样进行增益调整。
【数学式3】
将增益调整后的图像设为il(x，δ)、il(x，δ，s)。在上式(3)中，用光圈孔21、22的面积比设定增益，但不限定于此，例如也可以使用实际的摄像系统来进行最佳的增益调整。
接下来，对il(x，δ)和il(x，δ，s)进行合成而有意地生成下式(4)那样的合成图像ilr(x，δ，s)，并将该合成图像作为搜索用比较图像。
【数学式4】
ilr(x，δ，s)＝il(x，δ)+il(x，δ，s)＝il(x-δ)+(φr/φl)·il(x-δ-s)(4)
接下来，进行使相位差s和抖动量δ这两个值独立地变化后的合成图像ilr(x，δ，s)与计测用的重叠图像ilr’(x)之间的匹配评价。检测取得最匹配时的相位差s和抖动量δ，并将此时的相位差s和抖动量δ分别设为坐标xl下的左光瞳图像il’(x)与右光瞳图像ir’(x)的相位差s’(xl)和抖动量δ’(xl)。图7的w意味着进行匹配评价中的相似性比较的范围。
在本方法中，图像il(x)、il’(x)、ir’(x)也被假定为局部地来看大致相似。图像il(x)、il’(x)、ir’(x)由于为彼此存在视差的图像，因此严格来说是不同的波形，但在偏移量s和抖动量δ比较小的情况下，只要在局部范围内观察，则看作相似形。
根据本方法，即使在包含抖动量δ的状态下，也不会被抖动量δ影响而能够检测重叠的计测用立体图像的左光瞳图像il’(x)与右光瞳图像ir’(x)的相位差。这是因为，在立体计测模式下同时拍摄左光瞳图像il’(x)和右光瞳图像ir’(x)(作为重叠图像)，它们之间的相位差s不受抖动的影响。由此，能够从图像il(x)、ilr’(x)之间的偏移量(即s+δ)分离偏移量δ而提取出相位差s。
6.立体三维计测的原理
对图1～图4的结构例中的立体计测的原理进行说明。
如图8所示，左眼和右眼的光路独立地构成，来自被摄体5的反射图像经由这些光路成像在摄像传感器面(受光面)上。如下定义三维空间的坐标系x、y、z。即，沿摄像传感器面设定x轴和与x轴垂直的y轴，在与摄像传感器面垂直且与光轴ax1、ax2平行的方向上，在朝向被摄体的方向上设定z轴。z轴与x轴、y轴在零点处交叉。另外，在这里，为了方便而省略y轴。
将成像光学系统11、12(成像透镜)与摄像传感器面的距离设为b，将从成像光学系统11、12到被摄体5的任意点q(x，z)的距离设为z。使光轴ax1、ax2到z轴的距离相同，各为d/2。即立体计测中的基线长度为d。将被摄体5的任意点q(x，y)通过成像光学系统11而成像在摄像传感器面上的对应点的x坐标设为xl，将被摄体5的任意点q(x，y)通过成像光学系统12而成像在摄像传感器面上的对应点的x坐标设为xr。能够使用任意点q(x，z)和坐标xl、xr所包围的三角形内形成的多个局部直角三角形的相似关系来获得下式(5)。
【数学式5】
这里，下式(6)、(7)成立。
【数学式6】
【数学式7】
由此，能够像下式(8)那样去除上式(5)的绝对值。
【数学式8】
当对x求解上式(8)时，变为下式(9)。
【数学式9】
当将上式(9)的x代入于上式(8)时，能够获得下式(10)而求出z。
【数学式10】
d、b是已知的设定值，未知数(xr-xl)作为相位差s通过上述的匹配处理(相关运算)来进行检测。通过对各位置x计算距离z，能够计测被摄体的形状。另外，在匹配不良好的情况下，有可能无法求出距离z，例如也可以通过根据周围的像素的距离z而进行插值等来求出。
7.内窥镜装置的详细结构
在图9中示出内窥镜装置(广义上是摄像装置)的详细结构例。内窥镜装置包含镜体部100(摄像部)、主体部200(控制装置)。镜体部100包含光学系统15、摄像元件40、驱动部50。光学系统15包含成像光学系统10、固定掩模20、可动掩模30。主体部200包含处理部210(处理电路、处理装置)、显示部220(显示装置)、摄像处理部230(摄像处理电路)。处理部210包含图像选择部310(图像帧选择部)、彩色图像生成部320(图像输出部)、相位差检测部330、可动掩模控制部340(模式控制部)、可动掩模位置检测部350、距离信息计算部360、三维信息生成部370。
镜体部100、彩色图像生成部320、可动掩模控制部340、可动掩模位置检测部350分别对应于图5的摄像部105、图像输出部325、模式控制部345、错误检测部355。另外，图5的存储部410、操作部420在图9中省略图示。另外，镜体部100作为未图示的构成要素，例如可以包含处置器具和照明装置(光源、透镜等)等。
作为内窥镜装置，可以设想工业用、医疗用的所谓的视频内窥镜(内置有摄像元件的内窥镜装置)。镜体部100构成为能够弯曲的柔性镜、镜体部100构成为棒状的硬性镜均能够应用本发明。例如在工业用的柔性镜的情况下，主体部200和镜体部100作为可搬运的便携式设备而构成，用于工业制品的制造检查和维护检查、建筑物和配管的维护检查等。
驱动部50根据来自可动掩模控制部340的控制信号而驱动可动掩模30，切换第一状态(观察模式)和第二状态(立体计测模式)。例如，驱动部50由基于压电元件和磁铁机构的致动器构成。
摄像处理部230对来自摄像元件40的信号进行摄像处理，输出摄像图像(例如拜耳图像等)。例如进行相关双采样处理、增益控制处理、a/d转换处理、伽马校正、颜色校正、噪声降低等。摄像处理部230例如可以由asic等分立ic构成，或者也可以内置于摄像元件40(传感器芯片)或处理部210。
显示部220显示镜体部100所拍摄的图像、被摄体5的三维形状信息等。例如，显示部220由液晶显示器或el(electro-luminescence：电致发光)显示器等构成。
下面，对内窥镜装置的动作进行说明。可动掩模控制部340控制驱动部50来切换可动掩模30的位置。在可动掩模控制部340将可动掩模30设定为观察模式的情况下，来自被摄体5的反射光经由左眼光路成像于摄像元件40。摄像处理部230读出成像于摄像元件40的图像的像素值，并进行a/d转换等，将图像数据输出给图像选择部310。
图像选择部310根据来自可动掩模控制部340的控制信号而检测出可动掩模30的状态为观察模式，将摄像图像il(x)输出给彩色图像生成部320和相位差检测部330。彩色图像生成部320进行去马赛克处理(根据拜耳图像而生成rgb图像的处理)和各种图像处理，将三板化rgb原色图像输出给显示部220。显示部220显示该彩色图像。
在可动掩模控制部340将可动掩模30设定为立体计测模式的情况下，来自被摄体5的反射光经由左光瞳光路和右光瞳光路同时成像于摄像元件40。摄像处理部230读出成像于摄像元件40的图像的像素值，并进行a/d转换等，将图像数据输出给图像选择部310。
图像选择部310根据来自可动掩模控制部340的控制信号而检测出可动掩模30的状态为立体计测模式，将摄像图像ilr’(x)输出给相位差检测部330。相位差检测部330将图像il(x)和图像ilr’(x)转换为单色图像，并对该转换后的图像进行上述的匹配处理，按像素检测相位差(相位偏移)。另外，相位差检测部330进行相位差检测是否可以信赖的判断，在判断为不能信赖的情况下，按像素输出错误标志。以往，关于用于求出两个相似波形(图像ilr(x)和图像ilr’(x))的相位差的匹配评价方法，由于提出了zncc(zero-meannormalizedcross-correlation：零均值归一化互相关)所代表的归一化互相关运算法、基于相互的差分绝对值的总和的sad(sumofabsolutedifference：绝对差之和)等各种方法，因此可以适当利用。
另外，并不一定要对图像进行单色转换，也可以使用左光瞳图像il(x)和重叠图像ilr’(x)的红r或绿g或蓝b或近红外的成分彼此来检测相位差。在被摄体的颜色成分上存在偏差的情况下，基于摄像感光度、sn比最高的颜色成分的检测是有效的。
只要摄像元件40具有到近红外波段的感光度，则如果选择性照射可见光或近红外光作为向被摄体5照明的照明光，则能够选择性获得可见图像或近红外图像作为观察用图像il(x)和计测用的光瞳重叠图像ilr’(x)。若要求出颜色纯度，则只要获取可见图像即可，若要以高感光度求出高sn比，则只要同时获取可见图像和近红外图像即可。另外，作为特殊用途的图像，也可以获取仅近红外图像的图像。
相位差检测部330将检测出的相位差信息和错误标志输出给距离信息计算部360。距离信息计算部360对各像素计算被摄体5的距离信息(例如图8的距离z)，并将该距离信息输出给三维信息生成部370。建立了错误标志的像素例如可以被看作被摄体5的平坦部(边缘成分少的区域)，例如根据周围的像素的距离信息来进行插值。三维信息生成部370根据距离信息(或者距离信息和来自彩色图像生成部320的rgb图像)而生成三维信息。关于三维信息，例如可以设想z值图(距离图)和多边形、伪三维显示图像(例如利用阴影等的形状强调)等各种信息。三维信息生成部370根据需要而生成如下的显示图像等，并向显示部220输出,该显示图像是将所生成的三维图像或三维数据与观察用图像重叠、或者将三维图像和三维数据与观察用图像重叠而成的。显示部220显示该三维信息。
可动掩模位置检测部350使用用于立体计测的图像il(x)、ilr’(x)来检测可动掩模30是位于观察模式的位置还是位于立体计测模式的位置。而且，在判断为可动掩模30的状态与模式不一致的情况下，向可动掩模控制部340输出位置错误标志。可动掩模控制部340接收位置错误标志，将可动掩模30修正为正确的状态(与图像选择对应的状态)。在即使进行了修正动作也不变为正确的状态的情况下，判断为发生了某种故障而使整个功能停止。
可动掩模30位于观察模式的位置还是位于立体计测模式的位置例如能够通过下面的第一～第四方法来进行判断。可以使用第一～第四方法中的一个方法，也可以使用多个方法。
在第一方法中，对图像的规定区域内的相位差s的平均是否表示负值进行判断。在观察模式下，设想可动掩模30与既定相反而遮断左眼光路的情况。在该情况下，由于参照的左光瞳图像il(x)成为右光瞳图像ir(x)，因此相对于重叠图像ilr’(x)的分量图像il’(x)、ir’(x)位置关系是相反的，因而相位差s为负值。
在第二方法中，对相位差s的检测时的匹配评价值是否表示规定以下的值进行判断。在观察模式下，设想不完全遮断左眼或右眼的光路的情况。在该情况下，由于为特性文件不同的双重图像彼此的匹配评价，因此，关于原本匹配的相位差s，匹配评价值还保持较低的状态。
在第三方法中，对图像的规定区域内的相位差s的平均是否表示规定的值以下(接近零的值)进行判断。在立体计测模式下，设想遮断左眼或右眼的光路的情况。在该情况下，由于为在全部摄像区域中不具有相位差s的图像，因此相位差s大致为零。
在第四方法中，对观察用图像il(x)与计测用的重叠图像ilr’(x)的明亮度比例是否满足规定的范围进行判断。在可动掩模30正常地进行动作的情况下，它们的图像的明亮度比例大致为恒定的。
8.模式切换序列
在图10中示出动态图像摄影中的动作的第一序列(第一时序图)。
如图10所示，可动掩模30的状态的切换与摄像时刻和摄像图像的选择联动。如a1、a2所示，交替地反复观察模式的掩模状态和立体计测模式的掩模状态。如a3、a4所示，在各掩模状态下逐次进行摄像。如a5所示，在处于观察模式的掩模状态的帧fn中摄像元件40所拍摄的图像被选择为观察用图像il(x)。如a6所示，在处于立体计测模式的掩模状态的帧fn+1中摄像元件40所拍摄的图像被选择为计测用图像ilr’(x)。
通过这样交替反复观察模式和立体计测模式，能够在大致接近实时的状态下连续地获得观察用图像il(x)和计测用图像ilr’(x)，在被摄体5存在运动的情况下也能够实现观察和计测这两者。只要一边显示观察用图像il(x)一边在此重叠显示根据需要而计测的信息，则能够对用户同时提供目视检查和定量检查，从而能够提供有用的信息。
计测处理是使用观察用图像il(x)以及随后的计测用图像ilr’(x)、或者计测用图像ilr’(x)以及随后观察用图像il(x)来进行的。例如如a7所示，在帧fn+1中的摄影期间之后的计测期间中，通过帧fn的观察用图像il(x)和帧fn+1的计测用图像ilr’(x)来执行计测处理mn+1。或者，如a8所示，在帧fn+2中拍摄观察用图像il(x)。然后，如a9所示，在帧fn+2中的摄影期间之后的计测期间中，通过帧fn+1的计测用图像ilr’(x)和fn+2的观察用图像il(x)来执行计测处理mn+2。这样，在各帧中，能够在接近实时的状态下获得计测信息。
在图11中示出动态图像摄影中的动作的第二序列(第二时序图)。
如图11的b1所示，在一个帧中设定为观察模式的掩模状态，如b2所示，在随后的多个帧中设定为立体计测模式的掩模状态。另外，在图11中以多个帧为5帧的情况为例进行了说明，但不限定于此。如b3所示，在观察模式的掩模状态下拍摄一次，如b4所示，在该帧fn中拍摄的图像被选择为观察用图像il(x)。如b5所示，在立体计测模式的掩模状态下拍摄五次，如b6所示，在该帧fn+1～fn+5中拍摄的各图像被选择为计测用图像ilr’(x)。
将帧fn+1～fn+5的各帧设为fn+i(i为1≤i≤5的整数)。在帧fn+i中的摄影期间之后的计测期间中，通过帧fn的观察用图像il(x)和帧fn+i的计测用图像ilr’(x)来执行计测处理mn+i。将帧fn+i中的摄像元件40的任意像素(坐标)xl的相位差设为s’(xl)i，通过下式(11)来求出相位差s’(xl)。j是相对于一个观察用图像il(x)进行拍摄的计测用图像ilr’(x)的数量，在图11中为j＝5。
【数学式11】
这样，只要在帧间(fn+1～fn+5)对相位差s’(xl)n进行累计平均，则能够获得偏差更小的高精度的相位差s’(xl)。作为相位差s’(xl)n，期望使用排除了帧间的抖动的影响的相位差(图7的方法)。
9.第二结构例
在图12、图13中示出内窥镜装置的摄像部的第二基本结构例，在图14、图15中示出固定掩模20、可动掩模30的第二详细结构例。在图12、图13中示出从横向观察摄像部的(包含光轴的平面的)剖视图、摄像元件上的成像的光量(或摄像元件所拍摄的图像的像素值)与位置x的关系。在图14、图15中示出成像光学系统10、固定掩模20以及可动掩模30的剖视图、沿光轴方向观察固定掩模20和可动掩模30的图(从成像侧观察的后视图)。另外，对与在图1～图4中进行了说明的构成要素相同的构成要素标注相同的标号而适当省略说明。
在图12～图15中，成像光学系统10为单眼的光学系统。该单眼的光学系统由1个或多个透镜构成。固定掩模20的光圈孔21、22将单眼的光学系统的一个光瞳分割为左光瞳和右光瞳。将通过光圈孔21、22的中心(例如在圆状的光圈孔的情况下是该圆的中心)且与成像光学系统10的光轴axc平行的线设为中心线ic1、ic2。例如，光轴axc与中心线ic1、ic2的距离相等。固定掩模20设置在成像光学系统10的光瞳位置。在图12、图14的观察模式下，可动掩模30设定在对光圈孔22进行遮光的位置。另外，在图13、图15的立体计测模式下，可动掩模30设定在将光圈孔21、22打开的位置。
在该结构例中，光圈孔21的面积φl与光圈孔22的面积φr不同。例如，光圈孔22是尺寸比光圈孔21小的孔。在图12～图15中，φl＞φr，但不限于此，也可以是φl＜φr。
在单眼的光学系统中，在焦点对准的被摄体位置，相位差s为零，在焦点向前侧偏移的情况和向后侧偏移的情况下相位差s的符号不同(左光瞳图像il’和右光瞳图像ir’的偏移方向是相反的)。在本实施方式中，通过使左光瞳图像il’和右光瞳图像ir’的明亮度不同，能够根据重叠图像来判别右光瞳图像ir’相对于左光瞳图像il’向哪偏移。
另外，在图1～图4中进行了说明的立体光学系统中，不管对焦的状态如何相位差s的符号均相同(左光瞳图像il’和右光瞳图像ir’的偏移方向相同)，因此也可以不使左光瞳图像il’和右光瞳图像ir’的明亮度不同。
根据在观察模式下拍摄的图像il(x)和在立体计测模式下拍摄的图像ilr’(x)来检测相位差s(x)的方法与在图6或图7中进行了说明的方法相同。另外，内窥镜装置也可以与图5或图9同样地构成。
10.第三结构例
在图16、图17中示出固定掩模20、可动掩模30的第三详细结构例。在图16、图17中示出成像光学系统10、固定掩模20以及可动掩模30的剖视图、沿光轴方向观察固定掩模20和可动掩模30的图(从成像侧观察的后视图)。另外，对与在图1～图4、图12～图15中进行了说明的构成要素相同的构成要素，标注相同的标号而适当省略说明。
在图16、图17中，成像光学系统10为单眼的光学系统。另外，在固定掩模20的遮光部24设置有一个光圈孔23(贯通孔)。在图16的观察模式下，在将光圈孔23打开的位置设定有可动掩模30。在图17的立体计测模式下，在将光圈孔23分割为两个孔(设为fl、fr)的位置设定有可动掩模30。这些孔fl、fr将单眼的光学系统的一个光瞳分割为左光瞳和右光瞳。
光圈孔23例如为圆形，该光圈孔23的中心线(圆的中心)与光轴axc一致。可动掩模30的遮光部的宽度(与长度方向垂直的方向上的宽度)比光圈孔23的尺寸(直径)小。在立体计测模式下，以使孔fl、fr的面积φl、φr不同的方式设定可动掩模30。例如，在旋转轴35偏心，旋转角为零时可动掩模30的遮光部的长度方向的中心线不通过光圈孔23的中心。
在该结构例中，由于能够使用开口较大的光圈孔23，因此能够拍摄到明亮的观察用图像il(x)。另外，由于光圈孔23的中心线与光轴axc一致，因此可以获得利用了成像光学系统10的光轴中心的光的高品质的(例如变形较小，视场角较大等的)图像。
根据在观察模式下拍摄的图像il(x)和在立体计测模式下拍摄的图像ilr’(x)来检测相位差s(x)的方法与在图6或图7中进行了说明的方法相同。另外，内窥镜装置也可以与图5或图9同样地构成。
11.立体三维计测的原理
对图12～图15的第二结构例和图16、图17的第三结构例中的立体三维计测的原理进行说明。
如图13所示，沿摄像传感器面设定x轴和与x轴垂直的y轴，在与摄像传感器面垂直且与光轴axc平行的方向上，在朝向被摄体的方向上设定z轴。z轴与x轴、y轴在零点处交叉。另外，在这里，为了方便而省略y轴。
将从成像光学系统10(成像透镜)到被摄体的计测点的任意距离设为z，将焦点与该z连结的距离设为b’。将从成像光学系统10到基准计测点的距离设为a，将从成像光学系统10到摄像传感器面的距离设为b。基准计测点是使焦点与摄像传感器面连结的点。将左光瞳与右光瞳的分离(重心间)距离设为d。将基于被摄体的任意点p(x，y)的左光瞳的摄像传感器面的图像的x重心坐标设为xl，将基于左光瞳的摄像传感器面的图像的x重心坐标设为xr。可以使用任意点p(x，z)及其合焦点p’(x，z)和坐标xl、xr所包围的三角形内形成的多个局部三角形的相似关系来获得以下的式子。
若将左光瞳图像和右光瞳图像的偏移量即相位差记为s，则成为下式(12)。s取正值、或负值、或零。
【数学式12】
s＝xr-xl(12)
根据三角形的相似关系可以获得下式(13)。
【数学式13】
若将成像光学系统10的焦距设为f，则利用合焦关系的原理可以获得下式(14)、(15)。
【数学式14】
【数学式15】
若通过上式(13)～(15)消去b’、f，则可以获得下式(16)。
【数学式16】
由于a、b、d是已知的设定值，因此只要求出相位差s，就可以求出到被摄体的距离z。关于相位差s，若将摄像传感器面的位置xl考虑为基准，则通过匹配处理(相关运算)来检测与xl对应的位置xr，只要对所有的位置xl计算距离z，则能够计测被摄体的形状。但是，有时在匹配不良好的位置无法求出距离z。
12.使光圈孔的面积不同的理由
在图12～图15的第二结构例和图16、图17的第三结构例中，有意地使左右光瞳光路的光圈孔21、22(或fl、fr)的开放面积φl、φr不同。下面，对其理由进行说明。
使用在图13中进行了说明的距离z、b’、a、b、位置xl、xr。在从成像光学系统10(成像透镜)到计测点的距离比基准距离a小的情况和比基准距离a大的情况下，摄像传感器面上的左光瞳图像和右光瞳图像的偏移方向反转。即，下式(17)的关系成立，可知z与a的大小关系根据偏移的方向而不同。
【数学式17】
即，在左光瞳图像il’(x)和右光瞳图像’ir(x)被看作大致相同图像的情况下，由于是它们以相同的明亮度重叠的图像，因此无法确定哪个图像是向左右的哪个方向偏移而重叠的图像。
为了解决该问题，在本实施方式中，有意地使左右光瞳图像的光圈孔21、22(或fl、fr)的面积φl、φr不同。通过使左光瞳图像il’(x)和右光瞳图像ir’(x)的明亮度不同，重叠图像ilr’也会根据右光瞳图像ir’(x)相对于左光瞳图像il’(x)向左右哪个方向偏移而不同。利用该特征能够判别偏移方向。
另外，通过使左光瞳图像il’(x)和右光瞳图像ir’(x)的明亮度不同，容易表征基于重叠程度的重叠图像ilr’(x)的差异，从而能够提高偏移量的检测精度。
13.相位差的第三检测方法
在图6、图7中，假定为光圈孔21、22的面积比(φr/φl)不依赖于像素位置而是恒定的，来检测相位差s。然而，构成重叠图像ilr’(x)的il’(x)与ir’(x)的分量比根据像素位置而变动，有时未被看作恒定的。例如，图像ilr’(x)的特性文件会因针对被摄体的视点的差异、摄像传感器面的摄像位置的差异而产生偏差。于是，认为在实用情况下与合成图像ilr(x，δ，s)的匹配精度降低。
因此，在本方法中，即使图像il’(x)与图像ir’(x)的分量比发生变动，也能通过逐次计算来求出该分量比，生成使图像il’(x)与图像ir’(x)的分量比一致的图像il(x)和图像ir(x)的合成图像。由此，能够以较高的精度进行匹配评价。
如图18所示，将规定的宽度w的采样列(像素值的列)看作矢量vl、vr、rl、rr。
将图像il(x，δ)中的采样列设为矢量vl，将图像il(x，δ，s)中的采样列设为矢量vr，将图像ilr(x，δ，s)中的采样列设为合成矢量cv。这些图像是根据在观察模式下拍摄到的图像而生成的图像，由上式(3)、(4)进行定义。另外，将图像il’(x)中的采样列设为矢量rl，将图像ir’(x)中的采样列设为矢量rr，将图像ilr’(x)中的采样列设为重叠矢量cr。图像ilr’(x)是在立体计测模式下拍摄到的图像，其分量是图像il’(x)、ir’(x)。
以任意的采样位置xl为基准，像下式(18)那样定义各矢量分量的坐标xk、xk’。k是区间w中的采样数(视差方向(x方向)上的区间w中的像素数)。
【数学式18】
xk＝xl+δ-(w/2)+k，xk’＝xl+δ’-(w/2)+k(k＝0，1，2，…，k)(18)
使用上式(18)对各矢量进行分量表示，则成为下式(19)、(20)。
【数学式19】
【数学式20】
图像il(x，δ)和图像il’(x)被认为是相似关系，图像il(x，δ，s)和图像ir’(x)被认为是相似关系。若将图像il(x，δ)与图像il’(x)一致时的矢量的大小的校正系数设为gl，将图像il(x，δ，s)与图像ir’(x)一致时的矢量的大小的校正系数设为gr，则能够表示为下式(21)。
【数学式21】
rl＝gl·vl，rr＝gr·vr(21)
只要能够求出上式(21)的校正系数gl、gr，则在图像il(x，δ)和图像il’(x)的位置关系一致时以及图像il(x，δ，s)和图像ir’(x)的位置关系一致时，可以形成合成矢量cv与重叠矢量cr一致这样的状态。
在抖动量δ和相位差s的搜索中，只要能够一边通过上式(21)进行矢量vl、vr的大小的校正一边检测出矢量cv与矢量cr一致的位置，则能够高精度地求出抖动量δ和相位差s。换言之，在进行归一化使得作为矢量cv的分量的矢量vl、vr与矢量rl、rr各自的成分量一致的基础上，对矢量cv和矢量cr进行比较。由此，提高了矢量cr与矢量cv的匹配程度，从而可以准确地进行匹配评价。
首先，使用与重叠图像ilr’(x)对应的检测矢量cr来求出作为其分量的矢量rl和矢量rr的大小。图像il(x，δ)和图像il’(x)以及图像il(x，δ，s)和图像ir’(x)在被限定的运算宽度w中被认为是相似关系。因此，即使各自的大小不同，在位置一致时，也可以假定为处于矢量vl和矢量rl的矢量方向一致且矢量vr和矢量rr的矢量方向一致的状态。图19是这些矢量的关系的概念图。
将矢量cr与矢量rl所成的角度、即矢量cr与矢量vl所成的角度设为α。另外，将矢量cr与矢量rr所成的角度、即矢量cr与矢量vr所成的角度设为β。通过角度α、β可以获得下式(22)的关系。
【数学式22】
根据上式(22)来求出角度α、β、γ，若代入于下式(23)，则可以获得矢量rl、rr的大小|rl|、|rr|。
【数学式23】
通过上式(21)，下式(24)成立。
【数学式24】
rl|＝gl·|vl|，|rr|＝gr·|vr|(24)
通过上式(24)，下式(25)成立。
【数学式25】
通过在上式(25)中代入通过上式(23)求出的|rl|、|rr|，来求出校正系数gl、gr。
使用这样求出的校正系数gr、gl对矢量vl、vr的成分量(大小)进行校正，从而改变合成的矢量而设为ncv。通过上式(21)，下式(26)成立。
【数学式26】
ncv＝gl·vl+gr·vr＝rl+rr(26)
即，在矢量cr与矢量ncv一致的情况下，成为矢量vl和矢量rl的位置关系大致一致，并且矢量vr和矢量rr的位置关系大致一致的状态。
但是，在重叠图像ilr’(x)中不产生相位差s’的情况下，矢量rl和矢量rr的方向相同、即成为下式(27)，因此无法根据上述的计算方法来确定系数gl、gr。
【数学式27】
α＝0且β＝0(27)
然而，在该情况下，成为搜索矢量vl的方向与矢量rl的方向一致，同时搜索矢量vr的方向与矢量rr的方向一致的状态。但是，若施加噪声等劣化因素，则不一致而捕捉最接近的状态。
因此，确定角度α和角度β均为最小的位置，将该位置评价为是抖动量δ’一致的位置。由于α＞0、β＞0，因此将(α+β)为最小(接近零的值)的状态判断为角度α和角度β均为最小的状态。例如，认为匹配评价函数e如下式(28)那样。
【数学式28】
e＝(α+β)·|ncv-cr|(28)
另外，评价函数e不限定于此，例如也可以是e＝(α+β)·(1-ncc[ncv，cr])。ncc[ncv，cr]是通过zncc法求出的矢量ncv、cr之间的相关值。
另外，通过上式(21)～(25)求出的校正系数gl、gr为适当的值限于矢量cv与矢量cr一致的情况。在相位差s和抖动量δ的搜索过程中，关于矢量cv与矢量cr不一致的情况下的校正系数gl、gr，只能求出错误的值(无意义的值)。换言之，在矢量cv和矢量cr的方向不一致而无法取得匹配的状态下，若强制性地应用通过上式(21)～(25)求出的校正系数gl、gr，则与不应用的情况相比，矢量cv和矢量cr处于无法取得匹配的状态。这在检测匹配位置方面是有利的。
以上，对应用了本发明的实施方式及其变形例进行了说明，但本发明不直接限定于各实施方式及其变形例，可以在实施阶段中在不脱离发明的主旨的范围内对构成要素进行变形来具体化。另外，通过对上述各实施方式和变形例所公开的多个构成要素进行适当组合，可以形成各种发明。例如，可以从各实施方式和变形例所记载的全部构成要素中删除几个构成要素。并且，可以对在不同的实施方式和变形例中说明的构成要素进行适当组合。这样，可以在不脱离发明的主旨的范围内进行各种变形和应用。另外，在说明书或附图中，至少一次与更广义或同义的不同用语一起被记载的用语在说明书或附图的任何位置都能置换为该不同的用语。
标号说明
5：被摄体；10：成像光学系统；11、12：成像光学系统；15：光学系统；20：固定掩模；21：光圈孔(第一开口)；22：光圈孔(第二开口)；23：光圈孔(开口)；24：遮光部；30：可动掩模；35：旋转轴；40：摄像元件；50：驱动部；100：镜体部；105：摄像部；200：主体部；210：处理部；220：显示部；230：摄像处理部；310：图像选择部；320：彩色图像生成部；325：图像输出部；330：相位差检测部；340：可动掩模控制部；345：模式控制部；350：可动掩模位置检测部；355：错误检测部；360：距离信息计算部；370：三维信息生成部；400：显示部；410：存储部；420：操作部；fl：孔(第一分割开口)；fr：孔(第二分割开口)；il：观察用图像(第一摄像图像)；ilr：合成图像(伪相位差图像)；ilr’：计测用图像(第二摄像图像)；s：相位差(第一偏移量)；s’：相位差；δ：抖动量(第二偏移量)；δ’：抖动量。