图像处理装置、图像处理方法、程序和图像处理系统与流程

本公开涉及图像处理装置、图像处理方法、程序和图像处理系统。

背景技术：

迄今为止，例如，下面描述的专利文献1描述了提供一种内窥镜装置，该内窥镜装置可以选择性地切换二维/三维观察状态，可以在二维观察时获得待检查的身体部位的高分辨率和明亮的观察图像，并且可以根据需要获得三维观察图像。

引文列表

专利文献

专利文献1：jph10-248807a

技术实现要素：

技术问题

当使用立体视觉相机进行观察时，根据场景，存在希望观察从前到后聚焦的清晰图像的情况，而不是立体视觉观察。然而，利用上述专利文献1中描述的技术，虽然能够以高分辨率观察待检查的身体部位，但是不能获得从前到后聚焦的清晰图像。

于是，希望可以根据情况通过切换立体视觉图像和景深扩展图像来进行观察。

问题的解决方案

根据本公开，提供了一种图像处理装置，包括：拍摄情况获取部，其获取关于左眼图像或右眼图像的拍摄情况的信息；以及确定部，其对应于关于拍摄情况的信息，确定是对左眼图像还是右眼图像执行立体视觉图像处理，或者是否利用左眼图像或右眼图像中的至少一个执行二维景深扩展处理。

另外，根据本公开，提供了一种图像处理方法，包括：获取关于左眼图像或右眼图像的拍摄情况的信息；并且对应于关于拍摄情况的信息，确定是对左眼图像还是右眼图像执行立体视觉图像处理，或者是否利用左眼图像或右眼图像中的至少一个执行二维景深扩展处理。

另外，根据本公开，提供了一种程序，用于促使计算机用作：用于获取关于左眼图像或右眼图像的拍摄情况的信息的装置；以及用于对应于关于拍摄情况的信息，确定是对左眼图像还是右眼图像执行立体视觉图像处理，或者是否利用左眼图像或右眼图像中的至少一个执行二维景深扩展处理的装置。

另外，根据本公开，提供了一种成像系统，包括：成像装置，其对左眼图像和右眼图像进行成像；以及图像处理装置，包括：获取部，其获取关于左眼图像或右眼图像的拍摄情况的信息；以及确定部，其对应于关于拍摄情况的信息，确定是对左眼图像还是右眼图像执行立体视觉图像处理，或者是否利用左眼图像或右眼图像中的至少一个执行二维景深扩展处理。

另外，根据本公开，提供了一种图像处理装置，包括：捕获图像获取部，其获取左眼图像和右眼图像；以及景深扩展处理部，其扩展左眼图像和右眼图像中的每一个的景深，并且通过合成已经扩展了景深的左眼图像和右眼图像中的每一个来生成景深扩展图像。

另外，根据本公开，提供了一种图像处理方法，包括：获取左眼图像和右眼图像；并且扩展左眼图像和右眼图像中的每一个的景深，并且通过合成已经扩展了景深的左眼图像和右眼图像中的每一个来生成景深扩展图像。

另外，根据本公开，提供了一种程序，用于促使计算机用作：获取左眼图像和右眼图像；并且扩展左眼图像和右眼图像中的每一个的景深，并且通过合成已经扩展了景深的左眼图像和右眼图像中的每一个来生成景深扩展图像。

发明的有益效果

如上所述，根据本公开，可以根据情况通过切换立体视觉图像和景深扩展图像来观察。

注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中理解的其他效果。

附图说明

图1是示出根据本公开的一个实施例的系统的结构的示意图；

图2是示出景深扩展校正处理部中的基本校正过程的示意图；

图3是示出在图2的步骤s10中获取聚焦位置不同的右图像a和左图像b的情况的示意图；

图4是示出右图像a的聚焦位置和左图像b的聚焦位置的示意图；

图5是示出对应于深度位置的合成比率的特性图；

图6是示出空间距离信息(深度图)的示意图；

图7是示出psf(点扩展函数)随距离的变化特性的示意图，该psf示出了透镜如何模糊；

图8是示出由于对应于透镜的光学特性的输入波长光的差异而发生轴向色差的示例的示意图；

图9是示出通过根据深度将每个信道的高频分量合成到其他信道来获得edof图像的示例的示意图；

图10是示出通过将光源互锁地切换到具有波长峰值和窄半宽度的光源(例如，rgbled和激光器)来更多地拉出信道之间的轴向色差的差异的示例的示意图；

图11是示出准备两张图像的示例的示意图，已经通过在每个帧周围移动时间进行拍摄来移动聚焦位置，以拍摄所述两张图像，以便改变聚焦位置；

图12是示出通过在执行对准之后合成中心聚焦位置不同的两种edof图像来获取edof图像的示例的示意图，该edof图像中，聚焦位置比仅利用一只眼睛的图像执行edof处理的情况进一步扩展；

图13是示出对准处理的流程图；

图14是示出切除左视场角和右视场角之间的公共部分并执行图像处理的示例的示意图，以构成使得左图像和右图像之间的差异变得尽可能小(除了模糊差异之外)的状态；

图15是示出对应于散焦量的合成比率的特性图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的附图标记表示，并且省略了对这些结构元件的重复解释。

应该注意，按以下顺序给出描述。

1.)系统的构成示例

2.)在立体视觉图像和edof图像之间切换

3.)在景深扩展校正处理部中的处理

3.1.)在景深扩展校正处理部中的基本处理

3.2.)准备两张图像

3.2.1.1.)通过深度+psf数据反卷积(反卷积积分，反卷积：反卷积)

3.2.1.2.)使用r/g/b信道之间的轴向色差

3.2.1.3.)随着帧序列(fs)中的时间差移动聚焦位置

3.2.2.)用于利用左图像和右图像中的每一个执行edof的处理

3.3.)对准

3.4.)合成两张图像(生成一张景深扩展图像)

3.4.1.)通过使用深度图(深度图)进行合成

3.4.2.)通过使用散焦图(散焦图)进行合成

1.)系统的构成示例

首先，参考图1，描述了根据本公开的一个实施例的系统1000的结构。如图1所示，该系统1000包括摄像头(成像装置)100、图像处理装置200、显示装置300和照明装置400。摄像头100包括具有图像传感器和变焦光学系统的立体视觉相机，并且对包括一对左右图像(左眼图像和右眼图像)的立体图像进行成像。作为一个示例，在本实施例中，摄像头200连接到内窥镜，以插入患者体内。

图像处理装置200包括立体视觉/景深扩展切换确定部210、景深扩展校正处理部220和照明控制部240。在这一点上，在本实施例中，特别例示了用于立体视觉的图像处理和用于景深扩展的图像处理。然而，不限于此，可以生成超分辨率图像。立体视觉/景深扩展切换确定部210包括：拍摄情况获取部212，其获取关于拍摄情况的信息，例如，光学变焦值、电子变焦值、用户操作信息、视差信息和距离信息；以及确定部214，其对应于关于拍摄情况的信息，确定是否基于左眼图像和右眼图像输出三维立体视觉图像，或者是否基于左眼图像或右眼图像中的至少一个输出二维景深扩展图像。此外，景深扩展校正处理部220包括：捕捉图像获取部22，其获取左眼图像和右眼图像；以及景深扩展处理部224，其扩展左眼图像和右眼图像中的每一个的景深，并且通过合成已经扩展了景深的左眼图像和右眼图像来生成景深扩展图像。

显示装置300包括液晶显示器(lcd)等，并且显示已经由图像处理部200进行了图像处理的图像。照明装置400照明要由摄像头100成像的拍摄主体。

2.)在立体视觉图像和景深扩展(edof：扩展景深)图像之间切换

在使用立体视觉相机进行观察时，存在以下情况：根据场景，通过扩展景深(edof观察)进行观察优于使用立体视觉(三维)图像进行观察。例如，在立体视觉图像中，在通过变焦等执行扩展以便在物理上接近物体的情况下，众所周知，视差提供得太多，引起视疲劳。此外，在长时间持续观看立体视觉图像的情况下，也众所周知，引起视疲劳。此外，还可能出现希望观察从拍摄主体的前部到后部聚焦的图像，而不是立体视觉图像的情况。在本实施例中，在满足下面描述的条件的情况下，立体视觉指示被停止并切换到景深扩展(二维)指示，从而减少这些视疲劳。

因此，在本实施例中，对应于拍摄时的情况，观察者能够通过最佳地切换立体视觉图像和景深扩展图像(景深扩展图像)来进行观察。例如，应用了诸如通过扩展来观察的情况(图像未融合的情况)、利用深度观察感测时间的情况(很难看到前/后)以及出现视疲劳的情况等情况。在景深扩展图像更合适的情况下，从由摄像头100成像的图像中合成二维景深扩展图像(edof图像)，并显示该二维景深扩展图像。由此，在克服在利用立体视觉观察的情况下出现的上述问题的同时，可以实现景深扩展的观察。

更具体地，作为用于从立体视觉图像切换到景深扩展图像的确定条件，如下设置扩展的时间、确定场景的时间、眼睛变得疲倦的时间等。图像处理装置200的立体视觉/景深扩展切换确定部210的确定部214根据下面所示的确定条件执行立体视觉图像和edof图像之间的切换。

扩展时

在用立体视觉图像观察期间在物理上接近拍摄主体的情况下，视差提供得太多，使得拍摄主体向前方跳得太多。因此，观察者很难看到物体，这导致了视疲劳。在这种情况下，在已经切换到景深扩展图像的情况下，眼睛变得不疲劳，同时能够确认正面/背面的图像信息。因此，图像处理装置200的立体视觉/景深扩展切换确定部210基于视差信息和距离信息确定是否从立体视觉图像切换到景深扩展图像。此外，在立体视觉图像的观察期间通过光学变焦扩展的情况下，焦距变短并且dof景深变浅。因此，聚焦的拍摄主体的正面和背面变得模糊，变得难以看到。此外，在这种情况下，视差会因扩展而变得过大。在这种情况下，在切换到edof图像的情况下，可以清楚地观察聚焦的拍摄主体的正面和背面。因此，图像处理装置200的立体视觉/景深扩展切换确定部210基于光学变焦值和距离信息确定是否从立体视觉图像切换到edof图像。此外，在立体视觉图像的观察期间通过电子变焦进行了扩展的情况下，在鸟瞰时没有麻烦的小模糊变得明显，并且变得难以识别扩展部分。此外，同样在这种情况下，视差可能会因扩展而变得过大。在这种情况下，在已经切换到edof图像的情况下，扩展部分(特别是关于背景的信息)变得很容易看到。因此，图像处理装置200的立体视觉/景深扩展切换确定部210基于电子变焦值和距离信息确定是否从立体视觉图像切换到edof图像。

确定场景时

在观察立体视觉图像中拍摄主体具有深度的场景的情况下，聚焦的拍摄主体的背面变成景深的外部，并且超过图像融合限制。因此，拍摄主体变得模糊，并且可能变得不太容易看到。在这种情况下，在已经切换到edof图像的情况下，关于背面的图像信息变得很容易看到。因此，比立体效果更容易掌握整体，并且可以获取部分详细信息。因此，图像处理装置200的立体视觉/景深扩展切换确定部210基于关于深度图的信息来确定是否从立体视觉图像切换到edof图像。此外，在用多个镊子从不同端口进行接近的情况下，与从相同端口进行接近的情况相比，吸引注意力的镊子和其他镊子之间的距离经常分开。因此，工作区域的一部分变成景深的外部，使得图像模糊并且可能变得不太容易看到。同样在这种情况下，在已经切换到edof图像的情况下，图像信息变得很容易看到。

眼睛疲劳时

在用立体视觉图像进行观察之后经过了固定时间的情况下，可能存在眼睛疲劳或头痛的情况。在这种情况下，在已经切换到edof图像的情况下，执行景深扩展指示，同时强调关于聚焦的拍摄主体的正面和背面的图像信息，由此眼睛不会变得疲劳。因此，立体视觉/景深扩展切换确定部210基于经过的时间信息确定是否从立体视觉图像切换到edof图像。

用户指定时

在利用立体视觉图像进行观察期间，可能存在以下情况：希望在立体视觉中看到关于聚焦的拍摄主体的正面和背面的详细信息，而不是掌握具有立体效果的拍摄主体的位置关系。在这种情况下，在已经切换到edof图像的情况下，可以消除聚焦的拍摄主体的正面和背面的模糊，并掌握详细的图像信息。因此，立体视觉/景深扩展切换确定部210通过使用户的操作成为触发来从立体视觉图像切换到edof图像。

在这一点上，可以通过利用左右相机之间的视差来从图像获取到物体的距离，并且作为另一种技术，也可以使用距离传感器，例如，tof(飞行时间)。此外，作为从图像估计距离信息的技术，立体匹配是众所周知的。

用于舒适地享受立体图像的深度(跳出、缩回)范围称为舒适视差范围。根据传统研究或经验法则，作为舒适视差范围的指南，视差角为1°(60)或更小。此外，关于图像融合极限(不产生双图像的范围)，可以安全地考虑视差角为大约2°(120)或更小。虽然视差角被定义为会聚角之间的差异，但是很难直观地掌握。相反，使用通过用像素数量测量屏幕上的视差或相对于屏幕宽度的比率而获得的数值是方便的。在通过标准监控距离(屏幕高度的三倍)进行欣赏的情况下，转换表如下所示。

[表1]

在屏幕为1920x1080的情况下

假设视差角是θ，到监视器的距离是l，屏幕上的视差α(像素)可以用α＝lxtan(θ)表示。假设l是1080x3。根据上述公式，在视差角为1.0°的情况下，视差α(像素数)变为大约56.55(像素)。在已经执行扩展变焦的情况下，变得等同于距离l已经缩短的情况。例如，在两倍变焦的情况下，在1.0°的视差角下，变成113像素，并且视差变大。

如上所述，在视差α变得非常大的情况下，已知会引起视疲劳。通过双眼自然执行图像融合的范围称为nam融合区域，并且被定义为使得视差相对于用作标准的屏幕表面大约为1o或更小。此外，如上所述，关于图像融合极限，考虑视差角为2o或更小是安全的。因此，在视差角超过2o的情况下，确定部214可以确定从立体视觉图像切换到edof图像。

如图1所示，除了一对左右图像信息之外，从摄像头100向图像处理装置200发送关于拍摄情况的各种信息，例如，光学变焦值、电子变焦值、用户触发(用户的操作信息)、视差信息和距离信息(深度图)。立体视觉/景深扩展切换确定部210的拍摄情况获取部212获取关于拍摄情况的这些类型的信息，并且确定部214对应于关于拍摄情况的这些类型的信息来确定是否基于左眼图像和右眼图像输出三维立体视觉图像，或者是否基于左眼图像或右眼图像中的至少一个来输出二维景深扩展图像。立体视觉/景深扩展切换确定部210基于确定的结果如上所述执行立体视觉图像和edof图像之间的切换。

在显示作为立体视觉/景深扩展切换确定部210的确定结果的立体视觉图像的情况下，已经从摄像头100发送的一对左右图像信息发送到显示装置300，并且在显示装置300中执行一对左右图像的立体视觉指示。

另一方面，在显示作为立体视觉/景深扩展切换确定部210的确定结果的edof图像的情况下，已经从摄像头100发送的一对左右图像信息发送到景深扩展校正处理部220，并且执行用于扩展景深的各种处理。

3.)在景深扩展校正处理部中的处理

3.1.)在景深扩展校正处理部中的基本处理

图2是示出景深扩展校正处理部220中的基本校正过程的示意图，并且示出主要在景深扩展处理部224中执行的处理。作为执行图2中的处理的前提，捕捉图像获取部222从立体视觉/景深扩展切换确定部210获取一对左右图像信息。首先，在步骤s10中，准备从立体视觉/景深扩展切换确定部210发送的一对左右图像信息的右眼图像和左眼图像(右图像a和左图像b)。这两张图像在聚焦位置可能不同。

此外，在步骤s10中，在左图像和右图像中的每一个中执行edof处理(景深扩展处理)。将在后面提到edof处理的细节。

在下一步骤s12中，执行右图像a和左图像b之间的对准。具体而言，提取右图像a和左图像b之间的公共部分，并且执行形状校正，从而执行对准。在执行对准时，执行取消视差的处理。

在下一步骤s14中，合成已经经历对准的右图像a和左图像b。此时，根据深度位置(深度位置)，改变右图像a和左图像b之间的合成比率。由此，在下一步骤s16中，获得二维景深扩展图像。

图3是示出在图2的步骤s10中获取聚焦位置不同的右图像a和左图像b的情况的示意图。如图3所示，在右图像a中，在中心的拍摄主体a聚焦，并且在外围(背景)的拍摄主体b是模糊的。另一方面，在右图像b中，在中心的拍摄主体a是模糊的，而在外围的拍摄主体b聚焦(in-focus，清晰的)。

图4是示出右图像a的聚焦位置和左图像b的聚焦位置的示意图。如图4所示，右图像a在拍摄主体a的位置聚焦，左图像b在拍摄主体b的位置聚焦。

在步骤s12中执行对准之后，在步骤s14中，右图像a和左图像b之间的合成比率根据深度位置而改变。在中心的拍摄主体a的位置，右图像a的比率变高，而在外围的拍摄主体b，左图像b的比率变高。图5是示出对应于深度位置的合成比率的特性图。随着深度位置变得更靠近背面(更靠近背景)，右图像a的比率ra变低，左图像b的比率rb变大。此外，随着深度位置变得更靠近正面，右图像a的比率ra变高，左图像b的比率rb变低。在这一点上，可以设置为rb＝1-ra。主图像成为在中心部分聚焦的右图像a。基于深度图，通过根据图5合成右图像a和左图像b，可以在空间上改变合成比率，并且可以获得已经在中心和外围聚焦的二维景深扩展图像。

在下文中，详细描述图2中步骤s10中的两张图像的准备、步骤s12中的对准以及步骤s16中的两张图像的合成。

3.2.)准备两张图像

3.2.1.)利用左或右图像执行edof的处理

在景深扩展校正处理部220中，可以针对右图像a和左图像b中的每一个独立地执行edof处理。在这种情况下，仅针对左眼或右眼的一张图像执行edof。在使用一只眼睛的一张图像的edof处理中，存在如下所示的多种变化。在这种情况下，由于仅用一只眼睛完成edof，所以在聚焦位置不同的两张图像的准备就变成了虚设。因此，另一张图像可以制成已经经历edof的图像的副本。

3.2.1.1.)通过深度+psf数据反卷积(反卷积积分、反卷积：反卷积)

在该方法中，使用了如图6所示的空间距离信息(深度图：深度图)和psf(点扩展函数)的变化特性，该变化特性取决于距离，该psf示出了透镜如何模糊，如图7所示。在图6中，在左侧示出捕捉的图像，在右侧显示深度信息。在右侧的深度信息中，显示当密度变得接近黑色时，拍摄主体位于很远的地方(背面)，当密度变得接近白色时，拍摄主体位于附近(正面)。

可以从视差信息中获得图6所示的深度信息。作为块匹配的结果，可以获得作为像素数的左右图像的视差信息，并且可以将视差信息转换成距离信息。因此，可以利用视差信息和距离信息来获得图6所示的深度信息。

此外，图7示出了模糊对应于相对于聚焦位置的深度发生的情况，并且随着与聚焦位置的距离增加，模糊变大。如图7所示，根据深度的模糊量可以通过pillbox函数的模糊函数和通过二维高斯函数的模糊函数来近似。关于图7所示的psf的信息已经预先从摄像头100的光学系统的规格中获取，并且输入到景深扩展校正处理部220中。在这一点上，可以从摄像头100获取关于psf的信息。

景深扩展校正处理部220基于距离信息和psf信息执行edof处理。此时，视差信息和距离信息可以在摄像头100侧计算，或者可以在景深扩展校正处理部220侧计算。在已经获取了图6和图7中的信息的情况下，可以知道对应于深度位置的模糊量。因此，通过对捕捉的图像中的模糊部分执行反向psf滤波处理(反卷积)，可以获得已经去除模糊的edof图像。

3.2.1.2.)r/g/b信道之间的轴向色差的使用

对应于透镜的光学特性，会出现聚焦位置根据输入波长光的不同而不同的现象(轴向色差)。因此，彩色图像中的r、g和b的相应信道的图像在聚焦位置上不同。通过使用这些特性，如图8和图9所示，根据深度(深度)，在其他信道中合成每个信道的高频分量(锐度转移)，由此可以获得edof图像。

如图8所示，景深扩展校正处理部220从具有最鲜明颜色的图像中提取高频分量。此外，已经单独提取如图7所示的深度信息。然后，将所提取的高频分量在一图像中与该图像中具有最鲜明颜色的深度位置处的另一种颜色进行合成。由此，如图9所示，尽管r、g和b的相应信道的图像的景深分别是dr、dg和db，但是通过根据深度位置合成最尖锐信道的高频分量，可以在经历edof处理之后极大地扩展景深de。

然而，在使用该方法时，在使用图10的右图所示的宽波长光源的情况下，在最清晰信道的图像信息中，聚焦的波长信号分量和未聚焦的波长信号分量的混合比率变高。因此，高频分量的提取程度降低，并且即使将高频分量合成到另一信道中，也可能无法充分获得景深扩展的效果。在这种情况下，通过切换到用图10中的左图所示的led或激光器状窄带照明，可以提取如此多聚焦的信号分量。因此，可以增强景深扩展的效果。因此，照明控制部240控制照明装置400，以便用窄波长光源或宽波长光源对拍摄主体进行照射，如图10所示。以这种方式，通过使光源互锁而使光源成为窄波长，也可以引起更多的轴向色差并提高edof的程度。这样，就可以获得具有更宽景深的edof图像。

3.2.1.3.)随着帧序列(fs)中的时间差移动聚焦位置

尽管帧率(帧率)变为一半，如图11所示，在通过在移动每个帧的时间的同时改变聚焦位置a和b来进行拍摄的情况下，通过移动聚焦位置，可以准备两张已经拍摄的图像。通过合成两张图像，可以获得edof图像。作为合成方法，可以使用图4和图5的方法类似的方法。作为一个示例，假设聚焦位置a是图4中的拍摄主体a的位置，聚焦位置b是图4中的拍摄主体b的位置。

在这一点上，除了上述示例之外，可以使用各种众所周知的方法来从一张图像执行edof处理。在已经获得深度信息的情况下，可以执行与到拍摄主体的距离相对应的反卷积。

3.2.2.)用于利用左图像和右图像中的每一个执行edof的处理

在仅利用一只眼睛的图像执行edof处理的情况下，不一定会生成全景对焦(整体聚焦的图像)，并且存在聚焦范围从原始聚焦位置扩展到某种程度的效果。通过使用左图像和右图像在成像时移动聚焦位置来执行拍摄，并且通过利用相应一只眼睛的每个图像执行上述edof处理，可以获得中心聚焦位置不同的两种独立edof图像。如图12所示，通过在进一步执行对准之后合成这些edof图像，可以获得edof图像(超级edof图像)，其中，与仅利用一只眼睛的图像执行edof处理的情况相比，聚焦位置已经进一步扩展。

在图12所示的示例中，利用上述技术对左图像和右图像中的每一个独立地执行edof处理。在图12中，步骤s10至s16对应于图2中的步骤s10至s16。在图12的步骤s10中，通过移动左图像和右图像中的每一个的聚焦位置来准备右图像a和左图像b，并且对右图像a和左图像b中的每一个独立地执行edof处理，由此获得右edof图像和左edof图像。

随后，在步骤s12中执行对准，并且在步骤s14中合成左图像和右图像，由此，在步骤s16中，可以获得超级edof图像，其中，与图2中相比，景深已经进一步扩展。这样，就可以实现深度比唯一edof更深的edof。在这一点上，稍后将提及步骤s12至s16的细节。

如上所述，除了使右图像a和左图像b的聚焦位置不同之外，已经针对它中的每一个独立地执行了edof处理，此后，通过上述技术合成了这两个图像，由此可以进一步扩展景深。

3.3.)对准

由于左图像和右图像之间存在视差，所以在简单地合成左图像和右图像的情况下，在图像上出现间隙。因此，执行用于对准两张图像的位置和用于切除公共视场角的处理，从而执行对准处理，以消除左右视差(图2和图12中的步骤s14)。图13是示出对准处理的流程图。首先，在步骤s20中，从两张图像中提取用作对准索引的特征点。在下一步骤s22中，通过使用特征点来执行对准。在此处，可以使用例如jp4136044b中描述的通过使用大量特征来执行对准的方法。在提取成为索引的几个特征点的情况下，为了使其位置对准，在步骤s24中，通过使用诸如仿射变换等技术，通过执行形状拟合来校正左图像和右图像，同时使其稍微变形。此外，在步骤s24中，根据需要，还执行遮挡校正，例如，用外围像素掩埋。随后，在步骤s26中，如图14所示，通过切除左和右视场角之间的公共部分，执行图像处理，以构成使得左图像和右图像之间的差异变得尽可能小(除了模糊差异之外)的状态。

在这一点上，在仅利用一只眼睛的图像执行edof处理的情况下，由于已经经历了edof处理的图像的复制图像足够作为另一图像，所以不需要对准。

3.4.)合成两张图像(生成一张景深扩展图像)

3.4.1.)通过使用深度图(深度图)进行合成

在已经获取深度图的情况下，如图5所示，对应于深度值来确定左图像和右图像中的每一个的合成比率，并且通过调制图像的每个空间像素(像素)的合成比率来生成合成图像。在图5的示例的情况下，在中心拍摄主体附近，几乎使用右图像a的图像信息，并且关于背景，使用左图像b的图像信息。对于位于中间距离的拍摄主体，参考合成比率图，使得左图像b和右图像a中的每一个的图像信息适度合成。可以基于经验值来执行合成比率函数的过渡部分的设计，或者，过渡部分可以与数学上平滑的曲线连接，例如，sigmoid函数，以便不会导致从左图像b到右图像a的快速过渡。

3.4.2.)通过使用散焦图(散焦图)进行合成

即使在无法获取深度图的情况下，通过从已经成像的图像的特征量中估计模糊量，也可以通过将其作为索引来合成图像。一种众所周知的方法是从左图像和右图像中的一个估计空间模糊的变化并生成散焦图。在已经生成散焦图的情况下，参照散焦图，执行如图15所示的调制。即，在散焦量小的地方，已经成为散焦图的源的图像(在图5的示例中，右图像a)的合成比率提高，而在散焦量不小的地方，另一图像的合成比率提高，由此，可以整体上获取具有许多聚焦位置的图像。在这一点上，散焦量和深度量之间的差异存在于以下方面。即，深度量包括关于相对于聚焦位置是正面还是背面的信息。另一方面，散焦量不包括这种信息，并且仅包括示出与聚焦位置的差异量的信息。因为该方法不使用深度图，所以可以将深度检测的计算负荷抑制到最小，并且存在距离传感器变得不必要的优点。

除此之外，如果该方法从多个图像中合成景深更深的图像，则可以应用众所周知的技术。例如，在用于通过从多个图像合成来扩展景深的方法中，不明确使用深度图或散焦图，如果存在图像，则可以生成焦点匹配的合成图像。本实施例中的edof处理是包括从多个图像生成景深扩展图像的所有公知方法的概念。

如上所述，根据本实施例，可以根据情况，利用三维立体视觉图像进行观察或者利用二维景深扩展图像进行观察。因此，例如，在通过观察获得的维度图像而出现视疲劳的情况下，或者在希望获得从前到后的宽区域的图像信息的情况下，可以根据情况利用二维景深扩展图像进行观察。

上面已经参考附图描述了本公开的优选实施例，而本公开不限于上述示例。本领域的技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应当理解，这些变更和修改将自然地落入本公开的技术范围内。

此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，而不是限制性的。即，利用或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。

另外，也可以如下配置本技术。

(1)一种图像处理装置，包括：

拍摄情况获取部，其获取关于左眼图像或右眼图像的拍摄情况的信息；以及

确定部，其对应于关于拍摄情况的信息，确定是对左眼图像还是对右眼图像执行立体视觉图像处理，或者是否利用左眼图像和右眼图像中的至少一个执行二维景深扩展处理。

(2)根据(1)所述的图像处理装置，其中，所述关于拍摄情况的信息是当已经对左眼图像或右眼图像成像时的光学变焦值、当已经对左眼图像或右眼图像成像时的电子变焦值、左眼图像和右眼图像的视差信息、到左眼图像或右眼图像的拍摄主体的距离信息、以及用户的操作信息中的至少任何一个。

(3)根据(1)或(2)所述的图像处理装置，还包括：

景深扩展处理部，

其中，在所述确定部已经确定执行景深扩展处理的情况下，所述景深扩展处理部通过使用左眼图像或右眼图像中的至少一个来生成景深扩展图像。

(4)根据(3)所述的图像处理装置，其中，在左眼图像和右眼图像之间的视差角为2o或更大的情况下，所述景深扩展处理部生成景深扩展图像。

(5)根据(3)所述的图像处理装置，其中，所述景深扩展处理部通过基于与深度量相对应的模糊函数对左眼图像或右眼图像中的至少一个执行逆变换来生成景深扩展图像。

(6)根据(3)所述的图像处理装置，其中，在聚焦位置不同的r、g和b各个颜色的图像中，对应于深度位置，所述景深扩展处理部将具有最高频分量的图像合成为相同深度位置的另一颜色的图像，从而生成景深扩展图像。

(7)根据(6)所述的图像处理装置，还包括：

照明控制部，

其中，所述照明控制部控制照明，以便调整r、g和b各个颜色的图像的聚焦位置。

(8)根据(3)所述的图像处理装置，其中，所述景深扩展处理部通过合成针对每个帧在不同聚焦位置成像的多个图像来生成景深扩展图像。

(9)根据(3)所述的图像处理装置，其中，所述景深扩展处理部扩展已经在不同聚焦位置成像的左眼图像和右眼图像中的每一个的景深，并且通过合成已经被扩展了景深的左眼图像和右眼图像来生成景深扩展图像。

(10)根据(9)所述的图像处理装置，其中，所述景深扩展处理部对应于深度位置或散焦位置来改变左眼图像和右眼图像的合成比率。

(11)根据(9)所述的图像处理装置，其中，所述景深扩展处理部执行左眼图像和右眼图像之间的对准，并且执行合成。

(12)根据(9)所述的图像处理装置，其中，所述景深扩展处理部在左眼图像和右眼图像之间切除公共范围，并且执行合成。

(13)一种图像处理方法，包括：

获取关于左眼图像或右眼图像的拍摄情况的信息；并且

对应于关于拍摄情况的信息，确定是对左眼图像还是右眼图像执行立体视觉图像处理，或者是否利用左眼图像和右眼图像中的至少一个执行二维景深扩展处理。

(14)一种程序，用于促使计算机用作：

装置，用于获取关于左眼图像或右眼图像的拍摄情况的信息；以及

装置，用于对应于关于拍摄情况的信息，确定是对左眼图像还是对右眼图像执行立体视觉图像处理，或者是否利用左眼图像和右眼图像中的至少一个执行二维景深扩展处理。

(15)一种成像系统，包括：

成像装置，其对左眼图像和右眼图像进行成像；以及

图像处理装置，包括：获取部，其获取关于左眼图像或右眼图像的拍摄情况的信息；以及确定部，其对应于关于拍摄情况的信息，确定是对左眼图像还是对右眼图像执行立体视觉图像处理，或者是否利用左眼图像和右眼图像中的至少一个执行二维景深扩展处理。

(16)一种图像处理装置，包括：

捕捉图像获取部，其获取左眼图像和右眼图像；以及

景深扩展处理部，其扩展左眼图像和右眼图像中的每一个的景深，并且通过合成已经被扩展景深的所述左眼图像和右眼图像来生成景深扩展图像。

(17)根据(16)所述的图像处理装置，其中，所述景深扩展处理部对应于深度位置或散焦位置来改变左眼图像和右眼图像的合成比率。

(18)根据(16)所述的图像处理装置，其中，所述景深扩展处理部执行左眼图像和右眼图像之间的对准，在左眼图像和右眼图像之间切除公共范围，并且执行合成。

(19)一种图像处理方法，包括：

获取左眼图像和右眼图像；并且

扩展左眼图像和右眼图像中的每一个的景深，并且通过合成已经被扩展景深的左眼图像和右眼图像来生成景深扩展图像。

(20)一种程序，用于促使计算机用于：

获取左眼图像和右眼图像；并且

扩展左眼图像和右眼图像中的每一个的景深，并且通过合成已经被扩展景深的左眼图像和右眼图像来生成景深扩展图像。

附图标记列表

100摄像头

200图像处理装置

210立体视觉/景深扩展切换确定部

212拍摄情况获取部

214确定部

220景深扩展校正处理部

222捕捉图像获取部

224景深扩展处理部

240照明控制部