术工具检测处理单元24AL以及光学畸变校正处理单元22AL而不是光学畸变校正处理单元22L，并且在于存储器26不存储光学畸变信息DB 26a而是存储光学畸变信息DB 26aA。如在附图中，通过可见红外图像生成处理单元21L生成的红外光图像和可见光图像被输入到手术工具检测处理单元24BL中，并且通过可见红外图像生成单元21R生成的红外光图像被输入到手术工具检测处理单元24BL中。可见红外图像生成处理单元21R通过关于捕捉图像信号gR执行与可见红外图像生成处理单元21L相同的处理来生成红外光图像和可见光图像。应注意，在下文中，通过可见红外图像生成处理单元21L生成的红外光图像和可见光图像由“左眼侧红外光图像”和“左眼侧可见光图像”表示，并且通过可见红外图像生成处理单元21R生成的红外光图像和可见光图像由“右眼侧红外光图像”和“右眼侧可见光图像”表示。
[0126]手术工具检测处理单元24BL执行手术工具区域Aj的检测、手术工具J的类型的识别以及手术工具J的方位的检测。通过与第二实施方式相同的方法基于左眼侧红外光图像和左眼侧可见光图像执行手术工具区域Aj的检测和手术工具J类型的识别。所检测的手术工具区域Aj的信息被输入到轮廓图像生成处理单元25L和光学畸变校正处理单元22AL中，并且表示手术工具J类型的手术工具ID的信息被输入到光学畸变校正处理单元22AL中。
[0127]通过基于左眼侧红外光图像和右眼侧红外光图像关于手术工具J生成三维位置信息来执行手术工具J的方位的检测。
[0128]图11是三维位置信息的说明性示图。附图中的X轴和y轴是在与图像传感器15-L的成像捕捉表面平行的平面中具有垂直关系的轴线。X轴是与图像传感器15-L的水平方向平行的轴线，并且y轴是与图像捕捉装置15的垂直方向平行的轴线。z轴是与以上成像捕捉表面平行的平面相垂直的轴线。三维位置信息是通过坐标(x，y，z)表示的位置信息。即，在该信息中，在图像中显示的对象的位置由图像中的水平方向和垂直方向上的位置(x，y)以及在现实空间中到达该对象的距离(z)来表示。
[0129]从左眼侧的图像与右眼侧的图像之间生成的视差值来计算到达该对象的距离信息。在本实例中，手术工具检测处理单元24BL通过所谓的相应点搜索方法计算视差值。即，被认为是左眼侧红外光图像和右眼侧红外光图像中的相同点的图像区域被检测作为相应点，并且针对每个相应点计算视差。此后，手术工具检测处理单元24BL根据视差的计算值计算距离(z)。即，每一个视差值基于图像传感器15-L的像素间距的和左眼光学系统14-L的焦距以及其他信息被转换为距离(z)。如上所述，通过检测左眼侧红外光图像和右眼侧红外光图像的相应点并且根据每个相应点的视差值计算距离，为每个相应点计算三维位置信息(x，y，z)。通过计算三维位置信息获取基于红外光图像的距离图像(三维图，深度图)。
[0130]手术工具检测处理单元24BL根据如上所述获取的距离图像中的手术工具区域Aj的三维位置信息检测手术工具J的方位。在此，方位指的是X轴、y轴和z轴这三个轴线的斜率。通过手术工具检测处理单元24BL检测的方位信息被输入到光学畸变校正处理单元22AL中。
[0131]光学畸变校正处理单元22AL基于光学畸变信息DB 26aA以及从手术工具检测处理单元24BL输入的手术工具ID和方位的信息针对可见光图像中的手术工具区域Aj执行光学畸变校正。
[0132]如图12中所示，在光学畸变信息DB26aA中，光学畸变特性信息与手术工具ID和方位中的每个组合相关联。为了构造光学畸变信息DB 26aA，假定手术工具J是“透镜”，针对每种类型的手术工具J计算每个方位的光学畸变特性信息作为光学畸变特性信息。然后，所计算的光学畸变特性信息与手术工具J的类型(手术工具ID)和方位的每个组合相关联。
[0133]光学畸变校正处理单元22AL获取通过输入的(存储在光学畸变信息DB 26aA中的光学畸变特性信息中的)手术工具ID和方位信息所识别的光学畸变特性信息，并且基于所获取的光学畸变特性信息针对可见光图像中的手术工具区域Aj执行光学畸变校正。即，执行该校正以消除光学畸变。从而，以根据手术工具J的类型和方位的校正特性来执行光学畸变校正。
[0134]应注意，还以与第一实施方式相同的方式通过软件执行上述信号处理装置16B的操作。在那种情况下，光学畸变信息DB 26aA被存储在图7A中示出的存储器27。然后，可以使得上述手术工具检测处理单元24BL的流程被执行作为图7B中示出的步骤S102的手术工具检测流程，并且上述光学畸变校正处理单元22AL的流程被执行作为步骤S103的光学畸变校正流程。
[0135](3-2.总结和效果)
[0136]如上所述，在第三实施方式的信号处理单元16B(图像处理装置)中，手术工具检测处理单元24BL(目标检测单元)基于左眼侧红外光图像(左眼侧第二捕捉图像)和右眼侧红外光图像(右眼侧第二捕捉图像)生成手术工具J(物体)的三维位置信息，并且基于三维位置信息检测手术工具J的方位。然后，光学畸变校正处理单元22AL(光学畸变校正单元)利用根据(由手术工具检测处理单元24BL检测的)手术工具J的方位的校正特性来校正光学畸变。从而，以根据手术工具J的方位的适当的校正特性来执行光学畸变校正。因此，不管手术工具J的方位，位于手术工具J的更深侧的物体的可见度被提高。
[0137]〈4.示例性变形例〉
[0138]应注意，本技术不限于上述具体实例，而是构思了各种示例性变形例。例如，尽管在上述实例中通过模板匹配检测手术工具区域Aj，但是可基于左眼侧红外光图像与右眼侧红外光图像之间的视差所计算的距离信息来检测手术工具区域Aj。在外科手术期间，手术工具J在正常时间位于体内物体X的前侧。利用这一点根据距离信息检测手术工具区域Aj。例如，存在方法一检测图像区域作为手术工具区域Aj，其中在该图像区域处所述距离位于上述距离图像(三维图)中的预定范围内。如上所述，通过使用距离信息可以检测手术工具区域Aj。
[0139]在此，通过使用距离信息结合通过模板匹配的检测来提高手术工具区域Aj的检测准确性。具体地，存在方法，其中通过执行第一实施方式和第二实施方式中描述的模板匹配检测具有与手术工具J相似形状的图像区域，并且只有其距离在预定范围内的图像区域被检测为手术工具区域Aj。从而，与仅通过模板匹配执行检测时相比，可以更好地提高手术工具区域Aj的检测准确性。
[0140]另外，作为使用距离信息检测手术工具区域Aj的方法，存在方法，其中关于红外光图像和可见光图像中的每一个生成距离图像，并且获取这些距离图像之间的差值。具体地，关于红外光图像和可见光图像中的每一个生成距离图像，并且在红外光图像的距离图像与可见光图像的距离图像之间生成差值图像，并且基于差值图像检测手术工具区域Aj。仅在红外光图像中显示手术工具J，并且在可见光图像中不显示。另外，手术工具J位于其他对象的更前侧。因为这点，如上所述，通过在红外光图像的距离图像与可见光图像的距离图像之间生成差值图像，在差值图像中仅提取其中存在手术工具J的图像区域。因此，基于差值图像适当地检测手术工具区域Aj。
[0141]另外，在上文中，尽管已经示出了为每个帧图像执行的手术工具区域Aj的检测结果被顺序地输出至轮廓图像生成处理单元25L的情况(换言之，被输出为手术工具J的轮廓叠加中使用的信息)，但是可替代地，基于针对多个帧图像执行的手术工具区域Aj的检测结果可以确定轮廓叠加中所使用的手术工具区域Aj。例如，连续多次作为针对多个帧图像执行的手术工具区域Aj的检测结果而检测到的手术工具区域Aj，被输出作为轮廓叠加中使用的手术工具区域Aj的信息。从而，即使由于诸如临时噪音的影响而导致显示不同于手术工具J的物体的一部分被错误地检测为手术工具区域Aj，该影响也不会反应在轮廓叠加中。因此，手术工具J的轮廓图像被正确地显示。
[0142]另外，在上文中，尽管已经示出了基于手术工具J的形状作为标准来执行通过模板匹配的手术工具区域Aj的检测的情况，但是该标准可以是其他特征点，诸如手术工具J的颜色变化，或者可以基于形状和另一特征点这两者作为标准来执行该检测。
[0143]进一步地，在上文中，尽管边缘提取之后的图像被用在手术工具区域Aj的检测中，但是执行边缘提取不是实质的。例如，作为仅使用红外光图像进行检测的实例，存在方法，其中具有比预定值更大(或更小)的亮度值的部分被检测为手术工具区域Aj。当使用相对于红外光来说具有较大反射比(或吸收比)的手术工具J时，这是优选方法。即，如果相对于红外光的反射比(或吸收比)较大(或较小)，显示手术工具J的部分的像素值明显较大(或较小)。因此，通过以上检测方法可以检测手术工具区域Aj。
[0144]可替代地，因为方法不能执行边缘提取，所以存在基于红外光图像与可见光图像之间的差值图像的检测方法。在红外光图像与可见光图像之间，图像模式之间的差值在其中存在手术工具J的部分中较大，并且图像模式之间的差值在其他部分中较小。因此，在红外光图像与可见光图像之间的差值图像中，亮度值(差值)在其中存在手术工具J的部分中较大，并且亮度值在其他部分中较小。即，其中存在手术工具J的部分在红外光图像与可见光图像之间的差值图像中被加重。因此，如果加重部分被提取，即，如果具有等于或大于差值图像中的预定值的亮度值的图像区域被提取，则可以检测手术工具区域Aj。
[0145]另外，在上文中，尽管已经示出了红外光(第二波段的光)和可见光(第一波段的光)被相同的图像传感器(15-L或15-R)接收到的情况，但是也可通过不同的图像传感器接收这些光。即，可以单独提供用于生成红外光图像的图像传感器以及用于生成可见光图像的图像传感器。
[0146]另外，在上文中，尽管已经示出了红外光和可见光被相同图像传感器同时接收到的实例，但是可以分时方式接收红外光和可见光。在那种情况下，使用图像传感器，该图像传感器包括利用透过红光和红外光的波长滤波器形成的阵列像素、利用透过绿光和红外光的波长滤波器形成的像素、以及利用透过蓝光和红外光的波长滤波器形成的像素。此外，交替执行通过第一光源11-1的可见光的光发射以及通过第二光源11-2的红外光的光发射，并且在可见光的光发射时期以及红外光的光发射时期期间，图像传感器分别获取捕捉图像信号。从而，以分时方式获取可见光图像和红外光图像。在上述分时获取方法中，在图像传感器的每一个像素接收红外光，并且因此在生成红外光图像中可以省略插入流程。
[0147]另外，在上文中，尽管已经示出了利用根据手术工具J的类型和方位的校正特性执行光学畸变校正的情况，但是可以利用根据距离的校正特性执行光学畸变校正。具体地，根据所检测的手术工具区域Aj的距离校准校正特性(光学畸变特性信息的逆函数)，并且利用校准之后的校正特性针对手术工具区域Aj执行光学畸变校正。从而，利用根据手术工具J的距离的适当的校正特性执行光学畸变校正。因此，不管手术工具J的距离，提高放置在手术工具J的更深侧的物体的可见度。
[0148]另外，在上文中，尽管已经示出了针对手术工具J执行轮廓叠加和光学畸变校正的情况，但是本技术可以优选地应用于针对不同于手术工具的其他物体执行轮廓叠加和光学畸变校正的情况。例如，不同于手术工具的物体是在外科手术期间被手术工具处理的物体，诸如，人造血管和人造骨。当本技术应用于使用不同于手术工具的其他物体的情况时，可以提高关于使用透明物体的工作的工作效率。
[0149]另外，在上文中，尽管已经示出了执行手术工具J的轮廓叠加和光学畸变校正这两者的情况，但是该构造可使得仅执行光学畸变校正，而不执行轮廓叠加。
[01