图像处理装置、图像处理方法和程序的制作方法
【技术领域】
[0001]本技术涉及图像处理装置、图像处理方法和程序的技术领域，其对通过捕捉可见的透光物体(诸如透明的手术工具)的图像而获取的捕捉图像执行图像处理。
[0002]参考文献列表
[0003]专利文献
[0004]专利文献1:JP2009-291358A
[0005]专利文献2:JP2011-35853A
【背景技术】
[0006]已知的是所谓的微创外科手术用于减少患者的生理负担。在微创外科手术中，夕卜科医生在确认通过内窥镜捕捉的体内图像时进行外科手术，以便在不打开胸部或腹部的情况下进行外科手术并且减少外科手术中的患者的生理负担。
【发明内容】
[0007]技术问题
[0008]当在微创外科手术中通过使用内窥镜进行外科手术时，想到的是使用透明的手术工具作为手术工具，诸如，手术刀和镊子。如果手术工具是透明的，则位于更深侧的观察物体(诸如，器官)的可见度有望提高。
[0009]然而，如果使用透明的手术工具，对于诸如外科医生的观察者来说难以确认手术工具在所捕捉的图像中的位置，并且担心外科手术变得更困难。
[0010]因此，本技术的目的是克服以上问题，并且提高关于使用诸如透明的手术工具的透明物体的工作的工作效率。
[0011]技术方案
[0012]第一，根据本技术，一种图像处理装置包括:目标检测单元，被配置为当第一捕捉图像是通过选择性接收第一波段的光而获取的捕捉图像，并且第二捕捉图像是通过选择性接收第二波段的光而获取的捕捉图像时，基于所述第二捕捉图像检测其中存在目标物体的图像区域作为目标区域，所述捕捉图像通过捕捉对于所述第一波段的所述光是透明的并且对于所述第二波段的所述光是不透明的所述目标物体而获取；以及轮廓叠加单元，被配置为基于由所述目标检测单元检测的所述目标区域的信息在所述第一捕捉图像上叠加所述目标物体的轮廓。
[0013]如上所述，其中物体的更深侧在视觉上是可确认的并且物体的位置在视觉上是可确认的捕捉图像是通过在第一捕捉图像上叠加物体的轮廓而获取。
[0014]第二，在根据本技术的图像处理装置中，优选地，所述目标检测单元基于所述第二捕捉图像和所述第一捕捉图像检测所述目标区域。从而，基于透明地显示物体的图像以及不透明地显示物体的图像来检测目标区域。
[0015]第三，在根据本技术的图像处理装置中，目标检测单元优选通过关于所述第二捕捉图像和所述第一捕捉图像中的每一个执行边缘提取，基于所述第二捕捉图像生成第二边缘图像并且基于所述第一捕捉图像生成第一边缘图像，使用所述目标物体的模板针对所述第二边缘图像和所述第一边缘图像中的每一个执行模板匹配，并且检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述第一边缘图像的所述模板匹配所检测的图像区域重叠的图像区域。从而，可以排除在用于第二捕捉的模板匹配中错误检测的图像区域。
[0016]第四，在根据本技术的图像处理装置中，目标检测单元优选地针对所述第二捕捉图像以及针对通过选择性接收所述第一波段中的不同波段的光而获取的多个第一捕捉图像执行所述边缘提取，并且基于所述第二捕捉图像生成所述第二边缘图像以及基于所述多个第一捕捉图像生成多个第一边缘图像，针对每一个所述生成的边缘图像执行所述模板匹配，并且检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述多个第一边缘图像的所述模板匹配所检测的图像区域中的任一个重叠的图像区域。通过针对选择性接收第一波段中的不同波段的光而获取的多个第一捕捉图像执行模板匹配，在可见光图像侧中更容易地检测与物体具有类似形状的不同于物体的部分。
[0017]第五，在根据本技术的图像处理装置中，优选地，当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是通过借助于选择性接收所述第二波段的光的图像传感器而立体捕捉所述目标物体的图像从而而获取的左眼图像和右眼图像时，所述目标检测单元基于根据所述左眼侧第二捕捉图像与所述右眼侧第二捕捉图像之间的视差所计算的距离信息而检测所述目标区域。如上所述，通过使用距离信息可以检测目标区域。
[0018]第六，在根据本技术的图像处理装置中，优选地，所述目标检测单元基于针对所述第二捕捉图像和所述第一捕捉图像中的每一个所计算的所述距离信息生成所述第二捕捉图像的距离图像以及所述第一捕捉图像的距离图像，生成所述第二捕捉图像的所述距离图像与所述第一捕捉图像的所述距离图像之间的差值图像，并且基于所述差值图像检测所述目标区域。如上所述，通过在第二捕捉图像的距离图像与第一捕捉图像的距离图像之间生成差值图像，在差值图像中仅提取物体存在的图像区域。
[0019]第七，在根据本技术的图像处理装置中，优选地，所述目标检测单元基于针对多个帧图像的所述目标区域的检测结果，确定所述轮廓叠加单元进行的所述轮廓的叠加中使用的所述目标区域。从而，即使由于一时噪音的影响所造成的将不同于物体的显示内容的部分错误地检测为目标区域，该影响也不会反应在轮廓叠加中。
[0020]第八，根据本技术的图像处理装置优选地包括光学畸变校正单元，该光学畸变校正单元被配置为校正由所述目标物体关于所述第一捕捉图像中的所述目标区域而产生的光学畸变。从而，校正在第一捕捉图像中的目标区域中生成的光学畸变。
[0021 ]第九，在根据本技术的图像处理装置中，目标检测单元优选地所述目标检测单元基于所述第二捕捉图像识别所述目标物体的类型，并且所述光学畸变校正单元利用根据所述目标检测单元识别的所述目标物体的所述类型的校正特性来校正所述光学畸变。从而，通过根据物体的类型的适当的校正特性执行光学畸变校正。
[0022]第十，在根据本技术的图像处理装置中，优选地，当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是借助于选择性接收所述第二波段光的图像传感器立体捕捉所述目标物体的图像而获取的左眼图像和右眼图像时，所述检测单元基于所述左眼侧第二捕捉图像和所述右眼侧第二捕捉图像生成所述目标物体的三维位置信息，并且基于所述三维位置信息检测所述目标物体的方位，并且所述光学畸变校正单元利用根据所述目标检测单元检测的所述目标物体的所述方位的校正特性来校正所述光学畸变。从而，通过根据物体的方位的适当的校正特性执行光学畸变校正。
[0023]第十一，在根据本技术的图像处理装置中，所述光学畸变校正单元优选地利用根据所述目标物体的距离的校正特性来校正所述光学畸变。从而，通过根据物体的距离的适当的校正特性执行光学畸变校正。
[0024]本发明的技术效果
[0025]根据本技术，提高关于使用透明物体(诸如，透明的手术工具)的工作的工作效率。应注意，本文中描述的效果不必是限制性的，而且可以是本公开内容中所描述的效果中的一个。
【附图说明】
[0026][图1]图1是在实施方式中假定的微创外科手术和透明手术工具的说明性示图。
[0027][图2]图2是用于描述第一实施方式的图像捕捉装置的内部构造的框图。
[0028][图3]图3是第一实施方式的图像捕捉装置中包括的图像传感器的结构的说明性示图。
[0029][图4]图4是用于描述第一实施方式的图像捕捉装置中包括的信号处理单元(图像处理装置)的内部构造的框图。
[0030][图5]图5是示出了在叠加轮廓图像之后的可见光图像的示图。
[0031][图6]图6是由第一实施方式的图像处理装置使用的光学畸变信息DB的信息详情的说明性示图。
[0032][图7]图7是当通过软件执行根据第一实施方式的图像处理装置的操作时的构造和处理程序的说明性示图。
[0033][图8]图8是用于描述第二实施方式的图像捕捉装置的内部构造的框图。
[0034][图9]图9是使用红外光图像和可见光图像检测手术工具区域的意义的说明性示图。
[0035][图10]图10是用于描述第三实施方式的图像捕捉装置的内部构造的框图。
[0036][图11]图11是三维位置信息的说明性示图。
[0037][图12]图12是由第三实施方式的图像处理装置使用的光学畸变信息DB的信息详情的说明性示图。
【具体实施方式】
[0038]在下文中，接下来将描述实施方式。
[0039]〈1.第一实施方式〉
[0040](1-1.假设)
[0041](1-2.图像捕捉装置的总体构造)
[0042](1-3.关于信号处理单元)
[0043](1-4.关于程序)
[0044](1-5.总结和效果)
[0045]〈2.第二实施方式〉
[0046](2-1.构造和操作)
[0047](2-2.总结和效果)
[0048]〈3.第三实施方式〉
[0049](3-1.构造和操作)
[0050](3-2.总结和效果)
[0051]〈4.示例性变形例〉
[0052]〈5.本技术〉
[0053]〈1.第一实施方式〉
[0054](1-1.假设)
[0055]图1是在实施方式中假定的微创外科手术和透明手术工具的说明性示图。如图1A中所示，在本实施方式中假定的微创外科手术中，手术工具J和稍后描述的图像捕捉装置I的刚性内窥镜(内窥镜Ha被插入到患者H的身体的内部中。这个示图示出了两种类型的手术工具J被插入到身体的内部中的情况，这两种手术工具是手术工具Jl和手术工具J2。手术工具J和刚性内窥镜Ia插入到身体的内部中是分别通过在患者H中的微创口执行的。
[0056]手术工具J是诸如手术刀和镊子的外科手术工具，并且在本实施方式中使用所谓的透明的手术工具。透明手术工具指的是对于可见光是透明的手术工具。
[0057]图1B示意性地示出了当如图1A中所示的将手术工具J和刚性内窥镜Ia插入时，经由刚性内窥镜Ia所获取的捕捉图像。在这种情况下，尽管手术工具Jl和手术工具J2存在于体内物体X(诸如图像捕捉视野中的器官)的前侧，但是这些手术工具Jl和手术工具J2在捕捉图像中不能完全显示，并且透过手术工具Jl和手术工具J2中的每一个的更深侧看到体内物体X，这是因为手术工具Jl和手术工具J2是透明的手术工具。
[0058]尽管透过手术工具J的更深侧察看以便提高体内物体X的可见度并且提高外科手术的容易度，但是如上所述，透明手术工具的位置在捕捉图像中难以确认，并且担心外科手术变得更困难。
[0059]因此，在本实施方式中，提供了使手术工具J的更深侧在视觉上可确认的以及手术工具J的位置在视觉上可确认的捕捉图像，以便提高关于使用透明手术工具的外科手术工作的工作效率，并且提高外科手术的容易度。
[0060]因此，在本实施方式中，对于可见光是透明的并且对于红外光是不透明的手术工具被用作手术工具J。具体地，本实例中的手术工具J被透射可见光但是反射或吸收红外光的膜所覆盖。例如，该膜是3M公司等制成的“多层纳米系列(Multi Layer Nano Series)”。应注意，手术工具J可以由透射可见光但是反射或吸收红外光的玻璃材料制成。例如，该玻璃是以下网页等中示出的产品(由Central Glass C0.,Ltd.生产)。
[0061 ].http://www.cg-glass.jp/pro/sub_technique/pdf/180_181.pdf
[0062](1-2.图像捕