图像处理装置、图像处理方法和程序的制作方法_3

文档序号:9755917阅读:来源:国知局
,。
[0096]在手术工具检测流程中,通过执行与手术工具检测处理单元24L关于从捕捉图像信号gL和捕捉图像信号gR(左眼侧的红外光图像、右眼侧的红外光图像)生成的每一个红外光图像的相同流程来执行手术工具区域Aj的检测和手术工具J的类型的识别。
[0097]在光学畸变校正流程中,根据手术工具J的类型,基于手术工具ID和光学畸变信息DB 26a,以与光学畸变校正单元22L关于从捕捉图像信号gL和捕捉图像信号gR(左眼侧的红外光图像、右眼侧的红外光图像)生成的每一个可见光图像的相同方式,针对在手术工具检测流程中检测的手术工具区域Aj执行光学畸变校正。
[0098]在轮廓图像生成流程中,基于在手术工具检测流程中检测的左眼侧和右眼侧的手术工具区域Aj的信息,针对左眼侧和右眼侧中的每一个生成手术工具J的轮廓图像。在叠加流程中,分别地,在轮廓图像生成流程中生成的左眼侧的轮廓图像被叠加在左眼侧的可见光图像上,并且右眼侧的轮廓图像被叠加在右眼侧的可见光图像上。从而,获取左眼图像GL和右眼图像GR。
[0099]应注意,在执行光学畸变校正流程之前可以执行叠加流程。
[0100](1-5.总结和效果)
[0101]如上所述,当通过捕捉(对于可见光(第一波段的光)是透明的并且对于红外光(第二波段的光)是不透明)的手术工具J(物体)而获取的的捕捉图像是通过选择性接收可见光而获取的捕捉图像的可见光图像(第一捕捉图像)以及通过选择性接收红外光而获取的捕捉图像的红外光图像(第二捕捉图像)时,第一实施方式的信号处理单元16(图像处理装置)包括:手术工具检测处理单元24L(目标检测单元),其基于红外光图像检测手术工具J存在的图像区域作为手术工具区域Aj(目标区域);以及叠加处理单元23L(轮廓叠加单元),其基于由手术工具检测处理单元24L检测的手术工具区域Aj的信息在可见光图像上叠加手术工具J的轮廓。
[0102]如上所述,通过在可见光图像上叠加手术工具J的轮廓,获取其中手术工具J的更深侧在视觉上是可确认以及手术工具J的位置在视觉上是可确认的捕捉图像。因此,使用透明的手术工具J执行的外科手术工作的工作效率被提高,以提高外科手术的容易度,以便执行更安全的外科手术。[0?03]另外,第一实施方式的信号处理单兀16包括光学畸变校正处理单兀22L(光学畸变校正单元),其校正手术工具J关于可见光图像中的手术工具区域Aj而生成的光学畸变。从而,校正在可见光图像中的手术工具区域Aj中生成的光学畸变。因此,更能提高位于手术工具J的更深侧的物体(体内物体X)的可见度。
[0104]进一步地,在第一实施方式的信号处理单元16中,手术工具检测处理单元24L基于红外光图像识别手术工具J的类型,并且光学畸变校正处理单元22L根据由手术工具检测处理单元24L识别的手术工具J的类型的校正特性来校正光学畸变。从而,以根据手术工具J的类型的适当的校正特性来执行光学畸变校正。因此,不管手术工具J的类型,位于手术工具J的更深侧的物体的可见度被提高。
[0105]〈2.第二实施方式〉
[0106](2-1.构造和操作)
[0107]图8是用于描述第二实施方式的图像捕捉装置的内部构造的框图。应注意,第二实施方式的图像捕捉装置与第一实施方式的图像捕捉装置I的不同仅在于具有信号处理装置16Α而不是信号处理单元16,并且其他部分的构造相同。因此,图8仅示出了信号处理单元16Α的内部构造。同样在第二实施方式中,与生成右侧图像GR相关的构造与生成左眼图像GL相关的构造相同,并且因此,在此仅示出了与生成左眼图像GL相关的构造,以避免重复描述。在以下描述中,相同部分作为已经描述的部分由相同参考标号进行表示,并且将省略它们的描述。
[0108]信号处理单元16Α与信号处理单元16的不同在于具有手术工具检测处理单元24AL,而不是手术工具检测处理单元24L。不仅通过可见红外图像生成处理单元21L生成的红外光图像被输入到手术工具检测处理单元24AL中,而且可见光图像也被输入到手术工具检测处理单元24AL中。手术工具检测处理单元24AL基于红外光图像和可见光图像执行检测手术工具区域Aj和识别手术工具J的类型。
[0109]具体地,通过关于红外光图像和可见光图像中的每一个执行边缘提取,手术工具检测处理单元24AL基于红外光图像生成边缘图像(在下文中,由“红外边缘图像Gir”表示)以及基于可见光图像生成边缘图像(在下文中,由“可见边缘图像Gv”表示)。此后,关于红外边缘图像Gir和可见边缘图像Gv中的每一个以与第一实施方式相同的方式执行使用手术工具J的模板的模板匹配。然后,通过用于红外边缘图像Gir的模板匹配所检测的并且不与通过用于可见边缘图像Gv的模板匹配所检测的图像区域重叠的图像区域被检测为手术工具区域Aj。
[0110]在此,手术工具J对于红外光是不透明的,并且因此,仅如第一实施方式中,基于红外光图像肯定可以检测手术工具区域Aj。然而,例如,根据作为对象的体内物体X的类型和图像捕捉环境,具有与红外光图像中的手术工具J相似形状的不同于手术工具J的部分被显示的可能性不为零,并且如果仅基于红外光图像通过模板匹配执行手术工具区域Aj的检测,则可以假设不同于手术工具J的该部分被错误地检测为手术工具区域Aj。
[0111]因此,在第二实施方式中,如上所述,同样通过使用可见光图像执行检测手术工具区域Aj。图9是使用红外光图像和可见光图像这两者检测手术工具区域Aj的意义的说明性示图,并且图9A示出了红外线边缘图像Gir,以及图9B示出了可见边缘图像Gv。如图9A中所述,在这个情况的红外边缘图像Gir中,显示了手术工具J(在附图中,阴影线区域)和与手术工具J具有相似形状的不同于手术工具J的部分(在附图中,“II’”、“12”’)。在这种情况下,如果为红外边缘图像Gir执行模板匹配,则这两个图像区域被检测为手术工具区域Aj。应注意,具有与手术工具J相似形状的不同于手术工具J 11’、12’的部分不是对于红外光是不透明的部分(如手术工具J),并且因此不仅在红外光图像侧中而且在可见光图像侧中以很高的概率显示(参考图9B)。另一方面,手术工具J对于可见光是透明的,并且因存在此手术工具J图像区域不通过针对可见边缘图像Gv执行的模板匹配进行检测。因此,如果关于这种情况的可见边缘图像Gv执行模板匹配,则只有部分11’、12’的图像区域以很高概率被检测
[0112]考虑到这一点,在第二实施方式中,如上所述,通过用于红外边缘图像Gir的模板匹配所检测的并且不与通过用于可见边缘图像Gv的模板匹配所检测的图像区域重叠的图像区域被检测为手术工具区域Aj。从而,可以提高手术工具区域Aj的检测准确性。
[0113]在此,在本实例中,可见光图像是彩色图像,并且因此,可以说是红色、绿色和蓝色的相应颜色的图像。在这种情况下,在某个颜色的图像中可以显示部分11’、12’,但是在其他颜色的图像中不能显示是可能的。因此,针对多个颜色的图像执行可见光图像侧的模板匹配。具体地,在本实例中,通过分别关于红色图像、绿色图像和蓝色图像执行边缘提取而基于红色图像、绿色图像和蓝色图像生成红色边缘图像Gvr、绿色边缘图像Gvg和蓝色边缘图像Gvb,并且针对红色边缘图像Gvr、绿色边缘图像Gvg和蓝色边缘图像Gvb中的每一个执行使用手术工具J的模板的模板匹配。然后,通过针对红外边缘图像Gir的模板匹配所检测的并且不与通过针对红色边缘图像Gvr、绿色边缘图像Gvg和蓝色边缘图像Gvb的模板匹配所检测的任一个图像区域重叠的图像区域被检测为手术工具区域Aj。
[0114]通过针对通过选择性接收可见光频带中的红色、绿色和蓝色的不同波段的光而获取的相应图像来执行模板匹配,在可见光图像侧中更容易检测部分11’、12’。因此,通过检测不与在关于这些红色、绿色、蓝色的多个图像的模板匹配中检测的图像区域重叠的图像区域作为手术工具区域Aj,更能提高手术工具区域Aj的检测准确性。
[0115]尽管,在上文中,使用了针对组成可见光图像的所有红色图像、绿色图像和蓝色图像执行的模板匹配的结果,但是如果使用了针对红色、绿色和蓝色的这些图像中的至少两种颜色的图像所执行的模板匹配的结果,则与当针对一个颜色的图像所执行的模板匹配时相比,以更高概率检测到部分11’、12’,并且可以提高手术工具区域Aj的检测准确性。
[0116]在此,同样在第二实施方式中,通过以与第一实施方式相同的方式将手术工具ID与手术工具J的模板关联来执行手术工具J的类型的识别。
[0117]应注意,可以与第一实施方式相同的方式通过软件执行上述信号处理单元16A的操作。在那种情况下,可以执行上述手术工具检测处理单元24AL的流程,如图7B中示出的步骤S102的手术工具检测流程,。
[0118](2-2.总结和效果)
[0119]如上所述,在第二实施方式的信号处理单元16A(图像处理装置)中,手术工具检测处理单元24AL(目标检测单元)基于红外光图像(第二捕捉图像)和可见光图像(第一捕捉图像)检测手术工具区域Aj(目标区域)。从而,基于透明显示手术工具J(物体)的图像以及不透明地显示手术工具J的图像来检测手术工具区域Aj。因此,可以提高手术工具区域Aj的检测准确性。
[0120]另外,在第二实施方式的信号处理单元16A中,手术工具检测处理单元24AL通过执行针对红外光图像和可见光图像的每一个的边缘提取而生成红外边缘图像GiH第二边缘图像)和可见边缘图像Gv(第一边缘图像),并且使用手术工具J的模板针对红外边缘图像Gir和可见边缘图像Gv的每一个执行模板匹配,并且将通过针对红外边缘图像Gir的模板匹配检测的并且不与通过针对可见边缘图像Gv检测的图像区域重叠的图像区域检测为手术工具区域Aj。从而,可以排除在红外光图像侧(显示部分11’、12’的图像区域)的模板匹配中被错误检测的图像区域。因此,可以提高手术工具区域Aj的检测准确性。
[0121]进一步地,在第二实施方式的信号处理单元16A中,手术工具检测处理单元24AL基于红外边缘图像Gir(第二边缘图像)、红色图像、绿色图像和蓝色图像中的多个图像,通过关于红外光图像、红色图像、绿色图像和蓝色图像中(通过选择性接收第一波段中的不同波段的相应光所获取的多个第一捕捉图像)的多个图像执行边缘提取来生成边缘图像(多个第一边缘图像),以及针对所生成的边缘图像中的每一个执行模板匹配,并且将通过针对红外边缘图像Gir的模板匹配所检测的,且不与通过针对边缘图像的模板匹配(基于红色图像、绿色图像和蓝色图像中的多个图像)所检测的任一个图像区域重叠的图像区域检测为手术工具区域Aj。通过关于红色图像、绿色图像和蓝色图像中的多个图像执行模板匹配,更容易检测具有与可见光图像中的手术工具J的相似形状的不同于手术工具J的部分(11’、12’)。因此,更加提高手术工具区域Aj的检测准确性。
[0122]〈3.第三实施方式〉
[0123](3-1.构造和操作)
[0124]图10是用于描述第三实施方式的图像捕捉装置的内部构造的框图。应注意,第三实施方式的图像捕捉装置与第二实施方式的图像捕捉装置的不同仅在于具有信号处理装置16B而不是信号处理单元16A,并且其他部分的构造相同。因此,图10仅示出了信号处理单元16B的内部构造。同样在第三实施方式中,与生成右侧图像GR相关的构造与生成左眼图像GL相关的构造相同,并且因此,在此仅示出了与生成左眼图像GL相关的构造(除了可见红外图像生成处理单元21R),以避免重复描述。
[0125]信号处理单元16B与信号处理单元16A的不同在于具有手术工具检测处理单元24BL而不是手
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1