图像处理装置、图像处理方法以及手术显微镜与流程

本技术涉及图像处理装置、图像处理方法以及手术显微镜。更具体而言，本技术涉及一种能够在眼睛手术期间基于断层图像检测和报告危险状态的图像处理装置、图像处理方法以及手术显微镜。

背景技术：

在眼睛手术中，通过从正面捕获眼睛而获得的正面图像和作为眼睛的深度方向上的截面图像的断层图像用作用于诊断和分析的图像。在一个示例中，专利文献1公开了一种眼科分析设备，该设备输出通过分析由光学相干断层扫描(oct)获取的眼睛的断层图像而获得的结果。oct是通过用近红外光照射经受手术治疗的眼睛并通过重建由眼睛的每个组织反射的波来生成图像的技术。

引用列表

专利文献

专利文献1：jp2014-140490a

技术实现要素：

技术问题

然而，在现有技术中，还不存在在眼睛手术期间基于断层图像来检测或报告诸如发生并发症的危险状态。

鉴于这种情况，构成本技术，并且本技术旨在在眼睛手术期间基于断层图像来检测和报告危险状态。

问题的解决方案

根据本技术的第一方面的图像处理装置包括：危险状态检测单元，被配置为基于在眼睛手术期间获取的眼睛的断层图像来检测危险状态；以及控制信息生成单元，被配置为生成并输出用于处置检测到的危险状态的控制信息。

根据本技术的第二方面的图像处理方法包括以下步骤：由图像处理装置基于在眼睛手术期间获取的眼睛的断层图像来检测危险状态；以及由该图像处理装置生成并输出用于处置检测到的危险状态的控制信息。

根据本技术的第三方面的手术显微镜，包括：断层图像捕获单元，被配置为捕获作为手术对象的眼睛的断层图像；危险状态检测单元，被配置为基于在眼睛手术期间获取的眼睛的断层图像来检测危险状态；以及控制信息生成单元，被配置为生成并输出用于处置检测到的危险状态的控制信息。

根据本技术的第一至第三实施方式，基于在眼睛手术期间获取的眼睛的断层图像来检测危险状态，并且生成并输出用于处置检测到的危险状态的控制信息。

图像处理设备可以是独立装置，或者可以是构成单个装置的内部块。发明的有益效果

根据本技术的第一至第三实施方式，可以基于在眼睛手术期间的断层图像来检测和报告危险状态。

注意，本文所描述的效果不必受限制，并且可以是本公开中描述的效果中的任意效果。

附图说明

[图1]图1是示出应用了本技术的手术系统的实施方式的配置示例的示图。

[图2]图2是示出手术显微镜的详细配置的框图。

[图3]图3是示出以简要描述白内障手术的示图。

[图4]图4是示出与危险状态的检测和报告有关的部件的框图。

[图5]图5是示出图像信息获取单元的配置示例的框图。

[图6]图6是示出以描述由手术显微镜进行的危险状态检测和报告处理的流程图。

[图7]图7是示出以描述正面图像上的图像识别处理的示图。

[图8]图8是示出以描述在检测浅前房时确定断层平面的示图。

[图9]图9是示出以描述在检测浅前房时的风险参数的示图。

[图10]图10是示出作为外部装置的超声乳化仪的示图。

[图11]图11是示出在检测浅前房时的断层图像的示例的示图。

[图12]图12是示出以描述在检测ims风险时的风险参数的示图。

[图13]图13是示出在检测ims风险时的断层图像的示例的示图。

[图14]图14是示出以描述在检测后囊破裂时确定断层平面的示图。

[图15]图15是示出以描述在检测后囊破裂时的风险参数的示图。

[图16]图16是示出以描述在检测后囊破裂时的风险参数的示图。

[图17]图17是示出以描述在检测后囊破裂时的风险参数的示图。

[图18]图18是示出以描述在检测后囊破裂时的风险参数的示图。

[图19]图19是示出以描述在检测后囊破裂时的风险参数的示图。

[图20]图20是示出以描述在检测后囊破裂时的风险参数的示图。

[图21]图21是示出检测后囊破裂时的断层图像的示例的示图。

[图22]图22是示出以描述核下落的示图。

[图23]图23是示出在检测核下落时的断层图像的示例的示图。

[图24]图24是示出以描述在检测植入物错位时确定断层平面的示图。

[图25]图25是示出以描述在检测植入物错位时的风险参数的示图。

[图26]图26是示出以描述检在测植入物错位时确定断层平面的示图。

[图27]图27是示出以描述在检测植入物错位时确定断层平面的示图。

[图28]图28是示出在检测植入物错位时的断层图像的示例的示图。

[图29]图29是示出以描述在检测虹膜脱出风险时确定断层平面的示图。

[图30]图30是示出以描述在检测虹膜脱出风险时确定断层平面的示图。

[图31]图31是示出以描述在检测虹膜脱出风险时的风险参数的示图。

[图32]图32是示出在检测虹膜脱出风险时的断层图像的示例的示图。

[图33]图33是示出体数据的示例的示图。

[图34]图34是示出应用了本技术的计算机的实施方式的配置示例的框图。

具体实施方式

下面描述用于执行本技术的最佳模式(下文中称为实施方式)。描述按以下顺序给出。

1.手术系统的配置示例

2.与危险状态的检测和报告有关的框图

3.危险状态检测和报告处理的处理过程

4.浅前房的检测示例

5.ims风险的检测示例

6.后囊破裂的检测示例

7.核下落的检测示例

8.植入物错位的检测示例

9.虹膜脱出风险的检测示例

10.计算机的配置示例

<1.手术系统的配置示例>

图1是示出应用了本技术的手术系统的实施方式的配置示例的示图。

图1所示的手术系统11是用于眼睛手术的系统，并且具有手术显微镜21和病床22。患者躺在病床22上进行眼睛手术。此外，作为外科医生的眼科医生在使用手术显微镜21观察患者的眼睛的同时进行手术。

手术显微镜21具有物镜31、目镜32、图像处理装置33、显示器34等，用于放大并观察作为手术对象的患者的眼睛。

在手术期间，图像处理装置33对通过物镜31捕获的图像进行预定的图像处理，以检测并输出危险状态。

显示器34显示通过物镜31捕获的图像，或者显示由图像处理装置33生成的预定信息，例如，用于将在手术期间的危险状态(下文中也称为危险状态)报告给外科医生的报告信息。

在手术系统11中，在一个示例中，眼科医生在通过物镜31观察患者的眼睛的同时通过目镜32查看并且进行手术。此外，眼科医生在检查显示在显示器34上的图像以及由图像处理装置33显示在显示器34上的预定信息的同时进行手术。

图2是示出手术显微镜21的详细配置的框图。此外，在图2中，与图1中的部件相对应的部件用相同的参考符号来表示，并且因此，适当地省略其描述。

手术显微镜21被配置为包括光源61、观察光学系统62、正面图像捕获单元63、断层图像捕获单元64、呈现单元65、接口单元66和扬声器67。

光源61在图像处理装置33的控制下发射照明光并照亮患者的眼睛。另外，例如，观察光学系统62由诸如物镜31、半反射镜71以及其他透镜(未图示)的光学装置构成，并且将从患者的眼睛反射的光(观察光)引导至目镜32和正面图像捕获单元63。

换言之，从患者的眼睛反射的光用作观察光，并通过物镜31或其他透镜(未示出)入射到半反射镜71上。入射在半反射镜71上的观察光的大约一半穿过半反射镜71而没有任何变化，并且通过透射呈现单元65入射在目镜32上。另一方面，入射在半反射镜71上的观察光的另一半被半反射镜71反射并入射在正面图像捕获单元63上。

例如，正面图像捕获单元63由摄像机等构成。正面图像捕获单元63接收从观察光学系统62入射的观察光，并将光转换成电荷。因此，正面图像捕获单元63捕获通过从正面观察患者的眼睛而获得的图像，即，捕获正面图像，即通过从眼睛的大致轴向方向捕获患者的眼睛而获得的图像。正面图像捕获单元63在图像处理装置33的控制下捕获正面图像，并将所获得的正面图像提供给图像处理装置33。

断层图像捕获单元64由例如光学相干断层扫描(oct)仪、scheimpflug相机等构成。断层图像捕获单元64在图像处理装置33的控制下捕获作为患者眼睛的截面图像的断层图像，并将获得的断层图像提供给图像处理装置33。此处，断层图像是在与患者眼睛的眼轴方向基本上平行的方向上的截面的图像。

此外，断层图像捕获单元64基于干涉原理使用例如红外光获取断层图像，但是此时的红外光的光路和在观察光学系统62中的观察光的光路的一部分可以是公共光路。

目镜32通过经由呈现单元65集中从观察光学系统62入射的观察光而形成患者的眼睛的光学图像。这允许通过目镜32查看的外科医生观察患者的眼睛的光学图像。

呈现单元65由透射显示装置构成，并布置在目镜32和观察光学系统62之间。从观察光学系统62入射的观察光穿过呈现单元65并且入射在目镜32上。呈现单元65还根据需要呈现(显示)从图像处理装置33提供的正面图像、断层图像、报告信息等。在一个示例中，正面图像、断层图像、报告信息等可以与患者眼睛的光学图像重叠地呈现，或者可以在光学图像附近呈现，而不干扰光学图像。

图像处理装置33控制手术显微镜21的整体操作。在一个示例中，图像处理装置33改变光源61的照明条件或观察光学系统62的变焦倍率。另外，图像处理装置33还控制正面图像捕获单元63和断层图像捕获单元64，使得它们可以基于由外科医生或其他专家从接口单元66提供的操作的信息来获取图像。

例如，接口单元66由设置为叠加在显示器上的触摸面板、控制器或通信单元构成，并且根据外科医生或其他专家的操作来将信息等提供至图像处理装置33。接口单元66的通信单元接收来自遥控器(未示出)的指令，并与外部装置进行通信。另外，接口单元66将装置控制信息等输出至外部装置。装置控制信息等用于控制外部装置，并且当检测到危险状态时从图像处理装置33提供装置控制信息。

显示器34根据图像处理装置33的控制显示正面图像、断层图像、报告信息等。在手术期间检测到危险状态的情况下，扬声器67输出诸如蜂鸣声和旋律声的声音、诸如“检测到”的消息(声音)等，以向外科医生或其他专家报告危险状态。另外，手术显微镜21可以设置有用于向外科医生或其他专家报告危险状态的旋转灯或指示灯(灯)。

在具有上述配置的手术系统11中，图像处理装置33可以检测在眼睛手术期间发生的危险状态，并且可以使用显示器34、扬声器67等向外科医生报告危险状态。这种检测和报告分别基于由正面图像捕获单元63和断层图像捕获单元64获取的正面图像和断层图像。

接下来，作为示例，对甚至在眼睛手术期间进行白内障手术的情况下由图像处理装置33检测危险状态并且报告危险状态给出描述。

因此，参照图3，给出了关于白内障手术的简要描述。

在白内障手术中，如图3的箭头a11所示，用刀切开患者的眼球101的角膜102，以限定切口103。然后，通过切口103插入手术仪器，并且将在眼球101内部的眼晶状体104的前部部分(即前囊部分)切成圆形。

然后，如箭头a12所示，将手术仪器通过切口103插入眼晶状体104的前囊切口部分，通过被称为核治疗的超声波振动来乳化(粉碎)和吸出眼晶状体104的核，并且还吸出皮质。然后，如箭头a13所示，将人工晶状体105插入眼晶状体104内部，并且手术完成。

在上述白内障手术中，例如，要检测的危险状态的示例包括下列项。

(1)浅前房：在后角膜表面和前虹膜表面之间具有狭窄空间的前房的状态

(2)冲洗液迷流综合征(ims)风险：手术冲洗液流入眼晶状体的后侧

(3)后囊破裂：作为眼晶状体的后部的后囊被破坏的状态

(4)核下落：发生后囊破裂时眼晶状体的核从破裂部分下落

(5)植入物错位：植入物(嵌入体内的物体)插入在异常位置

(6)虹膜脱出风险：虹膜通过切口从眼睛中突出

上述项(1)到(6)包括检测发生诸如后囊破裂和植入物错位的危险状态的情况以及检测预期发生诸如虹膜脱出风险和ims风险的危险状态的情况。然而，在此处，上述两种情况都被认为定义为危险状态。

<2.与危险状态的检测和报告有关的框图>

图4是示出手术系统11中的与危险状态的检测和报告有关的部件的框图。在图4中，与图1和图2中的部分对应的部分用相同的参考符号表示，并且适当地省略其描述。

手术系统11涉及危险状态的检测和报告，并且被配置为包括图像信息获取单元201、图像处理装置33、报告信息呈现单元202和接口单元66。另外，图像处理装置33被配置为包括控制单元211和报告信息生成单元212。

图像信息获取单元201获取断层图像或正面图像，并且在图像处理装置33的控制单元211的控制下将获取的图像提供给图像处理装置33。具体而言，图像信息获取单元201对应于如图5所示的正面图像捕获单元63和断层图像捕获单元64。正面图像捕获单元63捕获正面图像并将其提供给控制单元211和报告信息生成单元212。断层图像捕获单元64捕获断层图像并将其提供给控制单元211和报告信息生成单元212。获取断层图像的方法由控制单元211基于正面图像的识别结果或其他信息确定，并被指示给断层图像捕获单元64。

图像处理装置33的控制单元211控制手术显微镜21的整体操作，诸如，光源61的照明状态的变化和观察光学系统62的变焦倍率的变化。

此外，控制单元211涉及危险状态的检测和报告，并且被配置为包括断层图像确定单元213、危险状态检测单元214和装置控制信息生成单元215。

断层图像确定单元213基于从图像信息获取单元201提供的正面图像等，确定由断层图像捕获单元64捕获的捕获平面(断层图像)，并将其指定给断层图像捕获单元64。在一个示例中，断层图像确定单元213识别正面图像，以检测眼睛的角膜的范围、瞳孔的范围等，并且确定穿过角膜的中心位置的平面，作为断层平面。确定断层平面的方法根据要检测的危险状态而不同，并且因此稍后将给出其详细描述。

危险状态检测单元214基于从图像信息获取单元201提供的断层图像检测眼睛手术期间的危险状态。危险状态检测单元214可以从断层图像计算预定的风险参数，并且可以基于计算的风险参数检测危险状态，或者可以直接从断层图像检测危险状态。

当检测到危险状态时，危险状态检测单元214指示报告信息生成单元212生成用于向外科医生或其他专家报告危险状态的报告信息。

当检测到危险状态时，装置控制信息生成单元215生成用于控制外部装置的装置控制信息并将其提供给接口单元66。在一个示例中，装置控制信息生成单元215将由危险状态检测单元214计算的风险参数设置为装置控制信息，并通过接口单元66将其提供给外部装置。另外，在一个示例中，装置控制信息生成单元215通过接口单元66将用于停止作为外部装置的超声乳化仪261(图10)的操作的装置控制信号作为装置控制信息提供给外部装置。

当检测到危险状态时，报告信息生成单元212在控制单元211的控制下，生成用于向外科医生或其他专家报告危险状态的报告信息，并将报告信息提供给报告信息呈现单元202。报告信息例如是用于输出声音(诸如蜂鸣声或旋律声)的声音控制信号、用于报告危险状态的检测的屏幕的屏幕控制信号等。另外，正面图像或断层图像本身可以作为报告信息提供给报告信息呈现单元202。

装置控制信息生成单元215和报告信息生成单元212对应于控制信息生成单元，该控制信息生成单元生成并输出用于处置检测到的危险状态的控制信息。

报告信息呈现单元202将从报告信息生成单元212提供的报告信息呈现给外科医生。报告信息呈现单元202对应于诸如显示器34或扬声器67的旋转灯或指示灯(灯)。

<3.危险状态检测和报告处理的处理过程>

参考图6的流程图，描述了由手术显微镜21进行的危险状态检测和报告处理，作为由上述项(1)至(6)的危险状态共有的处理。

在步骤s1中，图像信息获取单元201获取眼睛的正面图像并将其提供给控制单元211。

在步骤s2中，控制单元211的断层图像确定单元213对从图像信息获取单元201提供的眼睛的正面图像进行图像识别处理。在正面图像的图像识别处理中，例如，检测确定断层平面所必需的眼睛的预定位置，诸如图7所示的眼睛的角膜(角膜缘)231的中心位置232。图7是通过从正面捕获由眼睑牵开器打开的患者的眼睛而获得的正面图像的概念图。在图7中，瞳孔233在角膜231内，并且切口的位置234位于瞳孔233外侧的角膜231的区域中。

在步骤s3中，控制单元211的断层图像确定单元213基于通过在正面图像上进行图像识别获得的结果来确定断层平面，作为获取断层图像的平面。控制单元211将用于指定所确定的断层平面的信息(断层平面指定信息)提供给图像信息获取单元201。

在步骤s4中，图像信息获取单元201基于从控制单元211提供的断层平面指定信息来获取断层图像，并将断层图像提供给控制单元211和报告信息生成单元212。断层图像以预定的帧速率(例如，每秒30个图像)连续地获取。

在步骤s5中，控制单元211的危险状态检测单元214基于从图像信息获取单元201提供的断层图像计算并输出风险参数。此外，可以根据要检测的危险状态，省略风险参数的计算和输出。在输出风险参数的情况下，计算出的风险参数通过装置控制信息生成单元215提供给接口单元66，并从接口单元66输出到外部装置。

在步骤s6中，危险状态检测单元214基于计算出的风险参数确定是否检测到要检测的危险状态。此外，在省略风险参数的计算的情况下，危险状态检测单元214基于从图像信息获取单元201提供的断层图像来确定是否检测到要检测的危险状态。

如果在步骤s6中确定检测到要检测的危险状态，则处理进行至步骤s7，并且在稍后描述的步骤s7和s8中执行处理过程。另一方面，如果在步骤s6中确定没有检测到危险状态，则跳过步骤s7和s8中的处理过程，并且处理进行至步骤s9。

如果在步骤s6中确定检测到要检测的危险状态，则处理进行至步骤s7，并且报告信息生成单元212在控制单元211的控制下生成并输出报告信息。

更具体而言，在步骤s7中，在一个示例中，控制单元211的危险状态检测单元214指示报告信息生成单元212输出蜂鸣声作为报告信息。此外，危险状态检测部214指示报告信息生成部212将从图像信息获取单元201提供的断层图像设置为报告信息。在控制单元211的控制下，报告信息生成单元212将用于控制扬声器67的控制信号(声信号)输出到报告信息呈现单元202，并且将从图像信息获取单元201提供的断层图像作为报告信息提供到报告信息呈现单元202。

此外，在根据检测到的危险状态来控制外部装置的情况下，步骤s7中的控制单元211的装置控制信息生成单元215将用于控制外部装置的装置控制信息提供给接口单元66。

在步骤s8中，报告信息呈现单元202基于从报告信息生成单元212提供的报告信息来呈现报告信息。在一个示例中，用作报告信息呈现单元202的扬声器67输出蜂鸣声。用作报告信息呈现单元202的显示器34显示从报告信息生成单元212提供的断层图像。

此外，在一个示例中，代替同时输出蜂鸣声并显示断层图像，报告信息呈现单元202输出蜂鸣声，并且然后，在基于蜂鸣器声识别危险状态的外科医生通过接口单元66指示报告信息呈现单元202显示断层图像的情况下，报告信息呈现单元202可以呈现(显示)断层图像。

在步骤s9中，控制单元211确定是否终止危险状态检测和报告处理。在一个示例中，在步骤s8中呈现报告信息之后，外科医生通过触摸面板等的操作来指示停止处理的情况下，控制单元211确定终止危险状态检测和报告处理。

如果在步骤s9中确定还未终止危险状态检测和报告处理，则处理返回到步骤s1，并且重复执行随后的处理过程。

另一方面，如果在步骤s9中确定终止危险状态检测和报告处理，则处理结束。

如上所述执行的危险状态检测和报告处理使得在眼睛手术期间，可以基于断层图像检测危险状态并将其报告给外科医生。另外，可以控制外部装置(自动)而无需外科医生的操作。

接下来，对于白内障手术中的上述六种危险状态的每个情况，即(1)浅前房、(2)ims风险、(3)后囊破裂、(4)核下落、(5)植入物错位以及(6)虹膜脱出风险，详细描述与参照图6描述的危险状态检测和报告处理不同的部分。此外，在危险状态中的每一个的描述中，在适当时引用图6所示的危险状态检测和报告处理的每个步骤。

<4.浅前房的检测示例>

描述了项(1)的浅前房的检测。

在浅前房的检测中，在步骤s3中，如图8所示，控制单元211将平面g1和g2确定为断层平面。穿过由正面图像识别的角膜231的中心位置232的平面g1和g2分别平行于正面图像的水平方向和垂直方向。然后，控制单元211生成用于指定所确定的断层平面的断层平面指定信息，并将其提供给图像信息获取单元201。

在步骤s4中，图像信息获取单元201基于从控制单元211提供的断层平面指定信息获取断层图像，并将断层图像提供给控制单元211。

在步骤s5中，如图9所示，控制单元211基于从图像信息获取单元201提供的断层图像，计算从角膜顶点241到虹膜角242的距离p1(例如，垂直方向上的距离)，作为风险参数。此外，在图9中，角膜顶点241位于角膜231的底侧，但也可以在角膜231的上侧。另外，通过将从角膜顶点241到虹膜角242的距离p1除以角膜半径所得到的归一化值可以用作风险参数。

此外，在步骤s5中，通过接口单元66，将计算出的风险参数作为用于控制外部装置的装置控制信息输出到图10所示的超声乳化仪261。超声乳化仪261基于提供的风险参数来调节冲洗液的压力(冲洗压力)。更具体而言，超声乳化仪261调节冲洗压力，使得冲洗压力随风险参数变为小于预定值而增加。例如，冲洗压力可以通过调整冲洗液瓶的高度来调节。

在步骤s6中，控制单元211基于作为风险参数的从角膜顶点241到虹膜角242的距离p1是否小于预设阈值，来确定是否检测到危险状态，即浅前房。

如果在步骤s6中确定检测到浅前房，则在步骤s7中，报告信息生成单元212生成报告信息，并且在控制单元211的控制下将报告信息提供给报告信息呈现单元202。

在步骤s8中，用作报告信息呈现单元202的扬声器67输出蜂鸣声。用作报告信息呈现单元202的显示器34显示从报告信息生成单元212提供的断层图像。此外，如上所述，可以在外科医生显示断层图像的操作之后显示断层图像。

图11示出了作为报告信息在显示器34上显示的断层图像的示例。在断层图像中，外科工具243的下侧被遮蔽，因为不能从该区域获取断层信息。

如上所述，用于检测浅前房并将其报告给外科医生的危险状态检测和报告处理使得可以检测并快速地处理可能发生诸如虹膜损伤或角膜内皮细胞障碍等并发症的状况，从而防止发生并发症。此外，作为风险参数的从角膜顶点241到虹膜角242的距离p1作为装置控制信息输出到外部装置，因此这可以有助于防止并发症。

<5.ims风险的检测示例>

接下来，描述项(2)的ims风险的检测。

在检测ims风险时，在危险状态检测和报告处理的步骤s3中，如图8所示，控制单元211将平面g1和g2确定为断层平面。平面g1和g2穿过从正面图像识别的角膜231的中心位置232，并且分别平行于正面图像的水平方向和垂直方向。然后，控制单元211生成用于指定所确定的断层平面的断层平面指定信息，并将其提供给图像信息获取单元201。

在步骤s4中，图像信息获取单元201基于从控制单元211提供的断层平面指定信息获取断层图像，并将断层图像提供给控制单元211。

在步骤s5中，如图12所示，控制单元211基于从图像信息获取单元201提供的断层图像，计算从角膜顶点241到后囊的下端244的距离p2(例如，垂直方向的距离)作为风险参数。此外，在图9中，角膜顶点241在角膜231的底侧，但也可以在角膜231的上侧。另外，通过将从角膜顶点241到后囊的下端244的距离p2除以角膜半径所得到的归一化值可以用作风险参数。

此外，在步骤s5中，将计算出的风险参数作为装置控制信息通过接口单元66输出到图10所示的超声乳化仪261。超声乳化仪261基于所提供的风险参数来调节冲洗液的压力(冲洗压力)。更具体而言，超声乳化仪261调节冲洗压力，使得冲洗压力随风险参数变为大于预定值而减小。例如，冲洗压力可以通过调整冲洗液瓶的高度来调节。

在步骤s6中，控制单元211基于作为风险参数的从角膜顶点241到后囊的下端244的距离p2是否大于预设阈值，来确定是否检测到危险状态，即ims风险。

如果在步骤s6中确定检测到ims风险，则在步骤s7中，报告信息生成单元212生成报告信息，并且在控制单元211的控制下将报告信息提供给报告信息呈现单元202。

在步骤s8中，用作报告信息呈现单元202的扬声器67输出蜂鸣声。用作报告信息呈现单元202的显示器34显示从报告信息生成单元212提供的断层图像。此外，如上所述，可以在外科医生显示断层图像的操作之后显示断层图像。

图13示出了作为报告信息显示在显示器34上的断层图像的示例。在断层图像中，外科工具243的下侧被遮蔽，因为不能从该区域获取断层信息。

如上所述，用于检测ims风险并将其报告给外科医生的危险状态检测和报告处理使得可以检测并快速地处置可能作为并发症发生的ims的状态，从而防止发生并发症。另外，作为风险参数的从角膜顶点241到后囊的下端244的距离p2作为装置控制信息输出到外部装置，因此这可以有助于防止并发症。

<6、后囊破裂的检测示例>

接下来，描述项(3)的后囊破裂的检测。

在后囊破裂的检测中，在危险状态检测和报告处理的步骤s3中，如图14所示，控制单元211将平面g11和g12确定为断层平面。平面g11穿过从正面图像识别的手术工具262的尖端，并且平面g11平行于手术工具262的纵向方向。平面g12相对于平面g11围绕手术工具262的尖端位移(旋转)预定角度。然后，控制单元211生成用于指定所确定的断层平面的断层平面指定信息，并将其提供给图像信息获取单元201。此外，平面g11和g12之间的交叉角度是可选的，并且可以是例如正交角。

在步骤s4中，图像信息获取单元201基于从控制单元211提供的断层平面指定信息获取断层图像，并将断层图像提供给控制单元211。

在步骤s5中，如图15所示，控制单元211基于从图像信息获取单元201提供的断层图像，计算从手术工具262的尖端到后囊的下端244的距离p3(例如，垂直方向的距离)作为风险参数。

在下一步骤s6中，基于获取的断层图像确定是否检测到后囊破裂。然而，重复从步骤s1到步骤s9的处理过程(在步骤s6中确定为否的情况下)，直到作为风险参数的从手术工具262的尖端到后囊的下端244的距离p3在一定程度上达到一个小值。

然后，当风险参数变为小于预定值的值，并且从手术工具262的尖端到后囊的下端244的距离接近预定的接近度时，控制单元211确定多个平面g21到g25，作为步骤s3中的断层平面，如图16所示。多个平面g21到g25是通过在多个断层平面上等分由断层方向以及水平和垂直方向组成的预定三维空间(以下称为断层捕获空间)而获得的平面，手术工具262的尖端是平面方向的中心。

当从手术工具262的尖端到后囊的下端244的距离进一步减小时，控制单元211将断层捕获空间设置为进一步更小，并且确定断层平面，使得在步骤s3中断层图像的数量和密度增加，如图17所示。图17的示例中的断层捕获空间被设置为小于图16的情况，并且作为断层平面的数量，7个平面(即平面g21到g27，比图16中的5个平面g21到g25多2个)被确定为断层平面。

如上所述，在检测后囊破裂时，根据在手术期间变化的风险参数，还动态地确定(改变)要捕获的断层平面。

此外，可以确定多个断层平面的位置，使得断层平面可以覆盖断层捕获空间。因此，如图16和图17所示，多个断层平面不限于与手术仪器262的纵向方向平行的平面。在一个示例中，可以确定如图18所示的垂直于手术工具262的纵向方向的多个平面g21至g25、如图19所示的在外科工具262的长度方向上具有预定角度的多个平面g21到g25、或如图20所示的多个径向平面g21到g25作为断层平面。另外，断层平面的面的数量不限于五个，并且是可选的。

在步骤s6中，基于所获取的断层图像来确定是否检测到后囊破裂。更具体而言，例如，通过检测断层图像的后囊中的不连续部分，来进行后囊破裂的检测。

如果在步骤s6中确定检测到后囊破裂，则在步骤s7中，报告信息生成单元212生成报告信息，并且在控制单元211的控制下将报告信息提供给报告信息呈现单元202。

在步骤s8中，用作报告信息呈现单元202的扬声器67输出蜂鸣声。用作报告信息呈现单元202的显示器34显示从报告信息生成单元212提供的断层图像。如上所述，可以在外科医生显示断层图像的操作之后显示断层图像。

此处，显示为报告信息的断层图像是后囊破裂后的断层图像，而不是在后囊破裂时的断层图像。因此，报告信息生成单元212保持(记录)在过去的预定时间的断层图像。当外科医生请求再现图像时，可以使报告信息呈现单元202呈现在包括检测到后囊破裂的时刻的预定时间段内的断层图像的运动图像，或者在检测到后囊破裂的时刻的断层图像(静止图像)。

图21示出了作为报告信息显示在显示器34上的后囊破裂之后的断层图像的示例。在断层图像中，手术工具262的下侧被遮蔽，因为不能从该区域获取断层信息。

此外，在检测后囊破裂时，在步骤s7中，控制单元211可以通过将装置控制信息输出到外部装置来进行控制，以停止如图10所示的超声乳化仪261的操作。更具体而言，装置控制信息生成单元215可以进行控制，以在超声乳化时停止超声和吸出，并且在冲洗或吸出(i/a)时停止吸出。

如上所述，用于检测后囊破裂并将其报告给外科医生的危险状态检测和报告处理使得可以在早期检测并发症并快速处置，从而防止陷入危急状态。此外，当检测到后囊破裂时，用于控制外部装置的装置控制信息可以输出到外部装置，并且因此可以有助于防止在发生并发症时陷入危急状态。

<7、核下落的检测示例>

接下来，描述项(4)的核下落的检测。

在检测到核下落作为危险状态检测和报告处理的情况下，关于核下落的危险状态检测和报告处理从检测到后囊破裂的时间开始。

如图22所示，核下落从后囊破裂的点发生，并且因此控制单元211设置围绕后囊破裂的位置的断层捕获空间，并在步骤s3中确定断层平面。具体而言，与检测到后囊破裂的情况一样，图16所示的平行于手术工具262的纵向方向的多个平面g21到g25、图18所示的垂直于手术工具262的纵向方向的多个平面g21至g25、图19所示的在外科工具262的纵向方向上具有预定角度的多个平面g21到g25、图20所示的多个径向平面g21到g25等可以被确定为围绕后囊破裂的位置的断层平面。甚至在眼睛移动时，断层平面被确定为使用图像识别跟随后囊破裂的位置。

在步骤s6中，基于所获取的断层图像来确定是否检测到核下落。在具有大散射的物体从顶部进入底部的情况下，控制单元211在断层图像中检测到在后囊破裂的位置处发生核下落。此外，在下落的物体(核)的大小等于或小于预定大小的情况下，下落的物体不影响预后，因此不必检测核下落。

如果在步骤s6中确定检测到核下落，则在步骤s7中，报告信息生成单元212生成报告信息，并且在控制单元211的控制下将报告信息提供给报告信息呈现单元202。

在步骤s8中，用作报告信息呈现单元202的扬声器67输出蜂鸣声。用作报告信息呈现单元202的显示器34显示从报告信息生成单元212提供的断层图像。此外，如上所述，可以在外科医生显示断层图像的操作之后显示断层图像。

呈现报告信息时的断层图像是在核下落之后获得的断层图像，并且因此不是在核下落时的断层图像。因此，报告信息生成单元212保持(记录)在过去的预定时间的断层图像。当外科医生请求再现图像时，可以使报告信息呈现单元202呈现在包括检测到核下落的时刻的预定时间段内的断层图像的运动图像，或者在检测到核下落的时刻的断层图像(静止图像)。

图23示出了作为报告信息显示在显示器34上的核下落时的断层图像的示例。在断层图像中，手术工具262的下侧被遮蔽，因为不能从该区域获取断层信息。

如上所述，用于检测核下落并将其报告给外科医生的危险状态检测和报告处理使得可以针对核下落进行适当的治疗，具体地在一个示例中，可以使外科医生执行玻璃体手术，从而减少了省略并发症的治疗的可能性。

<8、植入物错位的检测示例>

接下来，描述项(5)的植入物错位的检测。在下面的描述中，作为示例，给出了植入物是人工晶状体的情况。

在检测植入物错位时，控制单元211在危险状态检测和报告处理的步骤s3中确定平面g31作为断层平面。平面g31穿过从正面图像识别的人工晶状体271的特定部分272(在纵向方向上的端部)，并且与纵向方向平行，如图24所示。然后，控制单元211生成用于指定所确定的断层平面的断层平面指定信息，并将该信息提供给图像信息获取单元201。

在步骤s4中，图像信息获取单元201基于从控制单元211提供的断层平面指定信息获取断层图像，并将断层图像提供给控制单元211。

在步骤s5中，如图25所示，控制单元211基于从图像信息获取单元201提供的断层图像，计算从人工晶状体271的特定部分272到晶状体囊的上端273的距离p4(例如，垂直方向的距离)作为风险参数。

重复步骤s1至s9的处理过程(在步骤s6中确定为否的情况下)，直到风险参数达到小于预定值的值。然后，当从人工晶状体271的特定部分272到晶状体囊的上端273的距离p4接近预定的接近度时，在步骤s3中控制单元211确定断层图像，使得断层平面的捕获范围窄并且其密度高，如图26所示。在图26的示例中，确定多个平面g31到g37，使得断层平面形成在靠近人工晶状体271的特定部分272的纵向方向上。断层平面的数量和密度、断层捕获空间的大小、断层平面的方向等不限于该示例，并且可以可选地确定。另外，可以根据计算出的风险参数(从人工晶状体271的特定部分272到晶状体囊的上端273的距离p4)适当地改变断层平面。

进一步，可能存在从人工晶状体271的特定部分272到晶状体囊的上端273的距离p4接近预定值或更小的两个点的情况。在这种情况下，控制单元211确定多个平面g31至g40，使得在风险参数等于或小于预定值的每个点处形成断层平面，如图27所示。在图27的示例中，为第一点设置多个平面g31到g35，并且为第二点设置多个平面g36到g40。

以这种方式，即使在检测植入物错位时，也根据在手术期间变化的风险参数来动态地确定(改变)断层平面。

在步骤s6中，基于所获取的断层图像来确定是否检测到植入物错位。换言之，基于断层图像，确定要放置在晶状体囊中的人工晶状体271(或囊膜张力环(ctr))是否设置在晶状体囊上。

在步骤s6中确定检测到植入物错位的情况下，在步骤s7中，报告信息生成单元212生成报告信息，并且在控制单元211的控制下将报告信息提供给报告信息呈现单元202。

在步骤s8中，用作报告信息呈现单元202的扬声器67在控制单元211的控制下输出蜂鸣声。用作报告信息呈现单元202的显示器34显示从报告信息生成单元212提供的断层图像。此外，如上所述，可以在外科医生显示断层图像的操作之后显示断层图像。

图28示出了在检测到作为报告信息显示在显示器34上的植入物错位之后的断层图像的示例。

如上所述，用于检测植入物错位并将其报告给外科医生的危险状态检测和报告处理使得可以在早期阶段检测错误的治疗并执行理想的治疗。

<9、虹膜脱出风险的检测示例>

接下来，描述项(6)的虹膜脱出风险的检测。

在检测虹膜脱出风险时，在重复执行的危险状态检测和报告处理的步骤s1至s9中，在切口的形成完成之前的步骤s3的处理中，控制单元211确定从正面图像识别出的角膜231的中心位置232以及穿过手术工具281的尖端的平面g51作为断层平面，如图29所示。然后，控制单元211生成用于指定所确定的断层平面的断层平面指定信息，并将其提供给图像信息获取单元201。

此外，在控制单元211检测到手术工具281进入角膜231并且然后离开角膜231的情况下，控制单元211可以确定完成切口的形成。

然后，在完成切口的形成之后的步骤s3的处理中，控制单元211确定具有围绕切口位置234的断层捕获空间的断层图像，如图30所示。在图30中，与穿过角膜231的中心位置232的线(由图中的虚线表示的线)平行的多个平面g61到g65被确定为断层平面。然后，控制单元211生成用于指定所确定的断层平面的断层平面指定信息，并将其提供给图像信息获取单元201。

在步骤s4中，图像信息获取单元201基于从控制单元211提供的断层平面指定信息获取断层图像，并将断层图像提供给控制单元211。控制单元211进行控制，使得在固定的或更长的时间段内获取多个平面g61至g65的断层图像。在控制断层捕获图像的获取速率使得例如每秒获取30个断层图像或者在至少1/3秒或以上的时间内获取断层图像的情况下，获得平面g61到g65中的每一个的10组断层图像。

在步骤s5中，如图31所示，控制单元211基于从图像信息获取单元201提供的断层图像，计算从角膜231的内皮侧的切口位置234到虹膜291的距离p5(例如，垂直方向上的距离)作为风险参数。

在步骤s6中，控制单元211确定作为风险参数的从角膜231的内皮侧的切口位置234到虹膜291的距离p5是否短于预设阈值。因此，控制单元211确定是否检测到危险状态，即虹膜脱出风险。

如果在步骤s6中确定从角膜231的内皮侧的切口位置234到虹膜291的距离p5短于预定阈值并且检测到虹膜脱出风险，则在步骤s7中，报告信息生成单元212生成报告信息，并且在控制单元211的控制下将报告信息提供给报告信息呈现单元202。

在步骤s8中，用作报告信息呈现单元202的扬声器67输出蜂鸣声。用作报告信息呈现单元202的显示器34显示从报告信息生成单元212提供的断层图像。此外，如上所述，可以在外科医生显示断层图像的操作之后显示断层图像。

图32示出了作为报告信息显示在显示器34上的断层图像的示例。

如上所述，用于检测虹膜脱出风险并将其报告给外科医生的危险状态检测和报告处理使得可以检测到可能导致作为并发症的虹膜脱出的状态，并采取适当措施来避免该并发症，作为一个具体示例，促使外科医生重新形成切口。因此，可以防止并发症的发生。

如上所述，根据图1的手术系统11，可以在白内障手术期间检测上述六种危险状态，即(1)浅前房、(2)ims风险、(3)后囊破裂、(4)核下落、(5)植入物错位、以及(6)虹膜脱出风险，将其报告给外科医生，或用来控制外部装置。这使得可以防止并发症的发生并且防止在发生并发症时陷入危急状态。

而且，在以上描述中，分别描述了这六种危险状态，但手术系统11也可以执行危险状态检测和报告处理，以用于同时(并行地)检测两种或更多种危险状态。

在用于如上所述检测每个危险状态的危险状态检测和报告处理中，在预定的断层捕获空间中以规则的间隔确定多个断层平面，以获取多个断层图像。然而，通过使获取断层平面的间隔接近，可以获取图33所示的体数据292。

图33的体数据292是通过将彼此平行的多个断层平面之间的间隔设置为接近，来在断层平面的位置处通过累积断层图像而获得的立体图像。在图像处理装置33在手术期间具有眼睛的体数据292的情况下，外科医生可以通过指定预定的断层平面来检查任何断层图像。

在用于如上所述检测危险状态中的每一个的危险状态检测和报告处理中，图像处理装置33获取预定断层捕获空间的体数据292，而不是获取多个断层图像，并且可以显示体数据中的预定断层图像，作为报告信息。

<10、计算机的配置示例>

上述系列处理过程可以由硬件执行，但也可以由软件执行。当该系列处理过程由软件执行时，构造这种软件的程序被安装到计算机内。此处，本文使用的术语“计算机”包括例如并入专用硬件内的计算机和能够通过安装各种程序来执行各种功能的通用个人计算机。

图34是示出根据程序执行上述系列处理过程的计算机的硬件的示例配置的框图。

在计算机中，中央处理单元(cpu)301、只读存储器(rom)302和随机存取存储器(ram)303经由总线304互连。

总线304还连接到输入/输出接口305。输入/输出接口305连接到输入单元306、输出单元307、记录单元308、通信单元309和驱动器310。

输入单元306被配置为键盘、鼠标、麦克风、图像传感器等。输出单元307被配置为显示器、扬声器等。记录单元308被配置为硬盘、非易失性存储器等。通信单元309被配置为网络接口等。驱动器310驱动可移除记录介质311，诸如，磁盘、光盘、磁光盘、半导体存储器等。

在如上所述配置的计算机中，在一个示例中，cpu301通过输入/输出接口305和总线304将记录在记录单元308中的程序加载到ram303内，并执行该程序，以执行前面描述的系列处理过程。

在一个示例中，由计算机(cpu301)执行的程序可以通过记录在作为封装介质等的可移除记录介质311上来提供。该程序还可以通过有线或无线传输介质(诸如，局域网、因特网或数字卫星广播)来提供。

在计算机中，可以通过将可移除记录介质311加载到驱动器310内，通过输入/输出接口305将该程序安装到记录单元308内。也可以使用通信单元309从有线或无线传输介质中接收该程序，并将该程序安装到记录单元308内。在另一替代方案中，该程序可以预先安装到rom302或记录单元308内。

注意，由计算机执行的程序可以是按照本说明书中描述的顺序按时间序列执行处理过程的程序，或者可以是并行或者必要时(诸如，当调用处理过程时)执行处理过程的程序。

本文使用的术语“系统”具有一组多个部件(例如，装置或模块(部件))的含义，并且不考虑所有部件是否在同一壳体中。因此，系统可以是存储在单独的壳体中并通过网络连接的多个装置，或者是在单个壳体内的多个模块。

进一步，本技术的最佳模式不限于上述实施方式，并且在不脱离本技术的范围的情况下，可以进行各种改变和修改。

在一个示例中，本技术可以采用云计算的配置，其中，通过网络在多个装置之间共享一个功能，并且彼此协作处理该功能。

进一步，在上述流程图中描述的每个处理步骤可以由一个装置执行，或者可以通过在多个装置之间共享来执行。

另外，在一个步骤中包括多个处理过程的情况下，包括在这一步骤中的多个处理过程可以由一个装置执行或通过在多个装置之间共享来执行。

此外，本文描述的效果不是限制性的，而仅仅是示例，并且可能存在除了本说明书中描述的效果之外的效果。

另外，本技术也可以如下配置。

(1)

一种图像处理装置，包括：

危险状态检测单元，被配置为基于在眼睛手术期间获取的眼睛的断层图像来检测危险状态；以及

控制信息生成单元，被配置为生成并输出用于处置检测到的危险状态的控制信息。

(2)

根据(1)所述的图像处理装置，

其中，危险状态检测单元基于眼睛的断层图像来计算风险参数，并基于风险参数检测危险状态。

(3)

根据(1)或(2)所述的图像处理装置，

其中，危险状态检测单元计算从角膜顶点到虹膜角的距离作为风险参数，并检测危险状态。

(4)

根据(1)到(3)中任一项所述的图像处理装置，

其中，危险状态检测单元检测浅前房作为危险状态。

(5)

根据(2)到(4)中任一项所述的图像处理装置，

其中，危险状态检测单元计算从角膜顶点到后囊的下端的距离作为风险参数，并检测危险状态。

(6)

根据(1)到(5)中任一项所述的图像处理装置，

其中，危险状态检测单元检测ims风险作为危险状态。

(7)

根据(2)到(6)中任一项所述的图像处理装置，

其中，危险状态检测单元计算从植入物的特定部分到囊的上端的距离作为风险参数，并检测危险状态。

(8)

根据(1)到(7)中任一项所述的图像处理装置，

其中，危险状态检测单元检测植入物错位，作为危险状态。

(9)

根据(2)到(8)中任一项所述的图像处理装置，

其中，危险状态检测单元计算从角膜的切口位置到虹膜的距离作为风险参数，并检测危险状态。

(10)

根据(1)到(9)中任一项所述的图像处理装置，

其中，危险状态检测单元检测虹膜脱出风险，作为危险状态。

(11)

根据(1)到(10)中任一项所述的图像处理装置，

其中，危险状态检测单元检测后囊破裂，作为危险状态。

(12)

根据(1)到(11)中任一项所述的图像处理装置，

其中，危险状态检测单元检测核下落，作为危险状态。

(13)

根据(1)到(12)中任一项所述的图像处理装置，还包括：

断层图像确定单元，被配置为基于眼睛的正面图像来确定要获取的眼睛的断层图像的捕获平面。

(14)

根据(13)所述的图像处理装置，

其中，断层图像确定单元确定穿过角膜的范围的中心位置的平面，作为捕获平面。

(15)

根据(13)或(14)所述的图像处理装置，

其中，断层图像确定单元确定穿过手术工具的尖端并平行于手术工具的纵向方向的平面，作为捕获平面。

(16)

根据(13)到(15)中任一项所述的图像处理装置，

其中，断层图像确定单元确定穿过植入物的特定部分的平面，作为捕获平面。

(17)

根据(13)到(16)中任一项所述的图像处理装置，

其中，断层图像确定单元进一步基于先前获取的断层图像来确定眼睛的断层图像的捕获平面。

(18)

根据(13)到(17)中任一项所述的图像处理装置，

其中，断层图像确定单元动态地确定在眼睛手术期间要获取的眼睛的断层图像的捕获平面。

(19)

根据(1)到(18)中任一项所述的图像处理装置，

其中，控制信息生成单元生成并输出用于将危险状态报告给外科医生的报告信息，作为用于处置危险状态的控制信息。

(20)

根据(19)所述的图像处理装置，

其中，控制信息生成单元将获取的断层图像的运动图像或静止图像显示为报告信息。

(21)

根据(1)到(20)中任一项所述的图像处理装置，

其中，控制信息生成单元生成并输出用于控制外部装置的装置控制信息，作为用于处置危险状态的控制信息。

(22)

一种图像处理方法，该方法包括以下步骤：

由图像处理装置基于在眼睛手术期间获取的眼睛的断层图像来检测危险状态；以及

由图像处理装置生成并输出用于处置检测到的危险状态的控制信息。

(23)

一种手术显微镜，包括：

断层图像捕获单元，被配置为捕获作为手术对象的眼睛的断层图像；

危险状态检测单元，被配置为基于在眼睛手术期间获取的眼睛的断层图像来检测危险状态；以及

控制信息生成单元，被配置为生成并输出用于处置检测到的危险状态的控制信息。

参考符号列表

11手术系统、21手术显微镜、33图像处理装置、34显示器、63正面图像捕获单元、64断层图像捕获单元、65呈现单元、66接口单元、67扬声器、201图像信息获取单元、202报告信息生成单元、211控制单元、212报告信息生成单元、213断层图像确定单元、214危险状态检测单元、215装置控制信息生成单元、231角膜、232中心位置、233瞳孔、241角膜顶点、242虹膜角、243手术工具、244后囊的下端、261超声乳化仪、262手术工具、271人工晶状体、272特定部分、273晶状体囊的上端、291虹膜、301cpu、302rom、303ram、306输入单元、307输出单元、308记录单元、309通信单元、310驱动器。