手术支持系统、数据处理装置、以及方法与流程

1.本公开涉及一种手术支持系统、数据处理装置、以及方法。


背景技术：

2.此处提供的“背景”描述用于整体呈现本公开的上下文之目的。在背景部分描述的范围内，目前命名的发明人的作品以及在提交之时不可另行作为现有技术的描述的各方面既未明确、亦未默示地承认为本公开的现有技术。
3.由于其通常是可避免的并且因此不会发生，所以将严重的手术错误称为“从未发生的事件”。从未发生的事件包括：将手术工具流在患者体内并且对错误的患者进行操作。将诸如血管的严重切断等较不严重(但仍为危险并且昂贵)的差错称为技术错误。尽管将诸如手术超时和检验表等过程放在适当的位置来防止出现此情况，然而，在全球医疗设施中，手术错误仍继续发生。例如，发现近年来英国的严重情况增加并且研究表明医疗错误是美国死亡的第三个主要原因。
4.手术错误的范围为从错误的部位手术或不正确的治疗到手在危险点处的小的滑动，并且每种情况都能对患者施加严重的风险。由于缺少信息，产生共同的错误，这使得外科医生在做出决策时的不确定水平增加。例如，这能够导致不良的手术团队或健康医疗供应商通信或丢失数据。手术专家也会经历其自身独特的问题，从而使得错误分类更为复杂。
5.人类因素也是手术错误
‑
做出不良决策的主要(和不可预测)原因，从而对具体的动作选择错误的技术，并且简单不正确地执行动作能够对患者和医院产生严重的影响。进一步地，外科医生可能避免在治疗过程中坦白过失或不具有足够的知识，以便逃避工作场所追究或法律追究，如果存在全面的检查来防止在第一次情况下出现这些错误，则可以避免这种问题。
6.未来可能看到手术室会增加手术机器人与人类外科医生之间的协作，这可能提供减少所发生的可避免手术错误的次数的方式。该系统能够实现可适配的任务责任关系，由此，机器人与人类的角色可以根据手术的状态而改变，并且机器人能够作为防止出现手术差错的额外安全网。
7.然而，如何成功地实现手术机器人与人类外科医生之间的协作仍存在问题，并且更一般地，如何进一步减少所发生的可避免手术错误的次数仍存在问题。


技术实现要素：

8.通过下列权利要求限定本公开。
9.已经通过一般性的介绍提供了上述段落，并且上述段落并不旨在限制下列权利要求的范围。通过参考结合所附附图进行的下列细节描述，能够与进一步的优点一起更好地理解所描述的实施方式。
附图说明
10.当结合所附附图考虑时，由于通过参考下列细节描述而变得更易于理解，所以易于获得对本公开及其许多附加优点的更为完整的认识，其中：
11.[图1]图1示意性地示出了根据实施方式的手术支持系统；
[0012]
[图2]图2示意性地示出了根据实施方式的在确定合适的手术干预治疗时由手术支持系统使用的示例性信息；
[0013]
[图3]图3示意性地示出了本技术的第一示例性实现方式；
[0014]
[图4a]图4a示意性地示出了本技术的第二示例性实现方式；
[0015]
[图4b]图4b示意性地示出了本技术的第二示例性实现方式；
[0016]
[图5a]图5a示意性地示出了本技术的第三示例性实现方式；
[0017]
[图5b]图5b示意性地示出了本技术的第三示例性实现方式；
[0018]
[图6]图6示出了显示根据实施方式的第一方法的流程图；并且
[0019]
[图7]图7示出了显示根据实施方式的第二方法的流程图。
具体实施方式
[0020]
现参考附图，其中，贯穿若干幅图，类似参考标号表示相同或对应的零部件。
[0021]
本技术使用眼部行为监测技术来采集眼部行为数据，以在眼部行为数据指示可能出现手术错误的情况下，帮助评估人类外科医生的表现并且在手术治疗过程中进行干预。
[0022]
眼部行为监测技术的建立相对完善并且出于增强现实(ara)和虚拟现实(vr)平台之目的而通过各种已有的技术实现。通过开发眼部行为监测技术而实现的优点是识别个人在视觉上所感兴趣的内容的能力。尽管该能力当前最广泛地应用于ar和vr耳机，然而，其还应用于广告、市场研究、以及医疗可及性。
[0023]
在其最基本的水平上，眼部移动指示人正在看什么。然而，还能够使用眼部移动获得关于人在特定情形中的执行能力的信息。研究已经表明专家和初级医生在归因于个人技能水平的手术过程中、在其注视模式上表现地不同(即，医生正在看的空间中的位置的移动模式)(npl 1)。同样，精英骑马手在计划跳跃时做出的细微眼部移动能够指示其可能成功(npl2)。经验丰富的骑马手的视觉战略与竞争较弱的骑马手的视觉战略的不同在于骑马手在视觉上固定在跳跃的具体阶段及如何早早地开始固定所花费的时间量。
[0024]
研究还表明，初学表演者能够学习更熟练的个人的眼部移动。在观察专家飞行员的眼部移动之后，发现初学军事飞行员对模拟紧急程序的视觉响应得到提高(npl 3)。在这种情况下，在80％以上的情况下，初学与熟练飞行员之间的差异如此显著，以至于算法能够对两者进行区别。
[0025]
具体地，预期出现差错的眼部行为的各方面包括：
[0026]
1.短暂的停留时间(查看感兴趣的区域所花费的时间)。
[0027]
2.降低固定频率(在一时间段内，注视集中在感兴趣的区域上的次数)
[0028]
3.扫视的速率与距离。扫视指眼部突然改变固定点的快速移动。能够利用扫视来识别专家与初学驾驶者。具体地，因为能够比初学者更为有效地利用周边视觉，所以专家比初学者具有更小的扫视速率和距离。扫视速率指当在扫视过程中改变固定点时的眼部移动的速度。扫视距离指当在扫视过程中改变固定点时的眼部移动的距离。
[0029]
4.重要视觉特征的概述。
[0030]
5.瞳孔扩张(反映精力)与所评估的任务难度之间的不匹配。瞳孔扩张随着认知负荷的增加而增加并且随着认知负荷的减少而减少。在困难任务期间缺乏瞳孔扩张指示缺乏集中力或认知参与。
[0031]
本技术的实施方式使用眼部行为监测技术来帮助减少出现手术错误。通过解决下列一点或多点而完成此操作：
[0032]
1.在外科医生手术时不引起不适当地分心的情况下，如何预先制止并且防止出现手术差错。
[0033]
2.如何确定外科医生的不确定性如何影响患者并且在需要的情景下允许某种程度的不确定性(即，通过不作为防止对患者造成伤害)。
[0034]
3.基于对患者的潜在严重性和风险，如何选择对所预测的手术错误做出适当的响应。
[0035]
4.如何在需要外科医生快速工作的高压、危险情景期间减少差错的发生几率。
[0036]
5.如何准确地识别外科医生在其视野内的不确定性的原因并且实现定制不确定性响应。
[0037]
图1示出了根据实施方式的手术支持系统100。手术支持系统100包括眼部行为监测装置(眼部监测器)101、一个或多个手术数据生成装置(例如，一个或多个装置109至115)、一个或多个手术干预装置(例如，一个或多个装置109至115)、以及数据处理装置104。
[0038]
眼部行为监测装置101能操作以执行进行手术治疗的外科医生的眼部行为监测，以获得外科医生的眼部行为数据。在实施方式中，眼部行为监测装置使用本领域中已知的任意合适的眼部跟踪技术来获得眼部跟踪数据。眼部跟踪数据包括指示外科医生的注视的数据(即，外科医生正在看的空间中的点)。例如，由眼部行为监测装置基于外科医生的瞳孔相对于外科医生的头部的位置和/或外科医生的头部的位置而确定该注视。在实施方式中，眼部行为监测装置使用任意合适的瞳孔监测技术来获得指示外科医生眼部中的一个或多个眼部中的每个眼部的瞳孔的行为的瞳孔监测数据(例如，外科医生的瞳孔扩张或扫视速率和/或距离)。
[0039]
由此，眼部行为监测装置101完成眼部跟踪和瞳孔监测，以监测外科医生的眼部的行为。眼部跟踪包括：跟踪外科医生的注视(例如，基于外科医生的眼部的实况捕获视频图像)，以确定眼部跟踪数据(例如，在感兴趣的区域上的停留时间、在感兴趣的区域上的固定频率和/或是否已经忽略感兴趣的区域)。所生成的眼部跟踪数据可以与关于感兴趣的区域的信息相关联。瞳孔监测包括：监测外科医生的瞳孔(例如，基于外科医生的眼部的实况捕获视频图像)，以确定瞳孔监测数据(例如，外科医生的瞳孔扩张和/或扫视速率和/或距离)。眼部跟踪数据和瞳孔监测数据是眼部行为数据的实施例。
[0040]
通过数据处理装置104可以从眼部行为数据推导信息，以指示外科医生在手术治疗过程中做出错误的增加可能性。
[0041]
在一个实施例中，如果外科医生在感兴趣的区域上具有能接受的短暂停留时间，则视为出现错误的可能性增加。例如，如果小于预定的停留时间阈，则停留时间为不能接受的短(例如，根据进行的治疗和/或治疗的阶段确定预定停留时间阈)。在实施例中，停留时间指外科医生在手术治疗过程中(或在手术治疗的特定阶段过程中)查看感兴趣的区域所
花费的平均时间。
[0042]
在另一实施例中，如果外科医生对感兴趣的区域具有不能接受的低固定频率，则视为出现错误的可能性增加。例如，如果小于预定的固定频率阈，则固定频率为不能接受的低(例如，根据进行的治疗和/或治疗的阶段确定预定固定频率阈)。
[0043]
在另一实施例中，由于具有更高的扫视速率和/或距离，视为出现的错误的可能性增加。例如，如果大于预定扫视速率和/或距离阈，则视为扫视速率和/或距离为不能接受的高(例如，根据进行的治疗和/或治疗的阶段确定预定扫视速率和/或距离阈)。
[0044]
在另一实施例中，在外科医生忽略重要的视觉特征之后，视为出现错误的可能性增加。当外科医生的注视不落在视觉特征上时(指示外科医生未注意到)，则忽略了视觉特征。
[0045]
在另一实施例中，如果瞳孔扩张(反映精力)与所评估的任务难度之间不匹配，则视为出现错误的可能性增加。例如，如果大于预定瞳孔扩张阈，则瞳孔扩张为不能接受的大(例如，根据进行的治疗和/或治疗的阶段确定预定的瞳孔扩张阈)。为了考虑不同的外科医生可能具有不同相应范围的瞳孔大小的事实，可以确定瞳孔扩张和预定的瞳孔扩张阈作为参考瞳孔扩张的百分比。例如，与参考瞳孔扩张的大小相比较，如果瞳孔直径的大小加倍，则确定瞳孔扩张为+50％(正50％)。与参考瞳孔扩张的大小相比较，如果瞳孔直径的大小减半，则确定瞳孔扩张为
‑
50％(负50％)。在手术之前进行的校准程序过程中确定参考瞳孔扩张(例如，通过让外科医生在预定光照条件下注视眼部行为监测装置101的相机(未示出)并且测量瞳孔扩张而获得参考瞳孔扩张)。
[0046]
数据处理装置104包括处理器105、存储器106、通信接口107、以及存储介质108。通信接口107用于将电子信息输入至数据处理装置104并且从数据处理装置104输出电子信息。例如，通过通信接口107接收来自眼部行为监测装置101的眼部行为数据和来自一个或多个手术数据生成装置的手术数据作为输入信息。此外，通过通信接口107将用于控制一个或多个手术干预装置执行干预治疗的干预信号作为输出信息发送至一个或多个手术干预装置。通信接口107还允许在连接至通信接口107的任意两个装置之间交换数据。处理器105能够使得数据处理装置104通过处理合适的电子指令而完成其操作。存储器106用于存储通过处理器105处理的电子指令并且用于存储与电子指令相关联的输入和输出数据。存储介质108(例如，硬盘驱动、固态驱动、磁带驱动等形式)用于数据的长期存储。例如，使用合适的电路实现处理器105、存储器106、通信接口107、以及存储介质108中的每个。
[0047]
通信接口107能操作以接收与由外科医生执行的手术治疗相关联的手术数据。在手术治疗过程中，从一个或多个手术数据生成装置接收手术数据。在图1的实施例中，存在各自将手术数据提供至通信接口107的多个手术数据生成装置。
[0048]
一个示例性的手术数据生成装置是手术机器人109。手术机器人109是辅助外科医生执行手术的机器人系统。本领域中已知各种手术机器人并且已知涉及手术机器人的手术作为机器人辅助手术。例如，通过手术机器人109提供至通信接口107的手术数据包括与机器人在手术治疗过程中完成的机器人的一个或多个功能相关联的一个或多个参数的值(例如，机器人使用的切割刀片的速度或机器人的机器臂在患者体内的深度)。例如，通过机器人的适当电路监测一个或多个参数。
[0049]
另一示例性的手术数据生成装置是外部相机系统110。这包括捕获在其内进行手
术的手术室的图像的一个或多个相机(未示出)。例如，所捕获的图像包括室内的外科医生、患者、手术团队的其他成员、以及其他手术装置。通过外部相机系统110提供至通信接口107的手术数据包括所捕获的图像。
[0050]
手术数据生成装置的另一实施例是内部相机系统111。这包括捕获患者体内的图像的一个或多个相机(未示出，例如，本领域中已知的一个或多个内诊镜相机)。例如，所捕获的图像还可以包括外科医生的双手以及在手术过程中进入由内部相机系统捕获的患者身体的部位的任意手术装置(例如，外科医生手持的切割工具或手术机器人109的臂的末端)。通过内部相机系统111提供至通信接口107的手术数据包括所捕获的图像。
[0051]
手术数据生成装置的另一实施例是患者监测系统112。患者监测系统监测患者在手术过程中的一个或多个生理参数并且生成指示这些生理参数中的每个生理参数的值的数据。这允许在手术过程中监测患者的状态。患者监测系统的实施例是生成ecg数据的心电图(ecg)。通过患者监测系统112提供至通信接口107的手术数据包括指示患者的各个监测生理参数的值的数据。
[0052]
手术数据生成装置的另一实施例是音频监测系统113。这包括捕获在其内进行手术的手术室中的声音的一个或多个麦克风(未示出)。例如，所捕获的声音包括由外科医生或手术团队的其他成员发出的语言和由其他手术装置发射的听觉信号(例如，警告)。通过音频监测系统113提供至通信接口107的手术数据包括指示所捕获的声音的数据。数据处理装置104被配置为对所捕获的声音进行分析，以确定所捕获的声音是什么。例如，通过执行所捕获的声音的频率分析并且将生成的频谱与存储在存储介质108中的已知声音的频谱相比较而执行此操作(本领域中已知的其合适技术)。例如，这允许数据处理装置104对外科医生的语言进行辨别(允许外科医生将手术数据通过声音提供至系统)或对由其他手术装置发射的具体听觉信号的含义进行辨别。
[0053]
手术数据生成装置的另一实施例是外科医生监测系统112。外科医生监测系统监测外科医生在手术过程中的一个或多个生理参数并且生成指示这些生理参数中的每个生理参数的值的数据。例如，外科医生监测系统包括监测外科医生的心率的心率监测器和/或监测外科医生出汗(流汗)多少的汗水监测器。这有助于允许监测外科医生的应力水平。例如，当外科医生受力较大时，其心率趋于增加并且其趋于出汗较多，并且当外科医生受力较小时，其心率趋于减少并且其趋于出汗较少。通过外科医生监测系统114提供至通信接口107的手术数据包括指示外科医生的各个监测生理参数的值的数据。
[0054]
手术数据生成装置的另一实施例是用户界面115。用户界面允许用户(例如，外科医生或手术团队的另一成员)手动键入被提供至通信接口107的手术数据。其还允许通过可理解的方式将由通信接口107输出的数据(例如，警报信号)提供至用户。在一个实施例中，用户界面115包括触摸屏或头戴显示器(hmd)与输入设备(例如，手持式控制器或语音辨别设备)的组合。用户界面115还可以包括触觉馈送设备(例如，电振动器)和/或音频扬声器。在一个实施例中，由用户键入的手术数据是指示进行手术治疗的类型的数据。例如，在开始手术治疗之前，使用触摸屏或hmd上显示的适当图形用户界面(gui)菜单系统选择手术治疗类型。在另一实施例中，通过通信接口107输出的数据包括警报信号。响应接收警报信号，触摸屏或hmd输出视觉警报，扬声器(如果存在)输出听觉警报，并且触觉馈送设备(如果存在)输出触觉警报。由此，通过视觉、听觉、和/或触觉警报向用户发出警报。
[0055]
在外科医生的眼部行为数据的分析指示需要进行干预、以降低手术错误的风险的情况下，通信接口107还能操作以将干预信号输出至一个或多个手术干预装置。一个或多个手术干预装置响应接收干预信号而执行干预治疗。
[0056]
在一个实施例中，干预信号指警报信号并且干预治疗包括将警报输出给用户。例如，警报信号可以致使用户界面115输出听觉、视觉、和/或触觉警报(如之前所述)。在警报的情况下，未采取动作来中断治疗(即，不防止外科医生继续手术治疗，并且因此，其是外科医生关于手术治疗是否继续的确定)。在这种情况下，用户界面115是手术干预装置。进一步地，根据错误可能性超过能接受的错误可能性的量可以改变该警报信号。例如，在错误可能性远超过能接受的错误可能性(即，大于预定阈)的情况下，警报信号的输出音频(例如，哔哔声或警高声)可能更大(即，在预定音量阈以上)。在另一实施例中，在警报信号包括视觉警报(例如，指示用户界面115上所显示的错误可能性的可见标记或通知)的情况下，可以改变视觉表示。例如，可以在多个显示器上显示、通过显示器的较大部分显示、或在显示器的更中心位置处显示视觉表示。根据错误可能性与能接受的错误可能性的比较，系统可以将警报信号从仅听觉、视觉、或触觉警报中的一种警报改变成其一种以上的警报的组合。
[0057]
在另一实施例中，干预信号是调整信号，并且干预治疗包括：对由外科医生使用的手术装置的操作进行调整而完成手术治疗，以预先制止手术治疗中的错误。在进行调整的情况下，采取行动来中断手术，以预先制止错误(即，防止外科医生继续手术治疗，并且因此，外科医生不做出关于手术治疗是否继续的确定)。在这种情况下，对其操作进行调整的手术装置是手术干预装置。
[0058]
在图1的实施例中，手术机器人109与用户界面115是能够响应从通信接口107接收调整信号而对其操作进行调整的手术干预装置的实施例。
[0059]
通过手术机器人109进行调整的实施例是当外科医生控制机器人的臂对患者进行手术切口之时。机器人接收调整信号并且响应地暂时暂停臂的功能。
[0060]
通过用户界面115进行调整的实施例是当外科医生经由使用用户界面115所显示的视频馈送(通过内部相机系统111的内诊镜相机等捕获)观察其在手术治疗过程中对患者身体进行的动作之时。用户界面接收调整信号并且响应地暂时暂停视频馈送的显示。
[0061]
在这两个实施例中，暂时防止外科医生(即，在预定有限的时间段内，例如，30秒)继续手术治疗，以降低出现错误的风险。例如，这允许外科医生在精神上休息一下，并且如果需要，计划对其技术进行调整或咨询同伴来降低其作出错误的可能性(由此允许安全地进行治疗)。
[0062]
将手术数据提供至通信接口107的各个手术数据生成装置经由合适的有线和/或无线连接(如本领域中已知)实现此操作。有线和/或无线连接可以是诸如因特网等计算机网络的一部分。从通信接口107接收干预信号的各个手术干预装置经由合适的有线或无线连接(如本领域中已知)实现此操作。有线和/或无线连接可以是诸如因特网等计算机网络的一部分。
[0063]
在实施方式中，数据处理装置104使用眼部行为数据确定外科医生在手术治疗中出现错误的可能性。通过眼部行为监测装置101获得眼部行为数据并且经由合适的有线或无线连接(如本领域中已知)将眼部行为数据发送至通信接口107。有线和/或无线连接可以是诸如因特网等计算机网络的一部分。数据处理装置104使用手术数据确定外科医生在手
术治疗中出现错误的能接受可能性。如果确定外科医生在手术治疗中出现错误的可能性(将此称为确定错误可能性)超过外科医生在手术治疗中出现错误的能接受可能性(将此称为能接受的错误可能性)，则数据处理装置104控制一个或多个手术干预装置通过传送适当的干预信号(例如，警报信号和/或调整信号)而执行适当的干预治疗。
[0064]
在实施方式中，通过使用外科医生的眼部行为监测来确定外科医生做出错误的可能性并且由此确定适当的干预治疗，变得更易于预测和减少错误的发生。同时，因为外科医生在手术治疗过程中不得不执行任意额外的动作来进行眼部行为监测，所以减少了外科医生的工作流程的不必要中断。
[0065]
在实施方式中，手术数据指示所进行的手术治疗的类型和手术治疗的当前阶段中的至少一项。数据处理装置104使用手术数据确定外科医生在手术治疗中出现错误的能接受可能性。
[0066]
手术治疗的类型识别外科医生执行哪种手术治疗。例如，手术治疗类型可以是心脏移植、冠状动脉旁路移植、或膝盖置换。手术治疗的当前阶段是手术治疗的多个阶段中的一个阶段。每个阶段是手术治疗的子治疗。必须按照适当的顺序成功地完成手术治疗的各个阶段，以允许成功完成手术治疗。对于不同的手术治疗类型，必要阶段(以及其顺序)通常不同。阶段的实施例包括：在患者的特定器官上进行切口；移除或除去患者的器官的一部分；并且缝合患者的特定器官上的切口。
[0067]
在实施方式中，每种手术治疗类型和/或手术治疗类型的一个或多个阶段与一个或多个对应的潜在错误事件相关联。如果外科医生出现错误，则潜在的错误事件指在当前阶段过程中潜在发生的事件(例如，对患者的健康器官的意外损伤)。每个潜在错误事件与发生该潜在错误事件的对应能接受错误可能性相关联。在手术治疗过程中，使用外科医生的眼部行为数据确定在给定时间发生各个相关的潜在错误事件的确定错误可能性。对于该潜在错误事件，如果所确定的潜在错误事件的错误可能性超过能接受的错误可能性，则进行合适的干预治疗。
[0068]
通常，潜在的错误事件可以与手术治疗相关联。在这种情况下，对于手术治疗的整个持续时间，基于外科医生的眼部行为数据继续对所确定的错误可能性进行更新。可替代地，潜在错误事件可以与手术治疗的具体阶段相关联。在这种情况下，仅对于该具体阶段的持续时间，基于外科医生的眼部行为数据继续对所确定的错误可能性进行更新。
[0069]
在实施方式中，在经由用户界面115开始手术治疗之前，由用户键入指示手术治疗类型的信息。将该信息作为手术数据提供至数据处理装置104。数据处理装置104在存储于存储介质108中的数据库中查找所指示的手术治疗类型。数据库识别所指示的手术治疗类型的每个阶段、与所指示的手术治疗类型相关联的每个潜在错误事件(以及与潜在错误事件相关联的手术治疗类型的阶段，如适用)、以及与每个所识别的潜在错误事件相关联的能接受错误可能性。
[0070]
图2中示出了存储在数据库中的信息的实施例。
[0071]
图2中的手术治疗类型是心脏移植。示出了心脏移植具有三个阶段(“阶段1”、“阶段2”、以及“阶段3”)，每个阶段与一个或多个潜在错误事件相关联。每个潜在错误事件转而与能接受的错误可能性及一个或多个干预治疗相关联。应当认识到，为易于说明，这是简化的实施例。实际上，诸如心脏移植等手术治疗可以具有更多的阶段，并且每个阶段可以具有
更多相关联的潜在错误事件。
[0072]
尽管图2中未示出，然而，潜在错误事件通常可以与作为手术治疗的心脏移植(而非仅与心脏移植的具体阶段)相关联。在这种情况下，在数据库中识别、但不与心脏移植的具体阶段相关联的潜在错误事件及其相关联的能接受错误可能性以及一个或多个干预治疗。在这种情况下，例如，“阶段”列可以读作“all”(指示潜在错误事件及其相关联的能接受错误可能性与一个或多个干预治疗可适用于心脏移植的所有阶段)。
[0073]
潜在错误事件还可能是一般类型。一般潜在错误事件指不是(例如，患者身体的特定部位上)出现错误的特定类型所专属的潜在错误事件，但在外科医生出现错误的风险增加的情况下，通常具有更高的能接受可能性。例如，即使不能确定潜在错误的精确性质，然而，如果外科医生突然具有非常宽的通孔扩张(例如，指示由突然的疾病或疲劳而使得严重地不能集中)，则可以确定一般出现错误的可能性为不能接受的高。例如，与一般潜在错误事件相关联的监测眼部行为参数是指示外科医生的集中力、疲劳度的整体水平的眼部行为参数。与一般潜在错误事件相关联的干预治疗指示潜在错误事件是一般性的(例如，通过使用用户界面115显示合适的视觉警报或发出具体听觉警告的声音)，但并不指示患者身体的具体部位。就通过数据处理装置108进行存储并且检索的方式而言(例如，如图2的表格中所例证的)，通过与任意其他潜在错误事件相同的方式来处理一般潜在错误事件。
[0074]
将与各个潜在错误事件相关联的一个或多个干预治疗划分成两个类别。第一类别是非患者危险类别。对于当患者处于非危险条件时所涉及的潜在错误事件，这限定了在所确定的错误可能性超过能接受的错误可能性的情况下应用的一个或多个干预治疗。当患者的一个或多个相关生理参数中的每个生理参数的值(如由从患者监测系统112接收的手术数据指示的)在正常范围内时，患者处于非危险条件。例如，提前确定(例如，基于所接受的医疗团体的知识)给定手术治疗类型的一个或多个相关的生理参数及其相应的正常范围并且存储在存储介质108中。第二类别是患者危险类别。对于当患者处于危险条件时所涉及的潜在错误事件，这限定了在所确定的错误可能性超过能接受的错误可能性的情况下应用的一个或多个干预治疗。当患者的一个或多个相关的生理参数中的每个生理参数的值在正常范围之外时，患者处于危险条件。在一个实施例中，相关的生理参数指示一个或多个患者生命体征的状态。
[0075]
根据患者是处于危险条件还是非危险条件确定干预治疗有助于安全地应用干预治疗。例如，当患者处于非危险条件时，最安全的干预治疗可能涉及其中暂时防止外科医生继续手术治疗的调整。因为患者处于非危险条件，所以确定暂时暂停治疗更为安全(由此延迟完成治疗)，以降低外科医生出现错误的风险。另一方面，当患者处于危险条件时，最安全的干预治疗可能仅涉及警报(即，不调整)。由此，防止外科医生继续手术治疗。因为患者处于危险条件，所以确定允许外科医生继续治疗比延迟完成治疗更安全(尽管存在外科医生出现错误的风险)。
[0076]
应当认识到，即使仅示出了干预治疗的两个类别，然而，可能存在任意数量的类别，每个类别与患者的一个或多个生理参数的值的一组相应范围相关联。然后，当患者的一个或多个生理参数的测量值在与该类别相关联的该组范围内时，应用具体类别的干预治疗(当所确定的错误可能性超过能接受的错误可能性时)。这允许根据患者的物理状态应用最为适当的干预治疗，由此帮助提高患者的安全性。
[0077]
在图2的实施例中，心脏移植的阶段1涉及外科医生在患者的肺部与动脉之间的肉体中做出切口。阶段1与两个潜在错误事件相关联。第一个事件是对肺部的损伤(能接受的错误可能性为0.25)，并且第二个事件是对动脉的损伤(能接受的错误可能性为0.25)。
[0078]
对于第一潜在错误事件(肺部损伤)，如果所确定的外科医生的错误可能性(基于外科医生的眼部行为数据)超过0.25，则实施干预治疗。如果患者处于非危险条件(并且因此避免潜在手术错误比避免延迟完成阶段1更为重要)，则干预治疗包括通信接口107输出警报信号而发起听觉警告(以向外科医生发出其出现错误的不能接受的高可能性的警告)，并且进一步地，输出调整信号而发起暂时暂停显示外科医生查看其中作出切口的区域所使用的视频馈送(由此防止外科医生继续作出切口)。另一方面，如果患者处于危险条件(并且因此避免延迟完成阶段1比避免潜在手术错误更重要)，则干预治疗包括通信接口107仅输出警报信号(由此发起听觉警告，以通过暂停显示视频馈送而向外科医生发出其出现错误的不能接受的高可能性的警报，但不防止外科医生继续作出切口)。
[0079]
对于第二潜在错误事件(动脉损伤)，如果所确定的外科医生的错误可能性(基于外科医生的眼部行为数据)超过0.25，则也可以实施干预治疗。如果患者处于非危险条件(并且因此避免潜在手术错误比避免延迟完成阶段1更为重要)，则干预治疗包括通信接口107输出警报信号而发起听觉警告和触觉警告(以向外科医生发出其出现错误的不能接受的高可能性的警报)，并且进一步地，输出调整信号而发起暂时暂停显示外科医生查看其中作出切口的区域所使用的视频馈送(由此防止外科医生继续作出切口)。另一方面，如果患者处于危险条件(并且因此避免延迟完成阶段1比避免潜在手术错误更为重要)，则干预治疗包括通信接口107仅输出警报信号(由此发起听觉警告和触觉警告，以通过暂停显示视频馈送而向外科医生发出其出现错误的不能接受的高可能性的警报，但不防止外科医生继续作出切口)。
[0080]
在这种情况下，第二潜在错误事件(动脉损伤)与听觉警告和触觉警告相关联，而第一潜在错误事件(肺部损伤)仅与听觉警告相关联。这有助于外科医生更快地识别潜在错误事件并且还可以用于反映潜在错误事件的相对严重性。例如，较为严重的潜在错误事件(例如，在这种情况下，为动脉损伤)可以与同时发起的更大数量的警告类型(在这种情况下，为听觉警告和触觉警告)相关联，而较不严重的潜在错误事件(例如，在这种情况下，为动脉损伤)可以与同时发起的更少数量的警告类型(在这种情况下，仅为听觉警告)相关联。
[0081]
在图2的实施例中，心脏移植的阶段2涉及将血管附接至所移植的心脏的外科医生。阶段2与两个潜在的错误事件相关联。第一个事件是对周围器官或肌肉群的损伤(能接受的错误可能性为0.35)，并且第二个事件是对所移植的心脏自身的损伤(能接受的错误可能性为0.20)。
[0082]
对于第一潜在错误事件(周围器官或肌肉群损伤)，如果所确定的外科医生的错误可能性(基于外科医生的眼部行为数据)超过0.35，则实施干预治疗。对于该潜在错误事件，即使不需要，也不是外科医生要暂停的足够严重的潜在错误事件(即使患者处于非危险条件)。由此，在这种情况下，对于处于非危险条件的患者和处于危险条件的患者，干预治疗是相同的。即，干预治疗包括通信接口107输出警报信号而发起将增强现实(ar)可视化叠加在易于发生损伤(在这种情况下，这是感兴趣的区域)的周围器官或肌肉群的部分的手术图像上(使用用户界面115显示)。然而，不通过通信接口107输出调整信号，并且由此，不防止外
科医生继续治疗(即，让外科医生做出关于是否继续治疗或休息一下的决定)。可以基于外科医生的眼部行为数据检测由所叠加的ar可视化指示的周围器官或肌肉群的部分。在一个实施例中，其是外科医生具有预定停留时间和/或固定频率值以下的停留时间和/或固定频率的部分。ar图像可视化向外科医生发出了其出现错误的不能接受的高可能性的警报并且向其通知潜在错误的性质(即，对所识别的周围器官或肌肉群的部分的损伤)。
[0083]
对于第二潜在错误事件(移植心脏损伤)，如果所确定的外科医生的错误可能性(基于外科医生的眼部行为数据)超过0.20，则实施干预治疗。对于该潜在错误事件，其是外科医生应暂停的足够严重的潜在错误事件(即使患者处于危险条件)。由此，在这种情况下，对于处于非危险条件的患者和处于危险条件的患者，干预治疗是相同的。即，干预治疗包括通信接口107输出警报信号而发起将增强现实(ar)可视化叠加在易于发生损伤(在这种情况下，这是感兴趣的区域)的移植心脏的部分的图像上(使用用户界面115显示)并且发起听觉警告。进一步地，干预治疗包括通信接口107输出调整信号而暂停外科医生当前用于完成治疗的手术机器人(例如，手术机器人109)的操作(由此暂时防止外科医生进行治疗)。再次，基于外科医生的眼部行为数据可以检测由所叠加的ar可视化指示的移植心脏的部分。在一个实施例中，其是外科医生具有预定停留时间和/或固定频率值以下的停留时间和/或固定频率的部分。ar图像可视化向外科医生发出出现错误的不能接受的高可能性的警报并且通知其潜在错误的性质(即，对所识别的移植心脏的部分的损伤)。
[0084]
在图2的实施例中，心脏移植的阶段3涉及外科医生使用手术机器人109做出进一步更小并且精确的切口。例如，外科医生使用用户界面115控制机器人做出切口(控制信号经由数据处理装置104从用户界面115发送至手术机器人109)。由于作出切口，基于外科医生的眼部行为数据确定切口的预测路径。例如，可以确定预测路径是被限定在用于作出切口的切割工具(例如，手术刀)的当前位置与外科医生的当前注视位置之间的直线。示出了切口的预测路径被叠加在患者身体的一部分的显示图像上，沿着预测路径作出切口。阶段3仅与一个潜在错误事件相关联。这对位于切口的路径上的子表面血管造成损伤。当子表面血管沿着切口的预测路径定位时，如果外科医生(例如，由于集中力流逝)未注意到，则可能发生这种情形。潜在错误事件的能接受错误可能性是0.25。因此，对于阶段3的潜在错误事件，如果所确定的外科医生的错误可能性(基于外科医生的眼部行为数据)超过0.25，则实施干预治疗。基于用于做出切口的切割工具与沿着预测切口路径定位的任意子表面血管之间的距离可以确定所确定的错误可能性(较大的距离与所确定的较低错误可能性相关联并且较小的距离与所确定的较高错误可能性相关联)。
[0085]
如果患者处于非危险条件，则干预治疗包括通信接口107输出调整信号而控制机器人超越来自外科医生的控制指令并且控制切割工具偏离所预测的切口路径，以避免子表面血管。超越是暂时的，以使得在避免潜在错误事件之后，控制返回至外科医生。由此，外科医生仍然控制机器人(保持外科医生控制治疗并且由此允许患者获益于外科医生的个人经验和能力，以快速地解释各种各样类型的信息)，但其中引起潜在错误事件的外科医生的可能性变得不能接受的高的情况除外(在这种情况下，机器人暂时超越外科医生的控制，以避免出现错误)。干预治疗还可以包括通信接口107输出警报信号而发起触觉警告并且发起将增强现实(ar)可视化叠加在可能受伤(在这种情况下，这是感兴趣的区域)的子表面血管的图像上(使用用户界面115显示)。在这种情况下，该警报信号的输出是可选的。例如，是否输
出警报信号可能取决于外科医生的预配置喜好或取决于机器人必须超越外科医生的控制的程度。例如，在后者情况下，如果机器人必须在小于预定阈值时间的时间内超越外科医生的控制(暗示与预测切口路径的相对小的潜在偏差)，则不输出警报信号(因为潜在偏差仅很小，所以相比于通知其出现错误的增加可能性，更有益于外科医生不被ar可视化和触觉警告分心)。另一方面，如果机器人必须在大于预定阈值时间的时间内超越外科医生的控制(暗示与预测切口路径的相对大的潜在偏差)，则输出警报信号(因为潜在偏差较大，所以相比于不被ar可视化和触觉警告分心，更有益于将其出现错误的增加可能性通知给外科医生)。
[0086]
如果患者处于危险条件，则干预治疗不包括通信接口107输出调整信号而控制机器人超越来自外科医生的控制指令。这允许外科医生在患者处于危险条件时始终保持控制机器人(当外科医生对解释各种各样类型的信息的个人经验和能力最为受益时)。然而，干预治疗确实包括通信接口107输出警报信号而发起触觉警告并且发起将增强现实(ar)可视化叠加在可能受伤(在这种情况下，这是感兴趣的区域)的子表面血管(使用用户界面115显示)的图像上。在患者处于危险条件的情况下，始终通过通信接口107输出警报信号，以允许将其出现错误的增加可能性通知给外科医生(由此当做出关于危险患者的治疗的决定时，向外科医生提供最多可能的信息)。
[0087]
由此，图2中的实施例示出了根据手术的类型、手术的当前阶段、与手术的类型或手术的当前阶段及患者的状态(例如，危险或非危险)相关联的潜在错误事件如何限定不同的能接受错误可能性并且如何实施不同类型的干预治疗。应当认识到，出于清晰阐明之缘故，图2是非常简单的实施例，并且实际上，存储在存储介质108中的数据库可能涉及较大量的手术类型(不仅仅是单一手术类型“心脏移植”)、手术阶段、潜在错误事件、能接受的错误可能性、以及干预类型。然而，操作的原理仍如所述(不同在于以更大的数据集发生)。
[0088]
对于通过制造商确定的各种手术类型或手术阶段，手术支持系统100的制造商利用各个能接受的错误可能性的最适当的值及最适当的干预治疗可以对数据库中的信息进行预配置。具体地，对于各个潜在错误事件，通过针对较不严重错误中进行干预的潜在结果对错误的潜在结果进行评估，制造商可以提前确定各个能接受的错误可能性值。例如，通过查阅历史手术数据可以确定该信息。可替代地或此外，对于各种手术类型或手术阶段，外科医生能够根据其个人喜好对能接受的错误可能性的值及最适当的干预治疗进行定制(例如，使用用户界面115访问并且编辑存储在存储介质108中的数据库)。
[0089]
如之前提及的，在实施例中，外科医生可以选择使用合适的gui菜单系统等选择在开始手术治疗之前所进行的手术治疗(例如，“心脏移植”)的类型。在手术治疗过程中，数据处理装置104可以被配置为通过一种或多种不同的方式检测手术治疗的当前阶段(例如，“阶段1”、“阶段2”、或“阶段3”)(从而能够查找该阶段的适当潜在错误事件及相关联的能接受错误可能性与干预类型)。
[0090]
在一个实施例中，每次治疗移至新的阶段时，用户(例如，外科医生或手术团队的另一成员)可以手动对系统进行更新。例如，经由用户界面115(例如，通过从gui菜单系统等上显示的当前治疗的阶段列表中选择当前阶段)或经由音频监测系统114(例如，通过说出预定命令，诸如唯一识别治疗的所需阶段、通过音频监测系统113拾取并且通过数据处理设备104可辨别的一个或多个词语等)可以完成此操作。
[0091]
在另一实施例中，数据处理设备104被配置为自动检测治疗的当前阶段。在一个实施例中，使用合适的机器视觉图像比较技术(诸如本领域中已知并且因此此处未详细讨论的方法等)可以完成此操作。在治疗过程中按照规定的间隔，通过外部和/或内部相机系统110、111捕获图像并且将所捕获图像的一个或多个特征与手术治疗的之前实例中的各个图像的一个或多个对应特征进行比较。手术治疗的之前实例中的每个图像是已知在手术治疗的该之前实例的具体阶段所捕获的图像。确定与所捕获图像具有最接近匹配度的手术治疗的之前实例的图像的具体阶段是治疗的当前阶段。在实施例中，使用机器学习分类技术确定所捕获图像的一个或多个特征及与其相比较的治疗的之前实例中的各个图像。即，将治疗的之前实例中的各个图像手动分类为归属于治疗的具体阶段并且机器学习算法自动确定区分该图像与归属于治疗的其他阶段的图像的一个或多个特征。然后，在新捕获的图像(其分类未知)中对一个或多个这种特征进行分析，以确定该新捕获的图像的可能类别。
[0092]
由此，例如，在心脏移植治疗的一个或多个之前实例中，对于图2中的心脏移植手术治疗，已经捕获阶段1、阶段2、以及阶段3中的每个阶段的至少一个图像并且由人类用户手动分类为“阶段1”、“阶段2”、或“阶段3”。机器学习算法自动确定指示与该图像相关联的具体阶段的这些图像中的每个图像的一个或多个特征。即，给定图像与手动应用的分类，机器学习算法将自动确定区分“阶段1”图像与“阶段2”或“阶段3”图像的一个或多个特征、区分“阶段2”图像与“阶段1”或“阶段3”图像的一个或多个特征、以及区分“阶段3”图像与“阶段1”或“阶段2”图像的一个或多个特征。在图2的治疗过程中，对通过外部或内部相机系统110、111捕获的每个图像进行分析，以基于之前捕获的“阶段1”、“阶段2”、以及“阶段3”图像的一个或多个特征确定图像是否最为可能是“阶段1”、“阶段2”、或“阶段3”。然后，确定与图像最为可能相关联的阶段是治疗的当前阶段。
[0093]
本领域中已知各种机器学习算法并且因此此处将不进行详细讨论。应当认识到，治疗的之前实例的各个阶段的图像的数量越大并且生成这些图像的治疗的之前实例的数量越大，当前治疗的当前阶段的确定则越可靠。例如，还可以从不同的角度和/或在不同的光照条件下捕获之前的图像，以帮助提供对治疗的当前阶段的更可靠确定(因为对于治疗的不同实例，当前治疗的捕获图像的视角和/或光照条件可能改变)。例如，将指示关于当前治疗的新捕获图像的分析的治疗的之前实例的图像的一个或多个特征的数据存储在存储介质108中。
[0094]
在实施方式中，外科医生(或手术团队的另一成员)可以在治疗过程中手动确认手术治疗的当前阶段的自动确定。这有助于降低由于治疗的当前阶段的错误确定而出现的手术错误的风险(例如，当实际上完成“阶段2”时，“阶段3”的错误确定指可能应用不正确的潜在错误事件、能接受的错误可能性、和/或干预治疗)。在一个实施例中，该手动确认包括：经由用户界面115和/或音频监测系统112输入确认命令。例如，用户界面115显示消息“自动治疗阶段检测＝x
–
按下ok或说出confirm进行确认”(其中，对于图2中的示例性治疗，x是阶段的名称，例如，“阶段1”、“阶段2”、或“阶段3”)。如果用户按下“ok”(例如，“ok”是用户界面115的触摸屏上显示的虚拟按钮)或通过声音说出“confirm”(通过音频监测系统113拾取该声音)，则数据处理装置104获知其对当前手术阶段进行正确地确定。另一方面，如果用户不在预定时限(例如，5秒或10秒)内完整该确认动作，则数据处理装置104不能依赖于自动确定治疗的当前阶段，而是等待来自用户的进一步输入，以手动选择治疗的当前阶段。
[0095]
可以将基于当前治疗的新捕获图像的一个或多个特征与治疗的之前实例的一个或多个图像的一个或多个对应特征之间的比较自动确定治疗的当前阶段的概念应用于在手术治疗的当前和之前实例过程中所采集的其他类型的手术数据。例如，这可以应用于：(i)通过手术机器人生成的手术数据(例如，来自致动器的关节臂的移动)；(ii)通过患者监测系统生成的手术数据；(iii)音频监测系统113在手术治疗的当前和之前实例中所采集的音频数据(包括手术团队的成员、听觉机器臂等之间的语言通信)；和/或(iv)通过外科医生监测系统114生成的手术数据。此外，例如，充气机(未示出)或能量设备的控制数据也可以用于识别手术治疗的当前阶段。
[0096]
可以使用不同类型的手术数据而独立确认在指示所进行的手术治疗的具体阶段的手术治疗过程中发生的具体事件。在一个实施例中，可以使用通过工具上的外部和/或内部相机系统110、110以及监测设备(例如，构成外科医生监测系统114的一部分的加速计)所捕获的图像的图像辨别而检测由外科医生在治疗过程中在任意给定时间所使用的工具，与被固定在表面上相反，当拾取所涉及的工具时，监测设备将信号作为手术数据输出至通信接口107。可以将所使用的工具的具体组合(例如，存储在存储介质108中的数据库)映射至治疗的具体阶段，由此允许监测所发生的阶段。
[0097]
在实施方式中，除眼部行为数据之外，还可以使用外科医生的动作和/或身体语言(如使用通过外部和/或内部相机系统110、111和/或通过包括外科医生上的监测设备(例如，加速计)(输出信号作为指示外科医生的移动的手术数据)的外科医生监测系统114所捕获的图像的图像辨别进行检测)，以有助于确定外科医生出现错误的可能性。例如，如果通过监测设备输出的手术信号指示外科医生已经偏离所预期的动作(如由外科医生使用的工具指示的)或偏离与安全手术实践相关联的特定身体语言，则将合适的缩放因子(例如，对于与安全手术实践的较大偏差，其较大，并且对于与安全手术实践的较小偏差，其较小)应用于考虑此的所确定错误可能性。
[0098]
在实施方式中，数据处理装置104能操作以将所获得的外科医生的眼部行为数据和与外科医生在手术治疗中出现错误的预定可能性相关联的预定眼部行为数据进行比较。数据处理装置104能操作以使用与预定眼部行为数据相关联的预定可能性及所获得的外科医生的眼部行为数据与预定眼部行为数据之间的比较结果确定外科医生在手术治疗中出现错误的可能性。
[0099]
在实施例中，监测多个眼部行为参数中的每个参数的值。例如，监测在感兴趣的区域上的停留时间、在感兴趣的区域上的固定频率、扫视的速率和/或距离、是否忽略感兴趣的区域、以及外科医生的瞳孔扩张中的一个或多个眼部行为参数。在实施例中，感兴趣的区域是外科医生预定大小和形状的视野的一部分并且位于外科医生视野中的预定位置处。在另一实施例中，基于合适的图像辨别技术检测感兴趣的区域。
[0100]
将各个眼部行为参数的值(通过眼部行为监测装置101采集的眼部行为数据内所包括的)与该眼部行为参数的一个或多个预定值进行比较，以确定与该参数(参数错误可能性)相关联的错误可能性。例如，预定眼部行为参数值是阈值，并且与具体眼部行为参数相关联的参数错误可能性取决于该眼部行为参数的监测值与该眼部行为参数的一个或多个阈值之间的关系。
[0101]
在一个实施例中，眼部行为参数具有单一阈值。例如，可能存在具体感兴趣区域上
的停留时间的单一阈值(例如，0.5秒)。如果所监测的感兴趣区域上的停留时间小于阈值(例如，小于0.5秒)，则将参数错误可能性设置为1。另一方面，如果所监测的感兴趣区域上的停留时间大于阈值(例如，大于0.5秒)，则将参数错误可能性设置为0。
[0102]
在另一实施例中，眼部行为参数具有多个阈值。这允许限定更多数量的参数错误可能性并且参数错误可能性取决于监测参数值相对于多个阈值的位置。例如，在具体感兴趣的区域上的停留时间可以具有连续增加大小的(例如，0.25秒、0.5秒、以及0.75秒)监测参数值的三个阈值。如果所监测的停留时间小于第一(最低)阈值(例如，小于0.25秒)，则确定参数错误可能性是最高可能值(例如，1)。如果所监测的停留时间在第一阈与第二(下一最低)阈之间(例如，0.25秒与0.5秒之间)，则确定参数错误可能性是更低的值(例如，0.75)。如果所监测的参数值在第二阈与第三(最高)阈之间(例如，0.5秒与0.75秒之间)，则确定参数错误可能性仍是更低的值(例如，0.25)。如果所监测的参数值大于第三阈(例如，大于0.75秒)，则确定参数错误可能性是最低可能值(例如，0)。
[0103]
应当认识到，尽管针对“在感兴趣区域上的停留时间”眼部行为参数对阈的使用进行例证，然而，阈的使用还可以应用于采用与外科医生出现错误的可能性有关的数值的形式的任意其他眼部行为参数(例如，在感兴趣区域上的固定频率、扫视位置和/或速率、以及瞳孔扩张)。例如，基于在之前手术治疗过程中所记录的外科医生的历史眼部行为数据和指示在这些之前手术治疗过程中出现的错误的数据(包括出现每次错误的过程中的手术类型和/或阶段)，针对与每种手术类型和/或阶段相关联的每个潜在错误事件，提前选择各个监测眼部行为参数的具体阈值和相对于阈值限定的参数错误可能性。例如，可以将合适的机器学习算法应用于该数据集，以确定阈值及相关联的参数错误可能性。在实施例中，是否忽略感兴趣的区域的参数的参数错误可能性是0(在不忽略感兴趣的区域的情况下)或1(在忽略感兴趣的区域的情况下)。
[0104]
对于给定的潜在错误事件(针对具体手术类型和/或阶段限定的)，通过适当的方式对各个所监测的眼部行为参数的参数错误可能性进行组合，以获得整体确定的错误可能性(与该潜在错误事件的能接受错误可能性相比较)。在一个实施例中，所确定的错误可能性是针对各个所监测的眼部行为参数确定的参数错误可能性的加权和。例如，如果监测五个眼部行为参数(例如，在感兴趣区域上的停留时间、在感兴趣区域上的固定频率、扫视的速率和/或距离、是否忽略感兴趣的区域、以及外科医生的瞳孔扩张)，则通过适当的权重将针对各个这些参数确定的参数错误可能性加在一起，以获得整体确定的错误可能性质。在实施例中，确定各个参数错误可能性在0与1之间(0指示最低可能错误可能性并且1指示最高可能错误可能性)。选择权重，以使得整体确定错误可能性也在0与1之间。例如，如果将五个监测参数相等地进行加权，则每个参数的权重将是0.2，以确保整体确定的错误可能性在0与1之间。在另一实施例中，如果具体两个监测参数比其他三个监测参数更为指示出现错误(例如，基于历史眼部行为数据)，则可以给与具体两个监测参数的权重比其他三个监测参数的权重更高的权重(例如，对于两个以上指示参数的各个参数，加权为0.35，并且对于三个其他参数中的各个参数，加权为0.1)。根据所涉及的潜在错误事件的该眼部行为参数的相关性，可以对各个眼部行为参数的权重进行调整(例如，再次基于历史眼部行为数据)。
[0105]
由此，在实施方式中，对于针对具体潜在错误事件所监测的各个眼部行为参数，基于参数的监测值及与所监测的参数值相比较的一个或多个阈值(如适用)确定参数错误可
能性。然后，通过将所有监测参数的参数错误可能性进行组合(例如，作为加权和)而确定整体确定的错误可能性。然后，将整体确定的错误可能性与针对潜在错误事件限定的能接受错误可能性相比较，以确定是否应进行干预治疗。
[0106]
在一个实施方式中，可以监测与瞳孔扩张有关的眼部行为参数(例如，瞳孔扩张及扫视速率和/或距离的参数)，以确定外科医生的集中力、疲劳度等的整体水平。可以将该眼部行为参数称为“集中力”或“疲劳度”参数。在另一实施方式中，可以监测与眼部跟踪有关的眼部行为参数(例如，在感兴趣的区域上的停留时间、在感兴趣的区域上的固定频率、以及是否忽视感兴趣的区域的参数)，以确定外科医生的经验或技能水平。可以将该眼部行为参数称为“经验”或“技能水平”参数。
[0107]
对于各个潜在错误事件(如图2中例证的，针对每种手术类型和/或阶段限定的)，当计算整体确定的错误可能性时，提前确定所监测的具体眼部行为参数、任意参数阈值、与参数阈值相关联的参数错误可能性、以及应用于参数错误可能性的权重。这允许通过更为适当的方式计算各个潜在错误事件的确定错误可能性。外科医生提前确定关于各个潜在错误事件的这种信息并且作为数据库的一部分(与该潜在错误事件的能接受错误可能性和干预治疗一起)存储在存储介质108中。
[0108]
如之前提及的，例如，通过利用已知结果从手术治疗的之前实例中采集该信息可以确定所监测的具体眼部行为参数、任意参数阈值、与参数阈值相关联的参数错误可能性、以及权重。例如，可以对在手术治疗的之前实例过程中测量的眼部行为参数值的数据和指示手术治疗的这些之前实例的成功措施的数据(例如，基于患者医疗记录)使用合适的机器学习算法。通常，可以将该数据称为历史数据。
[0109]
这允许机器学习算法学习每种手术治疗类型和/或阶段的各个潜在错误事件的最为相关的眼部行为参数，由此允许确定针对该潜在错误事件所监测的眼部行为参数并且允许确定用于计算整体确定的错误可能性的各个眼部行为参数的相对权重。其还允许(如果相关)确定所发生的潜在错误事件的可能性增加(或减少)特定量的这些眼部行为参数的值，由此允许限定阈及与这些阈相关联的参数错误可能性。
[0110]
例如，基于心脏移植治疗的之前实例确定潜在错误事件“肺部损伤”的发生与在患者肺部上小于0.5秒的停留时间和大于50％的瞳孔扩张的相关性较为强烈。此时，发现其他眼部行为参数(诸如在肺部上的固定频率等)与潜在错误事件“肺部损伤”的发生的相关性较不强烈。在这种情况下，当确定整体确定的错误可能性或潜在错误事件时，在肺部上的停留时间和瞳孔扩张的眼部行为参数比其他眼部行为参数(诸如在肺部上的固定频率等)的权重更高。进一步地，确定0.5秒的停留时间阈是适当的并且瞳孔扩张阈50％是最为适当的。因此，通过分别比较在当前心脏移植治疗过程中所监测的停留时间和瞳孔扩张值与阈值0.5秒和50％，确定各个这些参数在当前心脏移植治疗过程中的参数错误可能性。
[0111]
当将该参数的监测值与相关的阈值进行比较时，还可以使用历史数据来确定给定参数的参数错误可能性。例如，历史数据可能表明，对于在肺部上小于0.5秒的停留时间，出现错误的可能性是0.5，而对于大于0.5秒的停留时间，出现错误的可能性是0.15。因此，将这些值与所确定的阈值0.5秒相关联。由此，在当前心脏移植治疗中，如果所监测的在肺部上的停留时间小于0.5秒，则确定潜在错误事件“肺部损伤”的参数错误可能性是0.5。另一方面，如果所监测的在肺部上的停留时间大于0.5秒，则确定潜在错误事件“肺部损伤”的参
数错误可能性是0.15。然后，将所确定的该参数错误可能性与所监测的各个其他眼部行为参数的确定参数错误可能性(例如，经由加权和)进行组合并且与潜在错误事件“肺部损伤”的能接受错误可能性进行比较。在图2的实施例中，如果所确定的错误可能性超过能接受的错误可能性0.25，则进行干预治疗。
[0112]
对于各个潜在错误事件，提前确定感兴趣的区域(计算诸如停留时间和固定频率等其眼部行为参数的值)，以使得如果外科医生的注意力(即，外科医生正在观看的空间中的位置)在感兴趣的区域上，则能够检测到该事件。对于不同的潜在错误事件，感兴趣的区域可能不同。例如，对于潜在错误事件“肺部损伤”，感兴趣的区域是患者的肺部。另一方面，对于潜在错误事件“动脉损伤”，感兴趣的区域是患者的动脉。
[0113]
将外科医生视野内的对象提前映射到外科医生视野内的对应位置，以能够确定外科医生在给定时间正在观看什么对象。例如，如果外科医生正在查看患者的实况视频图像(例如，将通过外部或内部相机系统110、111捕获的图像发送至通信接口107，并且然后，从通信接口107进行发送，以在用户界面115的屏幕上显示)，则确定实况视频图像的视野是外科医生的视野并且确定其上显示外科医生正在观看的视频的屏幕的区域是外科医生的注视位置。数据处理装置104使用合适的图像辨别技术(如本领域中已知)检测图像中的相关对象(包括任意感兴趣的区域)和每个图像在屏幕上的位置。当外科医生在屏幕上的注视位置(如通过眼部行为监测装置101确定的)与所检测的对象在屏幕上的位置重叠时，确定外科医生正在观看所检测的对象。
[0114]
例如，基于其中使用合适的机器学习算法对图像(例如，肺部、动脉等)进行分类的之前完成的机器学习过程，通过数据处理装置104可辨别外科医生视野内的对象(具体地，感兴趣的区域，例如，患者的肺部或动脉)。由此，基于之前机器学习分类可以检测患者的新捕获图像中的对象。一旦检测到对象，则确定(使用眼部行为数据)外科医生的注视位置何时与所检测的对象的位置重叠。当存在该重叠时，确定外科医生正在观看所检测的对象。当不存在该重叠时，确定外科医生未观看所检测的对象。如此，能够确定诸如在所检测的对象(例如，感兴趣的区域)上的停留时间和固定频率等眼部行为参数。
[0115]
在实施方式中，能够对眼部行为监测装置101与用户界面115进行组合。例如，用户界面115可以包括在其上显示手术治疗的图像(通过外部或内部相机系统110、111捕获的)的显示器(例如，触摸屏或hmd形式)。将眼部行为监测装置101(包括用于捕获外科医生的眼部的视频图像的另一相机，以获得眼部跟踪和瞳孔监测数据)安装在相对于显示器的适当位置中，以在其查看所显示的图像时对外科医生的眼部进行监测。
[0116]
图3示出了其中外科医生300正在穿戴hmd设备301的示例性实施方式。外科医生在执行手术时穿戴hmd设备301，以在其控制手术机器人109的臂109a和109b对患者执行手术治疗时查看患者体内的图像(如通过内部相机系统111捕获的)。示出了由hmd设备301显示给外科医生的图像305。hmd设备301除了包括显示图像305的显示器之外。hmd设备301还包括眼部行为监测装置101。这允许确定外科医生在任意给定时间正在观看的所显示图像的位置。
[0117]
将图像305划分成多个部分303。每个部分303表示记录外科医生正在观看的图像305的一部分。在本实施例中，已经对区域304进行检测。区域304由多个图像部分303构成，已经检测外科医生相对于这些部分的眼部移动指示所确定的潜在错误事件的错误可能性
已经超过能接受的错误可能性。因此，发起其中在图像305中高亮区域304的干涉治疗(例如，如ar重叠)。这向外科医生警报其眼部移动指示患者身体区域在区域304内出现的错误的风险为不能接受的高。该干预治疗可能伴随一个或多个其他干预治疗(诸如，触觉馈送的听觉警告等)。
[0118]
例如，如果外科医生在该区域上的停留时间为不能接受的低或如果在该区域上的固定频率为不能接受的低，则高亮区域304。在实施例中，将区域304与潜在错误事件相关联，并且因此，与所确定的错误可能性进行比较的能接受错误可能性是该潜在错误事件的能接受错误可能性。即使其包含与该潜在错误事件相关联的感兴趣区域，区域304也可以与潜在错误事件相关联。例如，如果治疗是心脏移植的阶段1并且在区域304内检测到患者的肺部(作为感兴趣的区域)，则确定与区域304相关联的潜在错误事件是“肺部损伤”。基于外科医生的眼部行为数据，如果所确定的错误可能性超过“肺部损伤”的能接受的错误可能性(例如，根据图2，为0.25)，则发起与“肺部损伤”相关联的干预治疗。另一方面，如果患者的动脉包含在区域304中，则确定与区域304相关联的潜在错误事件是“动脉损伤”。基于外科医生的眼部行为数据，如果所确定的错误可能性超过“肺部损伤”的能接受的错误可能性(例如，根据图2，为0.25)，则发起与“肺部损伤”相关联的干预治疗。
[0119]
图4a和图4b示出了心脏移植的阶段1过程中的示例性干预治疗的更为详细的演示。出于阐述说明之缘故，仅考虑了外科医生的停留时间的单一眼部行为参数并且用于确定各个潜在错误事件(在这种情况下，为“肺部损伤”和“动脉损伤”)的错误可能性。然而，应当认识到，现实中，同时监测多个不同的眼部行为参数并且用于确定各个潜在错误事件的错误可能性。
[0120]
在这种情况下，外科医生计划在位于患者的肺部400与动脉404之间的位置402处做出切口。外科医生经由显示肺部400、动脉404、以及切口位置402的图像401的用户界面115的显示而查看治疗。跟踪外科医生的眼部，以确定外科医生在图像401的不同区域上(例如，类似图3中的部分303，在对图像401进行划分的各个区域上)的停留时间。区域403指示具有能接受的停留时间的区域(例如，停留时间在预定的停留时间阈以上)。区域403包括肺部400、而非动脉404。因此，所确定的错误可能性在潜在错误事件“肺部损伤”的能接受错误可能性以下。然而，所确定的错误可能性在潜在错误事件“动脉损伤”的能接受错误可能性以上。在这种情况下，为易于说明，假设各个潜在错误事件“肺部损伤”与“动脉损伤”的预定停留时间阈是相同的。
[0121]
响应此，完成干预治疗。在这种情况下，干预治疗包括：转播对动脉404的增强现实投影405，以向外科医生警报其损伤动脉404的可能性为不能接受的高。图4b中对此进行了示出。因此，在发生之前让外科医生意识到潜在的错误并且能够对其实践进行调整，以确保其对动脉以及肺部提供足够的停留时间，因此，解决潜在的错误并且减少其发生的可能性。
[0122]
图5a和图5b示出了其中通过涉及切口路径的自动调整的干预治疗而避免子表面血管损伤的“心脏移植”治疗的阶段3的实施例。在这种情况下，外科医生沿着预计划的预测切口路径502a做出切口501。外科医生经由所显示的图像500查看手术部位。外科医生使用由手术机器人109握持的手术刀503进行此操作。外科医生控制机器人移动手术刀503，以做出切口。已经检测到，预测路径502a包括子表面血管504。手术刀充分接近于子表面血管(即，小于预定距离)，以使得数据处理装置104确定外科医生未注意到子表面血管并且因此
子表面血管可能突然变得严重。响应此，如图5b中所示，自动调整所预测的切口路径502a，以提供避免子表面血管504的新切口路径502b。例如，根据调整所预测的切口路径502a、以达到外科医生的新切口路径502b和/或预配置喜好的程度，调整预测路径的干预可能伴随其他干预(例如，如图2中指出的，ar错误可视化和触觉警告)。
[0123]
应当认识到，所讨论的干预治疗仅是实施例并且设想了其他干预治疗。例如，ar投影除了识别具有不能接受的高确定错误可能性的区域，ar投影还可以向外科医生提供额外的信息，以帮助建议为什么发起干预治疗并且能够做什么而使得所确定的错误可能性返回至能接受的水平。例如，如果干预治疗包括：显示ar投影，则ar投影除了指示和潜在错误事件相关联的图像的一部分之外，ar投影还可以(例如，使用文本或预定颜色编码方案)向外科医生指示为什么已经示出ar投影。例如，如果由于停留时间不足而显示ar投影，则提供消息“停留时间不足”作为ar投影的一部分。可替代地或此外，如果由于固定频率不足而显示ar投影，则提供消息“固定频率不足”作为ar投影的一部分。例如，其他干预治疗包括：向另一人(例如，另一外科医生)或外科医生向其寻求帮助的ai(人工智能)助理发出警报或甚至将控制传递至操纵手术治疗的另一人(例如，经验更为丰富的外科医生)，直至完成发现所确定的错误可能性是不能接受的阶段。例如，在手术训练中，该系统可能是有用的。
[0124]
在实施方式中，除了基于外科医生的眼部行为数据提供干预治疗之外，在开始手术治疗之前(例如，使用外科医生的眼部行为与能力和/或信任度之间的已知关系)，外科医生的眼部行为数据还能够用于确定外科医生的当前能力和/或信任度。然后，基于外科医生的确定能力和/或信任度确定其中完成手术治疗的阶段的顺序(对于可能出现此情况的治疗)。
[0125]
例如，在开始治疗之前，从各个角度向外科医生显示手术治疗的之前实例中的各个阶段的图像并且在外科医生查看这些图像的同时采集外科医生的眼部行为数据。响应该眼部行为数据的分析，数据处理器104确定可能与更高错误可能性有关的相关手术视线区域。如果可能(根据治疗的类型)，指示外科医生完成涉及与首先完成的更低错误可能性相关联的区域的治疗阶段。这有助于为治疗提供成功的开始。这有助于建立外科医生的工作流程并且提高其在治疗的后期及更艰难阶段的信任度(与更高的错误可能性相关联)。例如，数据处理装置104通过基于例如外科医生的眼部行为数据确定各个阶段的错误可能性并且按照最低错误可能性至最高错误可能性的顺序对阶段进行排序而确定治疗的阶段的顺序(对于可能出现此情况的治疗)。然后，按照通过该排序确定的顺序完成阶段(以使得具有成功的更高错误可能性的阶段在与先出现最低错误可能性的阶段之后)。
[0126]
在实施方式中，当外科医生通过查看使用用户界面115的显示器而显示的图像完成治疗并且所确定的错误可能性超过给定的潜在错误事件的能接受错误可能性时，数据处理装置可以控制用户界面115显示与不能接受的高错误可能性相关联的显示图像的区域的特写(即，放大)版本(例如，图像401中的部分包括图4a和图4b中的动脉404或者图像500中的部分包括图5a和图5b中的子表面血管504)。当显示被放大的图像时，采集外科医生查看被放大的图像时的眼部行为数据。这能够使得确定与不能接受的高错误可能性相关联的放大图像内的子区域。
[0127]
当所显示的视野足够宽时，这允许确定不能接受的高错误可能性的具体原因，以使得不能接受的高错误可能性具有多个潜在原因。例如，当显示包括肺部400和动脉401的
图像401时，则难以从特定的眼部行为参数(例如，高扫视距离和/或速率)确定所确定的错误可能性是否与肺部或动脉相关联。通过显示(a)包含肺部400的图像401的区域和(b)包含动脉404的图像401的区域的连续放大图像，并且在其查看放大图像时对各个连续显示的放大图像执行外科医生的进一步眼部行为分析，可以将不确定性的来源缩小至肺部400或动脉404(例如，如果在显示肺部400的放大图像时、而非在显示动脉404的放大图像时保持高扫视距离和/或速率，则确定与高扫视距离和/或速率相关联的不能接受的高错误可能性和肺部400、而非动脉404有关)。这能够为外科医生提供更宽的手术视野(以能够使得外科医生同时监测更多数量的事件)，同时，允许更准确地确定任意不能接受的高错误可能性的来源。
[0128]
在实施方式中，当基于外科医生的眼部行为数据使所显示的图像的区域与不能接受的高错误可能性相关联时，能够显示具有不同视觉特征(例如，错误颜色、线、阴影等的不同应用)的图像(或至少与高的错误可能性相关联的图像的区域)，以尝试为外科医生提供更清晰的图像(即，更易于使外科医生理解发生什么的图像)。能够对用户界面115(由数据处理装置104控制)的显示图像(或相关图像区域)连续应用多个不同的预定视觉特征(图像效果)。在应用各种图像效果之后，采集外科医生的眼部行为数据，以确定错误可能性是否由于该应用的效果而减少。相关联的眼部行为数据的不同效果与采集的连续显示是干预治疗的另一实施例(具体地，其表示依赖于外科医生完成手术治疗的用户界面115的屏幕上所显示的图像的调整)。这允许对图像(或相关图像区域)连续应用各种预定效果，直至错误可能性减少至能接受的水平。如果没有效果导致错误可能性充分减少，则可以发起另一干预治疗。将多种不同的图像效果应用于图像而使得外科医生更易于理解图像并且因此减少与图像相关联的错误可能性允许在应用更为侵入性的干预治疗之前潜在地校正不能接受的高错误可能性(例如，暂停显示图像或暂停手术机器人109的操作)。这有助于减少外科医生工作流程的中断。
[0129]
图6示出了根据本技术的实施方式的方法。方法从步骤600开始。在步骤601，确定手术治疗的类型(例如，心脏移植)。例如(如之前所述的)，在开始治疗之前，由外科医生使用用户界面115手动选择此类型。在步骤602，在治疗过程中，确定治疗的当前阶段(例如，心脏移植的阶段1、阶段2、或阶段3)。例如(如之前所述的)，由数据处理装置104基于图像辨别自动完成此操作。在步骤603，确定与手术治疗的确定阶段(例如，对于心脏移植的阶段1，为“肺部损伤”)相关联的潜在错误事件中的第一个潜在错误事件的错误可能性。在步骤604，确定所确定的潜在错误事件的错误可能性是否超过该潜在错误事件的能接受错误可能性。
[0130]
在步骤604，如果所确定的错误可能性不超过能接受的错误可能性，则方法进行至步骤609，其中，确定当前手术阶段是否结束。如果当前手术阶段未结束，则方法进行至步骤605，其中，选择与手术治疗的当前阶段相关联的下一个潜在错误事件(例如，对于心脏移植的阶段1，为“动脉损伤”)。然后，方法返回至步骤603，其中，确定所选择的下一个潜在错误事件的错误可能性。如果当前手术阶段结束，则方法进行至步骤610，其中，确定治疗是否结束。如果治疗未结束，则方法返回至步骤602，以使得确定下一个手术阶段(例如，如果阶段1结束，则为心脏移植的阶段2，或者如果阶段2结束，则为心脏移植的阶段3)。然后，在步骤603，确定下一个手术阶段的第一个潜在错误事件的错误可能性。在步骤611，如果治疗结束，则方法结束。
[0131]
在步骤604，如果所确定的错误可能性不超过能接受的错误可能性，则方法进行至步骤606，其中，确定患者是否处于危险条件。如果患者处于危险条件，则方法进行至步骤607，其中，当患者处于危险条件时，则执行被预配置为进行的干预治疗。如果确定患者不处于危险条件，则方法进行至步骤608，其中，当患者不处于危险条件时，执行被预配置为进行的干预治疗。然后，治疗进行至步骤609。
[0132]
尽管上述所述实施方式涉及基于所获得眼部行为数据确定外科医生作出错误的可能性，然而，应当认识到，本原理可以延伸至任意参数(干预参数)，其中，基于外科医生的眼部行为可以确定参数的值，并且基于此可以确定干预治疗。例如，干预参数可以指示外科医生的经验水平或疲劳水平。在眼部行为数据指示外科医生的经验水平的情况下，可以对经验较少的外科医生(例如，指示外科医生的经验的确定干预参数小于预定阈的外科医生)、而非对经验丰富的外科医生(例如，指示外科医生的经验的确定干预参数大于预定阈的外科医生)实施干预治疗。同样，在眼部行为数据指示外科医生的疲劳水平的情况下，可以对更为疲劳的外科医生(例如，指示外科医生的疲劳的确定干预参数大于预定阈的外科医生)、而非对较不疲劳的外科医生(例如，指示外科医生的疲劳的确定干预参数小于预定阈的外科医生)实施干预治疗。指示外科医生的错误可能性的参数、外科医生的经验水平、和/或外科医生的疲劳水平全部是干预参数的实施例。
[0133]
图7示出了根据实施方式的由数据处理装置104实施的方法的流程图。方法从步骤700开始。在步骤701，通信接口107从眼部行为监测装置101接收眼部行为数据。在步骤702，通信接口107接收由一个或多个手术数据生成装置109至115生成的手术数据。在步骤703，处理器105使用所获得的眼部行为数据确定与手术治疗相关联的干预参数的值。在步骤704，处理器105使用所生成的手术数据确定干预参数的值的能接受范围。在步骤705，确定所确定的干预参数的值是否在所确定的干预参数的值的能接受范围之外。如果否，则方法在步骤707结束。如果是，则方法进行至步骤706，其中，通信接口107输出信号而控制手术干预装置(例如，用户界面115或手术机器人109)执行用于干预外科医生执行手术治疗的干预治疗。然后，方法在步骤707结束。
[0134]
在实施方式中，替代或除给定治疗类型和阶段的干预类型之外，可以使用指示患者的条件的(例如，危险或非危险)的手术数据(例如，来自患者监测系统112的数据)来确定能接受的错误可能性(或更一般地，干预参数的能接受范围)。例如，相比于非危险的患者，危险患者的能接受的错误可能性可能更高(由此允许外科医生有更多的自主性)。应当认识到，可以同过任意合适的方式使用指示患者的条件的手术数据，以确定干预治疗的类型和何时实施该干预治疗。
[0135]
通过下列编号条款限定本技术的一些实施方式：
[0136]
(1)一种手术支持系统，包括：
[0137]
眼部行为监测装置，能操作以监测执行手术治疗的外科医生的眼部行为，以获得外科医生的眼部行为数据；
[0138]
手术数据生成装置，能操作以生成与由外科医生执行的手术治疗相关联的手术数据；
[0139]
手术干预装置，能操作以执行用于干预外科医生执行手术治疗的干预治疗；以及
[0140]
数据处理装置，能操作以：
[0141]
使用所获得的眼部行为数据确定与手术治疗相关联的干预参数的值；
[0142]
使用所生成的手术数据确定干预参数的值的能接受范围；并且
[0143]
如果所确定的干预参数的值在所确定的干预参数的值的能接受范围之外，则控制手术干预装置执行用于干预外科医生执行手术治疗的干预治疗。
[0144]
(2)根据第(1)款所述的手术支持系统，其中，眼部行为数据是瞳孔监测数据和眼部跟踪数据中的一项。
[0145]
(3)根据第(1)款或第(2)款所述的手术支持系统，其中，干预参数指示外科医生在手术治疗中出现错误的可能性并且干预参数的值的能接受范围指示外科医生在手术治疗中出现错误的能接受可能性。
[0146]
(4)根据第(3)款所述的手术支持系统，其中，数据处理装置能操作以：
[0147]
将所获得的外科医生的眼部行为数据和与外科医生在手术治疗中出现错误的预定可能性相关联的预定眼部行为数据进行比较；
[0148]
使用与预定眼部行为数据相关联的预定可能性以及所获得的外科医生的眼部行为数据与预定眼部行为数据之间的比较的结果确定外科医生在手术治疗中出现错误的可能性。
[0149]
(5)根据第(4)款所述的手术支持系统，其中，所生成的手术数据指示手术治疗的类型、手术治疗的当前阶段、以及手术治疗的患者的当前条件中的至少一项。
[0150]
(6)根据第(5)款所述的手术支持系统，其中，数据处理装置能操作以使用所生成的手术数据选择预定眼部行为数据。
[0151]
(7)根据(5)款所述的手术支持系统，其中，使用所生成的手术数据选择干预治疗。
[0152]
(8)根据第(3)款至第(7)款中任一项所述的手术支持系统，其中，干预治疗包括：输出指示所确定的外科医生在手术治疗中出现错误的可能性超过外科医生的外科医生在手术治疗中出现错误的能接受可能性的警报信号。
[0153]
(9)根据第(8)款所述的手术支持系统，其中，警报信号是其上显示手术图像的显示器上所显示的视觉指示。
[0154]
(10)根据第(9)款所述的手术支持系统，其中，将视觉指示叠加在手术图像中感兴趣的区域的附近。
[0155]
(11)根据第(3)款至第(10)款中任一项所述的手术支持系统，其中，干预治疗包括：将调整信号提供至由外科医生使用的手术装置，以执行手术治疗中的手术功能，以控制手术装置对所执行的手术功能进行调整而预先制止手术治疗中出现错误。
[0156]
(12)根据第(3)款至第(11)款中任一项所述的手术支持系统，其中，所述数据处理装置能操作以：
[0157]
使用所获得的眼部行为数据确定外科医生的视野区域，外科医生的视野区域与已经被确定可能性的错误相关联；并且
[0158]
基于所确定的所述外科医生的所述视野区域的特征确定所述干预治疗。
[0159]
基于所确定的外科医生的视野区域的特征确定干预治疗。
[0160]
(13)根据第(12)款所述的手术支持系统，其中，数据处理装置能操作以：
[0161]
输出表示外科医生的视野区域的图像进行显示，以供外科医生查看；
[0162]
当外科医生查看所显示的图像时，控制眼部行为监测装置获得外科医生的进一步
眼部行为数据；并且
[0163]
使用外科医生的进一步眼部行为数据确定干预治疗。
[0164]
(14)根据第(13)款所述的手术支持系统，其中，数据处理装置能操作以：
[0165]
使用所获得的进一步眼部行为数据确定外科医生的视野区域的子区域，外科医生的视野区域的子区域与已经被确定可能性的错误相关联；并且
[0166]
基于所确定的外科医生的视野区域的子区域的特征确定干预治疗。
[0167]
(15)根据第(3)款至第(14)款中任一项所述的手术支持系统，其中，数据处理装置能操作以：
[0168]
使用所获得的眼部行为数据确定外科医生的视野区域，外科医生的视野区域与已经被确定可能性的错误相关联；
[0169]
输出表示外科医生的视野区域的图像进行显示，以供外科医生查看；并且
[0170]
当外科医生查看所显示的图像时，控制眼部行为装置获得外科医生的进一步眼部行为数据；
[0171]
其中，干预治疗包括：调整所显示的图像的显示特征并且使用外科医生的进一步眼部行为数据确定所调整的显示特征，以减少与外科医生的野区域相关联的错误的可能性。
[0172]
(16)一种用于手术支持系统的数据处理装置，手术支持系统包括：眼部行为监测装置，能操作以监测执行手术治疗的外科医生的眼部行为，以获得外科医生的眼部行为数据；手术数据生成装置，能操作以生成与由外科医生执行的手术治疗相关联的手术数据；以及手术干预装置，能操作以执行用于干预外科医生执行手术治疗的干预治疗，其中，数据处理装置包括电路，被配置为：
[0173]
接收所获得的眼部行为数据；
[0174]
接收所生成的手术数据；
[0175]
使用所获得的眼部行为数据确定与手术治疗相关联的干预参数的值；
[0176]
使用所生成的手术数据确定干预参数的值的能接受范围；并且
[0177]
如果所确定的干预参数的值在所确定的干预参数的值的能接受范围之外，则输出信号，以控制手术干预装置执行用于干预外科医生执行手术治疗的干预治疗。
[0178]
(17)一种操作手术支持系统的方法，手术支持系统包括：眼部行为监测装置，能操作以监测执行手术治疗的外科医生的眼部行为，以获得外科医生的眼部行为数据；手术数据生成装置，能操作以生成与由外科医生执行的手术治疗相关联的手术数据；以及手术干预装置，能操作以执行用于干预外科医生执行手术治疗的干预治疗，其中，方法包括：
[0179]
接收所获得的眼部行为数据；
[0180]
接收所生成的手术数据；
[0181]
使用所获得的眼部行为数据确定与手术治疗相关联的干预参数的值；
[0182]
使用所生成的手术数据确定干预参数的值的能接受范围；并且
[0183]
如果所确定的干预参数的值在所确定的干预参数的值的能接受范围之外，则输出信号，以控制手术干预装置执行用于干预外科医生执行手术治疗的干预治疗。
[0184]
(18)一种用于控制计算机执行根据第(17)款所述的方法的程序。
[0185]
(19)一种存储根据第(18)款所述的程序的存储介质。
[0186]
根据上述教导，本公开的多种改造与变形是可能的。因此，应当理解的是，在所附权利要求的范围内，可以同此处具体所述之外的其他方式实施本公开。
[0187]
迄今为止，将本公开的实施方式描述为至少部分由软件控制的数据处理装置实施，应当认识到，承载诸如光盘、磁盘、半导体存储器等该软件的非易失性计算机可读介质也被视为表示本公开的实施方式。
[0188]
应当认识到，出于清晰起见，上面已经参考不同的功能单元、电路、和/或处理器对实施方式进行了描述。然而，显而易见，在不偏离实施方式的情况下，可以使用不同功能单元、电路和/或处理器之间的功能的任意合适分布。
[0189]
可以通过包括硬件、软件、估计、或其任意组合的任意合适形式实时所描述的实施方式。可选地，所描述的实施方式可以至少部分实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。可以通过任意合适的方式对任意实施方式的元件和部件进行物理、功能、以及逻辑实施。缺失，可以在单一单元、多个单元、或作为其他功能单元的一部分实施功能。因此，所公开的实施方式可以在单一单元中实施或可以物理并且功能地分布在不同的单元、电路、和/或处理器之间。
[0190]
尽管已经结合一下实施方式对本公开进行了描述，然而，其并不旨在局限于此处阐述的具体形式。此外，尽管看似可以结合具体实施方式对特征进行描述，然而，本领域技术人员应当认识到，可以通过适合于实时技术的任意方式对所描述的实施方式的各种特征进行组合。
[0191]
参考文献
[0192]
npl 1：tien,t.,pucher,p.h.,sodergren,m.h.et al.surg endosc(2015)29:405.https://doi.org/10.1007/s00464
‑
014
‑
3683
‑7[0193]
npl 2：tim stockdale“world’s first study of rider’s eye movements could reveal the key to show jumping success”http://www.timstockdale.com/worlds
‑
first
‑
study
‑
of
‑
riders
‑
eye
‑
movements
‑
could
‑
reveal
‑
the
‑
key
‑
to
‑
show
‑
jumping
‑
success/
[0194]
npl 3：suny downstate medical center."novice pilots improve visual responses to simulation by watching experts'eye movements:eye movements reliably distinguish between novice and expert military pilots."sciencedaily.sciencedaily,27november 2017.<www.sciencedaily.com/releases/2017/11/171127152038.htm>