本公开涉及图像引导程序(imageguidedprocedures)。更确切地说，本公开涉及图像引导程序中的自动化工作流程(automatedworkflow)和程序指导(procedureguidance)。
背景技术：
：：手术间通常是复杂拥挤的环境，其中多个护理人员和多件复杂设备围绕被给镇静剂且无法移动的患者来执行手术护理。在微创手术程序期间也是如此，其中护理人员依赖复杂的医学成像装置和图形显示器来监测手术程序的过程和性能，而不需要在患者体内进行大切口来提供直接视觉检查和指导。目前已知或者建议在手术间中采用音频和视频系统，尽管这些系统在功能和使用方面有限。手术间中的视频相机现已用于外部通信，例如用于教育、培训或示范目的。如果后期发生责任索赔，则视频相机也作为所述手术程序的客观记录，以供参考使用。音频和视频系统已经进一步用于手术程序之间视频会议中，以便进行会诊。已经进一步建议使用基于音频的命令系统来通过限制护理提供者与医疗装置之间的物理交互来提高手术间中的无菌性。然而，可以改进手术程序性能、医疗装置与这些装置的临床医生用户之间的集成以及手术间所在医院内人员和资源的管理，但是需要更多地利用和集成手术间音频和视频资源。技术实现要素：在用于图像引导手术程序的工作流程辅助系统的示例性实施例中，一种介入成像系统操作地相对于患者移动。所述介入成像系统在手术程序期间进一步操作地采集所述患者的介入图像。监测系统围绕手术间布置。所述监测系统产生监测数据。工作流程控制器处理所述监测数据以在所述监测数据中识别和定位监测对象。监测对象包括所述手术间内的临床医生、所述患者、所述介入成像系统和医疗设备。所述工作流程控制器基于对所述监测数据的分析向所述介入成像系统提供操作命令。在工作流程辅助方法的示例性实施例中，获得监测数据。所述监测数据包括手术程序期间来自布置在手术间中的多个相机的图像数据。使用介入成像系统获得患者的介入图像。在所述监测数据中识别监测对象。所述监测对象包括所述手术间内的临床医生，所述患者，所述介入成像系统和医疗设备。所述监测对象基于所述监测数据定位在所述手术间内。基于所定位的监测对象将操作命令提供给所述介入成像系统。具体地，本申请技术方案1涉及一种用于图像引导手术程序的工作流程辅助系统，所述工作流程辅助系统包括：介入成像系统，所述介入成像系统在手术程序期间操作地相对于患者移动并且采集介入图像；围绕手术间布置的监测系统，所述监测系统生成监测数据；以及工作流程控制器，所述工作流程控制器处理所述监测数据以基于所述监测数据来识别和定位监测对象，所述监测对象包括位于所述手术间内的人员，所述患者，所述介入成像系统和医疗设备，并且基于所述监测数据的分析向所述介入成像系统提供操作命令。本申请技术方案2涉及根据技术方案1所述的工作流程辅助系统，其中提供给所述介入成像系统的所述操作命令是移动命令，以避免所述介入成像系统与所述手术间内的所述患者，人员和医疗设备之间发生碰撞。本申请技术方案3涉及根据技术方案1所述的工作流程辅助系统，其中所述监测系统包括多个相机，并且所述监测数据包括来自所述多个相机的图像数据。本申请技术方案4涉及根据技术方案3所述的工作流程辅助系统，其中所述多个相机包括至少一个遥摄-倾斜-变焦相机，深度相机或热相机。本申请技术方案5涉及根据技术方案3所述的工作流程辅助系统，其中所述工作流程控制器进一步接收关于所述手术间，医疗设备，介入成像系统或人员的静态配置数据，并且处理所述监测数据和所述静态配置数据，以识别两个或更多个监测对象之间的交互。本申请技术方案6涉及根据技术方案3所述的工作流程辅助系统，其中所述监测系统进一步包括多个传声器，并且所述监测数据包括音频数据。本申请技术方案7涉及根据技术方案3所述的工作流程辅助系统，其中所述工作流程控制器从所述图像数据中识别所述介入成像系统和所述人员的位置和动作。本申请技术方案8涉及根据技术方案7所述的工作流程辅助系统，其中所述工作流程控制器包括学习引擎，所述学习引擎处理来自先前手术程序的监测数据以解释在所述手术程序期间采集的所述监测数据。本申请技术方案9涉及根据技术方案3所述的工作流程辅助系统，其中所述工作流程控制器从所述监测数据中识别所述介入成像系统和所述临床医生的位置和动作，并且从所识别的位置和动作中识别手术程序事件。本申请技术方案10涉及根据技术方案9所述的工作流程辅助系统，进一步包括连到医院信息系统的链路，并且所述工作流程控制器自动地记录所识别手术程序事件和所识别动作的手术事件日志。本申请技术方案11涉及根据技术方案10所述的工作流程辅助系统，其中所述医院信息系统根据所述手术事件日志预测手术程序持续时间。本申请技术方案12涉及根据技术方案11所述的工作流程辅助系统，其中所述医院信息系统基于所预测的手术程序持续时间来调整所述手术间的使用时间表。本申请技术方案13涉及根据技术方案9所述的工作流程辅助系统，其中所述工作流程控制器从所述医院信息系统获得至少一个程序准则，并且将所述程序准则与所述临床医生的所识别位置和动作以及所识别的手术程序事件进行比较，以评估所述手术程序并且创建临床医生指导。本申请技术方案14涉及根据技术方案3所述的工作流程辅助系统，其中所述监测系统进一步包括与临床医生相关联的至少一个可穿戴装置。本申请技术方案15涉及根据技术方案14所述的工作流程辅助系统，其中所述可穿戴装置是剂量计，并且所述工作流程控制器获得所述介入成像系统的辐射级数据，计算所述临床医生接收的辐射剂量，并且为所述临床医生生成关于剂量减轻的指导。本申请技术方案16涉及一种工作流程辅助方法，包括：获得监测数据，所述监测数据包括手术程序期间来自分布在手术间中的多个相机的图像数据；使用介入成像系统获得患者的介入图像；在所述监测数据中识别监测对象，所述监测对象包括所述手术间内的临床医生，所述患者，所述介入成像系统和医疗设备；从所述监测数据中定位所述手术间内的所述监测对象；以及基于所定位的监测对象将操作命令提供给所述介入成像系统。本申请技术方案17涉及根据技术方案16所述的方法，进一步包括：从所述图像数据和所述音频数据中识别临床医生动作；以及从所述图像数据，介入图像，音频数据和临床医生动作中识别手术程序事件。本申请技术方案18涉及根据技术方案17所述的方法，进一步包括：将所述临床医生动作和所述手术程序事件记录在自动化手术程序日志中；以及从所述临床医生动作和手术程序事件中估计所述手术程序的持续时间。本申请技术方案19涉及根据技术方案17所述的方法，其中所述监测数据进一步包括音频数据并且进一步包括：从分布在所述手术间中的多个传声器获得音频数据。本申请技术方案20涉及根据技术方案17所述的方法，进一步包括：检索至少一个程序准则；将所述程序准则与所述临床医生动作和所述手术程序事件进行比较；从所述比较中生成所述手术程序的评估；以及基于所述评估向至少一个临床医生提供指导。附图说明图1示出手术间的示例性实施例。图2是计算机视觉工作流程辅助系统的示例性实施例的系统图。图3是图像引导程序的集成输入工作流程助手的示例性实施例的更详细方框图。图4示出具有自动化对象检测结果的手术间视图。图5示出具有自动化对象检测结果的示例性视频图像数据的另一个视图。图6a和图6b示出自动化手术日志的两个示例性实施例。图7示出手术间调度的视觉显示的示例性实施例。图8a-8c是可由系统实施例使用的手术间和设备图解数据的示例性实施例。具体实施方式由于手术程序多样性及程序专用设备的增加，图像引导医疗程序在房间内的调度，功能操作和装置交互方面的可预测性降低。另外，程序、患者/病例护理的个别化以及医务人员技能培训的专门化进一步促进手术程序中人员、技能和设备的潜在组合。在此复杂性日益增加的背景下，手术护理提供者必须确保患者和手术人员的安全，同时通过改进程序、医疗技术集成并且遵守协议来改善患者护理。还必须通过高效使用医院资源，包括房间、设备和员工来以控制成本的方式提供安全优质的护理。本说明书中进一步详细描述的工作流程辅助系统的示例性实施例将布置并在手术间内操作的计算机视觉系统与用于图像引导医疗程序的机器人介入成像系统相组合。通过此组合，所述工作流程辅助系统能够防止介入成像系统与位于手术间中的患者、医务人员或其他设备碰撞。所述机器人介入成像系统的移动可以适应手术间的物理环境以及患者、医务人员和其他医疗设备的当前位置。所述介入成像系统的性能和控制可以根据各个医务人员成员、患者位置以及其他医疗装置相对于介入成像系统的位置、角色和动作来情境化。患者和手术区域周围的无菌区域可以通过本说明书中所公开的实施例增强，方法是通过识别和解释临床医生动作来促使临床医生与复杂手术设备之间进行无接触交互。医务人员动作可以自动识别、解释和记录在程序日志中。可以通过对程序阶段和持续时间进行程序内预测来增强手术间和人员调度。此外，所述工作流程辅助系统可以对照对比性公认医疗实践或准则在程序内或程序后提供一致性检查和辅助或指导。关于这些优势和特征的细节将在本说明书中参照附图进一步详细描述。图1示出手术间10的示例性实施例。多个临床医生12a-d在手术间10内工作以手术治疗患者14。临床医生12a-d可以示例性地包括麻醉医师/麻醉师12a、主刀医生(和/或介入放射科医师或心脏病专家)12b以及护士或其他支持人员12c、12d。患者14由手术台(table)16支撑，所述手术台16可操作地以六度自由度示例性地移动平移和旋转患者，以相对于手术间10内的医疗设备和临床医生来定位患者14。所述手术间包括临床医生12a-d用于手术治疗患者14的各种医疗设备。麻醉医师/麻醉师12a使用麻醉剂给药机(anesthesiadeliverymachine)18为患者14给镇静剂并且使其无法移动。介入成像系统20示例性地用于采集患者手术部位的程序内图像。在示例性实施例中，所述介入成像系统20包括成像装置24，所述成像装置示例性地是安装在c形臂22上的x射线装置，所述c形臂操作地相对于患者14定位成像装置24。将认识到，可以使用其他成像系统作为图1中所示x射线机的替代或附加。可以包括但不限于可以进一步提供从患者14体内采集的手术部位图像的内窥镜、超声波或ct。手术间10进一步包括多个显示器25，适于和布置成呈现患者的医学图像，包括但不限于从介入成像系统20获得的医学图像。显示器25还可以适配成呈现其他医学数据，例如术前实验室结果，程序计划，标准操作程序和检查清单。应认识到，在实施例中，介入成像系统20可以产生静态图像或动态图像，例如荧光透视图像。介入成像系统20所产生的图像可以在向患者引入或者不引入一种或多种造影剂以促进成像的情况下完成。这些图像以及通过之前成像程序或由此开发的模型获取的其他患者图像也可以呈现在图形显示器26上。如本公开中进一步详述，手术间10设置有围绕手术间10布置的多个相机，以便采集手术间10内人员、设备和活动的程序内图像。所述相机示例性地包括遥摄-倾斜-变焦(ptz)相机28，所述ptz相机可以示例性地安装在手术间10的天花板上。ptz相机是可控制的以提供相机视图遥摄、相机定向倾斜以及放大相机视图内某个区域的功能。包括在手术间10中的相机还可以包括一个或多个深度相机30。所述深度相机30设置有两个或更多个相机传感器从而以此提供立体以及范围、定位或位置确定能力。在深度相机30的另一个实施例中，基于红外(ir)光的相机与rgb可见光相机相组合以提供深度确定功能。其他深度感测相机只需要使用与飞行时间测量能力例如光检测和测距(lidar)相组合的一个相机传感器。此外，可以在手术间10内提供热成像相机32。热成像相机32可以提供患者或临床医生的位置信息，特别是其他相机图像中的患者可能被护罩和/或毯子遮盖，而临床医生或临床医生各部分(例如手臂、手部、头部)的确切位置可能被临床医生穿戴的防护服遮盖。手术间10可以进一步包括将设备以可铰接方式安装在其上的一个或多个吊杆(boom)34。例如，灯36可以安装到吊杆34。相机38可以进一步与灯36结合安装，并且能够与吊杆34铰接在一起。通过所述方式，沿用于照亮手术区域的光线方向为相机38提供视域。在本说明书中进一步详细描述的额外示例性实施例中，一个或多个传声器进一步布置在手术间10内。传声器40示例性地可以是定向传声器，并且还可以结合灯36和相机38一起安装，使得所述定向传声器40指向手术部位。此外，传声器42可以围绕手术间10布置。通过使用两个或更多个传声器，可以在所录制音频数据中识别扬声器的方向和位置。除了对医疗装置采用基于音频的指令或命令的系统设计之外，如本说明书中进一步详细描述，所述传声器可以提供关于手术程序期间的临床医生动作或者所述程序的进度的额外背景信息。此外，如图1所示，用户界面44可以布置在一个或多个临床医生12a-d可接近的位置处，并且配置成接收临床医生输入，以控制医疗装置、手术台16或者医学图像数据在一个或多个图形显示器26上的显示。另外，在手术程序期间，患者14和临床医生12a-d附近设有一个或多个手术用品托盘或容器46。所述手术用品可以包括可重复使用的器械，但是也可以包括消耗品和/或可植入用品，包括海绵、纱布、导管、导丝、支架、螺钉或所属领域中的普通技术人员将认识到的其他用品。图2是工作流程辅助系统50的示例性实施例的系统图。工作流程辅助系统50包括计算机视觉系统52，所述计算机视觉系统以通信方式连接到一个或多个相机，包括ptz相机28和/或深度相机30。所述计算机视觉系统可以示例性地实施于具有通用处理单元的专用计算机上，或者可以集成到其他医院计算机系统中并且在另一个医院计算系统内操作。计算机视觉系统52接收静态配置数据54，所述静态配置数据帮助所述计算机视觉系统分析和解释从相机28、30获得的图像数据。静态配置数据54可以包括关于手术间和/或位于手术间内的各种已知设备的几何结构信息。图8a-8c示例性地以工作流程辅助系统可以使用的示意图的形式来示出所述几何结构信息。所述几何结构信息可以包括但不限于位于手术间内的医疗设备的cad图纸或模型。图8a是手术间的示例性示意图，其中提供关于手术间内设备的尺寸和布局的几何结构信息。所述信息可以提供关于手术间内的定位设备的背景基础和初始假设。所述几何结构数据可以与测距或其他深度感测能力结合使用，以确定人员与设备之间的距离和定向。图8b示出可以位于手术间中的医疗设备的示例性示意图。这可以包括麻醉剂给药机、介入成像系统、患者支撑手术台。所述cad图纸可以进一步适配或附加医疗装置运动数据，例如相对于机器人医疗装置的医疗装置运动数据，所述医疗装置运动数据可以包括但不限于手术机器人或介入成像c形臂运动。图8b中提供的静态配置数据的非限制性示例包括介入成像系统的cad示意图。所述示意图示例性地以俯视图、正视图和侧视图的形式呈现介入成像系统及相关联扫描架定位器的大小、形状和测量。运动图示例性地示出介入成像系统相对于患者支撑手术台的操作工作位置区域。将认识到，尽管图8b中示出关于介入成像系统的示意性信息，但是静态配置数据可以包括关于可位于和/或可用在手术间内的任何其他件医疗设备的类似信息。所述计算机视觉系统可以使用静态配置数据中的尺寸、装置形状和运动信息来帮助在监测数据中识别医疗设备，并且还基于所检测或预测的医疗设备移动来确定操作命令、警告或指导。图8c提供静态配置数据的更进一步示例，它们表示成相对于介入成像系统和患者支撑手术台的示意图的辐射散点图。图8c示例性地提供介入成像系统的俯视图和侧视图以及基于发射器位置设置的相关辐射散点图。这提供关于可以由计算机视觉系统根据本公开以静态配置数据的形式接收和处理的特定件医疗设备的操作数据的额外示例。本说明书中将进一步详细描述计算机视觉系统示例性地使用辐射散点图的操作的示例性实施例。返回参照图2，静态配置数据54可以存储在计算机可读介质中，所述计算机可读介质以通信方式连接到计算机视觉系统52。在一个实施例中，所述静态配置数据54可以在手术程序之前在计算机视觉系统的启动、校准或初始化程序期间提供给计算机视觉系统52。或者在另一个实施例中，静态配置数据54可以在检测到手术间内的一件或多件医疗设备之后，由计算机视觉系统52访问。可以通过对从相机28、30接收的图像数据进行图像识别分析和处理来完成多件医疗设备的检测，或者医疗设备可以设有位于相机28、30中的一者或多者的视域内的条形码或快速响应(qr)码，以便来自相机28、30中的一者或多者的图像数据的图像分析可以包括识别和解释所述条形码或qr码，所述条形码或qr码识别由计算机视觉系统52访问和使用的静态配置数据54。计算机视觉系统52进一步以通信方式连接到医院信息系统(his)56。his56示例性地向计算机视觉系统52提供匿名(非图像)工作流程信息。例如，可以从定位和用在手术间内的医疗装置中的一者或多者获得的信息。所述his还可以提供预期位于手术间中的人员清单和识别信息，以及分配给这些个人的角色或任务的识别信息。在更进一步示例性实施例中，所述his系统可以为每个指定临床医生提供识别信息，所述识别信息可以包括但不限于临床医生的数字模型和/或临床医生的照片。所述his56进一步可以包括提供给计算机视觉系统的调度、程序日志和消耗品日志信息，以向计算机视觉系统通知要在手术间中执行的预期程序以及预定程序的预期过程，以及所述程序期间的预期消耗品使用。所述his可以进一步包括程序准则，例如人员和设备间距、预期持续时间、程序里程碑、辐射剂量、造影剂量和供应要求。这些程序准则可以以本说明书中进一步详细描述的方式使用，以根据准则或建议动作来分析和评估当前手术程序。计算机视觉系统52进一步以通信方式连接到介入成像系统20。介入成像系统20可以示例性地提供扫描架和/或手术台位置。这些位置可以是内部位置(例如，成像系统的检测器阵列位于默认或中性位置上方两英寸的位置处,或者c形臂旋转到20度角)。所述扫描架和手术台的位置可以是外部位置，所述外部位置可以确定或报告成所识别对象、人员或位置之间的相对位置。外部位置还可以参照覆盖在手术间区域或体积上的定位网格或坐标系来确定和报告。在相对位置系统中，位置可以例如当成像系统的检测器距离手术台表面18英寸时确定或报告。上述相对位置可以由计算机视觉系统或医疗设备本身基于位置和/或位于医疗设备内的近程传感器来确定。介入成像系统20可以进一步包括医疗设备本身的cad或动态cad模型，并且将此信息提供给计算机视觉系统52。所述cad或动态cad模型可以进一步用于确定和计算内部或外部位置。如本说明书中进一步详述，计算机视觉系统52操作地接收来自his56和成像系统的静态配置数据54和医院数据，或者接收来自介入成像系统20的静态配置数据54。计算机视觉系统52使用此静态配置数据54来分析和解释从相机28、30收集的图像数据，以便以指令或控制(control)的形式提供操作命令以改善临床医生的程序工作流程。在示例性实施例中，计算机视觉系统52在考虑关于手术间本身和医疗设备本身的几何结构的静态配置数据54的情况下，进一步结合来自介入成像系统20的数据来解释来自相机28、30的图像数据，以便识别和避免设备与人员之间的碰撞风险，其中所述碰撞风险可以通过向介入成像系统提供操作命令来避免，例如以定义围绕患者的虚拟扫描架或者识别医疗设备移动范围的各个部分，从而避免碰撞风险。更进一步实施例可以包括移动或轨迹指令或指令修改，以便防止或避免与设备、患者或临床医生的碰撞。在进一步示例性实施例中，计算机视觉系统52使用图像处理技术和分析来解释图像数据中的程序步骤和事件。这些程序步骤和事件可以记录在自动生成的程序日志中，所述程序日志提供给或存储在his56中。本说明书中将参考图3描述实施例所提供功能的更进一步示例性实施例，其中图3示出工作流程辅助系统60的更详细实施例。附图之间使用类似的附图标记来指示类似部件，并且本说明书中所描述的实施例仅为示例性的，并且本公开范围内的更进一步实施例可以包括相对于本说明书中所图示和描述部件的更多或更少个部件。还将认识到，本说明书中提供的实施例描述仅用于示例性目的，并且所属领域中的普通技术人员可以在考虑到本公开的情况下而认识到类似部件的其他配置。除了上文相对于图2强调的特征之外，工作流程辅助系统60还包括多个监测数据源并且利用支持人工智能的控制器(artificialintelligenceenabledcontroller)62来处理不同的监测数据源。支持人工智能的控制器示例性地为通用计算机，所述通用计算机已编程有计算机可读代码，以便当代码被执行时操作地使用一种或多种人工智能技术来解释来自多个监测数据源的监测数据，以便分析并且解释所述监测数据以识别手术程序中采取的特定动作和事件。在示例性实施例中，支持人工智能的控制器62进一步包括或者以通信方式连接到机器学习模块或机器学习系统，以便以此使用机器学习技术来当所述支持人工智能的控制器62处理后续手术程序时增强随时间推移的手术程序分析和解释。尽管上文已经讨论计算机视觉系统52，但应认识到，除了上述ptz相机28和深度相机30之外，计算机视觉系统52可以从热感测或热相机64接收图像数据。如上所述，所述热图像数据可以在患者和/或临床医生身体被护罩或衣物遮盖的情况下提供额外背景。如上所述，系统60包括多个监测数据源，所述多个监测数据源包括并且除了由计算机视觉系统52处理的图像数据之外。在进一步实施例中，感测系统66从可穿戴装置68接收监测数据。可穿戴装置可以包括运动/活动跟踪器，运动/活动跟踪器可以包括位置确定系统。位置确定系统可以包括但不限于全球定位系统(gps)和无线三角测量。在其他实施例中，可穿戴装置可以包括可穿戴辐射剂量计。在所述实施例中，来自剂量计的信息与从系统跟踪的其他信息相结合可用于提供操作员辐射防护建议，例如调整护罩后的人员位置。这也可以用于监测是否符合工人健康标准。在更进一步实施例中，可穿戴设备包括计算机化眼镜，例如混合现实或增强现实眼镜，包括但不限于谷歌眼镜(googleglass)或微软全息眼镜(microsofthololens)产品。这两种可穿戴产品均包括朝外相机，因此除了位置和/或定向监测数据之外，图像数据也可以从这些可穿戴装置采集。所述可穿戴装置提供可用于解释临床医生运动或动作的额外背景部件。例如，可以从可穿戴眼镜装置上相机的视域推断出临床医生视线。穿戴在临床医生手部或手腕上的可穿戴设备可以提供与临床医生手部运动和/或临床医生手部位置相关的位置信息。感测系统66从可穿戴装置68接收可用于感测系统66的数据，并且以需要的方式处理此信息，以向支持人工智能的控制器提供数据以用于解释和响应。在示例性实施例中，支持人工智能的控制器62操作地产生临床医生和/或患者辐射照射或累积剂量的估计。如上所述，所述静态配置数据可以包括表示介入成像系统操作期间的辐射照射的辐射照射图。其他成像系统或放疗装置的类似辐射照射信息也可以在静态配置数据内可用。支持人工智能的控制器62可以将这些图与关于介入成像系统的操作和设置的信息以及临床医生和患者的确定位置结合使用，以计算手术程序期间的有效辐射剂量。在实施例中，当前手术程序辐射剂量信息可以与例如在医院信息系统中跟踪的临床医生和/或患者累积剂量信息相组合，以评估生存期累积剂量。在更进一步实施例中，基于辐射图和临床医生/患者位置的辐射剂量估计可以基于从配备有辐射剂量计可穿戴装置的每个临床医生/患者采集的数据而细化。在示例性实施例中，根据所确定的程序或累积辐射剂量，支持人工智能的控制器62可以提供程序内或程序间指导，以为临床医生提供关于临床医生或患者辐射剂量的警告，或建议辐射剂量补救措施，例如使用或调整辐射罩(radiationscreen)。监测系统的更进一步示例是音频系统70，所述音频系统配置成从多个传声器72接收音频数据。如上所述，传声器72可以固定在手术间周围的位置，或者可以包括到另一个医疗装置中或者可以围绕手术间移动，例如在吊杆上。传声器72可以包括是全向传声器和/或定向传声器。在更进一步实施例中，所述传声器可以包括一个或多个可操纵定向传声器或传声器阵列。在将数据提供给支持人工智能的控制器62之前，传声器72将音频数据提供给音频系统70进行解释和处理。音频系统70可以示例性地以多种方式处理所述音频数据，以获得关于在执行手术程序过程中手术间内发生的动作和事件的额外背景。音频数据可以通过语音识别处理以及用于音频数据本身的通信内容的技术来解释，例如以解释临床医生之间的讨论以便识别手术程序中的动作或事件。此外，在一个实施例中，可以向一个或多个临床医生分配叙述手术程序的任务，以便提供手术程序的音频记录，所述音频记录之后可以处理成手术程序中事故或事件的文本或其他数据形式。在更进一步实施例中，作为音频数据本身内容的替代，从多个全向传声器和/或各种定向传声器收集的音频数据可以帮助定位手术间内的特定临床医生并且增强和验证基于图像数据或可穿戴数据的临床医生位置确定。在更进一步实施例中，音频系统70可以向支持人工智能的控制器62提供高于预定阈值的声源位置和/或强度音频图。人工智能控制器62可以使用此音频图来将声音事件与视频系统所识别的特定个人或机器相关联。通过这种方式，计算机视觉系统52、感测系统66和音频系统70提供的监测数据提供给支持人工智能的控制器62，并且所述支持人工智能的控制器62根据本说明书中的描述来处理此信息以执行系统60的各种功能。如上所述，所述支持人工智能的控制器62示例性地以通信方式访问静态配置数据54。尽管在图3中未示出，但将认识到，计算机视觉系统52、感测系统66和/或音频系统70中的任一者也可以根据需要以通信方式访问静态配置数据54，以便于收集和处理这些相应形式的监测数据。静态配置数据54提供关于手术间本身和/或手术间内任何医疗设备的尺寸和/或几何结构数据，特别是本质上可移动和/或为机器人型，因此可以预期将在手术程序过程期间移动的医疗设备。手术间中可能存在的示例性和非限制性类型的机器人医疗设备可以包括介入成像系统c形臂、患者支撑手术台或手术机器人，例如以插入和/或以其他方式定位针头，例如，以用于将导管或导丝插入患者体内。一个或多个子系统对静态配置数据的访问可以是手术程序之前的设置或校准阶段期间临床医生输入的结果，而在其他实施例中，所述计算机视觉系统可以使用图像识别来识别一件或多件医疗设备，或者读取位于一个或多个相机视域内的医疗设备上的条形码、qr码或其他视觉识别符以识别医疗设备，使得对适当静态配置数据进行访问并且将其用于分析和解释手术程序。在更进一步示例性实施例中，所述支持人工智能的控制器以通信方式连接到介入成像系统20。在示例性实施例中，介入成像系统20本身可以向支持人工智能的控制器62提供其本身的识别信息，从而得到适当的静态配置数据。同样，手术间内的其他医疗设备74也可以以通信方式连接到支持人工智能的控制器62。其他医疗设备76可以同样地将自己本身的识别信息提供给所述支持人工智能的控制器62以采集适当的静态配置数据54。除了识别信息之外，介入成像系统可以将这些介入图像提供给支持人工智能的控制器62，其中介入成像系统可以示例性地为介入x射线机、荧光透视机或锥形束计算机断层摄影(cbct)机器或其他介入成像装置。在更进一步示例性实施例中，介入成像系统例如以内窥镜的形式定位在患者体内，也以此方式采集来自患者体内的图像数据。如本说明书中进一步详细描述，支持人工智能的控制器62可以将显示患者体内手术部位的介入成像系统背景数据与相同时间在患者外部采集的监测数据相组合，以便识别手术程序中的动作和事件并且执行本说明书中进一步详细描述的功能。支持人工智能的控制器62进一步示例性地以通信方式连接到医院信息系统(his)56，所述支持人工智能的控制器62能够通过所述医院信息系统访问手术，人员或手术间时间表(schedule)，手术程序日志，患者护理准则和程序标准。在示例性实施例中，所述支持人工智能的控制器62能够读取和写入与医院信息系统56相关联的数据文件。将认识到，在以上描述中，所述支持人工智能的控制器62已经图示成独立部件。但是，应认识到，在其他实施例中，所述支持人工智能的控制器的功能可以在与计算机视觉系统和/或介入成像系统20相同的处理器和/或计算系统处执行。将认识到，在实施例中，计算机视觉系统52、感测系统66、音频系统70、支持人工智能的控制器62和介入成像系统20中的每一者可以作为独立装置操作并且作为单独的处理器或计算机系统执行。但是还将认识到，这些部件中的一个或多个部件的任何组合可以在单个处理器或计算机系统上实施，并且在所述情况下，上文所述并且本说明书中进一步描述的这些功能中的一些或全部功能可以通过由所述装置执行，同时仍在本公开的范围内。相对于图3图示和描述的工作流程辅助系统60可以示例性地操作以执行本公开范围内的各种功能。这些功能包括但不限于避免介入成像系统与其他医疗设备和/或临床医生之间的碰撞。自动化医疗设备操作或指令将依据手术程序背景、自动化手术记录、预测调度和标准护理评估。系统60可以操作地采集和分析关于手术间内各种设备、临床医生和患者的位置和定向的实时几何结构信息。计算机视觉系统52可以操作地在从一个或多个相机采集的图像数据中检测这些对象。对来自相机的图像数据中的所述实时几何结构信息的分析使得支持人工智能的控制器62能够预测医疗设备与其他医疗设备(例如，手术台)、临床医生或患者的碰撞。一旦预期到这些潜在碰撞，就可以计算和指示介入成像系统移动轨迹以避开障碍物。或者，可以发布警报。在进一步实施例中，机器人医疗设备的移动速度可以在高碰撞可能性区域内移动期间减慢。在示例性实施例中，计算机视觉系统52可以接收静态配置数据54，所述静态配置数据由相对于医疗设备的先验信息组成，例如以cad图纸和/或医疗设备运动的形式。计算机视觉系统52可以使用图像处理和检测技术来从提供给计算机视觉系统52的图像数据中确定医疗设备，临床医生或患者的精确位置，定向或形状。在实施例中，医疗设备包括介入成像系统设备可以标记有显著位于一个或多个相机视域内位置处的条形码和/或qr码，并且因此捕集在从一个或多个相机提供给计算机视觉系统52的图像数据内。在图像数据中，可以读取条形码或qr码，并且在示例性实施例中，由条形码或qr码提供的医疗设备识别信息用于访问和接收关于所识别医疗设备的cad和/或运动数据。在进一步示例性实施例中，可以通过识别和计算机视觉确定技术来跟踪临床医生。如上所述，可以使用热或太赫兹型相机来确定和/或细化患者的位置，所述相机可以通过任何医用护罩、衣物或帷帘提供患者实际身体位置和/或形状的指示。由于计算机视觉系统52可以在整个操作过程中及时跟踪多个对象，因此即使对象不在连接到计算机视觉系统52的一个或多个相机的直线视线内，计算机视觉系统52也可以推断出手术间内的可能障碍物。支持人工智能的控制器62可以使用从计算机视觉系统52接收的指示手术间内医疗设备、临床医生和患者位置的数据，并且所述支持人工智能的控制器62可以使用此信息来确定操作命令并且将其提供给介入成像系统20或其他医疗设备76。支持人工智能的控制器62操作以自动地基于手术间内临床医生的位置，凝视或临床医生注意方向，成像系统相对于患者和/或另一件医疗设备的位置，介入成像系统或其他医疗设备当前正在进行的功能来向介入成像系统20提供输入。在进一步示例性实施例中，支持人工智能的控制器62向手术间内的多件医疗设备提供额外的自动化操作控制。支持人工智能的控制器62可以基于所确定的当前手术程序步骤，最近程序事件或所预测的接下来程序步骤或事件向图形显示器提供操作控制，以调整用户界面或显示配置。这些操作控制可以包括用户界面中的提示或建议，以执行或设置某件医疗设备的特定功能或操作。在实施例中，支持人工智能的控制器62可以向介入成像系统提供操作控制，以设置所预测的下一个成像功能的操作参数。作为示例，所述操作控制可以根据待成像患者组织例如头部、胸部、腹部或腿部来选择成像协议。在另一个示例中，所述支持人工智能(ai)的控制器62可以分析与患者相关的监测数据并且基于此分析来提供操作控制。可以从监测数据中识别患者定向并且自动地将此信息提供给成像系统20、his56，或者以可供支持人工智能的控制器62访问的形式来存储此信息以便稍后参考和使用。在更进一步实施例中，可以通过支持人工智能的控制器来分析与患者有关的监测数据以构建个性化患者组织模型。个性化组织模型可以以可供支持人工智能的控制器访问的方式进一步存储，以用于成像系统碰撞检测和减轻中。支持人工智能的控制器62可以进一步使用个性化患者组织模型来确定患者辐射剂量。在进一步示例中，支持人工智能的控制器62可以基于所识别的临床医生、临床医生的位置、临床医生的凝视方向和/或检测到的程序步骤或事件向一个或多个图形显示提供操作控制。操作控制可以配置图形显示器以呈现与特定临床医生在观察或查看此图形显示器时所执行的动作相关的信息。支持人工智能的控制器62还可以向与临床医生中的一个临床医生相关联的可穿戴装置提供操作控制，以示例性地提供本公开所讨论的程序内指导。在更进一步示例性实施例中，可以基于临床医生的位置或手术对象的识别信息和/或外科医生手部相对于患者手术部位的位置来确定手术程序的进度。自动化系统操作或输入的进一步示例包括依据待成像患者身体部分、显示器自动配置以及所属领域中的普通技术人员在考虑到本公开的情况下将认识到的其他因素的临床医生剂量管理、医疗设备的背景控制、成像协议的自动选择。此外，计算机视觉系统52可以操作地进一步推断临床医生的行为和意图。在给定的示例中，这可以示例性地在支持人工智能的控制器62和机器学习技术的辅助下执行，临床医生的行为和意图可以从计算机视觉系统52或感测系统66所处理的图像数据中临床医生的可观察和可检测动作中推断出。这可以包括确定临床医生视线方向或者临床医生身体当前位置或者由临床医生手部执行的动作。这可以进一步包括识别当前由临床医生处理的手术设备。这可以通过音频系统70处理的音频数据来促进，其中临床医生可以通过手术程序叙述或临床医生之间的程序内讨论来提供关于行为或意图的进一步背景。在更进一步实施例中，系统60可以操作地处理监测数据以通过将监测数据转换成手术程序中的有意义事件或动作来提取监测数据内的语义。这些可以自动记录在可存储在his56中的程序日志中。通过这种方式，除了患者、临床医生和医疗设备之外，还可以识别这些对象的交互并且将其跟踪到自动化程序日志中，以提供手术间的初期清单以跟踪手术设备和/或各种消耗品。可以示例性地基于位于这些物项中的每一者上的条形码来跟踪自动化程序日志中的消耗品，条形码或qr码捕集在图像数据中并且由计算机视觉系统52读取。可以从监测数据中识别和记录特定临床医生对医疗设备、手术工具或消耗品的使用。在更进一步实施例中，监测数据还可以包括来自介入成像系统20的图像数据，图像数据可以直接从介入成像系统20或从his56内的pacs系统提供。与上述图像处理一样，可以从介入成像系统20的医学图像中确定进一步程序动作或事件语义信息，例如，将导丝引入到手术部位、支架的存在或部署、气囊充气、造影剂注射，或者来自介入成像系统20的图像数据内可见的其他动作或事件。动作或事件语义信息可以进一步识别检测到事件的组织位置(例如左心房、右肾)以及动作或事件发生的时间戳。在例如通过自动化程序日志中的记录来识别和跟踪手术程序的动作和事件的更进一步示例性实施例中，自动化程序日志可以存储在his中或者传输到his，并且his可以基于手术程序中识别的当前动作和事件而使用此记录的手术程序动作和事件数据来提供预测调度。例如，患者送出、房间清洁、房间准备、下一个患者进入以及下一个手术程序开始事件全部可以基于手术间内这些下一个预定动作的已知或建模持续时间以及当前手术程序中的预测剩余持续时间来估计。通过实时识别和传达手术程序中每个事件的完成，可以在不需要协调员在场的情况下执行此调度。可以对照事件持续时间估计所基于的模型，依据实际事件持续时间的变化、延迟或提前来评估监测数据，其中完成此事件估计的时间可以修改，并且后续时间表可以向前或向后调整。在更进一步实施例中，手术程序中的每个剩余事件可以通过能够由支持人工智能的控制器62执行的机器学习技术，基于先前手术事件的手术程序模型和/或历史数据来预测。在进一步实施例中，每个手术程序映射到可以在监测数据中识别和跟踪的一系列动作和/或事件中，可以建立准则或优选程序，并且将所定义的预期动作或事件中的每一者与监测数据中识别的动作和事件进行比较。通过这种方式，每个手术程序可以采用公认护理标准、预期动作或事件的准则以及工作流程效率模式准则来定义。这些标准和准则可以以实时和/或脱机方式与监测数据中临床医生的事件和动作进行比较并且回报给临床医生，包括可能的建议。采用实时方式时，可以在定位于手术间内的图形显示器上将手术程序建议通知给临床医生。在脱机建议中，建议可以呈现在注释中或用于培训目的。图4示出所采集的手术间的图像数据的示例性实施例。在图像数据中，计算机视觉系统识别手术间中的监测系统所跟踪的多件设备、临床医生或患者中的每一者。计算机视觉系统识别所获得的监测数据中的每个监测对象。在监测数据是图像数据的示例中，使用上下文框来示例性地显现识别信息。将认识到，在实施例中，与图4和图5中所示出的视觉呈现相反，可以在系统处理内识别监测对象并且以数字或其他方式来表示监测对象。例如，在图4中，计算机视觉系统可以识别设备82。设备82可以包括麻醉机、x射线c形臂或设备控制器。在84中，可以识别手术间内的临床医生。可以对每个临床医生进行标记。在示例性实施例中，可以基于临床医生的检测顺序来标记这些临床医生并且为其提供带编号的识别信息，例如操作员1、操作员2等。而在其他实施例中，临床医生84可以单独识别，例如通过预先检测到识别码的存在，例如，临床医生衣物或支持rfid功能的识别徽章或具有无线连接性的可穿戴个人剂量计上的识别码。可以在86中识别患者。检测患者位置可以帮助避免c形臂与患者之间的任何碰撞，或者提供临床医生所处理的组织位置的背景。可以在88中识别监测器。如果监测器位于所收集图像数据的视域内，则可以对其进行分析以确定当前正在呈现给临床医生的信息。可以将此信息与程序指导进行比较，或者可以提供关于临床医生正在执行的动作或者手术程序中的当前事件的进一步指示。在90中，识别手术工具的位置。在实施例中并且如本说明书中进一步详细描述，可以提供包括手术工具90的图像数据的近视图，以便例如通过检测每个手术工具上的条形码来识别工具，从而识别临床医生在手术程序期间所选择和使用的工具。如图4中进一步图示，可以从临床医生头部和/或身体的位置和定向中识别临床医生视线方向92。将认识到，在临床医生配备有可穿戴眼镜装置的示例性实施例中，从可穿戴设备收集的定向传感器或图像数据可以进一步通知和细化视线方向92的确定。图5示出近视图94中提供的进一步图像数据。近视图数据可以从ptz相机中的一者采集，其中对感兴趣的特定位置例如手术部位或手术工具托盘进行放大。在图5中，图像数据中还检测到各种对象，包括多个手术工具90，包括夹具90a、插管器90b和导丝90c。此外，识别临床医生手部96。结合图4中所示的图像数据80，与检测到的手部96相关联的临床医生可以是已知的或识别出的。因此，例如从图5中的图像数据94中，可以记录与检测到手部96相关联的临床医生对插管器90b和导丝90c设备的使用，或者导丝引入患者体内的事件可以记录在程序日志中。图6a和6b示出可以在本公开的实施例中自动生成的程序日志的两个示例性实施例。在图6a中，手术日志98是逐个对象生成的，例如6a中列出的对象以及图4和图5中示出和标记的对象。在程序日志98中，列100中识别出每个检测到的对象。如果从监测数据中推断出角色或操作，则将其呈现在列102中。在程序日志98中，后续列104以各种时间戳或时间间隔生成，并且包括与所检测到的对象相关联的时间的动作或事件。因此，程序日志随时间产生监测数据中所监测的每个对象的检测到动作或事件的记录。在图6b中所示的程序日志106中，程序日志106是来自监测数据的检测到事件或动作的时间戳序列。程序日志106包括时间戳108以及此时间戳下记录的关联事件110。程序日志106可以根据需要创建尽可能多的时间戳和事件或动作符号，以记录手术间内检测到的动作和事件。如程序日志106中进一步所示，程序日志可以包括例如临床医生动作112，程序摘要和持续时间预测114，医疗设备移动或动作116，手术工具扫描或识别118，程序事件120或者建议采取的动作122。这些符号中的每一者可以如上所述由工作流程辅助系统通过分析监测数据来生成。图7示出调度表24的示例性实施例。在调度表24中，识别多个房间126中的每一个，并且指示当前时间128。为每个房间126提供所述房间在先前使用中的程序或时间表状态，并且当前时间128指示的右侧是对此房间的时间表预测。所述房间使用的预测可以当所预测的程序完成时间在所述程序过程中得到更新时而更新。通过这种方式，清洁、房间准备、患者准备和下一个程序的开始均可以基于所估计的当前程序完成而更新。在更进一步实施例中，所述监测数据可以在除了执行手术程序之外的其他时间采集，例如以提供房间清洁或房间准备的监测和跟踪。应理解，上文相对于跟踪手术程序所述的类似概念和技术也可以应用于房间清洁和房间准备。通过所述方式，基于清洁和/或准备房间所采取的实际步骤和动作，可以预测和更新房间清洁时间或下一个程序开始时间的更新预测。类似的指导、记录和质量保证可以通过监测数据的类似分析提供给上文相对于手术程序所述的房间清洁和/或房间准备过程。通过此示例性方式，可以分析监测数据以识别和分析许多不同类型人员的动作，包括但不限于临床医生，包括医生、外科医生、心脏病专家、麻醉医师、护士和清洁人员。在以上说明中，特定术语出于简明、清楚和理解方面的目的而使用。由于术语仅用于说明并且旨在广义范围内进行解释，因此无法从中推断出超出现有技术要求的任何不必要限制。本说明书中所述的不同系统和方法步骤可以单独使用，也可以与其他系统和方法结合使用。可以预期，随附权利要求书的范围内可能存在各种等效方案，替代方案和修改方案。附图中提供的功能框图、操作序列和流程图表示用于执行本公开新颖方面的示例性体系结构、环境和方法。尽管出于简化说明的目的，本说明书中所包括的方法可以是功能图、操作序列或者流程图的形式，并且可以描述成一系列动作，但是应理解和认识到，所述方法不受限于动作顺序，因为某些动作可以根据本发明以不同顺序发生和/或与本说明书中所图示和描述的其他动作同时发生。例如，所属领域中的技术人员将理解和认识到，方法可以替代地表示成一系列相互关联的状态或事件，例如在状态图中。此外，可能并非方法中所示的所有行为均为新颖实施方案所必需的。本说明书使用示例来公开本发明，包括最佳模式，同时也让所属领域的任何技术人员能够完成并且使用本发明。本发明的专利保护范围由权利要求书界定，并且可以包括所属领域中的技术人员得出的其他示例。如果其他示例的结构构件与权利要求书的字面意义相同，或如果所述示例包括的等效结构构件与权利要求书的字面意义无实质差别，则所述示例也应在权利要求书的覆盖范围内。当前第1页12当前第1页12