利用深度传感器进行无接触操作的烧蚀工作站的制作方法

专利名称：利用深度传感器进行无接触操作的烧蚀工作站的制作方法
技术领域：
本发明整体涉及利用深度传感器，并且在某些情况下利用语音识别来进行无接触操作的手术室装置。
背景技术：
在手术室中，医师需要保持无菌；从而他或她在手术期间不能物理地触及计算机来获得辅助。因此，医师想要利用手术室装置(例如烧蚀工作站)上的计算机应用执行的任何任务必须实际上由另一个人执行。这需要医师能够操作这些装置而不会物理地接触该装置或其附件，例如其键盘、屏幕、鼠标等。

发明内容
提供用于烧蚀工作站的无接触操作的具有创造性的系统和方法。该系统包括:用于检测移动的深度传感器；运动软件模块，其可操作以从深度传感器接收所检测的移动，基于所述检测的移动推断姿势，以及过滤该姿势以接受适用的姿势；和客户端软件模块，其可操作以在烧蚀工作站中或与烧蚀工作站相关联的客户端计算机处接收该适用的姿势，以便基于该适用的姿势根据客户端逻辑执行任务。在一个方面中，任务是以下中的一种:改变一个或更多个电极的功率设定、改变所述一个或更多个电极的最大允许温度、改变单极和双极之间的烧蚀模式、选择和取消选择用于烧蚀的电极。在一个方面中，移动是头部运动、手部运动和身体运动中的至少一种，并且还基于短的历史来推断姿势。在一个方面中，该系统还包括使所检测的移动成为适用的姿势的硬件。在一个方面中，适用的姿势是由利用面部识别而确定被授权的使用者执行的检测移动以及根据客户端逻辑的识别的姿势中的一种或更多种。在一个方面中，通过确定姿势是否是授权的和有效的来过滤所述姿势。在一个方面中，该系统还包括用于在客户端计算机处接收应用姿势的客户端通信模块。在一个方面中，该系统还包括语音识别，其提供语音输入以使得客户端能够基于语音输入、结合适用的姿势来执行任务。本发明的用于烧蚀工作站的无接触操作的方法包括:利用深度传感器检测移动；利用CPU，基于所检测的移动推断姿势；过滤该姿势以接受适用的姿势；在烧蚀工作站中的客户端处接收适用的姿势；以及基于该适用的姿势根据客户端逻辑执行任务。还可以提供计算机可读存储介质，其存储可由机器执行的指令的程序，以执行本文所述的一个或更多个方法。


通过以下结合附图的其实施例的详细说明，将更全面地理解本发明。以下将参考附图详细描述其它特征以及各个实施例的结构和操作。在附图中，相同的附图标记表示相同的或功能相似的元件。图1为本发明系统的实施例的方框图。图2为本发明系统的另一个实施例的方框图。图3为本发明方法的流程图。
具体实施例方式提供用于烧蚀工作站的无接触操作的具有创造性的技术。根据该新型技术，人们可以执行烧蚀工作站的功能，而不接触任何计算机设备，例如监视器、键盘、鼠标等。如图1所示，在一个实施例中，该系统具有多个组成部分，包括深度传感器10、计算机或CPU 12、通信介质14和客户端计算机16，该客户端计算机为烧蚀工作站的一部分。运动检测软件模块18可驻留在CPU 12中。客户端计算机16可控制目标软件模块20。通信客户端模块22可驻留在客户端计算机16中。在一个实施例中，该系统还可以包括语音识别，例如麦克风或麦克风阵列28。深度传感器10通常包括深度察觉相机，该相机不仅记录图像，而且记录深度，以允许提供记录的图像的3D表示。本领域技术人员已知的是，深度传感器连接到计算机，该计算机利用来自传感器的深度绘图来推断运动，例如使用者的手势、姿势和位置。在医疗设定中，使用者可以是系统操作者，通常是医师。在本发明的一个实施例中，深度传感器跟踪头部和手部的移动。在另一个实施例中，深度传感器不仅跟踪手部和头部，而且还跟踪整个身体位置，例如朝向和/或远离计算机屏幕或监视器的移动。在一个实施例中，深度传感器10可以利用模块或中间件来实施，例如Microsoft Kinect,ASUS Xtion PRO或ASUS Xtion PR0LIVE。可以并行使用不止一个深度传感器，以扩展遮挡处理、视野和精度。任何传感器，例如可以足够的细节实时提供深度绘图的相机，可以适于与本发明的系统一起使用。深度传感器获得位置信息，并且将该信息发送到CPU 12，以用于进行如下所述的处理。本领域技术人员已知的是，由深度传感器10提供的软件和驱动器可以用来获得该位置信息。CPU 12中的运动检测软件模块或运动软件18每秒多次从深度传感器10获得该位置信息，例如操作者相关身体部分(例如手部、头部、足部等)的位置。每个接收到的运动和/或身体位置被跟踪，并且被保存到短的历史移动文件或数据组。运动软件可以包括软件，该软件利用由运动软件18检测为身体部分移动的数据以及短的历史移动数据来推断更加复杂的移动，并且将该数据处理为明显的姿势，例如手的向前运动、圆周运动或者头部点头。例如，手的线性移动和圆周移动被检测到，并且计算参数以定量这些移动。对于每个姿势，运动软件将具体的属性关联起来，这些属性为例如移动的程度、其被捕获的时刻、其速度和/或持续时间等。通过使用身体跟踪，该系统可以与特定使用者相关联，也就是，从初始构造开始，跟踪使用者的各个移动，并且确保仅仅响应该特定使用者的移动。例如，跟踪身体的位置和移动，并且只要与前一帧的位置的差异足够小，就假定是同一个人在移动。该系统还可以通过采用以深度传感器中的相机进行的脸部检测和/或识别而与特定使用者相关联。该系统可以利用脸部检测和/或识别来在每个状态或位置中检验身体是与识别的脸部相关联的身体。这些技术可以组合，例如，在移动较小时利用身体跟踪，在存在不确定性时利用脸部检测和/或识别找出合适的使用者，然后和之前一样继续下去。运动检测软件模块18还可以包括过滤器，该过滤器可以决定接受哪些运动或移动，应当忽略或过滤哪些不适用的(例如无效的和/或未授权的)运动或移动。无效的(例如不相关的)运动可以是运动检测软件模块18不能接受的运动。例如，如果运动太小或太慢而不能过滤使用者的不可控制的自然移动，那么该运动将是无效的或不相关的。未授权的运动为不是合适的使用者执行的运动和/或不是根据预定条件执行的运动。例如，为了安全和/或保险起见，某些运动可能需要物理输入和/或与对应硬件装置的相互作用，例如在特定的手部运动期间和/或在手术期间指定时刻压下脚踏板。在一个实施例中，当使用多个相机并且一个相机具有医师整个身体的视图时，可以确定是否是特定医师提供适当的物理输入。这种安全措施(例如除了所检测的运动之外还需要物理输入)相信手术室中的人不会试图乱动该系统；相反，该安全措施提供额外的安全性，以便在医师/使用者做出一些错误姿势的情况下防止无意中出现的重要功能。将硬件装置连接到系统可以防止系统进行不期望的动作，如上所述。这在医疗软件中可能是重要的。硬件装置(未示出)，例如脚踏板，可以连接到客户端计算机16和/或烧蚀工作站，该客户端计算机和/或烧蚀工作站可响应以接收和解释装置的动作，例如脚踏板压下等，并且利用这些动作用于客户端的内部逻辑。硬件装置还可以连接到CPU 12，该CPU进行运动检测并且运行该硬件装置的软件，在这种情况下，装置状态可以与所检测的运动一起发送，和/或可以根据装置的状态过滤掉某些运动。没有过滤掉的运动通过通信介质14发送到客户端计算机16上的通信客户端模块
20。通信介质14可以是串行局域网(LAN)、无线LAN (WLAN)、蓝牙、无线连接等。客户端计算机16接收解释的运动，例如姿势。目标软件模块20确定接收的运动是否有效。无效的运动可以是在目标软件模块20内没有定义的运动。例如，当一个客户端软件模块是活动的时，朝向屏幕的运动可以被定义以改变单极的模式，但是如果另一个客户端是活动的，那么该朝向屏幕的运动可以不进行定义，使得该运动将会是不合适的或不相关的。此外，无效的运动可以是这样的运动，即其不被允许，除非满足某些预定的条件。例如，当硬件装置连接到客户端计算机时，运动仅仅在其与硬件装置的动作相结合地执行时才可被允许或者可以是有效的；例如，挥手运动可以仅仅当其在硬件装置的脚踏板被压下时执行的情况下才有效。客户端逻辑，例如目标软件模块20，确定如何响应每个识别的(例如有效的)姿势。目标软件模块20与烧蚀工作站相关联，并且客户端逻辑可以执行任务，例如改变功率设定、选择和取消选择电极、改变每个电极的最大允许温度等。因此，客户端软件可以利用其逻辑确定，如果姿势是握拳，那么客户端逻辑可以执行选择电极的任务，如果姿势是手部向上运动，那么客户端逻辑可以执行增大所选电极的温度的任务。为了操作本发明的系统，使用者必须首先获得控制，并且启动无接触操作。为了获得控制，使用者使得系统了解使用者将发送指令。然后，系统响应于如上所述的为不同手势和/或头部和/或其它身体移动的形式的指令。当不再需要控制时或者在一段时间检测不到运动之后，可以释放控制。获得控制可以通过以下方式实现:利用聚焦姿势，例如挥手移动或头部移动；或者利用硬件，例如能够在压下时进行控制的脚踏板；或者通过语音命令。系统所检测的运动不具有固定功能。根据使用者当前正在操作客户端计算机16的功能和模式，系统将含义根据其内容关联到每个姿势、姿态或移动。例如，当使用者正在以选择模式操作客户端时，头部移动可以将模式从单极改变为双极，反之亦然。在启动无接触控制时刻期间，可以向使用者显示视觉指示。可任选地，在启动和停用无接触控制的情况下可以提供语音指示。在一个实施例中，不用手的操作可以通过语音输入得到增强，该语音输入可以单
独地使用，或者与所检测的运动结合使用。例如，Mi(MOSC)ft_K_ Kinect具有外围的麦克风，
并且可检测所识别的语音传来的方向。这种和/或其它语音识别技术可以用来捕获语音命令，并且选择性地过滤来自使用者的语音命令。语音命令可以与姿势结合。例如，使用者可以说“烧蚀功率”，然后上下移动他的手以控制功率。在另一个实例中，使用者可以说“烧蚀温度”，然后上下移动他的手以控制温度设定。另一个实例可以是，使用者说“烧蚀电极”，并且手左右运动将突出屏幕上的电极控制，且“向前压”将会触发选择。在另一个实例中，使用者可以说“烧蚀电极无/偶数/奇数/全部”，将适当地选择或取消选择电极。客户端计算机执行所有的逻辑，以便与最近识别的语音命令结合而决定每个运动的含义。在该实施例的一个版本中，一些命令可以仅仅利用语音命令或仅仅利用姿势来执行，例如，设定烧蚀模式可以仅通过说“烧蚀双极”或“烧蚀单极”而不需要姿势来实现。图2示出了在一个工作站26中具有CPU和客户端计算机两者的模块的实施例。在图2所示的实施例中的系统具有深度传感器10、语音识别24、运动检测软件模块18和目标软件模块20，具有与图1中的那些组成部分相同的功能。然而，在该实施例中，仅仅使用一个工作站26，并且目标软件模块20包括客户端通信模块。本发明并不限于图1或图2的构造。还可以使用多个CPU，每个CPU都具有一个或更多个模块。图3为本发明方法的流程图。在步骤SI中，使用者通常通过执行运动、语音命令或压下脚踏板来获得无接触控制系统的控制。在步骤S2中，通过深度传感器10检测包括改变位置的移动，并且将该移动传递到CPU12。在步骤S3中，CPU跟踪且保存短的历史的移动和/或位置改变。在步骤S4中，CPU 12利用运动软件从根据短的历史接收的运动推断更加复杂的移动或姿势。在步骤S5和S6中执行过滤。在步骤S5中，通过确定移动是否处于预定位置内和/或通过执行面部识别，来确定姿势是否由授权的或合适的使用者执行。如果姿势被确定为由授权的使用者执行(S5=是)，那么处理过程继续进行步骤S6，在步骤S6中由CPU验证该姿势。如果姿势是有效的(S6=是)，那么其被发送到客户端计算机，那么在步骤S3处重新开始额外的运动跟踪。在步骤S7处，在客户端计算机处的通信客户端模块处接收该姿势。如果活动的目标软件模块识别该姿势(S8=是)，那么在步骤S9处，客户端计算机在烧蚀工作站处根据客户端逻辑或目标软件模块基于推断的姿势执行装置功能或操作(例如任务)。这些任务包括但不限于:改变一个或更多个电极的功率设定、改变所述一个或更多个电极的最大允许温度、改变烧蚀模式(单极或双极)、选择和取消选择用于烧蚀的电极等。一旦运动软件将姿势发送到客户端计算机(当S6=时)，运动软件就返回以响应下一个所检测的运动和/或身体位置。在一个实施例中，执行授权的移动还需要确定该移动是否是与硬件诸如另一个装置结合执行的。在该实施例中，授权的移动必须包括由软件推断的复杂的移动以及诸如脚踏板上的踩踏的额外动作两者。该授权可以在步骤S5 (当S5=是时)之后且在步骤S6之前执行。如果所检测的移动没有被授权(S5=否)或者所检测的移动不是有效的(S6=否)，那么处理过程继续进行步骤S3。如果不是由客户端软件识别该姿势(S8=否)，那么不执行任务。本发明的系统有利地允许这样执行任务:通过利用头部跟踪操作缩放装置和/或其它运动检测技术，以允许医生或其它系统使用者执行某些动作，同时仍然利用他的至少一只手进行导管的导航。有利地，该系统可以仅仅针对允许的人员过滤姿势并且发送姿势。这确保了该系统仅仅由期望的人控制。其它人的手势和头部移动以及其它动作可以被忽略。本公开的各个方面可以实施为包含或存储在计算机或机器可用或可读介质中的程序、软件或计算机指令，其在计算机、处理器、和/或机器上执行时使得计算机或机器执行本方法的步骤。还提供机器可读的程序存储装置(例如计算机可读介质)，其有形地包含可由机器执行的指令程序，以执行本公开中所述的各种功能和方法。本公开的系统和方法可以实施和运行在通用计算机或专用计算机系统上。计算机系统可以是任何类型的已知或将已知的系统，并且通常可以包括处理器、内存装置、存储器装置、输入/输出装置、内部总线和/或通信接口等，该通信接口用于与其它计算机系统通信，所述计算机系统与通信硬件和软件等结合。该系统还可以在虚拟计算机系统上实施，该虚拟计算机系统俗称为云。计算机可读介质为计算机可读存储装置，其可以为例如磁性、光学、电子、电磁、红外或半导体系统、设备或装置，或者上述中任何合适的组合；然而，计算机可读存储装置并不限于这些实例。计算机可读存储装置的其它具体实例可以包括:便携式计算机磁盘、硬盘、磁性存储装置、便携式只读光盘驱动器(CD-ROM)、随机访问存储器(RAM)、只读存储器(ROM)、易擦写可编程只读存储器(EPR0M或闪存存储器)、具有一个或更多个线材的电气连接件、光纤、光学存储装置、或者上述中任何合适的组合；然而，计算机可读存储介质也不限于这些实例。通过或结合指令执行系统、设备或装置而可包含或存储使用的程序的任何有形介质可以是计算机可读存储装置。可以在本申请中使用的术语“计算机系统”和“计算机网络”可以包括固定和/或便携式计算机硬件、软件、外围设备和存储装置的多种组合。计算机系统可以包括多个单独的组成部分，这些组成部分通过网络连接或者以其它方式连接，以协作地执行，或者可以包括一个或更多个单机组成部分。本申请的计算机系统的硬件和软件组成部分可以包括并且可以包括在固定和便携式装置中，例如台式机、便携式电脑和/或服务器、以及服务器网络(云)中。模块可以是实施某些“功能”的装置、软件、程序或系统的组成部分，其可以实施为软件、硬件、固件、电路等。上述实施例为示例性实例，并且不应当认为本发明受限于这些具体实施例。从而，在不脱离所附权利要求限定的本发明的精神或范围的情况下，本领域技术人员可以进行各种变化和修改。
权利要求
1.一种用于烧蚀工作站的无接触操作的系统，包括: 用于检测移动的深度传感器； 运动软件模块，所述运动软件模块可操作以从所述深度传感器接收所检测的移动，基于所述检测的移动推断姿势，以及过滤所述姿势以接受适用的姿势；和 客户端软件模块，所述客户端软件模块可操作以在所述烧蚀工作站中的客户端计算机处接收所述适用的姿势，以便基于所述适用的姿势根据客户端逻辑执行任务。
2.根据权利要求1所述的系统，其中所述任务为以下中的一种:改变一个或更多个电极的功率设定、改变所述一个或更多个电极的最大允许温度、改变烧蚀模式、选择用于烧蚀的所述一个或更多个电极、以及取消选择用于烧蚀的所述一个或更多个电极。
3.根据权利要求1所述的系统，其中所述移动是头部运动、手部运动和身体运动中的至少一种，并且还基于短的历史来推断所述姿势。
4.根据权利要求1所述的系统，还包括用于使所述检测的移动成为所述适用的姿势的硬件。
5.根据权利要求1所述的系统，其中所述适用的姿势是由利用面部识别而确定被授权的使用者执行的所述检测的移动以及根据所述客户端逻辑的识别的姿势中的一种或更多种。
6.根据权利要求1所述的系统，其中通过确定所述姿势是否是授权的和有效的来过滤所述姿势。
7.根据权利要求1所述的系统，还包括用于在所述客户端计算机处接收所述应用姿势的客户端通信模块。
8.根据权利要求1所述的系统，还包括语音识别，所述语音识别提供语音输入以使得所述客户端能够基于所述语音输入、结合所述适用的姿势来执行所述任务。
9.一种用于烧蚀工作站的无接触操作的方法，包括: 利用深度传感器检测移动； 基于所检测的移动推断姿势； 过滤所述姿势以接受适用的姿势； 在所述烧蚀工作站中的客户端处接收所述适用的姿势；以及 基于所述适用的姿势根据客户端逻辑执行任务。
10.根据权利要求9所述的方法，其中所述任务为以下中的一种:改变一个或更多个电极的功率设定、改变所述一个或更多个电极的最大允许温度、改变烧蚀模式、选择用于烧蚀的所述一个或更多个电极、以及取消选择用于烧蚀的所述一个或更多个电极。
11.根据权利要求9所述的方法，其中所述移动是头部运动、手部运动和身体运动中的至少一种，并且还基于短的历史来推断所述姿势。
12.根据权利要求9所述的方法，其中在启动硬件的同时执行所述适用的姿势。
13.根据权利要求9所述的方法，其中所述适用的姿势是由利用面部识别而确定被授权的使用者执行的所述检测的移动。
14.根据权利要求9所述的方法，其中所述适用的姿势是根据所述客户端逻辑的识别的姿势。
15.根据权利要求9所述的方法，还包括利用语音识别提供语音输入的步骤，其中基于所述语音输入、结合所述适用的姿势来完成执行步骤。
16.根据权利要求9所述的方法，过滤所述姿势的步骤包括确定所述姿势是否是授权的和有效的。
17.一种计算机可读存储装置，其存储能够由机器执行的指令程序，以执行用于烧蚀工作站的无接触操作的方法，所述方法包括: 利用深度传感器检测移动； 利用CPU，基于所检测的移动推断姿势； 过滤所述姿势以接受适用的姿势； 在所述烧蚀工作站中的客户端处接收所述适用的姿势；以及 基于所述适用的姿势根据客户端逻辑执行任务。
18.根据权利要求17所述的程序，其中所述任务为以下中的一种:改变一个或更多个电极的功率设定、改变所述一个或更多个电极的最大允许温度、改变烧蚀模式、选择用于烧蚀的所述一个或更多个电极、以及取消选择用于烧蚀的所述一个或更多个电极。
19.根据权利要求17所述的程序，其中所述移动是头部运动、手部运动和身体运动中的至少一种。
20.根据权利要求17所述的程序，其中所述适用的姿势是在启动硬件的同时执行的运动以及由利用面部识别而确定被授权的使用者进行的运动中的一种。
21.根据权利要求17所述的程序，其中过滤所述姿势包括确定所述姿势是否是授权的和有效的。
22.根据权利要求17所述的程序，其还包括利用语音识别提供语音输入，其中基于所述语音输入、结合所述适用的姿势来完成执行步骤。
全文摘要
本发明名称为“利用深度传感器进行无接触操作的烧蚀工作站”。本发明提供用于烧蚀工作站的无接触操作的具有创造性的系统和方法。该系统可包括用于检测移动的深度传感器；运动软件，其从深度传感器接收所检测的移动，基于所述检测的移动推断姿势，并且过滤该姿势以接受适用的姿势；以及客户端软件，其在烧蚀工作站中的客户端计算机处接收该适用的姿势，以便基于该适用的姿势根据客户端逻辑执行任务。该系统还可以包括使所检测的移动成为适用的姿势的硬件。该系统还可以包括语音识别，其提供语音输入以使得客户端能够基于语音输入、结合适用的姿势来执行任务。适用的姿势可以是利用面部识别授权的移动。
文档编号G06K9/00GK103207671SQ20131001153
公开日2013年7月17日 申请日期2013年1月11日 优先权日2012年1月11日
发明者A.默雄, A.戈瓦里, A.C.阿尔特曼, Y.施瓦茨 申请人:韦伯斯特生物官能(以色列)有限公司