本说明书依赖于在2015年10月28日提交的题为“用于在患者体内跟踪内窥镜的位置的装置和方法”的美国专利临时申请号62/247,232的优先权。
本说明书涉及于2014年10月2日提交的题为“具有集成传感器的内窥镜”的美国专利申请号14/505,387以及在2015年4月28日提交的题为“使用多观察元件的内窥镜扫描体腔的系统和方法”的美国专利申请号14/697,933的申请。
上述申请的全部内容通过引用并入本文。
本说明书一般涉及内窥镜，且更具体地涉及用于显示内窥镜在患者体内的位置的图像，该图像重叠在患者身体上或叠加在患者身体的图像上。
背景技术：
内窥镜是一种用于检查和处理内部体腔，诸如消化道、气道、胃肠系统和其他器官系统的医疗器械。传统的内窥镜通常是细长的管状轴，刚性的或柔性的，具有摄像机和用于将源于位于管的近端的外部光源的光指向远侧顶端的光纤光导。而且，大多数内窥镜设有一个或多个通道，医疗装置，诸如镊子、探针和其他工具可以通过该通道。此外，在内窥镜手术期间，通常经轴引入或排空流体，诸如水、盐水、药物、造影剂、染料或乳化剂。可以在轴内设置多个通道，其中每一个均用于引入和抽吸液体。
内窥镜已在医学界获得了很高的认可，这是因为其提供了以最小的患者创伤执行手术，且同时使得医师能够观察到患者的内部解剖结构的工具。多年来，许多内窥镜已经根据特定应用进行了开发和分类，诸如膀胱镜检查、结肠镜检查、腹腔镜检查、上消化道(gi)内窥镜检查等。内窥镜可以被插入人体的自然孔口中或通过皮肤中的切口插入。
一些内窥镜具有用于观察内部器官，诸如结肠的观察元件和用于对观察元件的视野进行照明的照明器。观察元件和照明器位于内窥镜的顶端中且被用于捕获被内窥镜扫描的体腔的内壁的图像。所捕获的图像经镜轴中存在的通道中的一个被发送至与内窥镜相联接的控制单元以显示在与控制单元相联接的屏幕上。
在内窥镜手术期间，手术医师通过使用显示在与控制单元，诸如引导器相联接的屏幕上的所捕获的图像来在患者体内引导内窥镜。然而，医生不知道内窥镜在体内相对于患者的内部器官的准确位置。医生在很大程度上基于他/她对患者解剖结构的了解、经验和内部器官的显示图像来操纵内窥镜。
通过在内窥镜手术期间显示内窥镜在体内的表示，传统的引导系统的内窥镜允许手术医师观察镜在患者体内的位置。然而，这样的表示描绘了相对于内窥镜坐标系，而不是相对于患者坐标的镜的位置。因此，手术者不能准确地了解镜相对于患者身体的位置。这可能导致手术者以导致患者不舒服或甚至疼痛的方式操纵镜。
因此，需要一种通过将镜的坐标与患者的坐标相组合来显示内窥镜在患者体内的准确位置的装置和方法。需要一种组合患者和内窥镜的信息以提供清楚地突出显示了内窥镜相对于患者的内部器官的位置的增强现实环境的方法。
技术实现要素：
结合系统、工具和方法来描述和说明下列实施例及其各方面，其旨在是示例性和说明性的，而不是限制范围。
本说明书公开了一种具有内窥镜手柄和适于被插入患者胃肠道中的内窥镜本体的内窥镜系统，该系统包括：位于该内窥镜手柄上的多个定向标记物，其中该定向标记物是围绕该内窥镜手柄的圆周分布的；沿内窥镜本体的外表面纵向地位于不同位置上的多个传感器，其中该多个传感器中的每一个适于生成第一定向数据；位于该患者体外且适于检测该多个定向标记物中的一个或多个并生成第二定向数据的一个或多个相机；以及控制器，其适于接收该第一定向数据和第二定向数据并生成指示该内窥镜本体在患者的该胃肠道内的位置的数据。
可选地，指示该内窥镜本体的位置的数据包括已进入患者的胃肠道的内窥镜本体的所有位置。
可选地，传感器沿内窥镜本体的长度纵向分布且以至少0.1mm的预定距离分隔开。
可选地，控制器适于基于指示该内窥镜本体的位置的数据生成该内窥镜本体的图像。
可选地，控制器还适于通过执行内窥镜的定向至限定该患者的位置的坐标系的转换并向该图像施加该转换来使该图像定向。
可选地，控制器还适于将该定向的图像叠加至该患者的胃肠道的一部分的图像上以生成该内窥镜本体的定向的叠加图像。
可选地，第一定向数据指示内窥镜本体相对于内窥镜坐标系的位置。
可选地，第二定向数据指示内窥镜手柄相对于患者坐标系的位置。
可选地，内窥镜系统还包括投影仪，其适于从控制器接收该内窥镜本体的定向的叠加图像并将其投射至患者身上。
可选地，多个定向标记物包括被置于内窥镜的手柄上的球体，每个球体具有范围是0.5至2cm的直径。
可选地，多个定向标记物包括针点大小的激光束。
可选地，多个定向标记物由反射或发射红外光的材料制成。
可选地，多个传感器包括通过电光和机械方法中的一种或多种来测量内窥镜的插入管的弯曲和扭曲的加速度计、陀螺仪、磁力计和条带中的一个或多个。
可选地，多个传感器包括沿内窥镜的细长轴和插入管中的一个放置的电感传感器、电容传感器、电容位移传感器、光电传感器、磁传感器和红外传感器中的一个或多个，其中传感器中的每一个基于传感器沿插入管的位置对应于唯一的识别符。
可选地，内窥镜系统还包括距离传感器，其适于检测沿内窥镜本体的外表面纵向地位于不同位置处的距离标记并生成距离数据，其中距离传感器包括用于提供插入管在患者的胃肠道内已行进的距离的深度传感器和触摸传感器中的一个或多个。
可选地，内窥镜系统包括两个立体校准的相机，其适于通过三角测量生成包括基准在相机自身的坐标系中的3d位置的第二定向数据。
本说明书还公开了一种在内窥镜手术期间在患者的器官内跟踪内窥镜的位置的方法，该方法包括：在内窥镜的坐标系中确定内窥镜在器官内的位置；通过外部光学跟踪器在图像中捕获多个基准标记物；将捕获的基准标记物从内窥镜的坐标系变换至光学跟踪器的坐标系；在患者器官的模型上检测捕获的基准标记物；以及将具有基准标记物的内窥镜的图像投射至具有基准标记物的患者的图像上。
可选地，外部光学跟踪器是被放置在执行内窥镜手术的内窥镜上方的相机。
可选地，通过使用目标检测算法来检测在患者器官的模型上的所捕获的基准标记物。仍然可选地，通过使用霍夫变换来检测在患者器官的模型上的所捕获的基准标记物。可选地，该方法还包括通过使用校准的投影仪将内窥镜的位置直接投射至患者的身体上。
本说明书还公开了一种用于在内窥镜手术期间在患者器官内跟踪内窥镜的位置的内窥镜检查系统，该系统至少包括联接有多个基准标记物的内窥镜；被置于内窥镜的外部的光学跟踪器和用于至少处理由光学跟踪器捕获的图像的计算单元，光学跟踪器在内窥镜手术期间在图像中捕获多个基准标记物和内窥镜，计算单元将所捕获的基准标记物从内窥镜的坐标系变换至光学跟踪器的坐标系并将具有基准标记物的内窥镜的图像投射至具有基准标记物的患者器官的图像上。
可选地，外部光学跟踪器是被放置在执行内窥镜手术的内窥镜上方的相机。
可选地，通过使用目标检测算法来将所捕获的基准标记物从内窥镜的坐标系变换至光学跟踪器的坐标系。仍然可选地，通过使用霍夫变换来将所捕获的基准标记物从内窥镜的坐标系变换至光学跟踪器的坐标系。
可选地，该系统还包括用于将内窥镜的位置直接投射至患者的身体上的校准的投影仪。
本说明书的上述和其他实施例将在下面提供的附图和具体实施方式中更详细地进行描述。
附图说明
由于当结合附图进行考虑时通过参考下列具体实施方式将更好地理解本说明书的这些和其他特性和优点，因此将理解这些和其他特性和优点，其中：
图1a示出了其中可以实施本说明书的方法的多观察元件的内窥镜检查系统；
图1b为其中可以实施本说明书的方法的多观察元件的内窥镜检查系统和被部署在手术室中的相关联的接口单元的布局的示意图；
图1c为其中可以实施本说明书的方法的多观察元件的内窥镜检查系统和被部署在手术室中的相关联的接口单元的另一个布局的示意图；
图1d为其中可以实施本说明书的方法的多观察元件的内窥镜检查系统和被部署在手术室中的相关联的接口单元的又一个布局的示意图；
图2示出了根据本说明书的一个实施例的使用多观察元件的内窥镜来测量内窥镜顶端的深度、距离或位置，该内窥镜的细长轴具有被附接至其的多个传感器；
图3为示出根据本说明书的一个实施例的在内窥镜手术期间跟踪内窥镜在患者的内部器官内的位置的方法的流程图；
图4a示出了根据本说明书的一个实施例的具有基准标记物的内窥镜的三维(3d)模型；
图4b示出了通过光学跟踪器/相机被投射到二维(2d)平面上的图4a中所示的3d内窥镜模型；以及
图4c示出了根据本说明书的一个实施例的被投射在由相同的相机捕获的内窥镜的图像的顶部上的图4a中所示的基准标记物。
具体实施方式
本说明书提供了一种用于显示内窥镜在患者体内的位置的方法。在一个实施例中，在内窥镜手术中使用的内窥镜的图像被直接投射在患者的身体上，这允许手术医师清楚地确定内窥镜在身体内的位置。在另一个实施例中，内窥镜在患者体内的位置作为图像与患者的内部器官的图像一起显示在监视器上，这允许手术者在体内很容易地操纵内窥镜。
在各种实施例中，本说明书的方法允许手术医师在内窥镜手术期间准确地确定内窥镜在患者体内的位置，从而显著地缩短内窥镜的导航时间。该方法还允许手术者在gi手术期间正确地确定内窥镜的顶端与患者的盲肠之间的距离。
在一个实施例中，本说明书的方法允许进行患者结肠的三维重建。在内窥镜手术期间捕获的图像可以被显示在结肠模型的顶部，这使得能够实现内窥镜的更好的可操纵性和对结肠的改进的诊断。
要注意的是，根据一些实施例，如本文所述的术语“内窥镜”可以特别地指代结肠镜，但不仅限于结肠镜。术语“内窥镜”可以指代被用于检查中空器官或体腔的内部的任何器械。
还应注意的是，在本说明书中出现的如下所述的多个术语可互换使用或指代相似的组件且决不应被解释为限制：
·“实用管/电缆”也可以被称为“脐带管/电缆”。
·“主控单元”也可以被称为“控制器单元”或“主控制器”。
·“观察元件”也可以被称为图像捕获装置/组件、观察组件、相机、电视相机或摄像机。
·“工作通道”也可以被称为“服务通道”。
·“照明器”也可以被称为“照明源”，且在一些实施例中，为led。
·“柔性轴”也可以被称为弯曲部分或椎骨机构。
·本文和全文中使用的“基准”可以被用于指代标准或参考的，例如，基准标记物。
如说明书中所使用的，术语“光学组件”被用于描述一组组件，其允许内窥镜装置捕获光并将该光变换成至少一个图像。在一些实施例中，采用透镜/光学元件来捕获光，且采用图像捕获装置，诸如传感器来将该光变换成至少一个图像。
图像捕获装置可以是电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)图像传感器，或具有可用于捕获图像的光敏表面的其他合适的装置。在一些实施例中，采用传感器，诸如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)图像传感器(用于检测由光学元件接收的反射光)。
在一些实施例中，光学元件包括多个光学器件，诸如透镜组件、透镜和保护玻璃，且被配置成接收源于目标物体的反射光。
根据本说明书的一个实施例，顶端盖可以容纳内窥镜的顶端部分。具有顶端盖的顶端部分可以通过柔性轴转动或操纵，该柔性轴也可以被称为弯曲部分，例如，椎骨机构。顶端盖可以被配置成在包括电子电路板组件和流体窜流组件的顶端部分的内部上进行装配，并为内部中的内部组件，诸如体腔提供保护。随后，内窥镜能够在体腔内执行诊断或外科手术。顶端部分载有一个或多个观察元件，诸如相机以观察为这些手术的目标的体腔内的区域。
顶端盖可以包括面板，其具有用于观察元件的光学透镜组件的透明表面、窗口或开口。面板和观察元件可以位于顶端部分的前面和侧面。光学透镜组件可以包括多个提供不同视野的静态或可移动的透镜。
电子电路板组件可以被配置成载有观察元件，其可以通过面板上的开口进行观察。观察元件可以包括图像传感器，诸如但不限于电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)图像传感器。
电子电路板组件可以被配置成载有照明器，其能够通过照明器的光学窗口提供照明。照明器可以与观察元件相关联，且可以被定位成对观察元件的视野进行照明。
本说明书提供了一种通过确定身体内的内窥镜坐标来确定内窥镜在患者体内的位置的方法。在一个实施例中，本说明书公开了使用基准标记物或点来跟踪内窥镜在患者体内的位置。在一个实施例中，基准标记物围绕整个内窥镜的手柄分布且连同感测系统提供描述在3d空间中是如何转动或定向手柄的数据。在一个实施例中，使用相机系统来捕获基准标记物的位置，且使用已知的算法，相对于相机系统来转换内窥镜的定向。在一个实施例中，固定患者和相机系统的位置使得相机系统能够将内窥镜的定向缩放和转换至被投射到患者身体上的图像中。
在实施例中，内窥镜在患者体内的位置是由测量内窥镜本体在患者体内的弯曲、转动或定向的传感器进行跟踪的。在其他实施例中，沿着内窥镜的插入管集成传感器以提供关于在患者体内的内窥镜所行进的距离的实时信息。在一个实施例中，从基准标记物获得的内窥镜的定向和经传感器获得的弯曲、转动或定向信息一起提供了整个内窥镜在患者体内的精确定向。在一个实施例中，通过使用基准标记物来确定内窥镜的第一位置的位置，且通过使用相对于内窥镜的手柄和每个点已在患者体内行进的距离的转动或定向来确定该点沿内窥镜本体的位置。
本说明书针对多个实施例。提供以下公开内容以使得本领域的普通技术人员能够实践本说明书。在本说明书中使用的语言不应被解释为普遍拒绝任何一个特定实施例或被用于限制超出本文所使用的术语的含义的权利要求。在不脱离说明书的精神和范围的情况下，本文限定的一般原理可以被应用于其他实施例和应用。而且，所使用的术语和措辞是为了描述示例性实施例且不应被认为是限制性的。因此，本说明书应被赋予包含与所公开的原理和特性相一致的多个替代物、修改和等同物的最宽泛的范围。为了清楚起见，没有详细描述与和本说明书相关的技术领域中已知的技术材料有关的细节，以免不必要地模糊本说明书。
在本文中，应注意的是，除非另外明确指出的以外，与特定实施例相联合地进行描述的任何特性或组件可以与任何其他实施例一起使用和实施。
现在参考图1a，其示出了多观察元件的内窥镜检查系统100。系统100可以包括多观察元件的内窥镜102。多观察元件的内窥镜102可以包括手柄104，细长轴106从该手柄104伸出。细长轴106终止于可通过弯曲部分110转动的顶端部分108。手柄104可以被用于在体腔内操纵细长轴106。手柄可以包括控制弯曲部分110以及诸如流体注射和抽吸的功能的一个或多个按钮和/或旋钮和/或开关105。手柄104还可以包括至少一个，且在一些实施例中，为一个或多个工作通道开口112，手术工具可以通过其插入；以及一个或多个侧服务通道开口。
也被称为脐带管的多用途电缆114可以连接在手柄104和主控单元199之间。多用途电缆114可以在其中包括一个或多个流体通道和一个或多个电通道。电通道可以包括用于从前向和侧向观察元件接收视频数据的至少一个数据电缆，以及用于将电力提供至观察元件和离散照明器的至少一个电力电缆。
主控单元199包含显示由内窥镜102捕获的内部器官的图像所需的控件。主控单元199可以管理至内窥镜102的顶端部分108的电力传输，诸如用于顶端部分的观察元件和照明器。主控单元199还可以控制一个或多个流体、液体和/或抽吸泵，其向内窥镜102供给相应的功能。为了与主控单元199进行人际交互，可以将一个或多个输入装置118，诸如键盘、触摸屏等连接到主控单元199。在图1中所示的实施例中，主控单元199包括用于当使用内窥镜102时显示关于内窥镜检查手术的手术信息的屏幕/显示器120。屏幕120可以被配置成显示从多观察元件的内窥镜102的观察元件接收的图像和/或视频流。屏幕120还可以进行操作以显示用于允许人手术者设置内窥镜检查系统的各种特性的用户界面。
在各种实施例中，通过确定身体内的内窥镜坐标来确定内窥镜在患者体内的位置。可以使用各种方法来确定内窥镜在镜的坐标系内或相对于外部坐标系的位置和姿态。
在一个实施例中，本说明书公开了使用基准标记物或点来跟踪内窥镜在患者内腔内的位置。如本领域中公知的那样，基准标记物或基准点是被置于成像系统的视野中的物体，其出现在所产生的图像中以用作参考点或量度标准。其可以是被置于成像对象中或上的事物，或在光学仪器的光罩中的标记或标记组。基准标记物的位置取决于被用于计算镜在患者体内的姿态的方法。
在一个实施例中，基准标记物或点是被置于内窥镜的手柄上的球体(球)，其使得能够测量内窥镜相对于内窥镜坐标(内部坐标系)的位置。这些球体很容易在图像中进行识别。例如，其他可识别的形状，诸如但不限于十字形也可以被用作基准标记物。在一个实施例中，本说明书中采用的基准标记物为具有范围是0.5至2cm的直径的球体。在另一个实施例中，针点大小的激光束也可以被用作基准标记物，这是因为当在光学跟踪器/相机的视野中时，其能够由光学跟踪器/相机唯一地检测出来。基准标记物可以由能够由光学跟踪器很容易地检测出来的任何材料制成。在一个实施例中，基准标记物可以由反射或发射任何形式的光，特别是红外光的材料制成。可以采用多个光学跟踪器，诸如相机来检测内窥镜的手柄部分上的基准点。基准点出现在由光学跟踪器捕获的图像中，其用作参考点以将内窥镜的坐标与光学跟踪器的坐标关联起来。
在实施例中，可以是外部相机的光学跟踪器被置于接受内窥镜手术的患者上方，以使得相机在相同的图像中捕获内窥镜和患者的身体。基准标记物被置于内窥镜的至少一部分上。因此，外部相机产生一个图像，其将基准标记物连同患者的身体显示在(部分不可见的)内窥镜上。
在本说明书的一个实施例中，使用电磁跟踪技术来检测内窥镜在患者体内的位置。如本领域中已知的，对于内窥镜的电磁跟踪而言，多个电磁线圈被缠绕在内窥镜的一个或多个部分的周围。线圈发射电磁信号，其能够由被置于内窥镜外部的电磁跟踪装置检测出来。在一个实施例中，基准标记物被附接至电磁跟踪装置，其被用于测量内窥镜相对于跟踪装置的坐标的位置。
感测系统：
在本说明书的另一个实施例中，通过在几个位置上测量内窥镜的插入管的定向的传感器来跟踪内窥镜在患者体内的位置。在各种实施例中，可以使用传感器，诸如加速度计、陀螺仪、磁力计(即，电子罗盘)和条带，其通过电光/机械方法来测量插入管的弯曲和扭曲。根据另一个实施例，内窥镜包括沿着其的插入管集成的传感器以提供关于在患者内腔内的内窥镜所行进的距离的实时信息。
在一个实施例中，多个传感器沿着内窥镜的细长轴或插入管放置。此外，每个传感器根据其沿着插入管的位置(诸如与远侧顶端的距离)具有唯一的识别符、代码、签名或其他标识。在另一个实施例中，每个识别符不仅对于传感器来说是唯一的，而且还指出了由传感器占据的特定位置或距离。可以采用几种不同类型的传感器，包括但不限于电感传感器、电容传感器、电容位移传感器、光电传感器、磁传感器和红外传感器。在一个实施例中，深度传感器被置于身体的入口处，内窥镜在此处插入并与主控单元进行通信，该主控单元与内窥镜一起使用。在一些实施例中，采用传感器矩阵，以实现在距离读取中的连续性。在一些实施例中，可以使用触摸传感器。因此，例如，使用在插入管上以规则间隔放置的触摸传感器，显示输出的触摸传感器的数量将指出插入管已在身体的内腔内行进的深度。
在本领域中已知的是插入管在其上面具有数字或标记以向医师指出插入管在患者体内的距离。因此，在另一个实施例中，成像装置，诸如ccd、cmos等被置于患者身体的外部，靠近内窥镜的插入管的进入点处以捕获在身体外可见的插入管的标记的图像，从而提供插入管在患者体内的距离。
在又一个实施例中，通过使用响应于医师对管的抓握的传感器来测量深度。传感器基本上被置于插入管的整个长度上，且每个传感器根据其沿着插入管的细长轴线的位置具有唯一的识别符、代码、签名或其他标识。在通过引用整体并入本文的于2014年10月2日提交的题为“具有集成传感器的内窥镜”的共同未决的美国专利申请号14/505,387中描述了在患者体内确定内窥镜顶端的位置或距离的方法和系统。因此，如上所述，可以使用各种方法来确定内窥镜在镜的坐标系内的位置和姿态。
定向确定：
能够根据通过弯曲矩阵的积分计算出的定向来重建内窥镜的3d坐标。弯曲矩阵提供了对内窥镜弯曲程度的测量。能够根据由弯曲矩阵提供的弯曲信息来重建内窥镜的3d坐标。在一个实施例中，在内窥镜和光学跟踪器的坐标系中的具有已知坐标的基准标记物被用于获得在两个坐标系之间的匹配性。
在一个实施例中，通过光学跟踪器/相机将3d的镜模型投射至二维(2d)平面上。根据本说明书的一个实施例，光学跟踪器相对于相机的坐标来捕获基准标记物且将基准标记物匹配至进行内窥镜扫描的人体器官，诸如结肠的模型。使用目标检测算法来检测在患者器官的框架/模型内捕获的基准标记物。在一个实施例中，检测到的基准标记物是以围绕基准标记物的圆或分界(在这种情况下为橙色的)进行表示的。
用于将基准标记物从内窥镜坐标变换至光学跟踪器坐标的变换方法取决于光学跟踪器的特征。如果光学跟踪器是由两个立体校准的相机组成的，这些相机则通过三角测量在其自身的坐标系中计算标记物的3d位置。能够通过计算使点之间的平均距离最小化的变换的任何点云配准算法，诸如霍恩氏算法来计算具有基准标记物的已知3d结构的这些3d点的变换。然而，如果光学跟踪器由单个相机组成，则能够通过解决pnp问题的任何算法，诸如epnp、dlt和possit来计算变换。如本领域中已知的，pnp问题旨在基于在某个任意坐标系中具有已知位置的一组3d点和其通过相机的2d投影之间的比较来确定相机的位置。
在一个实施例中，使用目标检测算法，诸如“霍夫变换”来检测在患者的内部器官的框架/模型内捕获的基准标记物。在一些实施例中，也可以使用各种其他目标检测算法。霍夫变换是一种常用于检测图像中的参数形状的算法。例如，其能够被用于检测球体。该算法首先计算与形状的任何参数组合相一致的像素数量，且其次确定用于所计算的矩阵的阈值。
在其他实施例中，可以使用从通过电光/机械方法来测量插入管的弯曲和扭曲的传感器，诸如加速度计、陀螺仪、磁力计(即，电子罗盘)和条带(strips)获得的数据来获得内窥镜已在患者的内腔内行进的距离。在一个实施例中，内窥镜在患者的内腔内行进的距离是通过使用从沿内窥镜的细长轴或插入管放置的传感器，诸如电感传感器、电容传感器、电容位移传感器、光电传感器、磁传感器、深度传感器、红外传感器和触摸传感器获得的数据而获得的。这些传感器中的每一个的唯一识别符提供了关于传感器占据的特定位置(相对于插入管的远侧顶端的位置)或距离的信息，从而提供了该镜在患者器官内的定向。
图像投影
在实施例中，通过使用基准标记物和传感器确定的内窥镜的定向被转换至相机的坐标系，基于患者的位置和大小和相对的相机位置进行缩放且被投射到患者身上。
在一个实施例中，所捕获的基准标记物被投射在患者的内部器官的图像上。显示所捕获的基准标记物的内部器官的3d图像是通过使用计算机软件获得的。在另一个实施例中，对应于内窥镜的捕获的基准标记物被投射在内窥镜的图像上。显示所捕获的基准标记物的内窥镜的3d图像是通过使用计算机软件获得的。在又一个实施例中，内脏器官连同基准标记物的图像和具有基准标记物的内窥镜的图像一起被显示出来以使得手术医师能够清楚地确定内窥镜在器官内的位置。
在一个实施例中，被连接到内窥镜的控制单元的投影仪被用于将在其中示出内窥镜的位置的被扫描的患者器官的虚拟模型直接投射在患者身体上。在一个实施例中，对投影仪进行校准以在内窥镜和患者的坐标系中表达其相对于内窥镜和患者的位置的位置。校准还提供了投影仪的内部参数，诸如源于投影仪和患者的射线的方向。通过使用内部参数，可以计算投影仪的准确照明模式，这又使得能够实现将患者体内的内窥镜位置的虚拟模型(全息的)在患者顶部上的实时投射。
图1b示意性地描绘了被部署在手术室中的内窥镜系统和相关联的接口单元132的布局，其中可以采用如上所述的光学跟踪器和基准标记物。当医师138在内窥镜手术中使用内窥镜系统130的内窥镜部分140时，患者134被支撑在床136上。内窥镜140通过多用途电缆144被连接到主控制器142。内窥镜140上设置有多个基准标记物146。光学跟踪器或外部相机148被放置在患者134上方，以使得相机148在被显示在外部显示单元152上的相同图像中捕获内窥镜140、基准标记物146和患者的身体134。在另一个实施例中，多于一个的光学跟踪器或外部相机148可以被定位在患者134上方。
因此，光学跟踪器或在这种情况下为外部相机被置于接受内窥镜手术的患者上方，以使得相机在相同的图像中捕获内窥镜和患者的身体。基准标记物被置于内窥镜的至少一部分上。因此，外部相机产生一个图像，其将基准标记物连同患者的身体显示在(部分不可见的)内窥镜上。接下来，使用目标检测算法，诸如“霍夫变换”来检测在患者的内部器官的框架/模型内捕获的基准标记物(相对于图3而详细描述的)。在各种实施例中，在确定外部相机的参数(通过校准进行的)之后，在由外部相机拍摄的患者图像的顶部上提供患者器官(例如，结肠)的虚拟模型。在一个实施例中，通过使用校准的投影仪将显示内窥镜位置的患者器官的虚拟模型直接投射在患者身体上。
内窥镜140使用容纳在内窥镜140的顶端中的一个、两个、三个或更多个相机来提供一个或多个内窥镜视图(其可以是同时的)。主控制器142被分别连接到至少一个显示屏幕154(未示出)或多个显示屏幕，例如三个显示屏幕154a、154b和154c，其中每个显示屏幕被配置成显示由内窥镜系统130提供的三个内窥镜视图的相应视图。显示屏幕154被定位成面向医师138且可以升高，以使得医师138可以通过看屏幕显示和具有至其的不受干扰的视线来进行内窥镜手术。在一个实施例中，镜的位置和姿态是相对于外部坐标系进行确定的。在该实施例中，基准标记物被附接到外部坐标追踪系统。
图1c示出了被置于接受如在图1b中所示的内窥镜检查手术的患者的附近的具有基准标记物的电磁场发生器。具有基准标记物156的电磁场发生器被置于紧邻患者134处，例如，在患者的床136上/下或在被置于患者134附近的支架(未示出)上。
图1d示出了根据本说明书的一个实施例的通过使用投影仪被直接投射在患者身体上的内窥镜在接受如在图1b中所示的内窥镜手术的患者身体内的位置。如图所示，被连接到控制器142的投影仪158被用于将在其中示出内窥镜的位置的患者结肠的虚拟模型160直接投射在患者的身体134上。在一个实施例中，对投影仪158进行校准，由此校准投影仪158在内窥镜和患者的坐标系中表达了其相对于内窥镜140和患者134的位置的位置。校准还提供了投影仪158的内部参数，诸如源于投影仪和患者134的射线的方向。通过使用内部参数，可以计算投影仪158的准确照明模式，这又使得能够实现将患者体内的内窥镜140位置的虚拟模型160(全息的)在患者134顶部上的实时投射。
根据另一个实施例，内窥镜包括沿着其的插入管集成的传感器以提供关于在患者内腔内的内窥镜所行进的距离的实时信息。在一个实施例中，如在图2中所示，多个传感器2015沿着内窥镜的细长轴或插入管2306放置。此外，每个传感器根据其沿着插入管2306的位置(诸如与远侧顶端的距离)具有唯一的识别符、代码、签名或其他标识。因此，举例来说但不限于这个实例，传感器将被放置在与管2306的远端相距1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19或20厘米，或其中的任何增量的距离处。下一个传感器可以被放置在相似或不同的距离处，且将具有与被编程至第一传感器中的识别符不同的识别符。在另一个实施例中，每个识别符不仅对于传感器来说是唯一的，而且还指出了由传感器占据的特定位置或距离。因此，在一个实施例中，多个传感器被放置在沿插入管2306的长度的10厘米的增量处，其中每个传感器2015具有不同的识别符且其中每个识别符指示由传感器占据的距离增量。
额外地，深度传感器被置于身体的入口处，内窥镜在此处插入并与主控单元进行通信，该主控单元与内窥镜一起使用。作为一个非限制性示例，我们考虑对患者的结肠2022执行的内窥镜手术。深度传感器2020被置于本体2024的外部，靠近直肠2026处，该直肠2026是使内窥镜进入结肠2022的进入点。在手术中，深度传感器2020检测与在身体外部最接近进入部位的传感器2016的对准。在一个实施例中，每个传感器2015、2016被预编程成根据其位置进行读取，以使得10cm的传感器将传输不同于20cm的传感器的输出。在一个实施例中，深度传感器2020的输出被传送至控制器或主控单元，其记录并提供镜的远端所行进的距离的显示。
图3为示出根据本说明书的一个实施例的在内窥镜手术期间跟踪内窥镜在患者的内部器官内的位置的第一种方法的流程图。在步骤302，在镜的坐标系(内部)或外部坐标系中确定内窥镜在患者体内的参考位置。
在一个实施例中，为了使用镜的坐标系来确定镜在患者体内的位置，将基准标记物置于内窥镜的手柄上。
在另一个实施例中，镜在患者身体内的位置可以通过外部坐标系确定，诸如，通过使用弯曲矩阵、电磁跟踪或通过使用如上所述的一个或多个传感器来进行。在这样的实施例中，基准标记物被置于外部参考坐标跟踪系统上。
在步骤304，由光学跟踪器捕获位于镜的手柄或外部坐标跟踪系统上的基准标记物。在一个实施例中，光学跟踪器是相对于相机的坐标捕获基准标记物的相机。在基准标记物被刚性地附接至内窥镜的情况下，还能够相对于内窥镜的坐标来描述标记物。
图4a示出了根据本说明书的一个实施例的具有基准标记物的镜的三维(3d)模型。图4b示出了通过光学跟踪器/相机被投射到二维(2d)平面上的图4a中所示的3d镜模型。如图所示，相对于内窥镜404通过光学跟踪器(在图中未示出)来在图像中捕获基准标记物402。在一个实施例中，光学跟踪器是相对于相机的坐标捕获基准标记物402的相机。因此，根据本说明书的一个实施例，图4b示出了匹配至人类结肠类型的在图4a中所示的基准标记物。使用目标检测算法来检测在患者结肠的框架/模型406内捕获的基准标记物402。围绕基准标记物402的圆或分界(在这种情况下为橙色的)为由基准检测算法检测的(和标记的)基准标记物402的指示，如在下面的图3中的步骤306中所解释的。
在步骤306，获得了基准标记物从内窥镜的坐标至光学跟踪器的坐标的变换。变换方法取决于光学跟踪器的特征。如果光学跟踪器是由两个立体校准的相机组成的，这些相机则通过三角测量在其自身的坐标系中计算标记物的3d位置。然而，如果光学跟踪器由单个相机组成，则能够通过解决pnp问题的任何算法，诸如epnp、dlt和possit来计算变换。
在步骤308，所捕获的基准标记物被投射在患者的内部器官的图像上。显示所捕获的基准标记物的内部器官的3d图像可以通过使用计算机软件获得。在步骤310，对应于内窥镜的捕获的基准标记物被投射在内窥镜的图像上。显示所捕获的基准标记物的内窥镜的3d图像可以通过使用计算机软件获得，如在图4c中所示。图4c示出了根据本说明书的一个实施例的被投射在由相同的光学跟踪器/相机捕获的图像的顶部上的图4a中所示的基准标记物。如图所示，图4a中所示的基准标记物402被投射在内窥镜404的图像上。在一个实施例中，可以通过计算相机的重新投射的误差来估计相机(未在图中示出)的位置的准确度。
在步骤312，内脏器官连同基准标记物的图像和具有基准标记物的内窥镜的图像一起被显示出来以使得手术医师能够清楚地确定内窥镜在器官内的位置。在一个实施例中，在确定外部相机的参数(通过校准进行的)之后，将显示内窥镜的位置的患者结肠的虚拟模型增强至由外部相机拍摄的患者图像。
在各种实施例中，患者图像可以通过使用计算机监视器的显示而增强有显示内窥镜的位置的患者结肠的虚拟模型。在其他实施例中，可以使用显示方法，诸如透明玻璃。在另一个实施例中，增强图像也可以被显示在观察者的视网膜上。
上面的实例仅仅是本说明书系统的许多应用的说明。尽管本文仅描述了本说明书的几个实施例，但应理解的是，在不脱离本说明书的精神或范围的情况下，本说明书可以按许多其他特定形式进行具体化。因此，本实例和实施例应被认为是说明性的而不是限制性的，且可以在所附权利要求的范围内修改本说明书。