手术场景的定量三维成像的制作方法

本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVETHREE-DIMENSIONALIMAGINGOFSURGICALSCENES)”的美国临时专利申请No.61/971,749的优先权的利益，该专利申请的全部内容以引用方式并入本文。
技术领域：
本发明总体涉及具有相关联的图像传感器的手术内窥镜检查系统，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。
背景技术：
：定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D系统，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC(CMOS-compatiblethree-dimensionalimagesensorIC)”的美国专利No.6,323,942中有所公开，该专利公开了三维成像系统，该系统包括使用CMOS制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与系统发出的脉冲的飞行时间(TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法(Apparatusandmethodforendoscopic3Ddatacollection)”的美国专利No.8,262,559中有所公开，除了光成像机构以外，该专利公开了经调节的测量光束，用于将测量光束传导至要观察的区域上的光传送机构，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。使用结构光以确定对象在可视化图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz等人的“基于结构光的内窥镜3D扫描仪(Anendoscopic3Dscannerbasedonstructuredlight)”，MedicalImageAnalysis，16(2012)1063-1072中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(CapturingandProcessingImagesusingMonolithicCameraArraywithHeterogeneousImager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(SystemsandMethodsforDeterminingDepthfrommultipleViewsofaScenethatIncludeAliasingusingHypothesizedFusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：Anultra-ThinhighPerformanceMonolithicCameraArray)”。图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括透镜堆叠182的光学阵列和传感器184的阵列。在该阵列中的每个传感器包括二维的像素排列，该排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186，透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面188中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器阵列区域与其他传感器和焦平面所占据的传感器阵列区域不同。图2为示出图1的已知成像器传感器阵列180的简化平面图的示意图，已知成像器传感器阵列180包括传感器S11到S33。成像器传感器阵列180在半导体芯片上进行制造以包括多个传感器S11到S33。传感器S11到S33中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中，传感器S11到S33排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，成像器可以环形图案、之字形图案或分散图案或包括子像素偏移的不规则图案排列。每个传感器像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其位于氧化层804顶部，氧化层804的下方通常可以有滤色镜806，滤色镜806设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶部，硅层812包括传感器的有效区域814(通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区814上。像素孔径816通过微透镜的扩展度来确定，微透镜使光聚集并且将其集中在有效区814上。关于上述已知的成像器传感器阵列架构的附加信息于2013年8月20日发布的美国专利No.8,514,491和公开于2013年3月21日的美国专利申请公开No.U.S20013/0070060中有所提供。技术实现要素：在一方面，设备包括内窥镜。图像传感器阵列被设置成对邻近内窥镜的视野进行成像。传感器阵列的每个传感器包括与其他传感器的像素阵列分离的像素阵列。光源被设置成照亮视野。在另一方面，提供用于Q3D成像的方法，其中邻近内窥镜的顶端提供图像传感器阵列。内窥镜的顶端被定位成邻近目标对象。目标对象借助光源被照亮。在另一方面，提供用于Q3D成像的方法，其中邻近内窥镜的顶端提供光导管(lightpipe)输入端。内窥镜的顶端被定位成邻近目标对象。目标对象借助光源被照亮。光用于将到光导管的输入端的视野内的图像传递到图像传感器阵列，阵列中每个传感器包括与其他传感器的像素阵列分离的像素阵列。在另一方面，Q3D成像信息在手术期间用于警告外科医生通过图像传感器成像的手术器械和通过图像传感器成像的目标对象之间的接近度。在另一方面，使用Q3D成像信息创建目标对象的可视化3D模型，并且在手术程序期间操纵3D模型。附图说明当结合附图阅读时，从下面详细描述可以最好地理解本公开的方面。应当强调的是，根据行业中的标准实践，各种特征不是按比例绘制的。实际上，为了便于论述，各种特征的尺寸可任意增大或减小。此外，本公开可以在各种示例中重复参考标号和/或字母。这种重复是出于简化和清楚的目的，而其本身并不表示所讨论的各种实施例和/或构造之间的关系。图1为示出已知成像器传感器阵列的细节的示意图。图2为示出包括多个传感器的已知成像器传感器阵列的简化平面图的示意图。图3为已知微透镜像素堆叠的示意图。图4为示出根据一些实施例的透过观察器的手术场景的透视图的示意图。图5为根据一些实施例的使用一个或多个机械臂来执行微创手术程序的远程操作手术系统的示意方框图。图6为根据一些实施例的图5的系统的患者侧系统的示意透视图。图7A为根据一些实施例的第一图像捕捉系统的示意图。图7B为根据一些实施例的第二图像捕捉系统的示意图。图8为示出根据一些实施例的与图7A的第一图像捕捉系统相关联的控制块，并且示出操作中的系统的示意方框图。图9为表示根据一些实施例的确定物理目标的定量三维位置的过程的示意流程图。图10为示出根据一些实施例的通常对应于模块图9以系统地选择目标的过程的某些细节的示意流程图。图11为根据一些实施例的示例传感器成像器阵列的示意图，传感器成像器阵列包括多个传感器并且设置成具有包含示例性三维物理世界场景的视野，示例性三维物理世界场景包括三个示例性对象。图12为表示根据一些实施例的图11的多个物理对象到多个传感器上的投影的示意图。图13为指示根据一些实施例的从现实世界场景内选择感兴趣区域的示意图。图14为示出根据一些实施例的关于多个传感器中的投影图像的相对几何偏移的细节的示意图。图15为示出根据一些实施例的感兴趣区域(ROI)内的某些示例传感器中的投影图像的示意图，所述投影图像向右移位以与ROI内的指定基准传感器中的投影图像对齐。图16为示出根据一些实施例的所选目标点到多个传感器上的投影的示意图。图17为示出根据一些实施例的包括图16的多个传感器的成像器阵列的一部分和设置在物理空间中的适当位置处的所选目标点T的示意图。图18为根据一些实施例的当前所选目标点T到图16的多个图像传感器上的投影的示意性正视图。图19为示出根据一些实施例的当前所选目标相对于如上参考图17所述的多个传感器的布置的示意图，并且该示意图还示出传感器中的每个的候选像素的y方向像素偏移。图20为表示根据一些实施例的在手术程序期间使用Q3D信息的第一过程的示意流程图。图21为示出根据一些实施例的按照图20的过程在显示屏上所显示的菜单选择的示意图。图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程的示意图。图24为示出根据一些实施例的按照图23的过程在显示屏上所显示的菜单选择的示意图。具体实施方式给出以下描述以使本领域技术人员能够创建并使用手术内窥镜检查系统，该系统具有多个图像传感器，每个传感器包括与其他传感器的像素阵列分离的像素阵列，以确定图像传感器视野内的物理结构的三维坐标。对于本领域的技术人员而言，将易于对本实施例进行各种修改，并且本文所限定的一般原则可以应用于其他实施例和应用，而不背离本发明主题的精神和范围。而且，在下面描述中，出于说明的目的阐述了许多细节。然而，本领域的普通技术人员将认识到本发明主题可在没有这些具体细节的情况下进行实践。在其他情况下，为了不因不需要的细节而混淆本公开，因此以方框图形式示出众所周知的机器部件、过程和数据结构。相同的参考标号可以在不同附图中用于表示相同项的不同视图。下面所参考的附图中的流程图用于表示过程。计算机系统可以经配置执行这些过程中的一些。表示计算机实施过程的流程图内的模块表示根据计算机程序代码的计算机系统的配置，以执行参考这些模块描述的作用。因此，本发明主题并非旨在被限于所示实施例，而是符合与本文所公开的原则和特征一致的最广范围。简要概述根据一些实施例，包括成像器传感器阵列的图像传感器阵列与内窥镜相关联。图像传感器阵列包括多个传感器，并且每个传感器包括像素阵列。内窥镜的一部分插入人体体腔中，并且使用光源来照亮图像传感器阵列的视野中的目标对象。目标对象的物理位置和/或尺寸基于对象到阵列的单个传感器上投影图像来确定。图4为示出根据一些实施例的透过观察器312的手术场景的透视图的示意图。具有两个成形元件206R、206L的观察系统可以提供优良的3D观察透视图。表示手术场景中的物理结构的物理尺寸和/或位置信息的所示数值覆盖在手术场景图像上。例如，所示数值距离值“d_Instr_Trgt”显示在器械400和目标410之间的场景内。远程操作医疗系统远程操作指的是在一定距离处的机器的操作。在微创远程操作医疗系统中，外科医生可以使用安装到内窥镜上的相机观察患者体内的手术部位。已经生成三维图形以在手术程序期间提供高分辨率视图。根据一些实施例，相机系统安装在内窥镜上并且包括成像器传感器阵列，所述相机系统提供加上颜色和照明数据的定量三维信息，所述定量三维信息可以用于生成三维图像。图5为根据一些实施例的远程操作手术系统100的示意方框图，系统100使用一个或多个机械臂158来执行微创手术程序。系统100的方面包括遥控机器人和自主操作的特征。这些机械臂经常支撑器械。例如，机械手术臂(例如，中心机械手术臂158C)可以用于支撑立体或三维手术图像捕捉设备101C，诸如内窥镜相关联的Q3D图像传感器阵列。机械手术臂158C可以包括无菌适配器或夹钳、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将图像捕捉设备101C机械地固定到机械臂。相反地，图像捕捉设备101C可以包括与机械手术臂158C互补的物理轮廓和/或结构，以便牢固地与其互相配合。用户或操作者O(通常是外科医生)通过在主控制台150处操纵控制输入设备160来对患者P执行微创手术程序。操作者可以通过立体显示设备164来观察患者身体内部的手术部位的图像的视频帧，立体显示设备164包括以上参考图4所描述的观察器312。控制台150的计算机151经由控制线159引导远程操作受控内窥镜手术器械101A至101C的移动，从而使用患者侧系统152(也称为“患者侧推车”)来影响器械的移动。患者侧系统152包括一个或多个机械臂158。通常，患者侧系统152包括至少三个机械手术臂158A至158C(通常称为机械手术臂158)，所述机械手术臂158通过对应的定位组合臂(set-uparm)156来支撑。中心机械手术臂158C可以支撑内窥镜相机101C，内窥镜相机101C适合于捕捉用于相机视野内的图像的Q3D信息。中心左侧和右侧的机械手术臂158A和158B分别可以支撑可操纵组织的器械101A和器械101B。图6为根据一些实施例的患者侧系统152的示意透视图。患者侧系统152包括通过基座172支撑的推车柱170。一个或多个机械手术臂158分别附接到一个或多个组合臂156，组合臂156是患者侧系统152的定位部分的一部分。近似地位于基座172上的中心位置处，推车柱170包括保护配重子系统和制动子系统的部件远离污染物的保护罩180。除监控器臂154之外，每个机械手术臂158均用于控制器械101A至101C。而且，在本发明的一个实施例中，每个机械手术臂158均耦接到组合臂156，组合臂156进而耦接到托架壳体190。一个或多个机械手术臂158各自通过其相应的组合臂156来支撑，如图6所示。机械手术臂158A至158D各自可以包括一个或多个位移换能器、定向传感器和/或定位传感器185，以生成原始的未校正的运动学数据、运动学资料和/或运动学信息，从而辅助器械的获取和追踪。在本发明的一些实施例中，器械还可以包括位移换能器、定位传感器和/或定向传感器186。而且，一个或多个器械可以包括标记189来辅助器械的获取和追踪。关于远程操作医疗系统的附加信息在公开于2012年1月26日的美国专利申请公开No.2012/0020547中有所提供。内窥镜成像器系统图7A为根据一些实施例的第一图像捕捉系统101C的示意图。图像捕捉系统101C包括内窥镜，内窥镜包括伸长部分202，伸长部分202包括第一端部204和第二端部206以及第一端部204的顶端部分208。第一端部202的尺寸设定成插入人体体腔中。包括多个图像传感器(未示出)的成像器传感器阵列210耦接到第一端部204的顶端部分208。伸长部分202具有足以将顶端部分208定位成足够靠近体腔内的目标对象的长度，使得可以通过成像器传感器阵列210来使对象成像。根据一些实施例，第二端部206可以包括通常如上所述的物理轮廓和/或结构(未示出)，以便牢固地与机械臂(未示出)互相配合。伸长部分202还包括一个或多个电子信号路径212以电子地与成像器传感器阵列210传达信息。设置光源214来照亮要成像的对象。根据一些实施例，光源214可以是非结构化的光，例如白光、滤色光或处于一些所选波长的光。图7B为根据一些实施例的第二图像捕捉系统101C′的示意图。基本上与第一图像捕捉系统101C相同的第二图像捕捉系统101C′的方面由相同的参考标号指示并且不再描述。到光导管输入的输入端诸如棒形透镜设置在第一端部204的顶端部分208处。光导管主体在伸长部分202内延伸，以便将作为光导管输入接收的图像传输到成像器传感器阵列210，成像器传感器阵列210从顶端部分208物理移置。在一些实施例中，成像器传感器移置到距顶端部分208足够远，使得传感器阵列210在观察体腔内的对象期间位于人体体腔外部。图8为示出根据一些实施例的与图7A的第一图像捕捉系统101C相关联的控制块，并且示出操作中的系统的示意方框图。通过成像器传感器阵列210捕捉的图像通过数据总线212发送到视频处理器104，视频处理器104经由总线105与控制器106进行通信。视频处理器104可以包括相机控制单元(CCU)和视频信号检测器(VSD)板。CCU对成像传感器210的各种设置诸如亮度、颜色方案、白平衡等进行编程或控制。VSD处理从成像传感器接收的视频信号。根据一些实施例，包括一个或多于一个处理器的处理器系统经配置执行处理器功能。在一些实施例中，处理器系统包括多个处理器，所述多个处理器经配置一起进行操作以执行本文所述的处理器功能。因此，本文提及的经配置执行一种或多种功能的至少一个处理器包括处理器系统，在处理器系统中，所述功能可以通过一个处理器单独执行或者通过多个处理器一起工作来执行。替代地，CCU和VSD可结合到一个功能块中。在一种实施方式中，包括处理器和存储设备(未示出)的控制器106计算场景中的邻近伸长部分的顶端208的点的物理定量3D坐标，并且驱动视频处理器104和3D显示器驱动器109两者来构成3D场景，然后3D场景可以显示在3D显示器110上。数据总线107和数据总线108交换信息并且控制视频处理器104、控制器106和显示器驱动器109之中的信号。在一些实施例中，这些元件可以在内窥镜202的主体内部与图像传感器阵列210结合。替代地，它们可以分布在内窥镜的内部和/或外部。所示内窥镜202经由插管140定位以穿透人体组织130，以便提供到包括目标120的手术场景的可视化入口。目标120可以是解剖目标、另一手术器械或患者身体内部的手术场景的任何其他方面。添加到场景图像的Q3D信息的示例再次参考图4，图4为示出根据一些实施例的图5的主控制台150的观察器312的透视图的示意图。根据一些实施例，为提供三维透视图，观察器312包括针对每只眼睛的立体图像，立体图像包括手术部位的左侧图像400L和右侧图像400R，所述左侧图像和所述右侧图像包括分别在左侧取景器401L和右侧取景器401R中的任何器械400和目标410。取景器中的图像400L和图像400R分别可以通过左侧显示设备402L和右侧显示设备402R来提供。显示设备402L、402R可以任选地为一对阴极射线管(CRT)监控器、液晶显示器(LCD)或其他类型的图像显示设备(例如，等离子体、数字光投影等)。在本发明的优选实施例中，彩色图像通过一对彩色显示设备402L、402R来提供；诸如彩色CRT或彩色LCD。为支持与现有设备的向后兼容性，立体显示设备402L和402R可以与Q3D系统一起使用。替代地，Q3D成像系统可以连接到3D监控器、3DTV或自由立体显示器，诸如无需使用3D效果眼镜的显示器。具有两个成像元件206R、206L的观察系统可以提供优良的3D观察透视图。Q3D成像系统使用手术场景中的物理结构的实际尺寸信息补充该观察透视图。与Q3D内窥镜检查系统结合使用的立体观察器312可以显示覆盖在手术场景的立体图像上的Q3D信息。例如，如图4所示，器械400和目标410之间的数字Q3D距离值“d_Instr_Trgt”可以显示在立体观察器312内。可以用于覆盖手术场景的3D透视图上的物理位置和尺寸信息的视频立体观察系统的说明在美国专利申请公开No.2012/0020547的第[0043]至[0053]段和对应附图中有所提供，其以引用方式明确地并入本文。处理定量三维物理信息图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的流程图。该过程参考图8实施例的Q3D系统101C进行描述。模块401配置控制器106以从成像传感器Sij获取视频数据。应该认识到，虽然图像传感器阵列210使全部视野“成像”，但图像传感器阵列210中的不同传感器和不同传感器内的不同像素可以通过来自视野内的不同对象点的图像投影来照亮。例如，视频数据可以包括颜色或光强度数据。每个传感器的每个像素可以提供指示投影在其上的图像的颜色和强度的一个或多个信号。模块402配置控制器以从物理世界视图(worldview)中的所选感兴趣区域中系统地选择目标。模块403配置控制器以开始使用初始(x0，y0，z0)设置计算目标3D坐标(x，y，z)。然后，通过使用来自看到目标的所有传感器Sij的图像多样性数据，该算法检查坐标的一致性。坐标计算在步骤404处进行精确化，直到达到可接受的精确度。决定模块404配置控制器以确定当前计算的物理位置是否足够精确。响应于当前计算的位置不精确的确定，控制流程返回到模块403以尝试不同的可能的物理位置。响应于当前计算的位置足够精确的确定，模块405配置控制器以确定是否已经扫描整个感兴趣区域。响应于尚未扫描整个感兴趣区域的确定，控制流程返回到模块402并且选择不同的目标。响应于已经扫描整个感兴趣区域的确定，控制流程到模块406，模块406配置控制器以组合感兴趣的成像模块的三维模型。基于指示目标的结构的物理位置的三维信息组合目标的3D图像对本领域的技术人员而言是已知的并且不需要在本文进行描述。模块407配置控制器以存储通过使用为多个目标确定的物理位置信息而形成的3D模型以用于进一步的查看和操纵。例如，3D模型可以稍后用于手术应用，诸如针对患者器官的特定尺寸设定植入物的尺寸。在又一不同示例中，当新手术器械101安装在机器人系统152上时，需要回调所述3D模型并且将其显示在监控器110上，以便将新器械引用到先前的手术场景。模块408配置控制器以使用为多个目标确定的物理位置信息来显示定量3D视图。Q3D视图的示例是图4所示的距离值“d_Instr_Trgt”。图10为示出根据一些实施例的通常对应于图9的模块402的过程的某些细节的示意流程图。模块402.1配置控制器以捕捉来自传感器阵列210中所有传感器的物理世界场景的图像。模块402.2配置控制器以从捕捉的场景内指定感兴趣的区域。模块402.3配置控制器以搜寻如感兴趣区域内的场景图像之间的最佳匹配，以便识别在不同传感器中的通过相同目标的投影照亮的像素位置。如稍后所解释，但不限于，通过使来自传感器Sij的单个图像移位，直到移位图像和基准图像之间的二维交叉相关函数最大化，可实现最佳匹配。基准图像例如可以是从传感器S11接收的场景图像。模块402.4配置控制器以识别通过来自相同目标的投影照亮的候选像素。模块402.5配置控制器以计算用于所选目标的两个或更多个像素坐标(Nx，Ny)，从而确定候选像素是否通过来自相同目标的投影照亮。决定模块402.6确定计算的2D像素坐标值是否指示候选像素通过来自相同目标的投影照亮。通过使用多个传感器Sij观察相同场景所导致的图像多样性在与各种单个图像Sij中的具体目标相关联的正确识别(Nx，Ny)中起作用。例如，根据一些实施例，假设一种仅使用三个传感器S11、S12和S13的简化情境，如果2D像素坐标的三元数组[(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]并不对应于相同目标到[S11，S12和S13]上的投影，则数量和(y方向上投影移位的估计值)将产生不同的值。根据稍后提出的方程式，如果像素坐标(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)来自相同目标的投影，则和应该是相等的。如果和不近似相等，则控制流程返回到模块402.4并且使传感器平面Sij上的目标投影的最佳候选精确化。如上所述，上述仅是算法的简化实施。通常，如图10模块402.6所示，和之间差的范数应该小于可接受公差ε，以便使模块402完成其迭代。对于x轴线的对应估计值和应满足类似的限制。响应于确定计算的2D像素坐标值(Nx，Ny)确实指示候选像素通过来自相同目标的投影来照亮，则控制流程到至模块403。应该认识到，每个像素直接从世界场景捕捉颜色和强度信息。而且，根据上述过程，每个像素与投影在像素上的世界视图中物理对象的(x，y，z)坐标相关联。因此，颜色信息、照明强度信息和物理位置信息，即被投影的物理对象的颜色和照明以及位置，可以与非暂时性计算机可读存储设备中的像素相关联。下面表格1示出该关联。表格1像素标识符颜色值亮度值位置(x，y，z)确定Q3D信息的示例投影匹配的示例图11为根据一些实施例的示例传感器成像器阵列210的示意图，传感器成像器阵列210包括多个传感器S11至S33，所述传感器被设置为具有包括示例性三维物理世界场景的视野，该场景包括三个示例性对象。阵列中的每个传感器Sij包括像素的二维排列，所述排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠(lensstack)，透镜堆叠创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面中的对应像素排列上。每个像素用作光传感器，并且每个焦平面和其多个像素一起用作图像传感器。每个传感器S11至S33和其焦平面一起占据的传感器阵列区域与其他传感器和焦平面占据的传感器阵列区域不同。合适的已知图像传感器在美国专利No.8,514,491和美国专利申请公开No.2013/0070060，所述专利在上面进行了描述。根据一些实施例，传感器的特征为Nx和Ny(传感器在x方向和y方向上的像素的总数)，以及视野角度θx和θy。在一些实施例中，期望x轴线和y轴线的传感器特征是相同的。然而，在替代实施例中，传感器具有不对称的x轴线特征和y轴线特征。类似地，在一些实施例中，所有的传感器将具有相同的像素总数和相同的视野角度。传感器以良好受控制的方式分布在整个传感器阵列210中。例如，传感器可以在所示的二维格网上以δ距离分开。传感器布置间距δ在整个此格网上可以对称或不对称。在图11所示的实施例中，传感器排列在矩形格网中，在该矩形格网中，传感器S11至S13占据顶行，传感器S21至S23占据中间行，并且传感器S31至S33占据底行。每个传感器包括N行像素和N列像素。由虚线指示的通过光源产生的光线从三角形的第一对象、球形的第二对象和矩形的第三对象中的每个反射到成像器阵列中的每个传感器。出于说明的目的，仅示出到顶行中的传感器S11、S12和S13的光线。例如，光源可以是非结构化的白光或背景光。替代地，光源可以提供处于所选波长的光，诸如例如红外线，或者光源可以被过滤或分割以提供所选颜色或颜色范围。应该认识到，光线类似地从目标中的每个反射到传感器S21至S33。然而，为了简化说明，未示出这些其他光线。根据模块401和模块402.1，阵列的传感器单独地从世界视图中并且根据模块402.1捕捉图像。图12为根据一些实施例的表示图11的三个对象到传感器Sij(仅示出S11、S12和S13)上的投影的示意图。本领域的技术人员将认识到入射在所述传感器上的反射光线对视野中的物体的图像进行投影。更具体地，从视野中的对象反射出的入射到成像器阵列的多个不同图像传感器上的光线在接收反射光线的每个传感器中产生对象的从三维到二维的透视投影，即不同投影。具体地，当从S11前进到S12到S13时，对象投影的相对位置从左侧移位到右侧。通过入射光线照亮的图像传感器像素响应于入射光产生电信号。因此，对于每个图像传感器，响应于指示该图像传感器内的图像投影的形状和位置的反射光，通过该图像传感器的像素产生电信号的图案。根据模块402.2，感兴趣的区域选自世界场景。图13为指示从场景内选择感兴趣区域的示意图。在该示例中，三角形的第一对象、球形的第二对象和矩形的第三对象均在所选的感兴趣区域中。该步骤可以通过接受来自操作者的输入来实现，或者其可以使用由软件以规定方式配置的计算机来自动执行，或者通过操作者输入和自动软件控制选择的组合实现。例如，在一些实施例中，世界场景可以示出人类解剖结构的内腔，并且对象可以是内部人体器官或手术器械或其部分。外科医生可以从内腔内接收实时可视化影像，并且可以看到人类解剖结构的组织区域和在体腔内突出的手术器械的一部分。外科医生可以指定视野内的那些对象，对象的位置信息通过众所周知的技术来确定，所述技术诸如例如远程图显的视频标记。替代地或另外地，此操作者请求，自动化处理诸如边缘检测算法可以用于指定感兴趣区域(ROI)。根据模块402.3，确定在感兴趣区域内的场景图像之间的最佳匹配，以便识别不同传感器中的通过相同目标的投影照亮的像素位置。图14为示出根据一些实施例的关于传感器S11、S12和S13中投影图像的相对几何偏移的附加细节的示意图。根据一些实施例，来自传感器S13的图像被认为是基准图像，并且所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S12中按照量σ23像素向右偏移。所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S11中按照量σ13像素向右偏移。图15为示出根据一些实施例的ROI内的传感器S11和S12中的投影图像的示意图，所述投影图像向右侧移位以与ROI内的传感器S13中的投影图像对齐。在当前示例中，传感器S13被指定用作基准传感器。应该认识到，可选择其他传感器用于确定对齐和几何尺寸。所选ROI内对象的投影在指定传感器例如传感器S13中被识别，并且在其他传感器例如传感器S11和传感器S12中的投影被移位直到其与指定传感器中的投影对齐。用这种方式，可以在其他传感器内识别所选ROI内对象的对应投影，连同其相对于指定传感器中投影的位置的偏移。具体地，例如，三个示例对象的投影在传感器S12中按照量σ23像素向右移位，并且三个示例性对象的投影在传感器S13中按照量σ13像素向右移位。在示例性示例中，为了简化说明，假设投影仅在y方向上偏移不在x方向上偏移，但是相同的原则应用于如传感器之间的x方向投影偏移。然而，虽然该示例示出线性偏移，但本领域的技术人员可以应用其他变换诸如旋转，以使不同传感器中的具有相对偏移的投影对齐。根据一些实施例，例如，二维(2D)交叉相关技术或主成分分析(PCA)可以用于将S13中ROI内的投影与S12中ROI内的投影对齐，并且将S13中ROI内的投影与S11中ROI内的投影对齐。通常，希望关于指定为基准的传感器的图像最佳匹配或对齐来自传感器Sij的图像。更具体地，S12中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。同样地，S11中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。因此，ROI的投影对齐用于通过确定S13中ROI的投影和S12中ROI的投影之间的偏移，并且通过确定S13中ROI的投影和S11中ROI的投影之间的偏移，来识别传感器S11和传感器S12中ROI的投影位置。候选像素选择和精确化的示例根据模块402.4，识别在不同传感器内的候选像素，根据最佳匹配过程，所述不同传感器通过来自相同目标的投影照亮。一旦已经在传感器S11、S12和S13中的每个中识别ROI内的对象的投影，则可确定ROI内单个目标点相对于成像器阵列的物理(x，y，z)投影。根据一些实施例，对于ROI内多个目标点中的每个，识别通过来自目标点的投影照亮的多个传感器中的每个内的一个或多个像素。对于每个此目标点，至少部分基于设置在确定通过来自目标点的投影照亮的不同传感器中的像素之间的几何关系确定物理(x，y，z)目标点位置。应该认识到，一系列的目标点可以通过系统地遍历ROI(例如，以特定的步长大小从右向左并且以步长大小从上到下)来自动选择，并且可以确定每个所选目标点的物理(x，y，z)目标点位置。由于S11和S12与S13最佳匹配，所以遍历在移位的感兴趣区域内部执行。选择目标包括识别通过目标的投影照亮的传感器S11、S12和S13中的每个中的像素。因此，S11、S12和S13中的每个中的候选像素被识别为通过所选目标点的投影照亮的像素。换言之，为了选择目标点T，在通过目标点T的投影照亮的传感器S11、S12和S13中的每个中选择像素。应该认识到，目标T的(x，y，z)物理位置在其选择的时候是未知的。而且，应该认识到，上述对齐过程的不精确可以导致每个传感器中哪些像素被所选目标T的投影照亮的确定的不精确。因此，如参考图17、图18和图19所解释，根据通过当前所选目标T的投影照亮的S11、S12和S13中的每个中的像素确定的精确度作出进一步确定。继续上述示例，假设三角形的第一对象为当前所选目标点。图16为示出根据一些实施例的所选三角形目标点到传感器S11、S12和S13上的投影的示意图。根据这些投影，确定目标T的2D像素坐标[(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]。为了简单化，图16仅示出y轴像素坐标。使用这些2D像素坐标，应用表达式(402.5-1)和(402.5-2)并且计算的和作为模块402.5的一部分。作为模块402.6的一部分，计算范数并且将其与可接受公差ε相比。类似地，计算x轴像素坐标和位置估计值并且将其与可接受公差相比较。如果模块402.6的条件满足，则过程继续到模块403。否则，过程返回到模块402.4以使目标候选进一步精确化。参考图17，其示出包括传感器S11、S12和S13的成像器阵列的一部分，和设置在物理空间中的位置(x，y，z)处的所选三角形第一对象目标点T。成像器阵列内的传感器在其之间具有已知间距δij。S11和S12之间的物理位置间距为δ12，并且S12和S13之间的物理位置间距为δ23。在一些实施例中，所有传感器Sij之间的这些间距是相同的、等于δ的构造规格。传感器Sij还具有已知的视野角度θ。如上所解释，在一些实施例中，每个传感器构造成2D成像元件，其中像素以行和列的矩形图案排列。替代地，像素可以例如环形图案、之字形图案或分散图案或以包括子像素偏移的不规则图案排列。这些元件的角度和像素特性可以相同，或替代地传感器之间彼此可不同。然而，这些特性假设为已知。为了简化说明，假设传感器相同，但是，然而，它们可以不同。为了简化起见，假设所有的传感器Sij均具有N×N像素。在距传感器S11的距离z处，传感器的N像素宽度向外扩展到通过FOV1指示的S11的y维度视野。同样地，在距传感器S12的距离z处，传感器S12的y维度视野通过FOV2来指示。而且，在距传感器S13的距离z处，传感器S13的y维度视野通过FOV3来指示。长度FOV1、FOV2和FOV3彼此重叠，预示着传感器S11、S12和S13实现物理地位于一些(未知的)距离z处的目标T的3路采样多样性。当然，如果传感器相同地构建，如在示例中所假设的，则长度FOV1、FOV2和FOV3也将相同。应该认识到，三个长度FOV1、FOV2和FOV3均具有相同的大小并且共面，因为它们处于距成像器阵列相同的(未知的)z距离处，但是为了进行示意性的说明，将它们描绘成如同它们彼此邻近堆叠。参考图18，其示出当前所选目标点T到图像传感器S11、S12和S13上的投影的示意性正视图。为了简化起见，假设传感器包括大小为N×N像素的几何学矩形像素阵列。还假设目标T投影的x坐标均相等。换言之，假设对于目标T到S11、S12和S13上的投影，nx1＝nx2＝nx3。为了简化说明，还假设水平的几何视野角度θ与其垂直时相同，θx＝θy。如果上述假设中的任一个改变，本领域的技术人员将知道如何修改下面提出的过程，以便计算目标T的x、y和z物理坐标。目标T的图像在图像传感器S11的平面中，投影到传感器S11内的几何坐标(nx1，ny1)处的物理点。更具体地，目标点T到传感器S11上的投影沿y轴线位于ny1像素，并且沿x轴线位于nx1像素，x轴线和y轴线均取自原点。目标T的图像在图像传感器S12的平面中，投影到传感器S12内的几何坐标(nx2，ny2)处的物理点。目标T的图像在图像传感器S13的平面中，投影到传感器S13内的几何坐标(nx3，ny3)处的物理点。应该认识到，每个传感器内的像素位置(nxi，nyi)相对于提供给传感器的原点(0，0)基准坐标来确定。如图17或图19所示，全球坐标系(x，y，z)被定义并且用于引用目标。例如但不限于，此类坐标系的原点可以放置在传感器S11的几何中心处。参考图16和图18两者，可以看出目标的投影的y像素距离在每个传感器中是不同的。当前所选目标T的投影在S11中被设置到原点左侧的ny1像素。所选目标T的投影在S12中被设置到原点左侧的ny2像素。所选目标T的投影在S13中被设置到原点左侧的ny3像素。如上所述，为简化说明，假设目标的投影在所有三个传感器中均落在距原点相同的x像素距离处。参考图19，其示出当前所选目标T相对于如上参考图17所述的传感器S11、S12和S13的布置，并且还示出在传感器中的每个中的候选像素的y方向像素偏移。应该理解，图19的附图提出用于确定所选目标点T的(x，y，z)物理坐标的物理结构和分析框架。在距成像器阵列平面的(未知的)距离z处，每个传感器的y方向视野延伸过标记为FOVi的长度。在一些实施例中，该长度FOVi对应于传感器的最大像素宽度，最大像素为N像素。考虑到工作假设为传感器具有x方向和y方向上对称的视野，长度还可以是沿x轴线是竖直的FOVi。如上所述，候选像素选择至少部分地基于可以具有不确定水平的关联过程，该关联过程可以导致所选目标的物理位置的确定不精确。因此，根据一些实施例，进一步检查目标投影候选选择的精确度可以如下进行。确定目标的物理(x，y)位置并检查目标投影候选选择的精确度的示例根据模块402.5，为所选目标计算两个或更多个二维(Nx，Ny)坐标值，以确定来自相同目标的投影实际上是否照亮候选像素。基于上面讨论的假设并且将3D坐标系的原点放置在传感器S11的中心处，图19中的示例中的成像器阵列和当前所选目标T具有如下关系：其中：N为成像传感器的像素维度；nx1为目标点T的以在x方向上距S11平面的原点的像素数目来表达的位置；ny1为目标点T的以在y方向上距离S11平面的原点的像素数目来表达的位置；nx2为目标点T的以在x方向上距离S12平面的原点的像素数目来表达的位置；以及ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；θ为视野的角度。而且，如果使用传感器S11和传感器S13执行相同的公式并且假定S11和S13之间的间隔为2δ，则我们得到：其中：nx3为目标点T的以在x方向上距S13平面的原点的像素数目表达的位置；ny3为目标点T的以在y方向上距S13平面的原点的像素数目表达的位置。因此，所选目标T的物理x坐标的确定可以基于表达式(3)或表达式(6)来确定。所选目标T的物理y坐标的确定可以基于表达式(2)或表达式(5)来确定。所选目标T的物理z坐标的确定可以基于方程式(1)或方程式(4)来确定。更一般地说，根据模块402.6作出关于计算的2D坐标值是否指示候选像素通过来自相同目标的投影照亮的确定。应该认识到，目标T的物理(x，y，z)坐标的更可靠的确定可以通过使用用于每个坐标的两个公式来得到。例如，用于目标T的y坐标可以使用公式(2)和公式(5)两者来确定。如果使用两个公式计算的所得y坐标值相差超过某些可接受公差值εy，则可以作出以下确定，即匹配过程未能够以足够精确度解决不同传感器中的投影之间的偏移，并且因此候选像素不相符，因为它们没有接收到来自相同目标T的投影。在y计算匹配失败的情况下，可执行匹配过程的另外的迭代，试图改善各自对应于所选目标T的传感器内的候选像素的选择。应该认识到，因为不同传感器上的不同透视投影由于例如视差效应而可以不同，因此计算的y值不太可能相等。因此，可接受公差值根据预期的应用加以规定。对于手术成像应用，0.1mm至0.3mm的ε通常提供可接受的Q3D精确度。在没有背离本发明的精神的情况下，本领域的技术人员可以限定不同的可接受公差水平。考虑到围绕x轴线和y轴线的假设的传感器对称性，本领域的技术人员将认识到，使用类似于(2)和(5)中那些的公式(但使用nxi代替nyi)可作出相同类型的确定。公式(3)和公式(6)不可以作为402.5和402.6的一部分被使用，因为所述公式需要z坐标的知识。然而，模块402.5和模块402.6的本质是确定传感器S11、S12和S13的平面上的正确目标投影。为此，针对x轴线和y轴线调整的公式(2)和公式(5)是足够的。完整的一组坐标(x，y，z)作为模块403和模块404的一部分被计算，如下文所述。确定目标的物理z位置的示例如图19所示，根据模块403和404，z坐标的初始估计值z0用于开始实施计算过程。根据医疗应用，该初始值被自动限定。医疗应用定义要进行可视化的预期世界视图。初始值z0开始于最接近内窥镜的视野边缘。参考图8，例如，对于包括手术内窥镜检查的Q3D应用，z0可以远离Q3D内窥镜202的远端2081mm至5mm。此初始估计值通常足以用于该应用，因为不太可能使任何组织或手术器械如此紧密接近Q3D内窥镜的存在。接下来，将值z0插入公式(3)和公式(6)中。假设目标的x坐标是唯一的，则如果z0为目标的真实且正确的z坐标，那么公式(3)和公式(6)可产生在可接受的公差水平εx内的相同值或大致相等的值。|x(3)-x(6)|＜εx(7)如果(3)和(6)在可接受的公差εx以外，那么迭代继续并且尝试z的新估计值z1。根据一些实施例，自动限定新估计值。例如，z1＝z0+Δ，其中Δ为迭代的步长。通常，在第k次迭代处，zk＝zk-1+Δ。当满足条件(7)时，迭代过程停止。在确定正确的目标坐标时，更小的Δ产生增加的精确度，但还需要更多计算时间以完成该过程，因此等待时间增加。等待时间增加可以导致手术器械的移动和通过操作的外科医生对其可视化之间的延迟。换言之，外科医生可以落后于他的命令感知系统。对于20cm至30cm深的手术观察空间，0.1mm至0.3mm的Δ可以是足够的。当然，本领域的技术人员将知道平衡Δ的步长和完成迭代过程所需的计算时间。出于展示的原因，已将上述说明简化，并且因此其仅包括三个传感器S11、S12和S13。通常，更多个传感器不仅可以用于增加Q3D坐标计算的精确度，而且减少总体迭代次数。例如，如果使用多于三个的传感器，优选地3×3传感器阵列，则可以利用方法诸如最陡梯度法以趋向通过模块402.5和模块403造成的估计误差的方向。迭代步长和方向可以被调整以匹配朝向3D误差梯度表面的局部极值的进展。借助Q3D信息引导内窥镜手术图20为根据一些实施例的表示在手术程序期间使用Q3D信息的第一过程2000的示意流程图。计算机程序代码配置计算机151以执行过程2000。模块2002配置计算机以接收用户输入，从而当看向观察器312时选择在外科医生视野内的至少两个对象。模块2004配置计算机以响应于接收用户选择在计算机控制台上显示菜单。决定模块2006配置计算机以确定到菜单的显示距离的用户输入是否被接收。响应于确定显示距离的用户输入被接收，模块2008配置计算机以在外科医生视野中的视频图像内显示数值距离。决定模块2010配置计算机以等待接收选择距离显示的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2006的操作。决定模块2012配置计算机以确定到菜单的输入/录入(enter)接近度(proximity)警报界限的用户输入是否被接收。响应于确定输入接近度阈值的用户输入被接收，模块2014配置计算机以使用Q3D信息来监控外科医生视野内的两个或更多个对象之间的接近度。决定模块2016确定是否已经越过接近度阈值。响应于确定已经越过接近度阈值，模块2018配置计算机以激活警报。警报可以包括声音、可视化队列诸如闪光信号灯，或器械移动的锁定以避免碰撞。响应于确定还未越过接近度阈值，控制流程返回到监控模块2014。决定模块2020配置计算机以等待接收输入接近度阈值的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2012的操作。图21为示出根据一些实施例的按照图20过程在显示屏2102上所显示的菜单选择的示意图。显示屏2102包括与计算机151相关联的观察监控器。替代地，显示屏2102可以包括观察器312的成像元件206R、206L的区域。响应于用户输入，模块2004使菜单2104得以显示，菜单2104包括第一菜单项“显示距离”2106和第二菜单项“设定接近度警报”2108。响应选择“显示距离”菜单项2106的用户输入，模块2008使两个或更多个对象之间的Q3D距离得以显示。再次参考图4，其示出器械400和使用模块2008显示的目标之间的Q3D距离“d_Instr_Trgt”的显示。响应于选择“设定接近度警报”菜单项2108的用户输入，显示“输入距离”UI输入2110，UI输入2110包括用户可以输入接近度距离阈值例，如“xxxx毫米”的栏。在替代实施例(未示出)中，可以提前为所有器械设定默认的接近度阈值，并且用户可以使用例如图21的菜单来改变接近度阈值。在替代实施例中，用户可以决定选择默认阈值而不是输入阈值。在一些实施例中，用户可以选择显示距离和设定接近度警报两者。图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。图22A示出目标410L、401R诸如人体组织的示例第一高光区2202L、2202R，第一高光区可以使用视频标记工具诸如远程图显，或者使用操纵图4的控制输入设备160的外科医生控制台创建。图22B示出器械顶端400L、400R的示例第二高光区2206L、2206R，第二高光区可以使用视频标记工具创建。在根据一些实施例的操作中，用户创建第一高光区2202L、2202R。接下来，用户使用视频标记工具来创建器械顶端400L、400R的示例第二高光区2206L、2206R。应该理解，将项加亮的顺序并不重要。然后用户致动选择器(未示出)(例如，按压ENTER键)以输入选择。模块2002将接收到的用户输入解释为目标图像410L、410R和器械图像400L、400R的选择。图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程2300的示意流程图。计算机程序代码配置计算机151以执行过程2300。模块2302配置计算机以接收用户输入，从而当看向观察器312时选择外科医生视野内的对象。例如，再次参考图22A，其示出用户输入被接收以使用视频标记工具来创建器械顶端400L、400R的第二高光区2206L、2206R。用户输入(未示出)被接收，以致动选择器(未示出)(例如，按压ENTER键)从而输入器械顶端400L、400R的图像的选择。再一次返回到图23，响应于接收用户选择，模块2304配置计算机以在计算机控制台上显示菜单。决定模块2306配置计算机以确定到菜单的使所选对象的图像旋转的用户输入是否被接收。响应于确定使图像旋转的用户输入被接收，模块2308配置计算机以使图像旋转从而示出对象的不同三维透视图。决定模块2310配置计算机以等待接收使图像旋转的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2306的操作。图24为示出根据一些实施例的按照图23的过程在显示屏2402上所显示的菜单选择的示意图。显示屏2402包括与计算机151相关联的观察监控器。替代地，显示屏2402可以包括观察器312的成像元件206R、206L的区域。响应于接收到的用户输入，模块2304使菜单2404得以显示，菜单2404包括第三菜单项“向左旋转”2406和第四菜单项“向右旋转”2408。响应于选择第三菜单项2406或第四菜单项2408中的一个或另一个的用户输入，模块2308使按照图9的模块407创建并存储的3D模型旋转。应该认识到，由于传感器成像器阵列210具有有限的总体视野，所以旋转量可以限制到几度，例如小于30度。根据本发明实施例的前述描述和附图仅说明了本发明的原理。因此，应该理解，在不背离所附权利要求所限定的本发明的精神和范围的情况下，本领域的技术人员可以对实施例进行各种修改。当前第1页1 2 3