用于机器人手术的连续图像整合的制作方法
【专利摘要】一种机器人引导系统采用内窥镜(12)、机器人(11)、机器人控制器(21)、内窥镜控制器(22)以及图像整合模块(24)。在操作中，所述机器人控制器(21)命令所述机器人(11)在所述解剖结构区域内移动所述内窥镜(12)，并且所述内窥镜控制器(22)生成对由所述内窥镜(12)生成的所述结构区域的术中内窥镜图像的内窥镜视频显示(15)。当所述内窥镜(12)在所述解剖结构区域内是静止的时，所述图像整合模块(24)将所述解剖结构区域的术前三维图像配准到所述结构区域的所述术中内窥镜图像。当在所述图像配准之后所述内窥镜(12)在所述解剖结构区域内移动时，所述图像整合模块(24)在所述解剖结构区域内跟踪所述内窥镜(12)的运动之后校准所述机器人(11)相对于所述内窥镜(12)的运动。
【专利说明】
用于机器人手术的连续图像整合
技术领域
[0001] 本发明总体上设及在微创手术流程(例如，微创冠状动脉分流移植手术)期间对内 窥镜的机器人控制。本发明具体设及在机器人辅助的微创手术流程期间对术前Ξ维（"3护） 图像与术中内窥镜图像的连续整合。
【背景技术】
[0002] 在微创冠状动脉分流手术期间利用两种（1)成像模态。第一成像模态是用于提取 关于冠状动脉的几何结构的信息的术前3D成像(例如，计算机断层摄影rcr)、磁共振成像 ("MRI")等）。第二成像模态是用于对冠状动脉进行实时可视化的术中内窥镜成像。
[0003] 通常，针对机器人辅助的微创冠状动脉分流手术，从电动机上的编码器或能够报 告机器人的相对运动的其他传感器(例如，安装在机器人轴上的绝对编码器或者电位器)可 W知晓机器人的运动。并且内窥镜对机器人的校准需要计算对应的内窥镜运动。相机校准 还需要知晓需要施加到绘图相机的运动的量使得叠加被准确地可视化在内窥镜视频中。运 两种(2)校准均是耗时的且易于出错。运两种校准要求专用硬件和精确的测量结果，并且需 要由经过训练的专业人员来执行。运能够造成手术室时间延长、流程成本增加，并且限制对 系统的临床义用。
[0004] 为了解决运两种（2)校准的短处，运些成像模态可W被整合在现有技术已知的多 个阶段中。例如，第一阶段可W是图像配准阶段，所述图像配准阶段建立来自术前3D成像的 3D动脉树与在术中内窥镜图像中部分可见的动脉树之间的集合关系。该图像配准阶段最初 应用于其中在来自内窥镜的可见反馈下执行分流的内窥镜冠状动脉分流手术，并且公开了 利用使用融合信息的机器人引导内窥镜的各种方法。基于运些图像之间的集合关系，第二 阶段可W是术前叠加阶段，所述术前叠加阶段将3D术前体积动脉树叠加到使用未校准的内 窥镜的2D内窥镜图像上。运允许外科医生从手术期间可获得的术前扫描得到重要信息，并 且将该信息配准到内窥镜中显示的解剖结构区域。为了增强术前叠加，第Ξ阶段可W为运 动补偿阶段，所述运动补偿阶段促进将变形的体积结构从术前3D图像叠加到3D内窥镜图像 上，W便补偿在内窥镜视频中显示的解剖结构的任何生理运动。
【发明内容】
[0005] 本发明克服了在内窥镜因支持内窥镜的机器人的运动而造成移动的情况下对术 前3D图像与实况术中内窥镜视频之间配准信息进行更新的问题。运确保了可W在流程开始 时就执行配准，在所述流程开始之后，系统连续更新所述配准。
[0006] 更具体地，本发明在机器人辅助的无创手术期间连续地融合内窥镜视频与术前3D 图像并且将3D图像的投影显示到2D内窥镜视频上。本发明有力影响了对针对内窥镜和机器 人两者的前述自校准例程的使用，使得在流程期间不需要明确的校准步骤。运将减少操作 时间并且因消除了人类错误而提高系统的鲁棒性。
[0007] 本发明的一种形式是采用内窥镜、机器人、机器人控制器、内窥镜控制器W及图像 配准模块的机器人引导系统。在操作中，所述机器人控制器命令所述机器人在解剖结构区 域内移动所述内窥镜，并且所述内窥镜控制器生成对由所述内窥镜生成的解剖结构区域的 术中内窥镜图像的内窥镜视频显示。由于所述内窥镜在所述解剖结构区域内是静止的，因 而图像整合模块将所述解剖结构区域的术前Ξ维图像配准到所述解剖结构区域的术中内 窥镜图像。由于所述内窥镜在图像配准之后在所述解剖结构区域内移动，因而所述图像配 准模块在跟踪在所述解剖结构区域内的所述内窥镜的运动之后相对于所述内窥镜校准所 述机器人的运动。
[0008] 本发明的第二形式是机器人引导方法，所述机器人引导方法设及由静止内窥镜生 成解剖结构区域的术中内窥镜图像W及解剖结构区域的术前Ξ维图像到解剖结构区域的 术中内窥镜图像的静止配准。所述方法随后设及由移动的内窥镜生成解剖结构区域的术中 内窥镜图像W及解剖结构区域的术前Ξ维图像到解剖结构区域的术中内窥镜图像的运动 配准。
[0009] 在本文中所使用的术语"术前"被宽泛地定义为在对解剖结构区域的内窥镜成像 之前、期间或之后运行的用于采集解剖结构区域的Ξ维图像的目的的任何活动。并且在本 文中所使用的术语"术中"被宽泛地定义为在对解剖结构区域的内窥镜成像期间由机器人 单元和控制单元运行的任何活动。解剖结构区域的内窥镜成像的范例包括，但不限于， CABG、支气管镜检查、结肠镜检查、腹腔镜检查W及脑内窥镜检查。
[0010] 根据结合附图阅读的本发明的各个实施例的W下详细说明，本发明的前述形式和 其他形式W及各个特征和优点将进一步变得明显。详细的说明书和附图仅仅是图示本发明 而不是限制本发明，本发明的范围由权利要求及其等价方案来定义。
【附图说明】
[0011] 图1图示了根据本发明的机器人引导系统的示范性实施例；
[0012] 图2图示了表示根据本发明的机器人引导方法的示范性实施例的流程图；
[0013] 图3图示了表示根据本发明的静止配准方法的示范性实施例的流程图；
[0014] 图4图示了表示根据本发明的运动配准方法的示范性实施例的流程图；
[0015] 图5图示了表示根据本发明的运动跟踪方法的示范性实施例的流程图；
[0016] 图6图示了根据本发明示范性口控采集；
[0017] 图7图示了根据本发明的内窥镜视频中的示范性位置跟踪。
【具体实施方式】
[0018] 如图1所示，机器人引导系统采用机器人单元10和控制单元20,所示机器人单元10 和所述控制单元20用于任何内窥镜流程，尤其是用于设及对具有一个或多个分叉（即，分 支）的血管树的内窥镜成像的内窥镜流程。运样的内窥镜流程的范例包括，但不限于，微创 屯、脏手术(例如，冠状动脉旁路移植或二尖瓣置换术）。
[0019] 机器人单元10包括机器人11、刚性附接到机器人11的内窥镜12, W及附接到内窥 镜12的视频捕捉设备13。
[0020] 机器人11在本文中被广泛定义为在结构上被配置具有对一个或多个接合点的机 动控制W用于根据特定内窥镜流程的期望来操控终端执行器的任何机器人设备。在实践 中，机器人11可W具有四（4)个自由度，例如，如具有与刚性节段串行连接的关节的串行机 器人、具有W并行顺序安装的关节和刚性节段的并行机器人或者串行运动学和并行运动学 的任何混合组合。
[0021] 内窥镜12在本文中被广义地定义为在结构上被配置有从身体内部进行成像的能 力的任何设备。用于本发明的目的的内窥镜12的范例包括，但不限于，任何类型的窥镜，柔 性或刚性(例如，内窥镜、关节内窥镜、支气管窥镜、胆总管窥镜、结肠窥镜、膀脫窥镜、十二 指肠窥镜、胃窥镜、子宫窥镜、腹腔内窥镜、喉镜、神经窥镜、耳镜、推入式肠镜、鼻喉镜、乙状 结肠镜、窦腔镜、喉魄镜等）W及类似于装备有图像系统的窥镜的任何设备(例如，具有成像 的嵌套式套管）。成像是局部的，并且表面图像可W利用光纤、透镜和小型化(例如，基于CCD 的)成像系统W光学方式获得。
[0022] 实际上，内窥镜12被安装到机器人11的终端执行器。机器人11的终端执行器的姿 势是终端执行器在机器人11致动器的坐标系内的位置和取向。利用被安装到机器人11的终 端执行器的内窥镜12,在解剖结构区域内的内窥镜12的视场的任何给定姿势对应于机器人 11在机器人坐标系内的终端执行器的不同姿势。因此，由内窥镜12生成的血管树的每幅内 窥镜图像可W被链接到解剖结构区域内的内窥镜12的对应姿势。
[0023] 视频捕捉设备13在本文中被广义地定义为在结构上被配置具有将来自内窥镜12 的术中内窥镜视频信号转换成术中内窥镜图像Γ?〇ΕΓ)14的计算机可读时间序列的能力 的任何设备。在实践中，视频捕捉设备13可W采用任何类型的帖抓取器W捕捉来自术中内 窥镜视频信号的个体数字静止帖。
[0024] 仍然参考图1，控制单元20包括机器人控制器21和内窥镜控制器22。
[0025] 机器人控制器21在本文中被广义地定义为在结构上被配置为向机器人11提供一 个或多个机器人致动器命令（"RAC" )26W按照内窥镜流程的期望来控制机器人11的终端执 行器的姿势的任何控制器。更具体地，机器人控制器21将来自内窥镜控制器的内窥镜位置 命令r'EPC")转换成机器人致动器命令26。例如，内窥镜位置命令25可W指示导向解剖结构 区域内的内窥镜12的视场的期望的3D位置的内窥镜路径，由此机器人控制器21将命令25转 换成命令26,所述命令26包括机器人11的每个电动机所需的用于将内窥镜12移动到期望的 3D位置的致动电流。
[0026] 内窥镜控制器22在本文中被广义地定义为在结构上被配置为生成术中内窥镜图 像ΓΙ0ΕΓ)14的内窥镜视频显示15的任何控制器。
[0027] 本发明提供了分布在控制器21与22之间的图像整合模块24,用于运行如图2所示 的流程图40,进而用于术中内窥镜图像14到术前3D图像（"Ρ0Γ)30的连续整合。现在将在本 文中提供对流程图40的描述，W促进对图像整合模块24的进一步理解。在实践中，流程图40 可W设及机器人11被定位的预步骤，籍此机器人11的旋转中屯、与到患者的进入点一致，W 及内窥镜12被插入到患者的身体中W促进实况视频流15。
[00%]参考图2,流程图40的阶段S42涵盖术前3D图像30到术中内窥镜图像40的静止配 准，流程图40的阶段S44涵盖从阶段S42的静止配准导出的机器人11到内窥镜12的运动校 准，并且流程图40的阶段S46涵盖从阶段S44的运动校准导出的对机器人的运动跟踪。
[0029]如图3所示的流程图50表示阶段S42的一个实施例。流程图50的阶段S52涵盖模块 24基于在现有技术中已知的动脉树和/或静脉树将术前3D图像30配准到术中内窥镜图像 14。鉴于内窥镜12未被校准，阶段S52将把虚拟相机在3D图像30的坐标框架中的位置返回为 4乂4变换矩阵^啼酬。
[0030] 流程图50的阶段S54涵盖现有技术已知的将提取/分割的3D体积动脉树和/或静脉 树叠加到术中内窥镜图像14上的模块24。该叠加将示出术前3D图像30在内窥镜视频显示15 上的投影。
[0031] 流程图50的阶段S56涵盖运行现有技术已知的运动补偿算法W跟踪术中内窥镜图 像14上的点（例如，动脉树和/或静脉树的节点）并更新该叠加图像的模块24。更具体地，由 模块24对运动补偿算法的运行计算出3X3矩阵H，所述3X3矩阵聞尋点从一个内窥镜视图变 换到另一内窥镜视图
[0032] 在阶段S44(图2)的一个实施例中，如图4所示的流程图60设及机器人操作的慢模 式，W允许对内窥镜视图14的点(例如，动脉树和/或静脉树的节点）的准确跟踪。
[0033] 在用户执行机器人11的第一运动之后，流程图60的阶段S62涵盖使用阶段S56(图 3)的单应矩阵Η并重复阶段S52来重新计算阶段S52(图3)的2D内窥镜点，W计算运动之后的 相机变换矩阵。在此之后，使用运动之前的变换矩阵吉祥品Λ和运动之后的变换矩阵;·3馬《来 计算总相对运动：
[0034] 流程图60的阶段S64涵盖记录根据使用现有技术已知的机器人编码器或其他传感 器导出的运动之前的机器人顶部位置胃Ρ和运动之后的机器人顶部位置。由于 系统的未校准的性质，确切的顶部位置是未知的，因此使用虚拟的顶部位置：
虚拟顶部位置能够是大于零的任何数目或任何数学符号。
[0035] 针对流程图60的阶段S66,根据W下来计算机器人对相机的相对校准。在理想情况 中，如果系统被校准，则ETTcm = ETTrm并且新的配准能够通过将已知的机器人运动应用于相机 位置来计算。如果系统未被校准并且相机位置和机器人顶部位置未反映环境(例如，手术 室）中的物理布置，则运两者与校准矩阵具有如下关系：
安全的是，确 保该矩阵在流程的整个长度期间是恒定的。只要使用该内窥镜12(相机的相同焦距)时保持 该假设。在引入不同的内窥镜的情况下，视频流被暂时中断并且必须针对新的内窥镜运行 图像配准流程图50。
[0036] 为了继续阶段S66,从针对一个位置的刚性变换ΕΤτ棚ι = ?^Τ厕EXT校准推断出
。由于ΕΤΤ?和ETTrm两者都是已知的，因此能够根巧
来计算T灘。该类型的等式被称为西尔维斯特(Sylvester)等式并且能够由本领域技术人员 明确计算出。
[0037] 当在背景中执行阶段S62-S66之后，机器人11被返回到操作的正常速度，运是因为 对点的跟踪不再是必要的。
[0038] 在阶段S46(图2)的一个实施例中，如图5示出的流程图70设及用于执行机器人11 的另一运动而无需跟踪术中内窥镜图像14中的点。运样，流程图70的阶段S72涵盖由 二革34?叫4?而根据机器人的新位置末计算内窥镜U的相机的新位 置第二品Γ柳的模块24。
[0039] 流程图70的阶段S74涵盖模块计算由阶段S54(图3)教导的新叠加的模块24。对阶 段S72和S74进行重复直到流程结束或直到要求针对新的内窥镜的新的配准。
[0040] 参考回到图2和图4,可W通过重复流程图60多次(N次)来改进阶段S42的准确度。 针对运样的重复，阶段S66被修改为执行对来自N次西尔维斯特类型的等式的系统的T校隹的 校准。由于该数学问题被过多的定义，因此能够使用现有技术已知的优化方法来找到解(例 如，Levenberg-Marquar化阻尼的最小二乘拟合）。运能够被重复N次或者直到优化算法的拟 合误差返回到小于预定义的准确要求的误差。该实施例通过平衡流程图60的机器人慢运动 的持续时间来确保准确的图像叠加。
[0041] 参考图2-4,阶段S42和S44可W被修改为对移动的器官（例如，屯、脏)进行周期性寻 址。在该情况下，为了将屯、脏运动与机器人11的运动分开，必须在周期性运动的完全相同的 相位处执行阶段S56(图3)和阶段S62(图4)。在该实施例中，ECG信号能够用于口控对内窥镜 图像14的采集。例如，图6示出了ECG信号80。如果机器人运动在时间11处开始并且在时间t2 处结束，则模块24将仅在屯、脏返回到与时间tl相同的相位(例如，时间t3)之后在单应匹配 阶段S56和S62内采集内窥镜图像14。运能够由现有技术中已知的信号匹配算法来实现。
[0042] 备选地，如果ECG信号是不可获得的，则模块24可W按照现有技术已知的来观察屯、 脏上的点运动，如在图7中示出的利用位置迹线81示出的范例。运些信号X和Y的形状能够被 拟合到前向信号滤波器并且使用现有技术已知的前向滤波方法了而被用于预测屯、脏运动。
[0043] 根据对本文中的图1-7的描述，本领域技术人员将意识到本发明的众多益处，包括 但不限于，本发明对于在任何解剖结构区域上执行的任何类型的内窥镜检查手术的应用。
[0044] 尽管已经图示和描述了本发明的各种实施例，但是本领域技术人员应当理解，在 本文中所描述的本发明的实施例是图示性的，并且可W做出各种修改和修正，并且在不脱 离本发明的真实范围的情况下可W对其元件替换等价方案。另外，可W在不脱离本发明的 中屯、范围的情况下做出许多修正W调整本发明的教导。因此，本发明并非旨在被限制到被 如由预期用于执行本发明的最佳模式所公开的具体实施例，而是旨在包括落入权利要求的 范围内的所有实施例。
【主权项】
1. 一种机器人引导系统，包括： 机器人单元（10)，其包括： 内窥镜（12)，其能用于生成解剖结构区域的术中内窥镜图像，以及 机器人（11)，其操作性地连接到所述内窥镜（12)以在所述解剖结构区域内移动所述内 窥镜（12);以及 控制单元(20)，其包括： 机器人控制器(21 )，其操作性地连接到所述机器人（11)以命令所述机器人（11)在所述 解剖结构区域内移动所述内窥镜(12)， 内窥镜控制器(22)，其操作性地连接到所述内窥镜，以生成对所述解剖结构区域的所 述术中内窥镜图像的内窥镜视频显示(15 )，以及 图像整合模块（24)，其操作性地分布在所述机器人控制器（21)与所述内窥镜控制器 (22)之间， 其中，当所述内窥镜（12)在所述解剖结构区域内是静止的时，所述图像整合模块(24) 能用于将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的所述术中内窥镜 图像，并且 其中，当在所述术前三维图像与所述术中内窥镜图像的配准之后所述内窥镜（12)在所 述解剖结构区域内移动时，所述图像整合模块(24)能用于校准所述机器人(11)相对于所述 内窥镜(12)的运动。2. 根据权利要求1所述的机器人引导系统，其中，在对所述机器人（11)相对于所述内窥 镜（12)的运动校准之后，所述图像整合模块(24)能用于跟踪所述内窥镜（12)的运动。3. 根据权利要求2所述的机器人引导系统，其中，在由所述图像整合模块(24)跟踪所述 内窥镜（12)的所述运动之前，由所述图像整合模块(24)重复多次对所述机器人(11)相对于 所述内窥镜(12)的运动校准。4. 根据权利要求1所述的机器人引导系统，其中，所述术前三维图像与所述术中内窥镜 图像的配准与所述解剖结构区域的周期性运动是同相的。5. 根据权利要求1所述的机器人引导系统，其中，所述机器人（11)相对于所述内窥镜 (12)的运动校准与所述解剖结构区域的周期性运动是同相的。6. 根据权利要求1所述的机器人引导系统，其中，所述图像整合模块(24)能用于将术前 三维图像的分割的部分叠加到所述术中内窥镜图像上。7. 根据权利要求6所述的机器人引导系统，其中，所述图像整合模块(24)能用于根据跟 踪在所述术中内窥镜图像上的至少一个点来更新所述叠加。8. 根据权利要求1所述机器人引导系统，其中，所述图像整合模块(24)能用于根据所述 术前三维图像与所述术中内窥镜图像的配准并且根据当所述内窥镜（12)从所述解剖结构 区域内的静止位置移动时跟踪所述术中内窥镜图像上的特征来计算所述术前三维图像与 所述术中内窥镜图像之间的相对运动变换矩阵。9. 根据权利要求8所述的机器人引导系统，其中，所述图像整合模块(24)能用于计算所 述内窥镜（12)的虚拟位置从所述解剖结构区域内的先前静止位置到当前位置的位置变换 矩阵。10. 根据权利要求9所述的机器人引导系统，其中，所述图像整合模块(24)能用于计算 所述机器人(11)到所述内窥镜(12)的相对校准。11. 一种用于连接到内窥镜（12)的机器人（11)的控制单元(20)，所述内窥镜（12)生成 解剖结构区域的术中内窥镜图像;所述控制单元(20)包括： 机器人控制器(21)，其能用于命令所述机器人（11)在所述解剖结构区域内移动所述内 窥镜(12); 内窥镜控制器(22)，其操作性地连接到所述内窥镜，以生成对所述解剖结构区域的所 述术中内窥镜图像的内窥镜视频显示(15);以及 图像整合模块（24)，其操作性地分布在所述机器人控制器（21)与所述内窥镜控制器 (22)之间； 其中，当所述内窥镜（12)在所述解剖结构区域内是静止的时，所述图像整合模块(24) 能用于将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的所述术中内窥镜 图像，并且 其中，当在所述术前三维图像与所述术中内窥镜图像的配准之后所述内窥镜（12)在所 述解剖结构区域内移动时，所述图像整合模块(24)能用于校准所述机器人(11)相对于所述 内窥镜(12)的运动。12. 根据权利要求11所述的控制单元(20)，其中，在所述机器人（11)相对于所述内窥镜 (12)的运动校准之后，所述图像整合模块(24)能用于跟踪所述内窥镜（12)在所述解剖结构 区域内的运动。13. 根据权利要求12所述的控制单元(20)，其中，在由所述图像整合模块(24)跟踪所述 内窥镜（12)的所述运动之前由所述图像整合模块(24)重复多次对所述机器人（11)相对于 所述内窥镜(12)的运动校准。14. 根据权利要求11所述的控制单元(20)，其中，所述术前三维图像与所述术中内窥镜 图像的配准与所述解剖结构区域的周期性运动是同相的。15. 根据权利要求11所述的控制单元（20)，其中，所述机器人（11)相对于所述内窥镜 (12)的运动校准与所述解剖结构区域的周期性运动是同相的。16. -种机器人引导方法，包括： 当内窥镜（12)在解剖结构区域内是静止的时，将所述解剖结构区域的术前三维图像配 准到所述解剖结构区域的术中内窥镜图像;并且 当在所述术前三维图像与所述术中内窥镜图像的所述配准之后所述内窥镜（12)在所 述解剖结构区域内移动时，校准所述机器人(11)相对于所述内窥镜(12)的运动。17. 根据权利要求16所述的机器人引导方法，还包括： 在对所述机器人（11)相对于所述内窥镜（12)的运动校准之后跟踪所述内窥镜（12)在 所述解剖结构区域内的运动。18. 根据权利要求17所述的机器人引导方法，其中，在对所述内窥镜的所述运动的所述 跟踪之前重复多次对所述机器人(11)相对于所述内窥镜(12)的所述运动校准。19. 根据权利要求16所述的机器人引导方法，其中，所述术前三维图像与所述术中内窥 镜图像之间的所述配准与所述解剖结构区域的周期性运动是同相的。20. 根据权利要求16所述的机器人引导方法，其中，所述机器人（11)相对于所述内窥镜 (12)的所述运动校准与所述解剖结构区域的周期性运动是同相的。
【文档编号】A61B90/00GK105934216SQ201580005449
【公开日】2016年9月7日
【申请日】2015年1月14日
【发明人】A·波波维奇, A·L·赖因施泰因
【申请人】皇家飞利浦有限公司