荧光镜位姿估计的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2014年7月2日提交的美国临时专利申请No. 62/020, 250的权益和 优先权，该申请的全部内容通过引用合并于此。
技术领域
[0003] 本公开涉及用于外科程序的导航和位置确认的系统、装置和方法。更具体地，本公 开涉及找出关于CT的荧光镜投影变量（角度、焦点、变焦等等）以从CT提取有关数据并且 将其覆盖在荧光镜图像上的系统和方法。
【背景技术】
[0004] 已经开发了与可视化患者的肺相关的可视化技术以帮助临床医生对患者的肺执 行诊断和/或手术。可视化对于识别患病区域的位置尤其重要。此外，当治疗患病区域时， 对识别患病区域的具体位置给予额外重视以使得在正确位置处执行外科手术。
[0005] 例如，在肺中，已经开发了支气管内导航系统，该支气管内导航系统使用CT图像 数据来创建导航计划，以便于使导航导管（或者其它合适的装置）前进通过支气管镜和患 者的支气管的分支而到感兴趣区域。可以在诊断（即，活体组织检查）阶段和治疗阶段两者 中采用支气管内导航。电磁跟踪可以与CT数据结合使用以便于引导导航导管通过支气管 的分支而到感兴趣区域。在某些实例中，导航导管可以定位在邻近感兴趣区域或者感兴趣 区域内的分支内腔网状组织的气道中的一个内，以为一个或者多个医疗器械提供通路。然 而，由于绘制时间和对附近用户的辐射危害，因此CT数据不是实时使用的。
[0006] -旦导航导管就位，可以使用荧光镜检查使医疗器械（包括活体组织检查工具 (诸如，刷子、针和镊子）以及治疗工具（诸如消融导管））可视化，如它们实时穿过导航导 管并且进入到肺中以及到感兴趣区域的那样。常规荧光镜检查在医疗程序期间广泛地用 作用于在人体内部引导医疗器械的可视化成像工具。尽管在荧光镜图片上清楚地可见像导 管、活体组织检查工具等等的医疗器械，但是诸如软组织、血管、可疑肿瘤病变等等的器官 特性稍微透明或者完全透明并且因此难以用常规荧光镜检查识别。另外，荧光镜图像绘制 平面2D图像，在该平面2D图像上评估医疗器械的三维位置会稍微有挑战性。因而，没有向 临床医生提供能够使患者身体内的医疗装置相对于感兴趣区域的放置可视化所需要的全 部信息。
[0007] 尽管已知位姿估计方法，但这些方法具有限制。例如，由于非收敛最终可能没有 解，或者收敛导致错误的解。计算时间没有上限。一些方法需要使用4个点并且在这些点 上存在几何约束，尤其是相对于共平面性。在以直观方式调试故障中会有困难。此外，一些 方法需要精确的摄像机校准。
【发明内容】
[0008] 在实施例中，本公开公开了用于使用多个标记使三维（3D)CT图像数据与二维 (2D)荧光镜图像数据对准的方法。方法包括搜索外侧角和颅侧角以及将标记的3D质心移 动至标记的2D质心与源之间的半线段。方法还包括计算倾侧角、3D平移坐标。连续预定次 数地计算倾侧角和3D平移坐标。基于外侧角、颅侧角、倾侧角和3D平移坐标将3D CT图像 数据覆盖在2D荧光镜图像数据上。
[0009] 在一个方面中，搜索外侧角和颅侧角包括在2D网格中尝试样本值、基于样本值找 到最小值以及使用最陡下降法从最小值尝试样本值。
[0010] 在另一个方面中，计算倾侧角包括计算在2D荧光镜图像数据中将标记的2D质心 接合至2D标记的2D矢量、为投影的3D标记计算投影的矢量以及确定倾侧角，该倾侧角为 2D矢量与投影的矢量之间的角度。
[0011] 在一个方面中，方法还包括基于外侧角、颅侧角和倾侧角确定解的性能，其中通过 计算解的分数确定性能。
[0012] 在另一个方面中，分数确定为投影的3D标记和2D标记的中心之间的平均距离、投 影的3D标记与2D标记之间的长度的平均差和投影的3D标记和2D标记之间的平均角度差 的加权和。
[0013] 在一个方面中，计算3D平移坐标包括获得平行平移和获得垂直平移。
[0014] 在另一个方面中，获得平行平移包括通过将3D质心移动至投影轴的中间并且对 3D质心应用平行于荧光平面的小平移来将投影的3D标记的3D质心拟合至2D质心。
[0015] 在又另一个方面中，获得垂直平移包括将2D标记之间的相互距离与投影的3D标 记之间的相互距离进行比较。
[0016] 在另一个实施例中，本公开公开了用于使用多个标记使三维（3D)CT图像数据与 二维（2D)荧光镜图像数据对准的方法。方法包括获得多个荧光标记和CT标记、搜索外侧 角和颅侧角、获得平行平移坐标和获得垂直平移坐标。确定多个较远的荧光点和较远的投 影点，并且还基于多个较远的荧光点确定倾侧角的多个可能的匹配。方法还包括在多个可 能的匹配之中选择匹配，基于所选择的匹配确定多个种子以及基于外侧角、颅侧角、平行平 移和垂直平移为多个种子之中的每个种子计算精确的3D变换。基于每个种子的精确的3D 变换确定多个局部最小值，并且使用最陡下降法从多个局部最小值中确定局部最小值。确 定与局部最小值相对应的旋转角和平移坐标，并且基于确定的旋转角和平移坐标将3D CT 图像数据覆盖在2D荧光镜图像数据上。
[0017] 在一个方面中，搜索外侧角和颅侧角包括在2D网格中尝试样本值、基于样本值找 到最小值以及使用最陡下降法从最小值尝试样本值。
[0018] 在另一个方面中，基于多个较远的荧光点为倾侧角确定多个可能的匹配包括滤出 禁用的倾侧角和为多个可能匹配之中的每个匹配计算分数。
[0019] 在又另一个方面中，在多个可能的匹配之中选择匹配包括选择具有最低分数的匹 配。
[0020] 在不背离本公开范围的情况下可以组合本公开的所有上述方面和实施例。
【附图说明】
[0021] 在下文参照附图描述本公开的各种方面和特性，其中：
[0022] 图1是根据本公开的电磁导航系统的透视图；
[0023] 图2是配置为与图1的系统一起使用的工作站的示意图；
[0024] 图3是并入图1的EMN系统的荧光镜成像C型臂的端视图；
[0025] 图4是表示使3D CT图像数据与2D荧光镜图像数据对准的问题的几何结构的图 示；
[0026] 图5是根据本公开用于计算一系列变换的方法的流程图；
[0027] 图6是根据本公开用于执行3D CT图像数据与2D荧光镜图像数据之间的对应的 方法的流程图；以及
[0028] 图7是根据本公开描绘3D CT图像数据与2D荧光镜图像数据的对准的流程图；以 及
[0029] 图8是根据本公开由C型臂捕获的示例荧光镜图像/视频的图示，示出了定位在 患者的目标区内的导管组件的标记和延伸的工作通道。
【具体实施方式】
[0030] 本公开涉及用于找出相对于3D CT图像数据的荧光镜投影的装置、系统和方法， 以将3D CT图像的部分对准到荧光镜2D图像上或者将3D CT图像的部分覆盖到荧光镜 2D图像上。2D和3D数据以不同参考定义，因而，需要精确地计算它们之间的旋转角和平 移坐标，以利用来自CT图像的3D信息以及2D荧光镜数据的精度和实时特征两者。计 算可以基于在3D CT数据和2D荧光镜数据两者中测量的基准标记的坐标。将CT图像 的部分覆盖到荧光镜2D图像上可能对使用电磁导航（EMN)系统执行ELECTROMAGNETIC NAVIGATION BRONCHOSCOPY? (ENB)程序的用户有用。
[0031] ENB程序通常至少包括两个阶段：（1)计划到位于患者的肺内或者邻近患者的肺 的目标的通路；以及（2)沿着计划的通路将探头导航到目标。这些阶段通常称为（1)"计划" 和⑵"导航"。在由Baker在2013年3月15日提交的全部以"Pathway Planning System and Method"为标题的、共同拥有的序列号为13/838, 805、13/838, 997和13/839, 224的美 国专利申请中更充分地描述了 ENB程序的计划阶段，这些申请的全部内容通过引用合并于 此。可以在标题为"SYSTEM AND METHOD FOR NAVIGATING WITHIN THE LUNG" 的共同转让 的美国临时专利申请No. 62/020, 240中找到计划软件的示例，其全部内容通过引用合并于 此。
[0032] 在计划阶段之前，通过例如计算机断层成像（CT)扫描对患者的肺进行成像，当然 另外的可适用的成像方法将是本领域技术人员已知的。随后，在CT扫描期间汇集的图像数 据可以以例如医学的数字成像和通信（DIC0M)的格式存储，当然另外的可适用的格式将是 本领域技术人员已知的。随后，可以将CT扫描图像数据加载到计划软件应用（"应用"）中 以在ENB程序的计划阶段期间使用。
[0033] 参考附图描述了系统和方法的实施例。在整个附图的描述中，相同的参考数字可 以指代相似或者相同的要素。本说明书可以使用短语"在实施例中"、"在多个实施例中"、 "在一些实施例中"或者"在其它实施例中"，这些短语可以各自指代根据本公开的相同或者 不同实施例中的一个或者多个。
[0034] 参照图1，根据本公开提供了电磁导航（EMN)系统10。除了其它任务外，可以使用 EMN系统10执行的任务有计划到目标组织的通路、将定位组件导航到目标组织、将活体组 织检查工具导航到目标组织以使用活体组织检查工具从目标组织获得组织样本、以及用数 字标记获得组织样本的位置、以及将一个或者多个回波标记放置在目标处或者目标周围。
[0035] EMN系统10通常包括配置为支撑患者