实时医学治疗的视频图形显示的制作方法

实时医学治疗的视频图形显示的制作方法
【专利摘要】描述了一种通过与治疗装置和成像装置协同操作的处理器产生实时医学治疗的视频图形显示的系统和方法。表示可以包括实时成像数据、实时治疗数据的表示和相关解剖结构的轮廓等。还描述了相关系统和技术。
【专利说明】实时医学治疗的视频图形显示
[0001]相关申请的交叉引用
[0002]本PCT申请要求2012年5月2日提交的名称为“实时医学治疗的视频图形显7]\ (Videographic Display of Real-Time Medical Treatment) ” 的美国专利申请序列号13/462，750的优先权，上述申请的完整公开内容通过引用合并于本文中。

【技术领域】
[0003]本公开内容涉及用于产生由治疗装置与成像装置协同执行的实时医学治疗的视频图形表示的系统和方法。

【背景技术】
[0004]在某些医学治疗(例如手术或辐射疗法)期间，正被治疗的身体的部分的运动会降低治疗的效果甚至导致有害结果。例如，辐射疗法期间肿瘤的运动会导致辐射束未击中肿瘤而击中健康组织。因此，有利的是提供医学治疗的视觉证据或档案，从而能够进行治疗准确度的方便评估。


【发明内容】

[0005]描述了一种通过与成像装置协同操作的治疗装置产生实时治疗的视频图形显示。可以获得治疗区域的初始图像。可以提供或计算初始图像中的相关解剖结构的一个或多个轮廓。在医学治疗期间可以获得治疗区域的实时图像和实时治疗数据。可以确定多个实时图像中的相关解剖结构的一个或多个实时轮廓并且可以产生视频图形显示。视频图形显示可以包括实时图像、相应的实时轮廓和实时治疗数据的表示。也描述了相关的设备、系统和技术。
[0006]在一方面，可以在医学治疗期间获得治疗区域的实时图像。可以确定多个实时图像中的相关解剖结构的一个或多个实时轮廓。可以提供多个实时图像的视频图形显示。视频图形显示可以包括相应的实时轮廓和实时治疗数据的表示。
[0007]可以从磁共振成像系统获得实时图像并且可以使用可变形图像配准确定实时图像。在一个实现方式中，医学治疗可以是辐射疗法并且实时治疗数据可以包括以下的一个或多个:辐射疗法装置的一个或多个辐射束的激发状态、一个或多个辐射束的定位、一个或多个辐射束的形状、与一个或多个辐射束关联的辐射强度以及输送的辐射剂量。视频图形显示中的实时治疗数据的表示可以包括以下的一个或多个:一个或多个辐射束开启时的一个或多个辐射束的束的图形表示、累积剂量沉积的指示以及累积沉积剂量的量的文本指
/Jn ο
[0008]可以从以下的一个或多个获得初始和实时图像:磁共振成像系统、正电子发射断层显像扫描器、计算机断层显像扫描器以及X射线机。可以使用可变形图像配准确定实时轮廓。
[0009]实时治疗数据可以包括以下的至少一个:手术器械定位信息、手术切口定位信息、可以在实时图像中捕捉的器械和医学专业人员的一部分的图形表示。视频图形显示可以在远程装置上被提供并且可以是三维的。
[0010]在另一方面，一种系统可以包括成像装置、治疗装置、显示器以及处理器。成像装置可以配置成采集医学治疗期间的治疗区域的实时图像。治疗装置可以配置成采集医学治疗期间的实时治疗数据。处理器可以配置成确定多个实时图像中的相关解剖结构的实时轮廓并且将多个实时图像的视频图形显示输出到显示器。视频图形显示可以包括相应的实时轮廓和实时治疗数据的表示。
[0011]成像装置可以是磁共振成像系统并且处理器可以使用可变形图像配准确定实时轮廓。治疗装置可以是具有一个或多个辐射束的辐射疗法装置并且实时治疗数据包括以下的一个或多个:一个或多个辐射束的激发状态、一个或多个辐射束的定位、一个或多个辐射束的形状、与一个或多个辐射束关联的辐射的强度以及输送的辐射剂量。视频图形显示中的实时治疗数据的表示可以包括以下的一个或多个:辐射束开启时的一个或多个辐射束的束的图形表示、累积剂量沉积的指示以及累积沉积剂量的量的文本指示。
[0012]可以从以下选择成像装置:磁共振成像系统、正电子发射断层显像扫描器、计算机断层显像扫描器以及X射线机。系统还可以包括可以配置成采集治疗区域的图像的一部分的第二成像装置。
[0013]处理器可以使用可变形图像配准确定实时轮廓。实时治疗数据可以包括以下的至少一个:手术器械定位信息、手术切口定位信息、在实时图像中捕捉的器械和在实时图像中捕捉的医学专业人员的一部分中的至少一个的图形表示。显示可以在远程装置上并且可以是三维的。视频图形显示可以在网页界面上提供给社交媒体网站。
[0014]参考以下描述和权利要求将更好地理解本公开的这些和其它特征、方面和优点。

【专利附图】

【附图说明】
[0015]结合附图描述本公开内容的特征、方面和实现方式，其中:
[0016]图1是示出根据当前主题的实现方式的系统的方面的简化图；
[0017]图2示出与示例性成像装置协同操作的治疗装置的例子；
[0018]图3示出与示例性成像装置协同操作的治疗装置的另一例子；
[0019]图4示出与成像装置协同操作的治疗装置的又一例子；
[0020]图5是示出根据当前主题的实现方式的方法的方面的简化图；以及
[0021]图6示出根据当前主题的实现方式的视频图形显示。

【具体实施方式】
[0022]本文所述的主题提供许多优点，下面记载了其中的一些优点。实时医学治疗的视频图形显示的产生允许治疗的视觉档案与医生、患者、家庭成员、护理者等共享。观看者将能够经由视频图形显示看到被治疗的身体的部分以及作用于那些身体部分以治疗患者的治疗装置的操作(例如，由机器人手术刀产生的切口、由辐射疗法装置产生的辐射等)。因此，视频图形显示可以提供是否正确地治疗患者的证据，由此为患者或其他观看者提供信息和潜在心理满足。视频图形显示也可以用于教育和评估是否可能需要额外的治疗或医学护理。治疗的这样的实时视频图形显示也可以保证临床医生之间的效率，原因是他们在治疗中的角色可以被记录并且与患者和其他个体共享。
[0023]图1是示出根据当前主题的实现方式的系统100的方面的简化图。系统100可以至少包括治疗装置102、成像装置104、处理器106和显示器108。治疗装置102可以是辐射疗法装置、一个或多个机器人手术臂、一个或多个手术刀或者任何其它合适的治疗装置(例如高强度聚焦超声(HIFU)消融装置、冷冻消融装置、激光消融装置、RF消融装置以及用于输送治疗的导管或其它装置(例如短程疗法装置、支架、栓塞装置、血管移植物、缝合标记和包括但不限于螺钉和板的矫形装置))。成像装置104可以是磁共振成像(MRI)系统、正电子发射断层显像(PET)扫描器、计算机断层显像(CT)扫描器、X射线机、其它成像装置或成像装置的组合。处理器106可以包括计算机，所述计算机包括至少一个微处理器和可以存储指令的机器可读介质，或者处理器可以包括配置成实现本公开内容的系统和方法的任何其它计算机部件。显示器108可以包括终端装置，例如桌上型计算机、膝上型计算机、平板计算机、蜂窝电话、电视、全息照片生成器或任何其它显示介质。在一些实现方式中，终端装置可以是远离治疗装置102和成像装置104的远程装置。箭头110、112和114中的每一个可以独立地表征有线或无线连接，例如蜂窝网络、互联网、局域网或广域网，并且每个连接可以包括多个连接并且可以通过附加元件或与附加元件交互，附加元件例如服务器、云计算装置等。实时治疗数据在连接110上从治疗装置102传到处理器106，并且实时图像数据通过连接112从成像装置104传到处理器106。产生视频图形显示所需的信息通过连接114从处理器106传到显示器108。
[0024]图2示出如本公开内容中所述的与成像装置104协同操作的治疗装置102的例子。治疗装置102在该例子中是安装在可旋转机架216上的辐射疗法装置206。成像装置104在该例子中是磁共振成像(MRI)系统208。辐射疗法装置206可以包括一个或多个辐射束源，例如钴-60源或线性加速器，其可以被控制以将辐射传递到患者212的预定解剖结构。辐射疗法装置206还可以包括一个或多个多叶准直器以成形传递到患者212的辐射束。一个或多个辐射束因此可以开启和关闭，可以在机架116上旋转，并且可以使它们的形状和强度由多叶准直器或其它装置修改。
[0025]图3示出如本公开内容中所述的与成像装置104协同操作的治疗装置102的附加例子。治疗装置102在该例子中是机器人手术装置306。成像装置104在该例子中是磁共振成像(MRI)系统308。机器人手术装置306可以被控制以相对于患者310的身体移动，从而对患者310进行手术。
[0026]图4示出如本公开内容中所述的与成像装置104协同操作的治疗装置102的附加例子。治疗装置102在该例子中是手术刀406。成像装置104在该例子中是磁共振成像(MRI)系统412。手术刀406可以配置成由临床医生408使用以对患者410的身体的一部分执行手术程序。
[0027]参考本公开内容的示例性方法的以下解释，将理解关于图2-4的示例性实现方式的更多细节。
[0028]图5是示出可以用于实现本公开内容的方法的示例性过程500的方面的简化图。例如，在502，可以从成像装置104获得治疗区域的初始图像。在504，然后可以在初始图像中提供或计算相关解剖结构的一个或多个轮廓。作为例子，轮廓可以包括待治疗的肿瘤的边界并且也包括必须在治疗中避免的附近解剖结构的边界。这些轮廓可以由临床医生手动地形成。在替代实现方式中，可以使用自动计算机程序形成轮廓。
[0029]在医学治疗开始之后，在506，可以使用成像装置104获得来自治疗区域的实时图像数据。另外，在508，可以从治疗装置102获得实时治疗数据。
[0030]图2中所示的实现方式的实时治疗数据(其中治疗装置102是辐射疗法装置206)可以包括以下的一个或多个:一个或多个辐射束的激发状态、(一个或多个)辐射束的角定位、(一个或多个)辐射束的形状，与(一个或多个)辐射束关联的辐射的强度、输送的辐射剂量等。这样的治疗数据可以通过例如与辐射源关联的传感器、可旋转机架、(一个或多个)多叶准直器上的叶和辐射疗法装置的控制系统进行采集。治疗数据也可以从治疗装置102自身收集。本领域的技术人员将理解，也可以收集其它数据。
[0031]图3中所示的实现方式的实时治疗数据(其中治疗装置102是机器人手术装置306)可以包括以下的一个或多个:机器人手术装置306的定位和轨迹、患者310的身体中的切口的坐标(例如，笛卡尔坐标、球面坐标或柱面坐标)、机器人手术装置306的手术器具的形状、手术中涉及的一个或多个临床医生的音频和/或视觉记录等。这样的治疗数据可以通过例如与机器人手术装置306关联以记录其轨迹、定位或形状的变化的传感器或图形或视频图形照相机或与机器人手术装置306协同使用的其它成像物理治疗设备进行采集。治疗数据也可以从成像装置102收集。本领域的技术人员将理解，也可以收集其它数据。
[0032]图4中所示的实现方式的实时治疗数据(其中治疗装置102是手术刀406)可以包括以下的一个或多个:手术刀406的定位和轨迹、患者416的身体中的切口的坐标(例如，笛卡尔坐标、球面坐标或柱面坐标)、手术中涉及的一个或多个临床医生的音频和/或视觉记录等。这样的治疗数据可以通过例如与手术刀406关联以记录其轨迹或定位的传感器或图形或视频图形照相机或与手术刀406协同使用的其它成像物理治疗设备进行采集。治疗数据也可以从成像装置102收集。本领域的技术人员将理解，也可以收集其它数据。
[0033]在图5中的510，可以确定实时图像中的相关解剖结构的实时轮廓。实时轮廓可以使用可变形图像配准和在502和504中采集的初始图像和轮廓以及用实时图像和轮廓进行确定。也可以单独地或组合地使用其它图像处理技术显影轮廓，例如边缘检测、模式识别坐寸ο
[0034]在图5中的512，可以产生多个实时图像的视频图形显示。显示可以包括多个实时图像的相应实时轮廓和实时治疗数据的表示。显示器108可以是终端装置，例如桌上型计算机、膝上型计算机、平板计算机、蜂窝电话、电视、全息照片生成器或能够显示视频的任何装置。显示器108可以与治疗装置102和成像装置104 —起定位或者它可以远离该定位。如先前所述，视频图形显示可以使用有线连接或无线连接，例如蜂窝网络、互联网、局域网、广域网、城域网、蓝牙网络、红外网络、Zigbee无线网络、Wibree网络等，并且每个连接可以包括多个连接并且可以通过附加元件或与附加元件交互，附加元件例如服务器和云计算装置。在一个例子中，视频图形显示可以在网页界面上提供给诸如社交媒体网站的网站，在所述网站中，个体可以张贴、共享和评论各种文档化的医学治疗。
[0035]在一个实现方式中，治疗数据和图像数据的部分可以在处理器106处组合在一起，使得视频图形文件可以发送到显示器108。在替代实现方式中，治疗数据和图像数据的部分可以从处理器106独立地发送到显示器108，在显示器108中，独立接收的部分可以被组合以形成视频图形显示。可以基于选择由视频图形显示的观看者执行组合。
[0036]在一个实现方式中，采集的治疗数据可以覆盖在相应的实时图像上以形成最终图像组，并且然后该组的图像可以合成以形成视频图形显示。该覆盖可以使用治疗数据和相应的图像数据在时间和空间上的相互关系来执行。
[0037]可以组合最终图像数据组中的图像的至少一部分(例如，预定数量)以形成视频图形显示。预定数量可以取决于因素而变化，例如使用的通信通道(例如，直接有线连接、蜂窝网络、互联网、局域网、广域网、城域网、蓝牙网络等)、通信通道的可用带宽、显示器类型(例如，膝上型计算机、桌上型计算机、平板计算机、蜂窝电话、无线装置)和其它因素。在一个例子中，当显示器108是移动电话时的预定数量可以小于当显示器108是高处理能力计算机时的预定数量。在一些实现方式中，预定数量可以由临床医生基于临床医生或患者的个人喜好确定。
[0038]图6示出可以使用本公开内容的方法和辐射疗法装置的特定治疗装置产生的视频图形显示600的一个例子。应当理解可以基于本文中的教导可以产生许多其它类型的显示。视频图形显示600可以包括患者的解剖结构602的图形或视频图形表示。在图6的例子中，解剖结构602包括肺、心脏、脊柱和腹。解剖结构602也可以包括例如正在治疗的肿瘤 603。
[0039]视频图形显示600可以是二维的或三维的。在一个实现方式中，视频图形显示600中的多维数据可以是由处理器106从成像装置104和治疗装置102获得的数据的组合。患者的不同取向的二维图像数据可以由处理器106从成像装置104和治疗装置102获得，并且该二维数据可以组合以形成三维数据。组合可以使用重建算法执行，例如三维重建、三角测量等。一些这样的重建算法可以包括以下的至少一个:匹配不同2D图像中的像素、采样3D空间、确定(基于方差、协方差和类似统计方法)相关一个或多个图像参数(例如，颜色、解剖纹理等)的一致性函数、将每个2D图像中的每个像素映射到3D中的向量以及类似方法。当视频图形显示600具有超过两个维度时，可以提供按钮(例如604)，所述按钮可以由用户按压以从不同角度观看治疗；替代地，触摸屏上的触击可以执行相同功能。在一个实现方式中，用户可以用按钮(例如606和608)放大或缩小多维显示。
[0040]封闭不同解剖结构或其它区域(例如靶向治疗的解剖区域)的实时轮廓可以包括在视频图形显示中。可以用不同颜色表示轮廓。例如，显示可以包括围绕肿瘤603的轮廓610，其在颜色上可以为红色，而相邻结构可以由蓝色轮廓封闭。如果需要，各种结构也可以包括内部阴影，其可以是部分半透明的。在治疗装置102是辐射疗法装置的例子中，显示可以包括表示计划治疗束的定位的附加轮廓612 (其典型地一直延伸到肿瘤603的外部的某个距离处)。
[0041]在一个实现方式中，视频图形显示600可以包括选项，用户可以通过所述选项选择用户(例如，临床医生或显示器108的用户)可能想要观看的轮廓。例如，如果用户想要仅仅观看肿瘤的轮廓，则用户可以仅仅选择该轮廓。
[0042]治疗数据可以包括在视频图形显示600中。例如，如图6中所示的使用辐射治疗装置的例子，可以包括束表示614。当视频进行时，对应于治疗期间实际束的操作(其由采集的实时治疗数据确定)，束表示可以开启和关闭或改变形状或角度或强度。可以使治疗数据半透明，以使得实时图像数据仍然可见。束的该表示可以描绘符合计划的治疗方案的束开启和关闭，并且它们可以描绘由于靶肿瘤603移动超出表示计划的治疗束的定位的轮廓612(其可能由于患者运动或正常器官运动而发生)产生的束开启和关闭。可以以许多其它方式描绘辐射束治疗数据。治疗数据的表示的另一例子包括累积剂量沉积的指示。例如，当剂量在治疗的过程中累积时，剂量沉积的区域可能在颜色上变暗。
[0043]视频图形显示600也可以包括用于显示附加数据的信息显示622，例如患者标识(ID)、各种轮廓的颜色和附加治疗数据。附加治疗数据的例子包括总沉积剂量、治疗时间、束开启时间等。在一些实现方式中，在治疗期间当量增加时沉积剂量的量可以实时地变化。
[0044]当使用其它治疗装置时，其它治疗数据可以包括在视频图形显示600中。例如，当治疗装置102是机器人手术臂306或手术刀406时，可以描绘手术刀或手术装置的表示。替代地，可以描绘切口出现处的表示或者治疗数据的表示可以简单地从成像数据自身可见。显示也可以配置成描绘执行治疗的医疗专业人员的全部或一部分。可以描绘许多其它类型的治疗数据或治疗数据和其它数据的组合。在一些实现方式中，用户可以被提供选项以选择用户想要观看治疗数据的哪个组并且也选择是否描绘任何其它数据乃至成像数据。
[0045]尽管在上面已详细描述了几个实现方式，但是其它修改是可能的。例如，图5中所示和本文中所述的方法可能不需要所示的特定顺序或序列来获得期望结果。
[0046]尽管在上面已描述了根据公开原理的各种实现方式，但是应当理解它们仅仅作为例子被提供，并且不是限制性的。因此，本发明的广度和范围不应当由任何上述示例性实现方式限制，而是应当仅仅根据由本公开内容发布的权利要求及其等效物限定。本公开内容预料到在本文的实现方式中公开的计算可以以应用本文教导的相同概念的许多方式执行，并且这样的计算与所公开的实现方式等效。此外，上述优点并不旨在将任何发布的权利要求的应用限制到实现任何或全部优点的过程和结构。
[0047]另外，部分标题不应当限制或表征可以从本公开内容公布的任何权利要求中所述的(一个或多个)发明。具体地，并且作为例子，尽管标题提到“【技术领域】”，但是这样的权利要求不应当被在该标题下选择以描述所谓的【技术领域】的语言限制。此外，“【背景技术】”中的技术的描述不应当被理解为承认该技术是本公开内容中的任何(一个或多个)发明的现有技术。“
【发明内容】
”也不应当被认为是发布的权利要求中所述的(一个或多个)发明的表征。此外，总体上对本公开内容的任何引用或单数形式的词语“发明”的使用并不旨在暗示对所附权利要求的范围的任何限制。可以根据本公开内容发布的多个权利要求的限制叙述多个发明，并且这样的权利要求因此限定由此保护的(一个或多个)发明及其等效物。
【权利要求】
1.一种方法，其包括: 获得医学治疗期间的治疗区域的实时图像； 获得医学治疗期间的实时治疗数据； 确定多个实时图像中的相关解剖结构的一个或多个实时轮廓； 提供多个实时图像的视频图形显示，所述视频图形显示包括相应的实时轮廓和实时治疗数据的表示。
2.根据权利要求1所述的方法，其中从磁共振成像系统获得所述实时图像。
3.根据权利要求2所述的方法，其中使用可变形图像配准确定所述实时轮廓。
4.根据权利要求2所述的方法，其中所述医学治疗是辐射疗法并且所述实时治疗数据包括以下的一个或多个:辐射疗法装置的一个或多个辐射束的激发状态、一个或多个辐射束的定位、一个或多个辐射束的形状、与一个或多个辐射束关联的辐射强度以及输送的辐射剂量。
5.根据权利要求4所述的方法，其中所述视频图形显示中的所述实时治疗数据的表示包括以下的一个或多个:一个或多个辐射束开启时的一个或多个辐射束的束的图形表示、累积剂量沉积的指示以及累积沉积剂量的量的文本指示。
6.根据权利要求1所述的方法，其中从以下的一个或多个获得初始和实时图像:磁共振成像系统、正电子发射断层显像扫描器、计算机断层显像扫描器以及X射线机。
7.根据权利要求6所述的方法，其中使用可变形图像配准确定所述实时轮廓。
8.根据权利要求2所述的方法，其中所述实时治疗数据包括手术器械定位信息和手术切口定位信息中的至少一个。
9.根据权利要求2所述的方法，其中所述实时治疗数据是在所述实时图像中捕捉的器械和医学专业人员的一部分的图形表示中的至少一个。
10.根据权利要求2所述的方法，其中在远程装置上提供所述视频图形显示。
11.根据权利要求2所述的方法，其中所述视频图形显示是三维的。
12.—种系统,其包括: 成像装置，所述成像装置配置成采集医学治疗期间的治疗区域的实时图像； 治疗装置，所述治疗装置配置成采集医学治疗期间的实时治疗数据； 显不器；以及 处理器，所述处理器配置成确定多个实时图像中的相关解剖结构的实时轮廓并且将多个实时图像的视频图形显示输出到所述显示器，所述视频图形显示包括相应的实时轮廓和实时治疗数据的表示。
13.根据权利要求12所述的系统，其中所述成像装置是磁共振成像系统。
14.根据权利要求13所述的系统，其中所述处理器使用可变形图像配准确定所述实时轮廓。
15.根据权利要求13所述的系统，其中所述治疗装置是具有一个或多个辐射束的辐射疗法装置并且所述实时治疗数据包括以下的一个或多个:一个或多个辐射束的激发状态、一个或多个辐射束的定位、一个或多个辐射束的形状、与一个或多个辐射束关联的辐射强度以及输送的辐射剂量。
16.根据权利要求15所述的系统，其中所述视频图形显示中的所述实时治疗数据的表示包括以下的一个或多个:辐射束开启时的一个或多个辐射束的束的图形表示、累积剂量沉积的指示以及累积沉积剂量的量的文本指示。
17.根据权利要求12所述的系统，其中从以下选择所述成像装置:磁共振成像系统、正电子发射断层显像扫描器、计算机断层显像扫描器以及X射线机。
18.根据权利要求17所述的系统，还包括配置成采集治疗区域的图像的一部分的第二成像装置。
19.根据权利要求12所述的系统，其中所述实时治疗数据包括手术器械定位信息和手术切口定位信息中的至少一个。
20.根据权利要求12所述的系统，其中所述实时治疗数据是在所述实时图像中捕捉的器械和在所述实时图像中捕捉的医学专业人员的一部分中的至少一个的图形表示。
21.根据权利要求12所述的系统，其中所述显示器在远程装置上。
22.根据权利要求12所述的系统，其中所述视频图形显示在网页界面上提供给社交媒体网站。
23.根据权利要求12所述的系统，其中所述视频图形显示是三维的。
【文档编号】A61N5/10GK104394932SQ201380035117
【公开日】2015年3月4日 申请日期:2013年5月1日 优先权日:2012年5月2日
【发明者】詹姆士·F·登普西 申请人:优瑞公司