一种智能磁共振全息成像方法和系统

1.本发明涉及医学影像技术领域，更具体地，涉及一种智能磁共振全息成像方法和系统。


背景技术：

2.磁共振成像具有良好的软组织对比度，不含电离辐射，且可以多角度大视野成像，已经成为了临床手术干预治疗的一种非常有前景的成像方式。然而，相比于ct和超声成像，磁共振成像的速度较慢，限制了其在需要实时成像场景的应用。此外，虽然磁共振成像可以获得立体图像数据，但现有的图像显示方法都受限于二维平面展示，难以精准刻画丰富的空间及时间信息。
3.针对磁共振成像速度慢的问题，目前已经存在许多相关研究。例如开发了基于压缩感知技术和深度学习技术的方法，在保证成像质量的同时，降低了扫描所需时间。这些方法通过减少k空间采集数据量来提高扫描速度，再基于不同先验进行高质量图像重建。然而，压缩感知技术的迭代重建时间较长，不利于成像结果的实时展示。而深度学习技术需要全采样标签数据来监督模型的训练，在临床的使用还不够成熟。对于二维平面图像显示问题，目前还没有很好的解决方案，医生通常通过同时观察多个二维图像或立体图像的二维平面投影图来给出诊断结果，这显然不利于磁共振成像在手术干预治疗相关领域的应用。
4.基于深度学习的快速磁共振成像方法具有巨大的临床应用潜力，然而现有技术都聚焦于成像速度的提升和图像质量的恢复，即便能很好地重建高维图像，但在最终结果展示时都局限于二维平面显示，用户不能全面直观实时地观察立体磁共振图像，这限制了磁共振成像技术在手术干预治疗相关领域的使用。


技术实现要素：

5.本发明的目的是克服上述现有技术的缺陷，提供一种智能磁共振全息成像方法和系统。
6.根据本发明的第一方面，提供一种智能磁共振全息成像系统。该系统包括：数据采集设备、图像重建设备和图像显示设备，其中：
7.数据采集设备用于通过欠采样扫描实时获取欠采样磁共振数据，并发给图像重建设备；
8.图像重建设备用于将所述欠采样磁共振数据输入至深度学习模型，输出立体重建图像，所述立体重建图像不小于3维；
9.图像显示设备用于将所述立体重建图像进行立体渲染，并通过全息投影进行立体显示；
10.其中，所述深度学习模型是以样本的欠采样磁共振数据作为输入，以对应的全采样磁共振数据作为输出，通过自监督训练获得。
11.根据本发明的第二方面，提供一种智能磁共振全息成像方法。该方法包括以下步
骤：
12.通过欠采样扫描实时获取欠采样磁共振数据，并输入到深度学习模型，获得立体重建图像，所述立体重建图像不小于3维；
13.对所述立体重建图像进行立体渲染，并通过全息投影进行立体显示；
14.其中，所述深度学习模型是以样本的欠采样磁共振数据作为输入，以对应的全采样磁共振数据作为输出，通过自监督训练获得。
15.在一个实施例中，根据以下步骤训练所述深度学习模型：
16.利用设计的欠采样扫描轨迹针对目标进行磁共振扫描，获得原始欠采样磁共振数据；
17.对所述原始欠采样磁共振数据进行二次欠采，由二次欠采磁共振数据和原始欠采磁共振数据形成一个数据对，用于所述深度学习模型的训练；
18.在完成一轮训练后，将原始欠采磁共振数据输入经训练的所述深度学习模型，生成伪全采样数据标签，并将该伪全采样数据标签引入下一轮所述深度学习模型的训练，直到满足设定的模型优化标准。
19.与现有技术相比，本发明的优点在于，提出一种新的智能磁共振全息成像方案，首先基于深度学习实现快速磁共振扫描及重建，然后将立体磁共振图像进行立体渲染，并基于全息投影，实现实时立体的磁共振图像显示，使得医生能全面直观地观察到成像部位的组织，辅助医生进行手术干预治疗。
20.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
21.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
22.图1是根据本发明一个实施例的智能磁共振全息成像方法的流程图；
23.图2是根据本发明一个实施例的智能磁共振全息成像系统的示意图；
24.图3是根据本发明一个实施例的智能磁共振全息成像系统的应用过程示意图。
具体实施方式
25.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
26.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
27.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
28.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
29.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一
个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
30.本发明提供的智能磁共振成像方案主要包括：设计欠采样扫描轨迹及相关序列等设置进行磁共振扫描，获得欠采样数据(或称为欠采样磁共振数据)；训练自监督深度学习模型，作为磁共振图像重建模型；基于训练的模型获得欠采样数据的高质量立体重建图像；对立体重建图像进行立体渲染，并通过全息投影进行立体显示。最终实现快速磁共振成像和实时立体的图像显示。
31.具体地，参见图1所示，所提供的智能磁共振全息成像方法包括以下步骤。
32.步骤s110，利用设计的欠采样扫描轨迹进行磁共振扫描，获得欠采样数据。
33.首先，在磁共振扫描时，设计并优化欠采样扫描序列，根据具体扫描对象选择合适的扫描轨迹，以实现扫描速度最大化，进而获得欠采样数据。例如，采用笛卡尔空间扫描、径向扫描、螺旋扫描等。
34.步骤s120，基于所采集的欠采样数据自监督训练深度学习模型。
35.深度学习模型可采用多种类型的网络结构，例如，卷积神经网络或循环神经网络等。深度学习模型用于针对输入的欠采磁共振数据进行快速图像重建，并获得更高质量的重建图像。因此，在本文中，深度学习模型也被称为磁共振图像重建模型。
36.在一个实施例中，基于收集的数据采用自监督方式训练深度学习网络模型。用于模型训练的数据无需全采样数据标签，而是将欠采样数据进行二次欠采，由二次欠采数据和原始欠采数据形成一个数据对，用作网络训练。在完成一轮训练后，将原始欠采数据输入网络，生成伪全采样数据标签，并将该伪标签引入下一轮网络的训练。不断重复该过程直至满足设定的损失标准或网络效果不再提升。通过这种设计，在无需全采样数据的前提下以及原始欠采样数据样本较少的情况下，能够扩充训练数据集，不仅改善了模型重建效果，并且能够提升模型后续实际应用阶段的效率。
37.步骤s130，对于实时采集的欠采样数据，利用经训练的深度学习模型，获得立体重建图像。
38.在模型训练完成后，可用于实际的立体图像重建，即针对目标，实时采集欠采样数据，将欠采样数据输入到经训练的深度学习模型，即可获得对应的全采样数据，进而获得立体重建图像，该立体重建图像具有更高的清晰度或更高质量，并且是至少三维的立体图像，例如，三维、四维等。
39.步骤s140，对立体重建图像进行立体渲染，并通过全息投影进行立体显示。
40.为了实现磁共振图像的立体显示，进一步地，对立体重建图像进行立体渲染，并通过全息投影进行立体显示，从而更直观、清晰地再现真实的立体图像。
41.相应地，本发明还提供一种智能磁共振全息成像系统。用于实现上述方法的一个方面或多个方面。例如，参见图2所示，该系统包括数据采集设备10、图像重建设备20和图像显示设备30。数据采集设备10用于通过欠采样扫描实时获取欠采样磁共振数据，并发送给图像重建设备20；图像重建设备20用于将所述欠采样磁共振数据输入至经训练的深度学习模型，输出立体重建图像；图像显示设备30用于将所述立体重建图像进行立体渲染，并通过全息投影进行立体显示。其中所涉及的各设备可采用通用或专用硬件实现。
42.例如，参见图3所示，在具体应用时，信号采集计算机将扫描轨迹和序列等相关设置传递给磁共振仪器，并且信号采集计算机从磁共振仪器收集到原始欠采样k空间数据，经
tcp/ip协议传输给远程高性能服务器。然后，服务器基于训练好的深度学习模型使用gpu快速重建出高质量立体磁共振图像。
43.接下来，基于全息投影实现实时磁共振图像的立体显示。例如，在完成欠采样磁共振数据的高质量图像重建后，高性能服务器将重建好的磁共振图像数据再次经tcp/ip协议传输给全息投影设备，全息投影设备将对传递的立体图像进行渲染和立体显示。
44.以全息投影设备作为图像显示设备为例，在应用时，医生提前佩戴好全息投影设备。记信号采集时间为t，记磁共振信号经由信号采集计算机、高性能服务器传输至全息投影设备并立体显示的时间差为t'，在t满足实时捕捉组织变化(如心脏跳动)要求的前提下，只要t'《t，立体图像就能在第二个信号采集完成前投影显示。通过这种方式，能够实现实时、立体的磁共振图像显示，可用于辅助医生进行手术干预。
45.需说明的是，本发明涉及的模型训练过程可在服务器或云端离线进行，将经训练的模型嵌入到电子设备即可实现实时的磁共振全息成像。该电子设备可以是终端设备或者服务器，终端设备包括手机、平板电脑、个人数字助理(pda)、销售终端(pos)、车载电脑、智能可穿戴设备等任意终端设备。服务器包括但不限于应用服务器或web服务器，可以为独立服务器、集群服务器或云服务器等。
46.综上所述，磁共振成像是临床成像与科学研究的重要工具，但是传统的成像一般只在二维平面显示，对于空间精准定位与手术干预的指导不够直接。而本发明提出的智能磁共振全息成像方法，可以实现快速磁共振成像及实时立体的磁共振图像显示，在临床可以更好地辅助医生进行手术干预治疗。一方面，所提出的基于二次欠采和伪标签制作的自监督磁共振图像重建深度学习模型训练方法，可以规避常规深度学习模型训练对全采样标签数据的需求，降低数据制作的成本。另一方面，通过将全息投影技术用于磁共振图像的实时展示，打破了传统成像二维平面显示的局限，有效降低目前常用的二维平面图像显示方法带来的信号损失，医生可以更加全面直观地观察成像区域的组织，从而更好地辅助医生进行手术规划和实施。总之，本发明提出智能磁共振全息成像新技术，基于人工智能算法实现快速的磁共振扫描和图像重建，同时结合先进的全息投影技术，将成像结果进行实时立体投影显示，这不仅可以为医生提供更加丰富的高维图像信息，还可以为更重要的人机交互成像提供平台。
47.本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
48.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
49.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
50.用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++、python等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
51.这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
52.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
53.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
54.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动
作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
55.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。