一种磁性纳米粒子成像重建的方法、系统及装置

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。下面参考图9，其示出了用于实现本技术方法、系统、装置实施例的服务器的计算机系统的结构示意图。图9示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图9所示，计算机系统包括中央处理单元(cpu，central processing unit)901，其可以根据存储在只读存储器(rom，read only memory)902中的程序或者从存储部分908加载到随机访问存储器(ram，random access memory)903中的程序而执行各种适当的动作和处理。在ram 903中，还存储有系统操作所需的各种程序和数据。cpu 901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o，input/output)接口905也连接至总线904。以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(crt，cathode ray tube)、液晶显示器(lcd，liquid crystal display)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如lan(局域网，local areanetwork)卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(cpu)901执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者装置/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

背景技术：

1、磁纳米粒子成像技术(magnetic particle imaging,mpi)是gleich等人在2005年开发的一种新的成像方式。它是一种基于示踪剂的成像方式，通过梯度磁场来检测体内的超顺磁性氧化铁纳米粒子(spion)的分布，具有较高的灵敏度和分辨率，且没有扫描深度的限制。

2、目前常见的mpi重建算法主要有两种，一种是系统矩阵法。系统矩阵是mpi装置系统函数的离散表示形式，它表示了不同空间位置下，磁纳米粒子产生感应电压信号的谐波分量，将感应电压的信号频谱映射到空间浓度分布上。系统矩阵法的重建主要包括获取系统矩阵，和求解系统线性方程两个步骤。其中系统矩阵的获取可以通过校准扫描或物理建模来实现。校准扫描的方法通过测量样本在每个像素点位置的信号来获得系统矩阵，重建效果较为准确，但测量过程耗时耗力，且当扫描条件发生改变时必须重新校准。而物理建模的方法通过物理模型来描述磁粒子浓度分布到电压信号的映射，虽然可以避免复杂的测量过程，但无法保证获得矩阵的准确性。在求解系统线性方程的过程中，由于测量精度以及外部噪声等因素的影响，求解的线性方程往往是非适定的，因此需要通过正则化的方法来约束求解。不同的正则化方法已被成功用于mpi重建中，但该方法基于对数据的假设，因此重建效果可能较差。

3、另一种重建算法是x-space法。它通过点扩散函数和电压信号进行重建，通过两步速度补偿的方法，将接收信号网格化处理，转换为磁粒子的浓度分布信息。x-space法能够避开构建系统矩阵的复杂过程，不仅使成像模块化，且能够实现快速的图像重构和快速卷积，大大提高了mpi的成像速度。然而，该方法使用朗之万模型来描述绝热假设下磁粒子的磁化过程，忽略了粒子的弛豫效应，导致x-space法重建图像的模糊和不准确。

4、针对目前传统mpi重建算法的缺陷，已有研究将深度神经网络用于mpi的重建中，但多用于加速系统矩阵的校准或优化正则化过程，无法进一步提升mpi的重建效率。

5、生成对抗网络(gan)是在2014年被提出的图像生成网络，它由一个生成器和一个判别器组成，生成器用于从真实图像中学习复杂的数据分布从而生成接近真实的图像，判别器用于鉴别真实的图像和生成后的图像。在训练过程中，生成器的力图生成能欺骗判别器的样本，而判别器的力图成功鉴别样本的真假。二者相互对抗，最终达到平衡，此时生成器生成的样本能够逼近真实样本分布。条件gan在原始的gan中增加了条件信息，使得gan生成的图像受到输入信号的控制，从而实现一维信号到二维图像的重建。

6、transformer是2017年被提出的模型，它的核心是多头自注意力机制，在图像处理任务中能够提升模型的感受野，使神经网络更容易学到图像全局的联系。使用transformer结构作为gan的生成器与判别器，能够有效保证图像生成的质量。

7、基于此，本发明提供了一种磁性纳米粒子成像重建的方法、系统及装置。

技术实现思路

1、为了解决现有技术中的上述问题，即使用朗之万模型来描述绝热假设下磁粒子的磁化过程，忽略了粒子的弛豫效应，导致x-space法重建图像的模糊和不准确的问题，本发明提供了一种磁性纳米粒子成像重建的方法、系统及装置。

2、本发明的一方面，提供了一种磁性纳米粒子成像重建的方法，该方法包括：

3、获取待成像重建图像的一维mpi电压信号，作为输入信号；

4、将所述输入信号输入训练好的生成对抗网络模型的生成器中，得到重建后的磁粒子图像；

5、其中，所述生成对抗网络模型包括生成器和判别器。

6、在一些优选的实施方式中，所述生成器基于依次连接的多层感知机、编码模块、加权模块构成，所述编码模块包括多个上采样单元和多个transformer块，每个所述上采样单元位于两个所述transformer块之间；

7、所述transformer块基于依次连接的第一归一化层、多头自注意力层、第一加和单元、第二归一化层、多层感知机、第二加和单元构建；

8、所述第一归一化层的输入与所述多头自注意力层的输出残差连接，所述第一加和单元的输出与所述多层感知机的输出残差连接。

9、在一些优选的实施方式中，所述一维mpi电压信号，其获取方法为：

10、步骤s110，将固定浓度的磁性纳米粒子溶液注射至容器中；

11、步骤s120，将所述容器放置在可精密移动的位移台上，在x方向-y方向-z方向上按照顺序依次移动所述位移台，同时启动mpi装置对所述容器进行扫描，得到初始一维mpi电压信号u(t)；

12、步骤s130，重复n次步骤s120，得到n个初始一维mpi电压信号u(t)和n个系统矩阵a，计算n个所述a的平均值ac：

13、ac＝(a1+a2……+an)/n

14、步骤s140，对所述进行插值处理，得到其中，n、m为维度；

15、步骤s150，根据所述待成像重建图像xr、高斯噪声m、所述得到一维mpi电压信号u(t)：

16、

17、在一些优选的实施方式中，所述生成对抗网络模型，其训练方法为：

18、步骤s210，构建磁粒子在扫描空间中的浓度分布的灰度值图像，作为数据集，将所述数据集作为待重建图像xr和真值标签，将所述数据集中一部分作为训练数据；将所述训练数据中的一维mpi电压信号输入至所述预构建的生成对抗网络模型中的生成器中，得到重建图像xf；

19、步骤s220，基于所述重建图像xf与其对应的真值标签，通过预构建的生成器的损失函数，得到生成器对应的损失值，对所述生成器的参数进行修正；

20、步骤s230，将所述真值标签与所述重建图像xf输入至所述判别器中，判断所述重建图像xf的真假，得到判别结果；

21、步骤s240，结合所述判别结果，通过预构建的判别器损失函数，得到判别器对应的损失值，对所述判别器的参数进行修正；

22、步骤s250，循环步骤s210-步骤s240，直至得到训练好的生成对抗网络模型。

23、在一些优选的实施方式中，所述判别器基于依次连接的图像分割模块、线型加权模块、多个transformer块构成；

24、所述图像分割模块用于将所述重建图像xf分割为同样大小的设定数量块；所述线型加权模块用于将所述设定数量块图像转换为嵌入设定维数的向量。

25、在一些优选的实施方式中，所述生成器对应的损失值，其计算方法为：

26、步骤s221，计算重建图像xf＝g(v)与所述待重建图像xr中每一个像素的平均绝对误差lmae：

27、lmae(g,xr)＝e(||xr-g(v)||)；

28、步骤s222，根据所述平均绝对误差lmae，计算生成其的损失值lg：

29、lg＝-e(d(g(v)))+λlmae(g,xr)；

30、其中，所述λ为调节生成器中两种损失占比的参数，d表示判别器对重建图像的判断过程，e表示对判别器输出的结果求平均值。

31、在一些优选的实施方式中，所述判别器对应的损失值，其计算方法为：

32、ld＝-e(max(0,1-d(x)))+e(max(0,d(1+g(v))))。

33、其中，ld表示判别器对应的损失值。

34、本发明的另一方面，提出了一种磁性纳米粒子成像重建的系统，该系统包括：

35、获取信号模块，其配置为获取待成像重建图像的一维mpi电压信号，作为输入信号；

36、训练模块，其配置为将所述输入信号输入训练好的生成对抗网络模型的生成器中，得到重建后的磁粒子图像；

37、其中，所述生成对抗网络模型包括生成器和判别器。

38、本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行一种磁性纳米粒子成像重建的方法。

39、本发明的第四方面，提出了一种处理装置，包括处理器和存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现一种磁性纳米粒子成像重建的方法。

40、本发明的有益效果：

41、1、在生成器和判别器中引入transformer结构，能够使模型更容易学到图像的全局联系，从而使生成器在生成图片时更容易注意到图像的整体效果，判别器能够更快地从全局上判别图像的真假，从而提升模型性能。

42、2、获取mpi电压信号的过程中多次测量系统矩阵取平均并加入了高斯噪声，使仿真的系统矩阵更加接近真实的系统矩阵；对系统矩阵采用了插值处理，能够避免导致逆问题求解出现病态性。

43、3、本发明使用了生成对抗网络模型，通过生成器与判别器二者相互对抗，最终达到平衡，此时生成器生成的样本能够逼近真实样本分布。同时，条件gan在原始的gan中增加了条件信息，使得gan生成的图像受到输入信号的控制，从而实现一维信号到二维图像的重建，能够有效保证图像生成的质量。