多模态融合成像方法、超声设备及存储介质与流程

1.本发明涉及超声融合成像技术领域，尤其涉及一种多模态融合成像方法、超声设备及存储介质。
2.

背景技术：

3.当前，各种模态的医学成像设备在临床诊断和医学研究中得到了广泛使用，这些多种模态的医学成像设备所涉及的影像技术主要包括正电子发射型断层成像(positron emission computed tomography，pet)、计算机断层扫描(computed tomography，ct)、磁共振成像(magnetic resonance，mr)、超声成像(ultrasonography，us)等。
4.与超声图像不同，核磁共振(mr)或计算机断层扫描(ct)图像使手术者能够清晰地识别器官和疾病。然而，由于mr或ct图像不能在外科手术或穿刺期间被实时获取，因此mr或ct图像不能反映患者在外科手术或穿刺期间的目标器官的实施状态。在疾病诊断过程中需要充分发挥ct或mr高分辨率的优势和超声实时的特点。目前，在多模态融合成像过程中需要手动选择与基准图像（ct、mr或pet标准切面图像）相似的超声图像进行融合，配准准确度和精度低。
5.

技术实现要素：

6.本发明的目的在于克服现有技术中存在的不足，提供一种能够自动配准的多模态融合成像方法、超声设备及存储介质。
7.作为本发明的第一个方面，提供了一种多模态融合成像方法，包括：加载检测对象待扫查目标器官对应的第一模态三维模型，所述第一模态三维模型中至少包含一个带有位置信息和角度信息的基准图像；获取超声探头扫查的当前超声图像；对所述当前超声图像进行风格迁移，得到迁移超声图像；基于所述迁移超声图像获取当前超声图像的位置信息和角度信息；根据所述当前超声图像的位置信息和角度信息与所述基准图像的位置信息和角度信息，引导所述超声探头运动以获得与所述基准图像融合的配准超声图像。
8.进一步地，对所述当前超声图像进行风格迁移，得到迁移超声图像，包括：将所述当前超声图像输入训练好的风格迁移模型进行处理，得到与所述第一模态相同模态的迁移超声图像。
9.进一步地，所述基于所述迁移超声图像获取当前超声图像的位置信息和角度信息，包括：将所述迁移超声图像与所述第一模态三维模型输入训练好的索引神经网络模型进行处理，确定所述迁移超声图像的位置信息和角度信息，所述当前超声图像与迁移超声图像
的位置信息和角度信息相同。
10.进一步地，将所述迁移超声图像与所述第一模态三维模型输入训练好的索引神经网络模型进行处理，如图2所示，包括：将所述迁移超声图像输入索引神经网络模型的二维卷积神经网络处理，提取所述迁移超声图像的第一特征向量；将所述第一模态三维模型输入索引神经网络模型的三维卷积神经网络处理，提取所述第一模态三维模型的第二特征向量；在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；将所述第一拼接特征向量输入全连接层，输出所述迁移超声图像的位置信息和角度信息。
11.进一步地，所述第一模态为ct、mr、pet或三维超声或其它三维人体检查装置采集的图像。
12.进一步地，所述根据所述当前超声图像的位置信息和角度信息与所述基准图像的位置信息和角度信息，引导所述超声探头运动以获得与所述基准图像融合的配准超声图像，包括：根据所述当前超声图像与所述基准图像的位置信息和角度信息规划所述超声探头运动的引导路径；获取所述超声探头的实时位置；根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；实时显示所述引导路径以及所述超声探头。
13.进一步地，所述实时显示所述引导路径以及所述超声探头，包括：获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像；在所述环境影像和/或检测对象体表突出显示所述引导路径以及所述超声探头。
14.进一步地，在引导所述超声探头运动以获得与所述基准图像融合的配准超声图像的过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。
15.作为本发明的第二个方面，提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述的多模态融合成像方法的步骤。
16.作为本发明的第三个方面，提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的多模态融合成像方法的步骤。
17.本发明的多模态融合成像方法将超声探头获取的当前超声图像进行风格迁移，得到迁移超声图像；根据迁移超声图像与第一模态三维模型中的基准图像的位置信息和角度信息，引导所述超声探头运动以获得与所述基准图像融合的配准超声图像。本发明能够自动引导超声探头扫查获取与基准图像融合的配准图像，无需医师手动选择与基准图像相似
的超声图像进行融合，提高了辅助诊断图像分辨率和实时性。
18.附图说明
19.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：图1为本发明的多模态融合成像方法的工作流程图。
20.图2为本发明的获取当前超声图像的位置信息和角度信息的工作流程图。
21.图3为本发明的引导超声探头运动的工作流程图。
22.图4为本发明的索引神经网络模型的结构示意图。
23.图5为本发明的风格迁移模型的结构示意图。
具体实施方式
24.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或图调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
25.核磁共振(mr)或计算机断层扫描(ct)图像等辅助图像能够使手术者能够清晰地识别器官和疾病。然而，由于mr或ct图像因为其辐射对扫查对象身体有伤害，不能在外科手术或穿刺期间被实时获取，因此mr或ct图像不能反映患者在外科手术或穿刺期间的目标器官的实施状态。虽然超声设备采集的超声图像实时性强且没有辐射，但是，超声图像的分辨率低，对临床医生的专业和临床经验要求比较高。
26.针对目前，在多模态融合成像过程中需要手动选择与基准图像（ct、mr或pet标准切面图像）相似的超声图像进行融合，配准准确度和精度低的问题，作为本发明的第一个方面，如图1所示，提供了一种多模态融合成像方法，包括：步骤s100，加载检测对象待扫查目标器官对应的第一模态三维模型，所述第一模态三维模型中至少包含一个带有位置信息和角度信息的基准图像；具体的在检测对象需要进行手术穿刺之前，通过计算机断层扫描(ct)成像装置、磁共振(mr)成像装置、x射线成像装置、单光子发射计算机断层扫描(spect)成像装置和正电子发射断层扫描(pet)成像装置中的任意一个，以获取检测对象待扫查目标器官对应的第一模态三维模型。其中，所述第一模态为ct、mr、pet、ct或三维超声，然而，示例性实施例不限于此，可以是其它三维人体检查装置采集的模态类型。需要理解的是，在通过ct装置、mr装置或pet装置或其它三维人体检查装置采集获取若干切面的图像时，同时通过磁定位装置
记录位置信息和角度信息。再根据位置信息和角度信息进行三维重建，得到目标器官对应的第一模态三维模型，优选地，通过训练好的深度神经网络模型重建得到目标器官的第一模态三维模型。第一模态三维模型可以是ct三维模型或mr三维模型等。需要理解的是，术语“第一，”是纯粹用作标记，并且不试图对它们的修饰物对数值要求。
27.根据需要检测的目标器官信息，加载检测对象待扫查目标器官对应的第一模态三维模型，所述第一模态三维模型中至少包含一个带有位置信息和角度信息的基准图像。基准图像是用作与超声图像进行融合的二维图像。需要理解的是针对某个目标器官的检测，可能需要同时观察多个器官切面的第一模态图像和超声图像，以方便临床医生能够快速地出具诊断结果。
28.步骤s200，获取超声探头扫查的当前超声图像；超声探头用于发射和接收超声波，超声探头受发射脉冲的激励，向目标组织(例如，人体或者动物体内的器官、组织、血管等等)发射超声波，经一定延时后接收从目标区域反射回来的带有目标组织的信息的超声回波，并将此超声回波重新转换为电信号，以获得目标组织的超声图像。医师操作超声探头或者通过机械臂操作超声探头时，首先需要获取超声探头获取的当前超声图像，并且需要计算当前超声图像的位置信息和角度信息。
29.需要理解的是，超声探头可以根据需要扫查的目标器官，调取扫查该目标器官的参数值，例如超声探头的发射频率，深度参数、动态范围参数等。具体地，通过输入单元调节，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。也可以选择超声设备上目标器官的指示图标，选择之后超声设备自动加载目标器官对应的预设参数值。
30.步骤s300，对所述当前超声图像进行风格迁移，得到迁移超声图像；将所述当前超声图像输入训练好的风格迁移模型进行处理，得到与所述第一模态相同模态的迁移超声图像。
31.可以理解的是，基准图像是在超声探头扫查之前已经获取设定。本发明需要控制超声探头获取与基准图像进行融合的配准超声图像。常规的方式是医师手动选择至少一帧基准图像（ct图像或mr图像等），再通过医师的临床经验选择与基准图像相似度高的超声图像进行融合，这种方式依赖临床医生的临床经验，对超声图像的图像质量要求比较高且医师容易出现失误，可能导致误诊。本发明将当前的超声图像进行风格迁移，得到迁移超声图像。迁移超声图像与基准图像的模态是相同的，例如，第一模态三维模型是ct三维模型，那么基准图像也是一帧ct图像，将当前的超声图像进行风格迁移，得到迁移超声图像，此时迁移超声图像的模态与基准图像的模态是相同的具体地，如图5所示，输入x为需要风格迁移的当前超声图像，当前超声图像x经过风格迁移网络生成迁移超声图像y，风格迁移网络是一种输入与输出一样大小的全卷积神经网络，中间经过若干卷积核、下采样、上采样，用于构建当前超声图像x到迁移超声图像y的映射关系。迁移超声图像y的生成需要第一模态图像风格ys和前超声图像内容yc的共同指导，此处采用经过预训练的分类全卷积神经网络对迁移超声图像y、第一模态图像风格ys、当前超声图像内容yc在不同的层中进行特征提取，得到第一特征f、第二特征fs、第三特征fc，并计算他们之间的损失。第一特征f与第二特征fs之间是风格损失，计算方式是格拉姆矩阵，是衡量两者风格上的相似度，在图中是三个风格损失，对应分类神经网络的三个层的输出，
即通过第一模态图像风格ys的第一层特征fs0和迁移超声图像y的第一层特征f0计算得到第一层风格损失ls0；第一模态图像风格ys的第二层特征fs1和迁移超声图像y的第二层特征f1计算得到第二层风格损失ls1；第一模态图像风格ys的第三层特征fs2和迁移超声图像y的第三层特征f2得到第三层风格损失ls2。
32.第一特征f与第三特征fc之间是内容损失lc，计算方式是均方误差，是衡量两者是否同一个事物，只取某一层（接近分类层）的输出，即第三特征fc通过均方误差计算得到lc。对损失进行加权求和，即l= α*（ls0+ls1+ls2）+β*lc，通过最小化损失函数，采用梯度下降训练风格迁移网络。其中，l为损失参数值，α为第一权重参数，β为第二权重参数分类神经网络是经过大量不同类别的图像训练的分类网络，网络骨干也是若干卷积层，池化层和全连接层。
33.步骤s400，基于所述迁移超声图像获取当前超声图像的位置信息和角度信息；需要理解的是，位置信息和角度信息为六自由度坐标（x, y, z, ax, ay, az），ax、ay、az为在xyz方向的角度信息。本发明通过训练好的索引神经网络模型或全卷积神经网络模型，确定所述当前超声图像的位置信息和角度信息。将所述迁移超声图像与所述第一模态三维模型输入训练好的索引神经网络模型进行处理，确定所述迁移超声图像的位置信息和角度信息，所述当前超声图像与迁移超声图像的位置信息和角度信息相同。
34.将所述迁移超声图像与所述第一模态三维模型输入训练好的索引神经网络模型进行处理，确定所述迁移超声图像的位置信息和角度信息。其中索引神经网络模型至少包括：二维卷积神经网络和三维卷积神经网络。其中，二维卷积神经网络用于对输入的迁移超声图像进行处理，二维卷积神经网络至少包含二维卷积层、最大池化层、平均池化层、激活函数层。三维卷积神经网络用于对输入的第一模态三维模型进行处理，需要理解的是第一模态三维模型为三维图像。三维卷积神经网络至少包含三维卷积层，卷、最大池化层、平均池化层、激活函数层。
35.具体地，将所述迁移超声图像与所述第一模态三维模型输入训练好的索引神经网络模型进行处理，包括：步骤s410，将所述迁移超声图像输入索引神经网络模型的二维卷积神经网络处理，提取所述迁移超声图像的第一特征向量；索引神经网络模型至少包含二维卷积神经网络和三维卷积神经网络，迁移超声图像输入对应的二维卷积神经网络，通过二维卷积神经网络提取迁移超声图像中的第一特征向量，其中，第一特征向量为一维特征向量。如图4所示，a代表输入的迁移超声图像。
36.步骤s420，将所述第一模态三维模型输入索引神经网络模型的三维卷积神经网络处理，提取所述第一模态三维模型的第二特征向量；加载的第一模态三维模型输入对应的三维卷积神经网络进行处理，通过三维卷积神经网络提取第一模态三维模型中的第二特征向量。三维卷积神经网络至少包含三维卷积层，卷、最大池化层、平均池化层、激活函数层，输出是在通道上进行平均或相加，从而得到一维的特征向量，即第二特征向量也是一维特征向量。其中三维卷积层的卷积核可以为3
×3×
3，如图4所示，b代表第一模态三维模型。
37.步骤s430，在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；
步骤s440，将所述第一拼接特征向量输入全连接层，输出所述迁移超声图像的位置信息和角度信息。全连接层的神经元与位置信息和角度信息的个数相同，优选地，全连接层的个数为6个。
38.步骤s500，根据所述当前超声图像的位置信息和角度信息与所述基准图像的位置信息和角度信息，引导所述超声探头运动以获得与所述基准图像融合的配准超声图像。
39.具体地，包括：步骤s510，根据所述当前超声图像的位置信息和角度信息与所述基准图像的位置信息和角度信息规划所述超声探头运动的引导路径；步骤s520，获取所述超声探头的实时位置；在一实施例中，可以通过将超声探头实时采集的超声图像进行风格迁移得到实时的迁移超声图像输入索引神经网络模型中获取超声探头获取的当前超声图像的实时位置信息和角度信息。也可以同获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，具体包括：获取超声探头的模型图像；将所述模型图像以及所述环境影像输入共用全卷积神经网络，所述共用全卷积神经网络输出所述模型图像对应的第一特征，所述环境影像对应的第二特征；所述第一特征为卷积核与所述第二特征进行卷积，得到空间响应图；将所述空间响应图输出至线性插值层，以获取所述超声探头在所述环境影像中的实时位置。
40.需要理解的是，超声探头的模型图像预先设置在超声设备中，可以通过输入单元调用，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合，输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，目标器官信息可以是目标器官的名称或者通过输入单元选择显示器上显示的目标器官图标。空间响应图包括所述第一特征在所述第二特征上的响应强度，响应强度值为0-1，所述模型图像与所述环境影像中各个位置的相识度值。
41.步骤s530，根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；具体地，由于超声探头偏离引导路径的距离比较小，无需重新规划路径，只需提示控制超声探头返回原来的引导路径上继续移动即可，本发明的显示器包括vr、ar等显示设备的显示器；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离，具体地，可以通过投影设备或者激光引导装置在检测对象体表处显示引导路径、以及超声探头的操作提示步骤。在所述超声探头偏离所述引导路径超出预设范围后，根据所述超声探头的实时位置重新规划引导路径。具体地，根据此时超声探头的实时位置与目标器官的位置从新选择最短的引导路径。所示在显示器上提示所述超声探头移动的方向和距离；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离。
42.步骤s540，实时显示所述引导路径以及所述超声探头。
43.其中，所述引导路径以及所述超声探头可以通过不同颜色或者明暗度等方式进行区别显示。在引导所述超声探头运动过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。视觉操作提示，可以在显示器上提示探头移动的方向角度，或者在检测对象对应体表处生成移动指示图标。触觉操作提示为在超声探头偏离引导路径时，超声探头振动。
44.本发明的多模态融合成像方法将超声探头获取的当前超声图像进行风格迁移，得到迁移超声图像；根据迁移超声图像与第一模态三维模型中的基准图像的位置信息和角度信息，引导所述超声探头运动以获得与所述基准图像融合的配准超声图像。本发明能够自动引导超声探头扫查获取与基准图像融合的配准图像，无需医师手动选择与基准图像相似的超声图像进行融合，提高了辅助诊断图像分辨率和实时性。
45.进一步地，作为本发明的第二个方面，提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述的多模态融合成像方法的步骤。其中，存储器可以包括易失性存储器（英文：volatile memory），例如随机存取存储器（英文：random-access memory，缩写：ram）；存储器也可以包括非易失性存储器（英文：non-volatile memory），例如快闪存储器（英文：flash memory），硬盘（英文：hard disk drive，缩写：hdd）或固态硬盘（英文：solid-state drive，缩写：ssd）；存储器还可以包括上述种类的存储器的组合。
46.其中，处理器可以是中央处理器（英文：central processing unit，缩写：cpu），网络处理器（英文：network processor，缩写：np）或者cpu和np的组合。其中，处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（英文：application-specific integrated circuit，缩写：asic），可编程逻辑器件（英文：programmable logic device，缩写：pld）或其组合。上述pld可以是复杂可编程逻辑器件（英文：complex programmable logic device，缩写：cpld），现场可编程逻辑门阵列（英文：field-programmable gate array，缩写：fpga），通用阵列逻辑（英文：generic array logic, 缩写：gal）或其任意组合。
47.作为本发明的第三个方面，提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的多模态融合成像方法的步骤。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，rom）、随机存储记忆体（random access memory，ram）、快闪存储器（flash memory）、硬盘（hard disk drive，缩写：hdd）或固态硬盘（solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
48.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。