超声扫查引导方法、超声设备及存储介质与流程

1.本发明涉及超声导航技术领域，尤其涉及一种超声扫查引导方法、超声设备及存储介质。


背景技术：

2.超声诊断仪在临床医学中有着广泛应用，能够从头到脚对身体各个部位进行超声影像检查与诊断应用。超声扫查获取的超声影像质量决定后期的诊断。在实际情况中，医师操作超声探头运动至目标器官处进行扫查，而不同医师的经验积累和操作熟练程度不同，有的医师经验积累较少，操作经验差的医师并不能快速准确地操作超声探头获取到标准切面的超声图像。


技术实现要素：

3.本发明的目的在于克服现有技术中存在的不足，提供一种能够引导超声探头运动至标准扫查切面的超声扫查引导方法、超声设备及存储介质。
4.作为本发明的第一个方面，提供了一种超声扫查引导方法，包括：加载检测对象待扫查目标器官对应的三维超声模型，所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面；获取所述超声探头扫查的当前超声图像；基于所述当前超声图像获取所述当前超声图像的位置信息和角度信息；根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处。
5.进一步地，基于所述当前超声图像获取所述当前超声图像的位置信息和角度信息，包括：将所述当前超声图像与所述三维超声模型输入训练好的索引神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。
6.进一步地，所述将所述当前超声图像与所述三维超声模型输入训练好的索引神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息，包括：通过二维卷积神经提网络取所述当前超声图像中的第一特征向量；通过三维卷积神经网络提取所述三维超声模型中的第二特征向量；在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；将所述第一拼接特征向量输入全连接层，输出所述当前超声图像的位置信息和角度信息。
7.进一步地，基于所述当前超声图像获取所述当前超声图像的位置信息和角度信息，包括：将所述当前超声图像输入训练好的全卷积神经网络模型进行处理，确定所述当前超声
图像的位置信息和角度信息。
8.进一步地，所述将所述当前超声图像输入训练好的全卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息，包括：将所述当前超声图像输入全卷积神经网络进行处理，得到所述当前超声图像的特征图；对所述特征图进行全局最大池化处理，得到所述当前超声图像的第三特征向量；对所述特征图进行全局平均池化处理，得到所述当前超声图像的第四特征向量；将所述第三特征向量与所述第四特征向量进行拼接，得到第二拼接特征向量；将所述第二拼接特征向量输入全连接层，输出所述当前超声图像的位置信息和角度信息。
9.进一步地，所述根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处，包括：根据所述位置信息和角度信息规划所述超声探头运动至所述标准扫查切面的引导路径；获取所述超声探头的实时位置；根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；实时显示所述引导路径、标准扫查切面以及所述超声探头。
10.进一步地，所述实时显示所述引导路径、标准扫查切面以及所述超声探头，包括：获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像；在所述环境影像和/或检测对象体表突出显示所述引导路径、标准扫查切面以及所述超声探头。
11.进一步地，在引导所述超声探头运动至所述标准扫查切面处的过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。
12.作为本发明的第二个方面，本发明还提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述的超声扫查引导方法的步骤。
13.作为本发明的第三个方面，本发明还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的超声扫查引导方法的步骤。
14.本发明的超声扫查引导方法通过索引神经网络模型以及加载的三维超声模型，能够快速准确地确定超声探头获取的当前超声图像的位置信息和角度信息以及标准扫查切面的位置信息和角度信息，根据当前超声图像与标准扫查切面的位置关系，引导超声探头运动至标准扫查切面处。本发明提高了超声探头查找标准扫查切面的速度和准确度。
15.进一步地，本发明的超声扫查引导方法能够生成直观地引导路径，并且实时显示所述引导路径、标准扫查切面以及所述超声探头，提高了扫查的准确度。
附图说明
16.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：图1为本发明的超声扫查引导方法的工作流程图。
17.图2为本发明另一实施例的超声扫查引导方法的流程图。
18.图3为本发明的索引神经网络模型处理的工作流程图。
19.图4为本发明的全卷积神经网络模型处理的工作流程图。
20.图5为本发明的索引神经网络模型的结构示意图。
21.图6为本发明的全卷积神经网络模型的结构示意图。
22.图7为本发明的在显示器上的扫查引导示意图。
23.图8为本发明另一实施例在显示器上的扫查引导示意图。
具体实施方式
24.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
25.针对在实际情况中，医师操作超声探头运动至目标器官处进行扫查，而不同医师的经验积累和操作熟练程度不同，有的医师经验积累较少，操作经验差的医师并不能快速准确地操作超声探头获取到标准切面的超声图像。因此需要能够提示医生如何操作超声探头才能够快速准确地获取符合超声诊断的标准扫查切面的方法。
26.图1为本发明的超声扫查引导方法的工作流程图。如图1所示，本发明的第一个方面，提高了一种超声扫查引导方法，包括：步骤s100，加载检测对象待扫查目标器官对应的三维超声模型，所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面；具体地，在加载检测对象待扫查目标器官对应的三维超声模型需要获取检测对象待扫查的目标器官信息，目标器官信息可以是输入的目标器官名称或者超声设备上目标器官的指示图标。可以通过超声设备上的输入单元输入目标器官信息，使得超声设备能够获取检测对象的待扫查的目标器官；输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，也可以通过机器视觉或者训练好的识别网络模型识别超声探头准备扫查的目标器官。
27.三维超声模型是预先存储在存储介质，根据需要扫查的目标器官加载对应器官的三维超声模型。需要理解的是，三维超声模型是预先对人体进行扫查重建而成。具体地，通
过超声探头沿预设方向对待建模组织进行超声扫描，获取待建模组织的每个切面的超声图像；获取所述探头扫查不同切面的超声图像所对应的六自由度参数；将每个切面的超声图像以及对应的六自由度参数输入训练好的深度神经网络模型得到待建模组织的三维超声模型。
28.三维超声模型中的每个切面的超声图像都带有位置信息和角度信息。在超声探头扫查过程中通过磁场发生器生成包含所述探头以及待建模组织的世界坐标系；通过安装在探头上的磁定位器获取所述探头的六自由度参数，所述六自由度参数包括探头的位置参数和方向参数。在实际超声诊断过程中，往往需要观察器官不同的切面以辅助医师进行诊断，因此本发明的所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面。
29.步骤s200，获取所述超声探头扫查的当前超声图像；超声探头用于发射和接收超声波，超声探头受发射脉冲的激励，向目标组织(例如，人体或者动物体内的器官、组织、血管等等)发射超声波，经一定延时后接收从目标区域反射回来的带有目标组织的信息的超声回波，并将此超声回波重新转换为电信号，以获得目标组织的超声图像。医师操作超声探头或者通过机械臂操作超声探头时，首先需要获取超声探头获取的当前超声图像，并且需要计算当前超声图像的位置信息和角度信息。
30.步骤s300，基于所述当前超声图像获取所述当前超声图像的位置信息和角度信息；需要理解的是，位置信息和角度信息为六自由度坐标（x, y, z, ax, ay, az），ax、ay、az为在xyz方向的角度信息。本发明通过训练好的索引神经网络模型或全卷积神经网络模型，确定所述当前超声图像的位置信息和角度信息。
31.具体地，包括：在一实施例中，将所述当前超声图像与所述三维超声模型输入训练好的索引神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。其中索引神经网络模型至少包括：二维卷积神经网络和三维卷积神经网络。其中，二维卷积神经网络用于对输入的当前超声图像进行处理，二维卷积神经网络至少包含二维卷积层、最大池化层、平均池化层、激活函数层。三维卷积神经网络用于对输入的三维超声模型进行处理。三维卷积神经网络至少包含三维卷积层，卷、最大池化层、平均池化层、激活函数层。
32.在另一实施例中，将所述当前超声图像输入训练好的全卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。
33.将所述当前超声图像与所述三维超声模型输入训练好的索引神经网络模型进行处理，具体步骤包括：步骤s310，通过二维卷积神经网络提取所述当前超声图像中的第一特征向量；索引神经网络模型至少包含二维卷积神经网络和三维卷积神经网络，当前超声图像输入对应的二维卷积神经网络，通过二维卷积神经网络提取所述当前超声图像中的第一特征向量，其中，第一特征向量为一维特征向量。如图5所示，a代表输入的当前超声图像。
34.步骤s320，通过三维卷积神经网络提取所述三维超声模型中的第二特征向量；加载的三维超声模型输入对应的三维卷积神经网络进行处理，通过三维卷积神经网络提取所述三维超声模型中的第二特征向量。三维卷积神经网络至少包含三维卷积层，卷、最
大池化层、平均池化层、激活函数层，输出是在通道上进行平均或相加，从而得到一维的特征向量，即第二特征向量也是一维特征向量。其中三维卷积层的卷积核可以为3
×3×
3，如图5所示，b代表三维超声模型。
35.其步骤s330，在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；步骤s340，将所述第一拼接特征向量输入全连接层，输出所述当前超声图像的位置信息和角度信息。
36.全连接层的神经元与位置信息和角度信息的个数相同，优选地，全连接层的个数为6个。
37.如图6所示，在另一实施例中，将所述当前超声图像输入训练好的全卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。
38.具体步骤包括：步骤s350，将所述当前超声图像输入全卷积神经网络进行处理，得到所述当前超声图像的特征图；步骤s360，对所述特征图进行全局最大池化处理，得到所述当前超声图像的第三特征向量；步骤s370，对所述特征图进行全局平均池化处理，得到所述当前超声图像的第四特征向量；步骤s380，将所述第三特征向量与所述第四特征向量进行拼接，得到第二拼接特征向量；步骤s390，将所述第二拼接特征向量输入全连接层，输出所述当前超声图像的位置信息和角度信息。
39.方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。本发明的全卷积神经网络模型是基于二维卷积神经网络训练，二维卷积神经网络至少包括二维卷积层、最大池化层、平均池化层、激活函数层。需要理解的是，虽然全卷积神经网络模型比索引神经网络模型少了三维卷积网络，但是全卷积神经网络模型的数据处理能力比索引神经网络模型中的二维卷积神经网络处理能力强。三维超声模型为沿某个角度扫描的多张切面图像，每张切面图像带有对应的（x, y, z, ax, ay, az），b可看做该器官的三维模型。
40.需要理解的是，全卷积神经网络模型是对某个器官进行多角度扫描，得到多角度多张切面图像，每张切面图像带有对应的（x, y, z, ax, ay, az），网络的目的是建立一张器官的切面图像和对应位置的关系模型，即预测阶段，例如，对若干不同人的同一器官进行采样（例如：5000人），每一个器官进行不同角度的扫查（例如：360个角度），每个角度方向上可以获得200帧超声图像，那么全卷积神经网络模型的训练样本数为5000*360*200=360000000；通过对庞大的样本超声图像进行训练，更新全卷积神经网络的参数，得到全卷积神经网络模型。当输入一张超声探头获取的当前超声图像输入全卷积神经网络模型，可以得到当前超声图像的位置信息和角度信息（x, y, z, ax, ay, az）。训练采用回归方法，损失函数为均方误差。
41.步骤s400，根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，
引导所述超声探头运动至所述标准扫查切面处。
42.具体地，上一步骤以及确定了当前超声图像的位置信息和角度信息（x, y, z, ax, ay, az），三维超声图像中预设的标准扫查切面的位置信息和角度信息（x, y, z, ax, ay, az）。根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，规划所述超声探头运动至所述标准扫查切面的引导路径，所述位置信息和角度信息为六自由度坐标。根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，为根据所述当前超声图像的位置信息和角度信息与所述标准扫查切面的位置信息和角度信息。
43.如图7所示，显示器上显示的扫查引导区1000至少包括第一引导区1600和第二引导区1700，其中第一引导区1600至少显示当前超声探头的位置信息和角度信息、标准扫查切面的位置信息和角度信息，以及操作提示信息。本发明的操作提示信息至少包括平移的距离以及选择的角度，也可以是超声探头下压的压力。第二引导区包括待检测对象1100、在检测对象1100上突出显示的目标器官1500、当前超声探头1200、引导路径1400，以及目标虚拟探头1300，需要理解的是，突出显示可以是高亮显示整个目标器官1500或目标器官1500的轮廓。当前超声探头1200根据其实时位置进行移动，目标虚拟探头1300为获得标准扫查切面对应的超声探头需要运动到的位置。
44.如图8所示，在另一实施例中，医师对某一目标器官进行超声扫查时可能需要检查多个标准扫查切面，本发明会根据不同标准扫查切面的位置信息相对当前超声探头1200的距离规划引导路径1400。需要理解的是引导路径1400也进行突出显示，可以采用区别颜色、闪烁等方式进行突出显示。
45.为了提高引导超声探头扫查的准确度，本发明还实时显示所述引导路径、标准扫查切面以及所述超声探头。可以理解的是，医师可以操作超声探头沿着引导路径运动至标准扫查切面。引导路径可以显示在显示器上，也可以通过投影装置投影在检测对象对应的位置处。
46.针对超声探头在移动扫查过程中，医师操作失误使得超声探头偏离引导路径的情况，本发明根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处，如图2所示，包括：步骤s410，根据所述位置信息和角度信息规划所述超声探头运动至所述标准扫查切面的引导路径；步骤s420，获取所述超声探头的实时位置；在一实施例中，可以通过将超声探头实时采集的超声图像输入索引神经网络模型中获取超声探头获取的当前超声图像的实时位置信息和角度信息。也可以同获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，具体包括：获取超声探头的模型图像；将所述模型图像以及所述环境影像输入共用全卷积神经网络，所述共用全卷积神经网络输出所述模型图像对应的第一特征，所述环境影像对应的第二特征；所述第一特征为卷积核与所述第二特征进行卷积，得到空间响应图；将所述空间响应图输出至线性插值层，以获取所述超声探头在所述环境影像中的实时位置。
47.需要理解的是，超声探头的模型图像预先设置在超声设备中，可以通过输入单元调用，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合，输入单元也可以采用
语音识别输入单元，或手势识别输入单元等。需要理解的是，目标器官信息可以是目标器官的名称或者通过输入单元选择显示器上显示的目标器官图标。空间响应图包括所述第一特征在所述第二特征上的响应强度，响应强度值为0-1，所述模型图像与所述环境影像中各个位置的相识度值。
48.步骤s430，根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；在所述超声探头偏离所述引导路径预设距离范围内，发出偏离提示；所述偏离报警提示包括指示灯、语音提示以及振动提示中的一种或几种；发出偏离纠正提示，所述偏离纠正提示包括在显示器上提示所述超声探头移动的方向和距离，需要理解的是，由于超声探头偏离引导路径的距离比较小，无需重新规划路径，只需提示控制超声探头返回原来的引导路径上继续移动即可，本发明的显示器包括vr、ar等显示设备的显示器；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离，具体地，可以通过投影设备或者激光引导装置在检测对象体表处显示引导路径、以及超声探头的操作提示步骤。在所述超声探头偏离所述引导路径超出预设范围后，根据所述超声探头的实时位置重新规划引导路径。具体地，根据此时超声探头的实时位置与目标器官的位置从新选择最短的引导路径。所示在显示器上提示所述超声探头移动的方向和距离；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离。
49.步骤s440，实时显示所述引导路径、标准扫查切面以及所述超声探头。
50.具体地，在所述环境影像和/或检测对象体表突出显示所述引导路径、标准扫查切面以及所述超声探头。其中，所述引导路径、标准扫查切面以及所述超声探头可以通过不同颜色或者明暗度等方式进行区别显示。
51.进一步地，为了进一步提示标准扫查切面的位置，在所述标准扫查切面对应的检测对象位置处显示目标虚拟探头，以引导所述超声探头。需要理解的是，可以是在显示器中检测对象的对应的位置显示，也可以将三维的虚拟超声探头投影在实际检测对象对应的位置处。
52.为了进一步提高扫查的速度和准确度，本发明还包括：在引导所述超声探头运动至所述标准扫查切面处的过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。视觉操作提示，可以在显示器上提示探头移动的方向角度，或者在检测对象对应体表处生成移动指示图标。触觉操作提示为在超声探头偏离引导路径时，超声探头振动。
53.本发明的超声扫查引导方法通过索引神经网络模型以及加载的三维超声模型，能够快速准确地确定超声探头获取的当前超声图像的位置信息和角度信息以及标准扫查切面的位置信息和角度信息，根据当前超声图像与标准扫查切面的位置关系，引导超声探头运动至标准扫查切面处。本发明提高了超声探头查找标准扫查切面的速度和准确度。进一步地，本发明的超声扫查引导方法能够生成直观地引导路径，并且实时显示所述引导路径、标准扫查切面以及所述超声探头，提高了扫查的准确度。
54.作为本发明的第三个方面，本发明还提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项的超声扫查引导方法的步骤。
55.其中，存储器可以包括易失性存储器（英文：volatile memory），例如随机存取存储器（英文：random-access memory，缩写：ram）；存储器也可以包括非易失性存储器（英文：non-volatile memory），例如快闪存储器（英文：flash memory），硬盘（英文：hard disk drive，缩写：hdd）或固态硬盘（英文：solid-state drive，缩写：ssd）；存储器还可以包括上述种类的存储器的组合。
56.其中，处理器可以是中央处理器（英文：central processing unit，缩写：cpu），网络处理器（英文：network processor，缩写：np）或者cpu和np的组合。其中，处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（英文：application-specific integrated circuit，缩写：asic），可编程逻辑器件（英文：programmable logic device，缩写：pld）或其组合。上述pld可以是复杂可编程逻辑器件（英文：complex programmable logic device，缩写：cpld），现场可编程逻辑门阵列（英文：field-programmable gate array，缩写：fpga），通用阵列逻辑（英文：generic array logic, 缩写：gal）或其任意组合。
57.作为本发明的第四个方面，本发明还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的超声扫查引导方法的步骤。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，rom）、随机存储记忆体（random access memory，ram）、快闪存储器（flash memory）、硬盘（hard disk drive，缩写：hdd）或固态硬盘（solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
58.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。