脉管病理超声图像的识别方法、装置及电子设备

本发明涉及图像识别，具体涉及一种脉管病理超声图像的识别方法、装置及电子设备。

背景技术：

1、婴幼儿血管瘤和静脉畸形的超声特征类似、静脉畸形特殊的血流超声图像采集方式、超声图像中病灶纹理丰富、累及面积广、边界模糊等因素，导致这些超声检测和识别困难。如果靠人工对这些超声图像进行识别，由于这些超声图像的影像特征困难复杂不易掌握，如果识别人员的经验和技巧不足，就会造成误判。

2、因此，目前需要提供一种识别方法，可以准确高效地识别脉管病理超声图像的类别及病灶所在区域。

技术实现思路

1、有鉴于此，有必要提供一种脉管病理超声图像的识别方法、装置及电子设备，用以准确高效地识别脉管病理超声图像的类别及病灶所在区域。

2、为了实现上述目的，本发明提供了一种脉管病理超声图像的识别方法，包括：

3、获取目标尺寸的超声图像样本及所述超声图像样本对应的标注掩膜；所述超声图像样本包括第一类脉管病理超声图像样本、第二类脉管病理挤压前超声图像样本、第二类脉管病理挤压后超声图像样本和正常脉管超声图像样本；

4、将所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜，输入至预设的第一网络模型进行训练，得到第一图像识别模型和第一权重，将所述第二类脉管病理挤压后超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜，输入至预设的第二网络模型进行训练，得到第二图像识别模型和第二权重；

5、基于所述第一图像识别模型以及所述第一权重对待测超声图像进行识别，得到第一识别结果；

6、在确定所述第一识别结果中存在第二类脉管病理挤压前超声图像和正常脉管超声图像的情况下，基于所述第二图像识别模型以及所述第二权重，对与所述第一识别结果中的第二类脉管病理挤压前超声图像对应的第二类脉管病理挤压后超声图像和所述正常脉管超声图像进行识别，得到第二识别结果；

7、其中，所述第一网络模型和第二网络模型均包括主干特征提取网络和加强特征提取网络，所述主干特征提取网络为vgg16网络中的卷积层和池化层。

8、进一步的，所述获取目标尺寸的超声图像样本及所述超声图像样本对应的标注掩膜，包括：

9、获取多种类别的血流超声图像；所述多种类别的血流超声图像包括：第一类脉管病理超声图像、第二类脉管病理超声图像以及正常超声图像；

10、将所述第二类脉管病理超声图像裁剪成第二类挤压前超声图像和第二类挤压后超声图像；

11、将所述第一类脉管病理超声图像、所述第二类挤压前超声图像、所述第二类挤压后超声图像和所述正常超声图像调整至目标尺寸，得到所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本、所述第二类脉管病理挤压后超声图像样本和所述正常脉管超声图像样本；

12、对所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本、所述第二类脉管病理挤压后超声图像样本和所述正常脉管超声图像样本进行标注，得到对应的标注掩膜。

13、进一步的，所述对所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本、所述第二类脉管病理挤压后超声图像样本和所述正常脉管超声图像样本进行标注，得到对应的标注掩膜，包括：

14、基于预设的图形框将所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本、所述第二类脉管病理挤压后超声图像样本中的病变范围和所述正常脉管超声图像样本中的正常范围进行标注，得到对应的标注掩膜。

15、进一步的，所述基于预设的图形框将所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本、所述第二类脉管病理挤压后超声图像样本中的病变范围和所述正常脉管超声图像样本中的正常范围进行标注，得到对应的标注掩膜，包括：

16、基于预设的不同颜色的图形框将所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本、所述第二类脉管病理挤压后超声图像样本中的不同种类的病变范围和所述正常脉管超声图像样本中的正常范围进行标注，得到对应的标注掩膜。

17、进一步的，所述将所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜，输入至预设的第一网络模型进行训练，得到第一图像识别模型和第一权重，包括：

18、所述将所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜，输入至预设的第一网络模型进行训练，得到第一图像识别模型，

19、基于所述第一网络模型的主干特征提取网络，对所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜进行下采样特征提取，得到第一网络模型的初步有效特征层；

20、基于所述第一网络模型的加强特征提取网络，将所述第一网络模型的初步有效特征层进行上采样和特征融合，得到第一网络模型的目标有效特征层；

21、将所述第一网络模型的目标有效特征层与识别类别数目相同的卷积层进行卷积操作，得到所述第一权重。

22、进一步的，所述将所述第二类脉管病理挤压后超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜，输入至预设的第二网络模型进行训练，得到第二图像识别模型和第二权重，包括：

23、将所述第二类脉管病理挤压后超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜输入至预设的第二网络模型进行训练，得到第二图像识别模型；

24、基于所述第二网络模型的主干特征提取网络，对所述第二类脉管病理挤压后超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜进行下采样特征提取，得到第二网络模型的初步有效特征层；

25、基于所述第二网络模型的加强特征提取网络，将所述第二网络模型的初步有效特征层进行上采样和特征融合，得到第二网络模型的目标有效特征层；

26、将所述第二网络模型的目标有效特征层与识别类别数目相同的卷积层进行卷积操作，得到所述第二权重。

27、进一步的，所述主干特征提取网络以及所述加强特征提取网络，均包含有残差结构和多尺度卷积结构。

28、本发明还提供一种脉管病理超声图像的识别装置，包括：

29、获取模块，用于获取目标尺寸的超声图像样本及所述超声图像样本对应的标注掩膜；所述超声图像样本包括第一类脉管病理超声图像样本、第二类脉管病理挤压前超声图像样本、第二类脉管病理挤压后超声图像样本和正常脉管超声图像样本；

30、训练模块，用于将所述第一类脉管病理超声图像样本、所述第二类脉管病理挤压前超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜，输入至预设的第一网络模型进行训练，得到第一图像识别模型和第一权重，将所述第二类脉管病理挤压后超声图像样本和所述正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜，输入至预设的第二网络模型进行训练，得到第二图像识别模型和第二权重；

31、第一识别模块，用于基于所述第一图像识别模型以及所述第一权重对待测超声图像进行识别，得到第一识别结果；

32、第二识别模块，用于在确定所述第一识别结果中存在第二类脉管病理挤压前图像和正常脉管超声图像的情况下，基于所述第二图像识别模型以及所述第二权重，对与所述第一识别结果中的第二类脉管病理挤压前超声图像对应的第二类脉管病理挤压后超声图像和所述正常脉管超声图像进行识别，得到第二识别结果；

33、其中，所述第一网络模型和第二网络模型均包括主干特征提取网络和加强特征提取网络，所述主干特征提取网络为vgg16网络中的卷积层和池化层。

34、本发明还提供一种电子设备，包括存储器和处理器，其中，

35、所述存储器，用于存储程序；

36、所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意一项所述的脉管病理超声图像的识别方法中的步骤。

37、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的脉管病理超声图像的识别方法。

38、采用上述实现方式的有益效果是：本发明提供的脉管病理超声图像的识别方法、装置及电子设备，通过将第一类脉管病理超声图像样本、第二类脉管病理挤压前超声图像样本和正常脉管超声图像样本以及各类对应的标注掩膜，输入至预设的第一网络模型进行训练，得到第一图像识别模型和第一权重，将第二类脉管病理挤压后超声图像样本和正常脉管超声图像样本以及各类超声图像样本对应的标注掩膜，输入至预设的第二网络模型进行训练，得到第二图像识别模型和第二权重，第二类脉管病理挤压前超声图像经过第一图像识别模型提取特征后，输出的是第二类脉管病理挤压前图像的识别结果，通过第一识别结果中的第二类脉管病理挤压前超声图像找到对应的第二类脉管病理挤压后的超声图像，再通过第二图像识别模型进行识别，可以通过不断增加超声图像样本进行训练并优化图像识别模型的权重，提高超声图像的识别准确率，而且使用深度学习模型训练与检测，实现对超声图像中的目标病灶特征进行自动检测和识别，提高超声图像识别的效率。