基于全局和局部对比的医学学习方法、装置、设备及介质与流程

本发明涉及人工智能，尤其涉及一种基于全局和局部对比的医学学习方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、近年来，在医学影像上的应用越来越普及，很多病变都是基于医学影像所确定的，但同时也给放射科医师带来了越来越大的负担，为了减轻放射科医师的负担，提高识别的精准性，需要对医学影像上病变具体位置进行分析。

2、现有的医学图像分析和临床决策多为基于深度学习提供一些解决方案。实际应用中，训练深度神经网络所需的大规模手动标记数据集对于医学图像来说难以获得且成本高昂，并且医学影像检查中出现的病变往往只占图像的一小部分，只对应医学报告中的某些关键词。仅考虑对医学影像进行全局观察，可能导致医学报告中不能准确识别关键词，从而对进行医学报告中关键词识别时的精准性较低。

技术实现思路

1、本发明提供一种基于全局和局部对比的医学学习方法、装置及计算机可读存储介质，其主要目的在于解决进行医学报告中关键词识别时的精准性较低的问题。

2、为实现上述目的，本发明提供的一种基于全局和局部对比的医学学习方法，包括：

3、获取预设的医学图像，以及获取所述医学图像对应的医学报告；

4、利用预设的图像特征提取器提取所述医学图像的全局图像特征和局部图像特征，利用预设的文本特征提取器提取所述医学报告的全局报告特征和局部报告特征；

5、计算所述全局图像特征和所述全局报告特征的第一相似度，根据所述第一相似度计算全局对比损失；

6、计算所述局部图像特征和所述局部报告特征的点积相似性，根据所述点积相似性生成注意力加权图像特征；

7、计算所述医学报告中单词与所述注意力加权图像特征的第二相似度，根据所述第二相似度计算局部对比损失；

8、将所述全局对比损失和所述局部对比损失进行联合，得到联合对比损失，根据所述联合对比损失学习医学表征。

9、可选地，所述利用预设的图像特征提取器提取所述医学图像的全局图像特征和局部图像特征，包括：

10、对所述医学图像进行图像划分，得到划分图像；

11、将所述划分图像和预设的学习向量输入至所述图像特征提取器中的线性投射层，得到图像向量序列；

12、对所述图像向量序列添加位置编码信息，得到第一图像向量序列；

13、将所述第一图像向量序列输入至所述图像特征提取器中的图像编码器，得到第二图像向量序列；

14、将所述第二图像向量序列输入至所述图像特征提取器中的分类层，得到所述医学图像的全局图像特征。

15、可选地，所述利用预设的文本特征提取器提取所述医学报告的全局报告特征和局部报告特征，包括：

16、利用预设的分类器对所述医学报告中每个词汇进行分类，得到分类词汇；

17、将所述分类词汇输入至所述文本特征提取器，得到分类词汇向量；

18、汇集所述分类词汇向量为所述全局报告特征。

19、可选地，所述根据所述第一相似度计算全局对比损失，包括：

20、利用如下的第一图像公式根据所述第一相似度计算图像全局目标概率：

21、

22、其中，为在医学报告确定下最大化图像全局目标概率，vgi为第i个医学图像的全局图像特征，tgi为第i个医学报告的全局报告特征，t1为学习的全局温度系数，tgk为第k个医学报告的全局报告特征，n为医学报告的数量，v为医学图像，t为医学报告，<vgi,tgi>为第i个医学图像的全局图像特征与第i个医学报告的全局报告特征之间的第一相似度，<vgi,tgk>为第i个医学图像的全局图像特征与第k个医学报告的全局报告特征之间的相似度，exp为指数函数，log为对数函数；

23、利用如下的第一文本公式根据所述第一相似度计算报告全局目标概率：

24、

25、其中，为在医学图像确定下最大化报告全局目标概率，vgi为第i个医学图像的全局图像特征，tgi为第i个医学报告的全局报告特征，t1为学习的全局温度系数，vgk为第k个医学图像的全局图像特征，h为医学图像的数量，v为医学图像，t为医学报告，<vgi,tgi>为第i个医学图像的全局图像特征与第i个医学报告的全局报告特征之间的第一相似度，<vgk,tgi>为第k个医学图像的全局图像特征与第i个医学报告的全局报告特征之间的相似度，exp为指数函数，log为对数函数；

26、将所述图像全局目标概率和所述报告全局目标概率作为所述全局对比损失。

27、可选地，所述根据所述点积相似性生成注意力加权图像特征，包括：

28、利用如下的加权算法根据所述点积相似性生成注意力加权图像特征：

29、

30、其中，ci为第i个图像子区域的注意加权图像特征，sij为第i个单词和第j个图像子区域之间的点积相似性，t2为学习的局部温度系数，sik为第i个单词和第k个图像子区域之间的点积相似性，m为图像子区域数量，vj为第j个图像子区域。

31、可选地，所述将所述全局对比损失和所述局部对比损失进行联合，得到联合对比损失，包括：

32、利用如下的联合公式将所述全局对比损失和所述局部对比损失进行联合，得到联合对比损失：

33、

34、其中，l为所述联合对比损失，为在医学报告确定下最大化图像全局目标概率，为在医学图像确定下最大化报告全局目标概率，为在医学报告中单词确定下最大化图像局部目标概率，为在注意力加权图像确定下最大化单词局部目标概率。

35、可选地，所述根据所述联合对比损失学习医学表征，包括：

36、根据所述联合对比损失计算损失值；

37、利用预设的神经网络根据所述损失值学习医学表征。

38、为了解决上述问题，本发明还提供一种基于全局和局部对比的医学学习装置，所述装置包括：

39、医学图像获取模块，用于获取预设的医学图像，以及获取所述医学图像对应的医学报告；

40、医学特征提取模块，用于利用预设的图像特征提取器提取所述医学图像的全局图像特征和局部图像特征，利用预设的文本特征提取器提取所述医学报告的全局报告特征和局部报告特征；

41、全局对比损失计算模块，用于计算所述全局图像特征和所述全局报告特征的第一相似度，根据所述第一相似度计算全局对比损失；

42、注意力加权图像特征生成模块，用于计算所述局部图像特征和所述局部报告特征的点积相似性，根据所述点积相似性生成注意力加权图像特征；

43、局部对比损失计算模块，用于计算所述医学报告中单词与所述注意力加权图像特征的第二相似度，根据所述第二相似度计算局部对比损失；

44、医学表征学习模块，用于将所述全局对比损失和所述局部对比损失进行联合，得到联合对比损失，根据所述联合对比损失学习医学表征。

45、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

46、至少一个处理器；以及，

47、与所述至少一个处理器通信连接的存储器；其中，

48、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于全局和局部对比的医学学习方法。

49、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于全局和局部对比的医学学习方法。

50、本发明实施例通过获取医学图像及医学图像对应的医学报告，提取医学图像的全局图像特征和局部图像特征，提取医学报告的全局报告特征和局部报告特征，进而根据全局图像特征和全局报告特征的相似度计算全局对比损失，根据局部图像特征和局部报告特征的点积相似性计算注意力加权图像特征，根据注意力加权图像特征可以准确识别图像子区域的重要程度。根据注意力加权图像特征与医学报告中单词之间的相似度计算局部对比损失。将全局对比损失与局部对比损失进行联合，进而根据联合对比损失学习医学表征，有利于同时学习更好的全局和局部表示，提高对医学报告中关键词识别的精准性。因此本发明提出的基于全局和局部对比的医学学习方法、装置、电子设备及计算机可读存储介质，可以解决进行医学报告中关键词识别时的精准性较低的问题。