基于医学影像的答案生成方法、装置、设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种基于医学影像的答案生成方法、装置、设备及存储介质。

背景技术：

1、随着人工智能的发展，涌现出大量基于超声图像来智能检测和分析超声病灶的算法，实现了利用计算机辅助对医学图像进行病灶检测的目的。当前智能图像分析算法，几乎全部是基于超声图像和超声视频对当前视频进行分析，实现对当前视频的分析目的，数据维度比较单一。

2、然而在超声复查时，仍然需要医生对比回看病人之前的超声影像，评估病灶变化情况并评价诊疗过程，需要由经验丰富的医生处理，费时费力，不能实现完全自动化。

技术实现思路

1、本技术提供了一种基于医学影像的答案生成方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。

2、根据本技术的第一方面，提供了一种基于医学影像的答案生成方法，所述方法包括：获取所述目标对象对应的目标问题，根据所述目标问题获取所述目标对象对应的第一时期医学影像和第二时期医学影像；通过病灶提取模型对所述第一时期医学影像和第二时期医学影像进行特征提取，得到第一病灶特征和第二病灶特征；对所述第一病灶特征和第二病灶特征进行特征匹配，得到病灶匹配信息；对所述目标问题进行文本嵌入处理，得到文本嵌入特征；基于第一注意力机制对所述第一病灶特征、第二病灶特征和所述文本嵌入特征进行更新，得到第一时期病灶图和第二时期病灶图；基于病灶匹配信息对所述第一时期病灶图和第二时期病灶图进行差异比较，得到病灶差异图；基于第二注意力机制对所述第一时期病灶图、第二时期病灶图和病灶差异图进行特征提取，得到视觉特征；根据所述视觉特征进行答案生成，得到对应所述目标问题的目标答案。

3、在一可实施方式中，所述通过病灶提取模型对所述第一时期医学影像和第二时期医学影像进行特征提取，得到第一病灶特征和第二病灶特征，包括：通过所述病灶提取模型对所述第一时期医学影像进行特征提取，获取第一原始特征，所述病灶提取模型通过训练样本对特征提取模型进行训练获得；对所述第一原始特征进行置信度排名，将排名满足置信度标准的第一原始特征确定为所述第一病灶特征；通过所述病灶提取模型对所述第二时期医学影像进行特征提取，获取第二原始特征；对所述第二原始特征进行置信度排名，将排名满足置信度标准的第二原始特征确定为所述第二病灶特征。

4、在一可实施方式中，所述对所述第一病灶特征和第二病灶特征进行特征匹配，得到病灶匹配信息，包括：通过尺度不变特征变换算法对所述第一病灶特征和第二病灶特征进行病灶特征匹配，得到病灶匹配信息。

5、在一可实施方式中，所述基于第一注意力机制对所述第一病灶特征、第二病灶特征和所述文本嵌入特征进行更新，得到第一时期病灶图和第二时期病灶图，包括：将所述第一病灶特征和所述文本嵌入特征进行拼接，得到第一时期拼接图，所述第一时期拼接图包含多个第一图节点和第一连接边；确定所述第一图节点对应的第一病灶权重和第一病灶框权重；根据所述第一病灶权重和第一病灶框权重确定所述第一图节点对应的第一节点权重；通过第一节点权重对所述第一图节点进行更新，得到第一时期病灶图；将所述第二病灶特征和所述文本嵌入特征进行拼接，得到第二时期拼接图，所述第二时期拼接图包含多个第二图节点和第二连接边；确定所述第二图节点对应的第二病灶权重和第二病灶框权重；根据所述第二病灶权重和第二病灶框权重确定所述第二图节点对应的第二节点权重；通过第二节点权重对所述第二图节点进行更新，得到第二时期病灶图。

6、在一可实施方式中，所述基于病灶匹配信息对所述第一时期病灶图和第二时期病灶图进行差异比较，得到病灶差异图，包括：基于所述病灶匹配信息，将所述第一更新节点和对应的第二更新节点进行差异比较，将所述第一连接边和对应的第二连接边进行差异比较，得到病灶差异图。

7、在一可实施方式中，所述基于第二注意力机制对所述第一时期病灶图、第二时期病灶图和病灶差异图进行特征提取，得到视觉特征，包括：根据文本嵌入特征确定问题相关权重；基于问题相关权重对所述第一时期病灶图、第二时期病灶图和病灶差异图进行更新，得到对应视觉特征。

8、在一可实施方式中，所述根据所述视觉特征进行答案生成，得到对应所述目标问题的目标答案，包括：确定所述目标答案对应的词类标签；根据所述词类标签对所述视觉特征进行动态调整，得到调整特征；通过答案生成器根据所述调整特征进行答案生成，得到得到对应所述目标问题的目标答案。

9、根据本技术的第二方面，提供了一种基于医学影像的答案生成装置，所述装置包括：获取模块，用于获取所述目标对象对应的目标问题，根据所述目标问题获取所述目标对象对应的第一时期医学影像和第二时期医学影像；提取模块，用于通过病灶提取模型对所述第一时期医学影像和第二时期医学影像进行特征提取，得到第一病灶特征和第二病灶特征；匹配模块，用于对所述第一病灶特征和第二病灶特征进行特征匹配，得到病灶匹配信息；嵌入模块，用于对所述目标问题进行文本嵌入处理，得到文本嵌入特征；更新模块，用于基于第一注意力机制对所述第一病灶特征、第二病灶特征和所述文本嵌入特征进行更新，得到第一时期病灶图和第二时期病灶图；比较模块，用于基于病灶匹配信息对所述第一时期病灶图和第二时期病灶图进行差异比较，得到病灶差异图；所述提取模块，还用于基于第二注意力机制对所述第一时期病灶图、第二时期病灶图和病灶差异图进行特征提取，得到视觉特征；生成模块，用于根据所述视觉特征进行答案生成，得到对应所述目标问题的目标答案。

10、在一可实施方式中，所述提取模块，包括：提取子模块，用于通过所述病灶提取模型对所述第一时期医学影像进行特征提取，获取第一原始特征，所述病灶提取模型通过训练样本对特征提取模型进行训练获得；排名子模块，用于对所述第一原始特征进行置信度排名，将排名满足置信度标准的第一原始特征确定为所述第一病灶特征；所述提取子模块，还用于通过所述病灶提取模型对所述第二时期医学影像进行特征提取，获取第二原始特征；所述排名子模块，还用于对所述第二原始特征进行置信度排名，将排名满足置信度标准的第二原始特征确定为所述第二病灶特征。

11、在一可实施方式中，所述匹配模块，包括：通过尺度不变特征变换算法对所述第一病灶特征和第二病灶特征进行病灶特征匹配，得到病灶匹配信息。

12、在一可实施方式中，所述更新模块，包括：拼接子模块，用于将所述第一病灶特征和所述文本嵌入特征进行拼接，得到第一时期拼接图，所述第一时期拼接图包含多个第一图节点和第一连接边；确定子模块，用于确定所述第一图节点对应的第一病灶权重和第一病灶框权重；所述确定子模块，还用于根据所述第一病灶权重和第一病灶框权重确定所述第一图节点对应的第一节点权重；更新子模块，用于通过第一节点权重对所述第一图节点进行更新，得到第一时期病灶图；所述拼接子模块，还用于将所述第二病灶特征和所述文本嵌入特征进行拼接，得到第二时期拼接图，所述第二时期拼接图包含多个第二图节点和第二连接边；所述确定子模块，还用于确定所述第二图节点对应的第二病灶权重和第二病灶框权重；所述确定子模块，还用于根据所述第二病灶权重和第二病灶框权重确定所述第二图节点对应的第二节点权重；所述更新子模块，还用于通过第二节点权重对所述第二图节点进行更新，得到第二时期病灶图。

13、在一可实施方式中，所述比较模块，包括：用于基于所述病灶匹配信息，将所述第一更新节点和对应的第二更新节点进行差异比较，将所述第一连接边和对应的第二连接边进行差异比较，得到病灶差异图。

14、在一可实施方式中，所述提取模块，包括：根据文本嵌入特征确定问题相关权重；基于问题相关权重对所述第一时期病灶图、第二时期病灶图和病灶差异图进行更新，得到对应视觉特征。

15、在一可实施方式中，所述生成模块，包括：确定所述目标答案对应的词类标签；根据所述词类标签对所述视觉特征进行动态调整，得到调整特征；通过答案生成器根据所述调整特征进行答案生成，得到得到对应所述目标问题的目标答案。

16、根据本技术的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本技术所述的方法。

17、根据本技术的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本技术所述的方法。

18、本技术实施例提供的一种基于医学影像的答案生成方法、装置、设备及存储介质，通过对目标对象对应的第一时期医学影像和第二时期医学影像进行病灶特征提取，将对应的第一病灶特征和第二病灶特征和对应目标问题的文本嵌入特征进行融合，通过注意力机制探索病灶特征和目标问题之间的关系，从而重点关注目标问题相关的特征，从而能够准确生成与目标问题对应的目标答案。需要补充的是，本技术的答案生成方法生成的目标答案尤其适用于回答以比较不同时期医学影像差异性相关问题。

19、应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。