检验报告生成模型的训练方法及装置、检验报告生成方法

本技术涉及图像处理领域，特别是涉及一种检验报告生成模型的训练方法及装置、检验报告生成方法。

背景技术：

1、随着人工智能技术的不断进步，目前已出现将放射学图像输入至报告生成模型中，使得报告生成模型自动生成针对放射学图像的诊断报告的技术。然而受到数据质量和模型容量的影响，现有的自动生成诊断报告技术生成的各个报告中通常存在大量重复内容，报告之间缺乏显著性差异，使得生成的诊断报告精度不高。

2、因此，针对当前自动生成放射学报告的不足和缺陷，需要提出一种能针对不同个体生成个性化报告的方法。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种检验报告生成模型的训练方法及装置、检验报告生成方法。

2、第一方面，本技术提供了一种检验报告生成模型的训练方法。初始检验报告生成模型包括特征提取模块及特征融合模块，所述方法包括：

3、获取样本检验图像，对各检验图像及所述样本检验图像进行匹配处理，得到与所述样本检验图像相匹配的目标检验图像，并将所述目标检验图像在检验报告先验知识图谱中对应的子图，作为所述样本检验图像对应的目标子图；

4、通过所述特征提取模块分别对所述样本检验图像及所述目标子图进行特征提取处理，得到所述样本检验图像的图像特征、及所述目标子图的图谱特征；

5、通过所述特征融合模块对所述图像特征及所述图谱特征进行融合处理，得到融合特征；

6、根据所述融合特征生成目标检验报告，并根据所述样本检验图像对应的样本检验报告与所述目标检验报告之间的差异，对所述初始检验报告生成模型进行训练，得到训练好的检验报告生成模型。

7、在其中一个实施例中，所述方法还包括：

8、通过所述特征提取模块分别对所述图像特征及所述图谱特征进行掩盖处理，得到所述图像特征对应的对比图像特征、及所述图谱特征对应的对比图谱特征；

9、通过所述特征融合模块对所述对比图像特征及所述对比图谱特征进行融合处理，得到对比融合特征；

10、根据所述对比融合特征生成对比检验报告；

11、所述根据所述样本检验图像对应的样本检验报告与所述目标检验报告之间的差异，对所述初始检验报告生成模型进行训练，得到训练好的检验报告生成模型，包括：

12、根据所述对比检验报告与所述目标检验报告之间的差异、及所述样本检验图像对应的样本检验报告与所述目标检验报告之间的差异，对所述初始检验报告生成模型进行训练，得到训练好的检验报告生成模型。

13、在其中一个实施例中，所述对各检验图像及所述样本检验图像进行匹配处理，得到与所述样本检验图像相匹配的目标检验图像，包括：

14、针对任一所述检验图像，确定所述样本检验图像与所述检验图像之间的差异值；

15、将各所述差异值中最小的差异值对应的所述检验图像，作为所述样本检验图像对应的目标检验图像。

16、在其中一个实施例中，所述特征提取模块包括图谱特征提取模块，所述图谱特征提取模块包括多个注意力层，相邻的两个所述注意力层之间具有残差连接，

17、通过所述特征提取模块对所述目标子图进行特征提取处理，得到所述目标子图的图谱特征，包括：

18、针对所述目标子图中的第一节点及第二节点，根据所述第一节点的节点特征、所述第二节点的节点特征、及与所述第一节点之间具有连接关系的各邻近节点的节点特征，确定所述第一节点针对第二节点的注意力特征值，所述第一节点是所述目标子图中的任意一个节点，所述第二节点是所述邻近节点中的任意节点；

19、分别将所述目标子图中的各所述节点对应的各所述注意力特征值输入至所述图谱特征提取模块中，以使得所述图谱特征提取模块针对任一所述节点，顺序通过各所述注意力层对所述节点对应的各所述注意力特征值进行特征提取处理，得到所述节点对应的目标注意力特征向量，根据各所述节点对应的所述目标注意力特征向量确定所述目标子图的图谱特征，并输出所述图谱特征。

20、在其中一个实施例中，所述特征融合模块包括结构特征提取模块及至少两个结构注意力提取模块，

21、所述通过所述特征融合模块对所述图像特征及所述图谱特征进行融合处理，得到融合特征，包括：

22、确定所述目标子图的邻接矩阵，并通过所述结构特征提取模块对所述邻接矩阵进行结构特征提取处理，得到结构特征向量；

23、针对任一所述结构注意力提取模块，通过所述结构注意力提取模块对所述图像特征、所述图谱特征及所述结构特征向量进行结构注意力提取处理，得到所述结构注意力提取模块对应的结构注意力向量；

24、对各所述结构注意力提取模块的所述结构注意力向量进行融合处理，得到融合特征。

25、在其中一个实施例中，所述通过所述结构特征提取模块对所述邻接矩阵进行结构特征提取处理，得到结构特征向量，包括：

26、在第m轮结构特征向量确定过程中，通过所述结构特征提取模块对所述邻接矩阵的m次幂进行拉普拉斯归一化操作，得到第m个结构特征向量元素；

27、在m小于预设阶数的情况下，进入第m+1轮结构特征向量确定过程；或者，

28、在m等于预设阶数的情况下，根据各所述结构特征向量元素得到所述结构特征向量；

29、其中，m为正整数。

30、在其中一个实施例中，所述结构注意力提取模块的输入为查询矩阵、键值矩阵及值矩阵，

31、在所述特征融合模块包括2个结构注意力提取模块的情况下，所述针对任一所述结构注意力提取模块，通过所述结构注意力提取模块对所述图像特征、所述图谱特征及所述结构特征向量进行结构注意力提取处理，得到所述结构注意力提取模块对应的结构注意力向量，包括：

32、根据所述图谱特征确定第一查询矩阵、根据所述图像特征确定第一键值矩阵、根据所述图像特征确定第一值矩阵，并通过第一结构注意力提取模块，对所述第一查询矩阵、所述第一键值矩阵、所述第一值矩阵及所述结构特征向量进行结构注意力提取处理，得到第一结构注意力向量；

33、根据所述图像特征确定第二查询矩阵、根据所述图谱特征确定第二键值矩阵、根据所述图谱特征确定第二值矩阵，并通过第二结构注意力提取模块，对所述第二查询矩阵、所述第二键值矩阵、所述第二值矩阵及所述结构特征向量进行结构注意力提取处理，得到第二结构注意力向量。

34、在其中一个实施例中，所述结构注意力提取模块用于根据所述查询矩阵及所述键值矩阵确定第一中间矩阵，根据所述第一中间矩阵及所述结构特征向量确定第二中间矩阵，并根据所述第二中间矩阵及所述值矩阵确定结构注意力向量。

35、在其中一个实施例中，所述根据所述对比检验报告与所述目标检验报告之间的差异、及所述样本检验图像对应的样本检验报告与所述目标检验报告之间的差异，对所述初始检验报告生成模型进行训练，得到训练好的检验报告生成模型，包括：

36、确定所述对比检验报告的对比文本向量、所述目标检验报告的目标文本向量及所述样本检验报告的样本文本向量；

37、根据所述对比文本向量与所述目标文本向量之间的第一差异值，确定第一损失值，及根据所述样本文本向量与所述目标文本向量之间的第二差异值，确定第二损失值；其中，所述第一差异值与所述第一损失值正相关，所述第二差异值与所述第二损失值正相关；

38、根据所述第一损失值及所述第二损失值，确定所述初始检验报告生成模型的总损失值；

39、在所述总损失值大于总损失值阈值的情况下，对所述初始检验报告生成模型进行调整；或者，

40、在所述总损失值小于或者等于所述总损失值阈值的情况下，将所述初始检验报告生成模型作为训练好的检验报告生成模型。

41、第二方面，本技术还提供了一种检验报告生成方法。所述方法包括：

42、获取待处理检验图像，对各检验图像及所述待处理检验图像进行匹配处理，得到与所述待处理检验图像相匹配的目标检验图像，并将所述目标检验图像在检验报告先验知识图谱中对应的子图，作为所述待处理检验图像对应的目标子图；

43、将所述待处理检验图像及所述目标子图输入至检验报告生成模型中，得到所述检验报告生成模型输出的目标检验报告；

44、其中，所述检验报告生成模型为前述任一项实施例所述的训练好的检验报告生成模型。

45、第三方面，本技术还提供了一种检验报告生成模型的训练装置。所述装置包括：

46、获取模块，用于获取样本检验图像，对各检验图像及所述样本检验图像进行匹配处理，得到与所述样本检验图像相匹配的目标检验图像，并将所述目标检验图像在检验报告先验知识图谱中对应的子图，作为所述样本检验图像对应的目标子图；

47、提取模块，用于通过所述特征提取模块分别对所述样本检验图像及所述目标子图进行特征提取处理，得到所述样本检验图像的图像特征、及所述目标子图的图谱特征；

48、融合模块，用于通过所述特征融合模块对所述图像特征及所述图谱特征进行融合处理，得到融合特征；

49、生成模块，用于根据所述融合特征生成目标检验报告，并根据所述样本检验图像对应的样本检验报告与所述目标检验报告之间的差异，对所述初始检验报告生成模型进行训练，得到训练好的检验报告生成模型。

50、在其中一个实施例中，所述装置还包括：

51、对比提取模块，用于通过所述特征提取模块分别对所述图像特征及所述图谱特征进行掩盖处理，得到所述图像特征对应的对比图像特征、及所述图谱特征对应的对比图谱特征；

52、对比融合模块，用于通过所述特征融合模块对所述对比图像特征及所述对比图谱特征进行融合处理，得到对比融合特征；

53、对比生成模块，用于根据所述对比融合特征生成对比检验报告；

54、所述生成模块，还用于：

55、根据所述对比检验报告与所述目标检验报告之间的差异、及所述样本检验图像对应的样本检验报告与所述目标检验报告之间的差异，对所述初始检验报告生成模型进行训练，得到训练好的检验报告生成模型。

56、在其中一个实施例中，所述获取模块，还用于：

57、针对任一所述检验图像，确定所述样本检验图像与所述检验图像之间的差异值；

58、将各所述差异值中最小的差异值对应的所述检验图像，作为所述样本检验图像对应的目标检验图像。

59、在其中一个实施例中，所述特征提取模块包括图谱特征提取模块，所述图谱特征提取模块包括多个注意力层，相邻的两个所述注意力层之间具有残差连接，

60、所述提取模块，还用于：

61、针对所述目标子图中的第一节点及第二节点，根据所述第一节点的节点特征、所述第二节点的节点特征、及与所述第一节点之间具有连接关系的各邻近节点的节点特征，确定所述第一节点针对第二节点的注意力特征值，所述第一节点是所述目标子图中的任意一个节点，所述第二节点是所述邻近节点中的任意节点；

62、分别将所述目标子图中的各所述节点对应的各所述注意力特征值输入至所述图谱特征提取模块中，以使得所述图谱特征提取模块针对任一所述节点，顺序通过各所述注意力层对所述节点对应的各所述注意力特征值进行特征提取处理，得到所述节点对应的目标注意力特征向量，根据各所述节点对应的所述目标注意力特征向量确定所述目标子图的图谱特征，并输出所述图谱特征。

63、在其中一个实施例中，所述特征融合模块包括结构特征提取模块及至少两个结构注意力提取模块，

64、所述融合模块，还用于：

65、确定所述目标子图的邻接矩阵，并通过所述结构特征提取模块对所述邻接矩阵进行结构特征提取处理，得到结构特征向量；

66、针对任一所述结构注意力提取模块，通过所述结构注意力提取模块对所述图像特征、所述图谱特征及所述结构特征向量进行结构注意力提取处理，得到所述结构注意力提取模块对应的结构注意力向量；

67、对各所述结构注意力提取模块的所述结构注意力向量进行融合处理，得到融合特征。

68、在其中一个实施例中，所述融合模块，还用于：

69、在第m轮结构特征向量确定过程中，通过所述结构特征提取模块对所述邻接矩阵的m次幂进行拉普拉斯归一化操作，得到第m个结构特征向量元素；

70、在m小于预设阶数的情况下，进入第m+1轮结构特征向量确定过程；或者，

71、在m等于预设阶数的情况下，根据各所述结构特征向量元素得到所述结构特征向量；

72、其中，m为正整数。

73、在其中一个实施例中，所述结构注意力提取模块的输入为查询矩阵、键值矩阵及值矩阵，

74、在所述特征融合模块包括2个结构注意力提取模块的情况下，所述融合模块，还用于：

75、根据所述图谱特征确定第一查询矩阵、根据所述图像特征确定第一键值矩阵、根据所述图像特征确定第一值矩阵，并通过第一结构注意力提取模块，对所述第一查询矩阵、所述第一键值矩阵、所述第一值矩阵及所述结构特征向量进行结构注意力提取处理，得到第一结构注意力向量；

76、根据所述图像特征确定第二查询矩阵、根据所述图谱特征确定第二键值矩阵、根据所述图谱特征确定第二值矩阵，并通过第二结构注意力提取模块，对所述第二查询矩阵、所述第二键值矩阵、所述第二值矩阵及所述结构特征向量进行结构注意力提取处理，得到第二结构注意力向量。

77、在其中一个实施例中，所述结构注意力提取模块用于根据所述查询矩阵及所述键值矩阵确定第一中间矩阵，根据所述第一中间矩阵及所述结构特征向量确定第二中间矩阵，并根据所述第二中间矩阵及所述值矩阵确定结构注意力向量。

78、在其中一个实施例中，所述生成模块，还用于：

79、确定所述对比检验报告的对比文本向量、所述目标检验报告的目标文本向量及所述样本检验报告的样本文本向量；

80、根据所述对比文本向量与所述目标文本向量之间的第一差异值，确定第一损失值，及根据所述样本文本向量与所述目标文本向量之间的第二差异值，确定第二损失值；其中，所述第一差异值与所述第一损失值正相关，所述第二差异值与所述第二损失值正相关；

81、根据所述第一损失值及所述第二损失值，确定所述初始检验报告生成模型的总损失值；

82、在所述总损失值大于总损失值阈值的情况下，对所述初始检验报告生成模型进行调整；或者，

83、在所述总损失值小于或者等于所述总损失值阈值的情况下，将所述初始检验报告生成模型作为训练好的检验报告生成模型。

84、第四方面，本技术还提供了一种检验报告生成装置。所述装置包括：

85、获取模块，用于获取待处理检验图像，对各检验图像及所述待处理检验图像进行匹配处理，得到与所述待处理检验图像相匹配的目标检验图像，并将所述目标检验图像在检验报告先验知识图谱中对应的子图，作为所述待处理检验图像对应的目标子图；

86、输入模块，用于将所述待处理检验图像及所述目标子图输入至检验报告生成模型中，得到所述检验报告生成模型输出的目标检验报告；

87、其中，所述检验报告生成模型为前述任一项实施例所述的训练好的检验报告生成模型。

88、第五方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以上任一项方法。

89、第六方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一项方法。

90、第七方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以上任一项方法。

91、上述检验报告生成模型的训练方法及装置、检验报告生成方法，通过先验知识事先构建检验报告先验知识图谱，并积累检验图像库，检验图像库中的每一个检验图像均对应检验报告先验知识图谱中的部分子图。在生成检验报告时，通过确定与需要处理的检验图像对应的目标检验图像得到目标子图，进而使用检验报告生成模型对检验图像和目标子图的特征进行特征融合，根据融合之后得到的融合特征生成检验报告。可以在生成检验报告时同时利用事先积累的先验知识、图像特征以及知识图谱特征数种跨模态信息，使得最终生成的检验报告利用的特征数据更加丰富，因此能够生成重复内容较少、精度更高的检验报告。