一种基于多模态信息的舌象识别方法、装置及电子设备与流程

本说明书涉及计算机，尤其涉及一种基于多模态信息的舌象识别方法、装置及电子设备。

背景技术：

1、舌诊为中医四诊中“望诊”的主要内容，通过观察患者舌象状况来诊断患者病情。舌诊包括望舌苔和望舌质，舌质指舌的本体，舌苔指舌体表面的附着物。中医医师观察患者舌象时，主要观察舌体颜色、神态以及舌苔的位置和颜色，来推测健康状况和疾病发展。

2、传统舌诊主要通过医生直接观察舌象，很大程度上依赖于医生的主观判断，容易受到医生的知识水平、思维模式和诊断技术的限制，并且在不同医生之间的重复性也较差，在一定程度上限制了舌诊技术的临床应用。而随着计算机成像技术的发展，数字图像识别技术已被广泛应用于智能舌诊中，为客观舌诊的应用提供了便利条件。

3、然而，现有舌象识别方法并不符合中医舌诊整体观诊断思想，其准确性较低，无法全面评估舌象的综合状况，难以为临床上的舌象诊断提供可靠的参照。

4、因此，如何准确的进行舌象识别，进一步保证临床诊断的可靠性，是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种基于多模态信息的舌象识别方法、装置及电子设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种基于多模态信息的舌象识别方法，包括：

4、接收舌象识别请求；

5、根据所述舌象识别请求，获取用户的舌体图像和病症信息，所述病症信息包括所述用户的病症主诉、症状信息以及体征信息；

6、将所述舌体图像以及所述病症信息输入预先训练的舌象识别模型，以通过所述舌象识别模型，提取所述病症信息中包含的病症实体，并确定所述舌体图像对应的图像特征以及所述病症信息对应的文本特征；

7、根据预设的舌诊知识图谱，确定所述病症实体与舌象实体之间的对应关系，并获取基于所述对应关系所确定图谱特征；

8、将所述图像特征、所述文本特征以及所述图谱特征进行融合，得到目标舌象特征，以根据所述目标舌象特征进行舌象识别。

9、可选地，根据所述舌象识别请求，获取用户的舌体图像，具体包括：

10、获取原始图像；

11、在所述原始图像中提取舌体区域的图像，得到所述舌体图像。

12、可选地，将所述图像特征、所述文本特征以及所述图谱特征进行融合，得到目标舌象特征，具体包括：

13、将所述文本特征与所述图像特征进行融合，得到第一融合特征，以及，将所述图像特征与所述图谱特征进行融合，得到第二融合特征；

14、根据所述第一融合特征以及所述第二融合特征，确定所述目标舌象特征。

15、可选地，将所述文本特征与所述图像特征进行融合，得到第一融合特征，具体包括：

16、通过所述舌象识别模型中的第一特征融合网络，确定第一注意力权重，所述第一注意力权重用于表征述文本特征与所述图像特征之间的关联程度；

17、基于所述第一注意力权重，将所述文本特征与所述图像特征进行融合，得到所述第一融合特征。

18、可选地，基于所述第一注意力权重，将所述文本特征与所述图像特征进行融合，得到所述第一融合特征，具体包括：

19、确定所述图像特征对应的查询向量以及所述文本特征对应的键向量和值向量；

20、根据所述第一注意力权重、所述图像特征对应的查询向量以及所述文本特征对应的键向量和值向量，确定所述第一融合特征。

21、可选地，将所述图像特征与所述图谱特征进行融合，得到第二融合特征，具体包括：

22、通过所述舌象识别模型中的第二特征融合网络，确定第二注意力权重，所述第二注意力权重用于表征所述图谱特征与所述图像特征之间的关联程度；

23、基于所述第二注意力权重，将所述图谱特征与所述图像特征进行融合，得到所述第二融合特征。

24、可选地，所述图谱特征包括：实体嵌入特征以及用于表征实体间关系的关系嵌入特征；

25、基于所述第二注意力权重，将所述图谱特征与所述图像特征进行融合，得到所述第二融合特征，具体包括：

26、确定所述图像特征对应的查询向量以及所述实体嵌入特征对应的键向量和值向量；

27、根据所述第二注意力权重、所述图像特征对应的查询向量、所述关系嵌入特征以及所述实体嵌入特征对应的键向量和值向量，确定所述第二融合特征。

28、可选地，训练所述舌象识别模型，具体包括：

29、获取训练样本，所述训练样本包括指定用户的历史舌体图像和历史病症信息；

30、将所述历史舌体图像以及所述历史病症信息输入待训练的舌象识别模型中，以通过所述舌象识别模型，提取所述历史病症信息中包含的历史病症实体，并确定所述历史舌体图像对应的历史图像特征以及所述历史病症信息对应的历史文本特征；

31、根据所述舌诊知识图谱，确定所述历史病症实体与舌象实体之间的对应关系，并获取基于所述历史病症实体与舌象实体之间的对应关系所确定历史图谱特征；

32、将所述历史图像特征、所述历史文本特征以及所述历史图谱特征进行融合，得到历史舌象特征，并根据所述历史舌象特征进行舌象识别，得到舌象识别结果；

33、以最小化所述舌象识别结果与所述指定用户的实际舌象类型之间的偏差为优化目标，对所述舌象识别模型进行训练。

34、可选地，所述方法还包括：

35、根据舌象识别结果，对所述用户的病症进行诊断，其中，所述舌象识别结果包括：舌体的舌质类型以及舌苔类型。

36、本说明书提供了一种基于多模态信息的舌象识别装置，包括：

37、接收模块，接收舌象识别请求；

38、获取模块，根据所述舌象识别请求，获取用户的舌体图像和病症信息，所述病症信息包括所述用户的病症主诉、症状信息以及体征信息；

39、输入模块，将所述舌体图像以及所述病症信息输入预先训练的舌象识别模型中，以通过所述舌象识别模型，提取所述病症信息中包含的病症实体，并确定所述舌体图像对应的图像特征以及所述病症信息对应的文本特征；

40、确定模块，根据预设的舌诊知识图谱，确定所述病症实体与舌象实体之间的对应关系，并获取基于所述对应关系所确定图谱特征；

41、识别模块，将所述图像特征、所述文本特征以及所述图谱特征进行融合，得到目标舌象特征，以根据所述目标舌象特征进行舌象识别。

42、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多模态信息的舌象识别方法。

43、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于多模态信息的舌象识别方法。

44、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

45、在本说明书提供的基于多模态信息的舌象识别方法中，获取用户的舌体图像和病症信息，病症信息包括病症主诉、症状以及体征；将舌体图像以及病症信息输入舌象识别模型，确定舌体图像对应的图像特征以及病症信息对应的文本特征；根据预设的舌诊知识图谱，确定病症实体与舌象类型之间的对应关系，并获取基于该对应关系所确定图谱特征；将图像特征、文本特征以及图谱特征进行融合，得到目标舌象特征，进而根据目标舌象特征进行舌象识别。

46、从上述方法可以看出，本方案在进行舌象识别的过程中，不仅仅考虑到了舌体的图像信息，还整合了患者的主诉和症状体征知识以及舌诊图谱的经验知识，为舌象分类提供了丰富的经验支持，这样一来，基于这些信息所得到的目标舌象特征可以充分的利用中医舌诊的整体观诊断思想，更加准确的进行舌象识别，进一步保证了后续的临床诊断的可靠性。