一种基于二值编码的多模态疼痛识别方法及装置

本技术涉及医疗数据分析，尤其涉及一种基于二值编码的多模态疼痛识别方法及装置。

背景技术：

1、在医学信息处理领域中，准确的疼痛评估可以给医师提供必要的帮助。但是，疼痛是一种主观化的体验，很难有客观的工具说明疼痛情况。现有相关数据处理技术有基于主观分析的方法和基于脑电图的方法，包括病人通过数字评估、视觉模拟法(vas)等方法说明疼痛情况，但由于每个人主观意识的不同，对于疼痛情况的辨别总存在差异。这些技术存在一些问题和缺点，包括主观性强、个体差异大导致准确性下降、成本高以及工作量大等。

2、随着社会的发展，多模态融合逐渐成为一种新疼痛识别方式。疼痛是被过程中产生了大量的多模态数据，例如肌电、脑电、文本记录、图像等。综合考虑多种模态数据可以获得更全面的信息，从而做出更准确的判断。

3、但是现有基于多模态融合的疼痛识别方案中要么是基于深度学习等复杂算法实现，由于复杂度和参数量的限制，无法满足可扩展模型的需求。要么是基于跨模态语义哈希检索的方法实现，虽然在存储和计算方面具有一定优势，但通常只能处理成对模态数据，并且需要使用相同长度的编码来表示不同模态的数据，忽略了多模态医疗数据的异构性和多样性。

技术实现思路

1、本技术提供了一种基于二值编码的多模态疼痛识别方法及装置，用于解决现有技术要么受限于算法复杂度，要么受限于多模态数据的统一处理方式，导致实际的疼痛识别效果较差的技术问题。

2、有鉴于此，本技术第一方面提供了一种基于二值编码的多模态疼痛识别方法，包括：

3、提取多模态疼痛数据库对应的多模态数据特征和语义标签，得到多模态数据特征库和语义标签库；

4、采用预设矩阵三分解算法基于所述语义标签库计算模态关联矩阵库和多模态二值编码库，所述预设矩阵三分解算法包括多个二值约束；

5、基于所述多模态数据特征库和所述多模态二值编码库计算多模态二值投影矩阵，得到多模态二值投影库；

6、根据所述模态关联矩阵库和所述多模态二值投影库将待识别疼痛数据对应的待识别二值编码与所述多模态二值编码库中的模态二值编码进行匹配，得到多个匹配向量；

7、依据所述语义标签库对所述匹配向量进行标签匹配度分析，得到疼痛识别结果。

8、优选地，所述采用预设矩阵三分解算法基于所述语义标签库计算模态关联矩阵库和多模态二值编码库，所述预设矩阵三分解算法包括多个二值约束，包括：

9、基于所述语义标签库对不同模态数据之间的语义关系进行近邻分析，并构造出语义近邻矩阵，得到语义近邻矩阵库；

10、采用预设矩阵三分解算法从所述语义近邻矩阵库中求解出对应的模态关联矩阵和多模态二值编码，得到模态关联矩阵库和多模态二值编码库，所述预设矩阵三分解算法包括多个二值约束。

11、优选地，所述基于所述多模态数据特征库和所述多模态二值编码库计算多模态二值投影矩阵，得到多模态二值投影库，包括：

12、采用k-means算法在所述多模态数据特征库的样本中选取多个锚点，得到特征锚点库；

13、根据所述特征锚点库对所述多模态数据特征库进行锚点嵌入操作，得到锚点嵌入特征库；

14、依据所述锚点嵌入特征库和所述多模态二值编码库计算多模态二值投影矩阵，得到多模态二值投影库。

15、优选地，所述根据所述模态关联矩阵库和所述多模态二值投影库将待识别疼痛数据对应的待识别二值编码与所述多模态二值编码库中的模态二值编码进行匹配，得到多个匹配向量，包括：

16、通过所述多模态二值投影库对待识别疼痛数据进行特征编码处理，得到待识别二值编码；

17、根据所述模态关联矩阵库将所述待识别二值编码与所述多模态二值编码库中的模态二值编码进行基于汉明距离计算的匹配，得到三个匹配向量。

18、优选地，所述依据所述语义标签库对所述匹配向量进行标签匹配度分析，得到疼痛识别结果，包括：

19、根据所述语义标签库和所述匹配向量构造基于匹配度的二元组矩阵；

20、基于所述二元组矩阵为不同模态数据选取出所述匹配度最大的预置数量的位置索引，并根据所述位置索引获取对应的匹配语义标签；

21、选取数量最多的所述匹配语义标签作为疼痛识别结果。

22、本技术第二方面提供了一种基于二值编码的多模态疼痛识别装置，包括：

23、信息提取单元，用于提取多模态疼痛数据库对应的多模态数据特征和语义标签，得到多模态数据特征库和语义标签库；

24、分解计算单元，用于采用预设矩阵三分解算法基于所述语义标签库计算模态关联矩阵库和多模态二值编码库，所述预设矩阵三分解算法包括多个二值约束；

25、矩阵计算单元，用于基于所述多模态数据特征库和所述多模态二值编码库计算多模态二值投影矩阵，得到多模态二值投影库；

26、编码匹配单元，用于根据所述模态关联矩阵库和所述多模态二值投影库将待识别疼痛数据对应的待识别二值编码与所述多模态二值编码库中的模态二值编码进行匹配，得到多个匹配向量；

27、疼痛识别单元，用于依据所述语义标签库对所述匹配向量进行标签匹配度分析，得到疼痛识别结果。

28、优选地，所述分解计算单元，具体用于：

29、基于所述语义标签库对不同模态数据之间的语义关系进行近邻分析，并构造出语义近邻矩阵，得到语义近邻矩阵库；

30、采用预设矩阵三分解算法从所述语义近邻矩阵库中求解出对应的模态关联矩阵和多模态二值编码，得到模态关联矩阵库和多模态二值编码库，所述预设矩阵三分解算法包括多个二值约束。

31、优选地，所述矩阵计算单元，具体用于：

32、采用k-means算法在所述多模态数据特征库的样本中选取多个锚点，得到特征锚点库；

33、根据所述特征锚点库对所述多模态数据特征库进行锚点嵌入操作，得到锚点嵌入特征库；

34、依据所述锚点嵌入特征库和所述多模态二值编码库计算多模态二值投影矩阵，得到多模态二值投影库。

35、优选地，所述编码匹配单元，具体用于：

36、通过所述多模态二值投影库对待识别疼痛数据进行特征编码处理，得到待识别二值编码；

37、根据所述模态关联矩阵库将所述待识别二值编码与所述多模态二值编码库中的模态二值编码进行基于汉明距离计算的匹配，得到三个匹配向量。

38、优选地，所述疼痛识别单元，具体用于：

39、根据所述语义标签库和所述匹配向量构造基于匹配度的二元组矩阵；

40、基于所述二元组矩阵为不同模态数据选取出所述匹配度最大的预置数量的位置索引，并根据所述位置索引获取对应的匹配语义标签；

41、选取数量最多的所述匹配语义标签作为疼痛识别结果。

42、从以上技术方案可以看出，本技术实施例具有以下优点：

43、本技术中，提供了一种基于二值编码的多模态疼痛识别方法，包括：提取多模态疼痛数据库对应的多模态数据特征和语义标签，得到多模态数据特征库和语义标签库；采用预设矩阵三分解算法基于语义标签库计算模态关联矩阵库和多模态二值编码库，预设矩阵三分解算法包括多个二值约束；基于多模态数据特征库和多模态二值编码库计算多模态二值投影矩阵，得到多模态二值投影库；根据模态关联矩阵库和多模态二值投影库将待识别疼痛数据对应的待识别二值编码与多模态二值编码库中的模态二值编码进行匹配，得到多个匹配向量；依据语义标签库对匹配向量进行标签匹配度分析，得到疼痛识别结果。

44、本技术提供的基于二值编码的多模态疼痛识别方法，采用二值约束的矩阵三分解算法来学习不同模态之间的关联和疼痛诊断数据的编码特征；在匹配识别过程中充分利用模态关联和二值编码进行高效匹配，确保识别结果的准确可靠性；而且该方法参数量少，算法复杂度低，容易执行；更不会采用统一处理方式对多种不同模态的数据进行压缩统一表达，能够克服可扩展性和适应性差的问题。因此，本技术能够解决现有技术要么受限于算法复杂度，要么受限于多模态数据的统一处理方式，导致实际的疼痛识别效果较差的技术问题。