多模态特征数据融合的盆底肌肉AI智能评估系统及方法与流程

本发明涉及机器学习数据评估，具体为针对盆底肌肉数据进行机器学习评估的。

背景技术：

1、目前的在评价人体盆底状态时，大多使用肌电数据进行评估，例如现有的专利技术中：cn11012326a只对于超声评估结果和肌电评估结果进行匹配校正，没有将两种数据进行关联；cn115530881a使用了多个模态的数据对盆底进行整体评估，但是没有具体的精确分析到盆底肌肉的状态。

2、现有技术中对于肌电数据对盆底状态的评估，大多只使用单一肌电数据判断盆底状态，不够准确，以及，使用多模态数据并不能够精准分析到盆底不同肌肉群的状态。

3、因此，急需寻求一种新的技术方案，以便解决上述问题。

技术实现思路

1、发明目的：本发明的目标是提供一种多模态特征数据融合的盆底肌肉ai智能评估方法，寻找到各类数据与盆底肌肉的关联，构建更为精准的模型评估盆底肌肉状态。

2、技术方案：本发明提供的多模态特征数据融合的盆底肌肉ai智能评估方法可采用以下技术方案：

3、一种多模态特征数据融合的盆底肌肉ai智能评估方法，包括：

4、(1)选取静息态超声图像和最大valsalva状态下图像，随后利用卷积神经网络加关键点热度图的方式，对每个关键点预测一张热度图，得到图像中的各关键点数据；根据标注在图像中的各关键点数据测量出第一二维图像特征集作为第一特征集；

5、(2)基于盆底容积数据并利用unet模型结合关键点回归，构建深度学习模型，找到肛提肌裂孔最大切面；利用卷积神经网络，结合注意力机制和关键点热度图，在三维渲染图像上识别出肛提肌裂孔的关键点，利用识别的关键点拟合出肛提肌裂孔区域，根据标注在图像的肛提肌裂孔区域中的各关键点测量出第二二维图像特征集作为第二特征集；

6、(3)根据步骤(2)中拟合出来的肛提肌裂孔区域作为感兴趣区域，提取超声图像影像组学，包括强度特征、纹理特征、小波特征；通过这些强度特征、纹理特征、小波特征，构建第三特征集；

7、(4)通过阴道电极采集盆底表面肌电信号数据，构建第四特征集；

8、(5)首先将每个特征集的特征进行标准化处理；分别以会阴前后的浅横肌、耻骨部位的直肠肌和尾肌、肛门处的肛提肌中的至少一种肌肉组织为模型标签；对于某一标准化处理后特征，获取若干有损伤真实肌肉组织数据n1及若干无损伤真实肌肉组织数据n2，分别对这一维特征值进行排序，统计n1的秩和r1，以及n2的秩和r2；通过秩和检验，按标准正态分布界定p值，剔除p>m的特征，m为预设的阈值，

9、(6)用互信息来度量特征与标签之间的相关性和特征与特征之间的冗余性，对特征进行排序；选择在特征排列中排在前n个的特征，构建对应肌肉组织的特征子集；

10、(7)利用构建的肌肉组织的特征子集，构建机器学习模型进行训练，利用训练好的模型对不同肌肉群进行预测评估。

11、进一步的，步骤(1)中，所述第一二维图像特征集包括膀胱最大脱垂距离、尿道旋转角、膀胱颈移动度，以及静息态和最大valsalva两个状态下的膀胱颈到参考线的距离、尿道倾斜角、膀胱尿道后角。

12、进一步的，步骤(2)中，第二二维图像特征集包括肛提肌裂孔前后径、肛提肌裂孔左右径、肛提肌裂孔面积、肛提肌裂孔周长、左肛提肌-尿道间隙、右肛提肌-尿道间隙。

13、进一步的，步骤(3)中，计算感兴趣区域的强度直方图:

14、

15、其中pi表示图像灰度为i的像素出现的概率，ni表示灰度i出现的次数，n表示图像中所有像素的总数，l表示灰度级。根据直方图，可以计算出感兴趣区域内像素灰度值的均值、最大值、最小值、方差、均方根、中值、变化范围、标准差，峰度，能量、熵作为强度特征；

16、利用灰度共生矩阵，计算纹理特征；灰度共生矩阵中的元素值表示灰度级之间联合条件概率密度：

17、p(i,j|d,θ)

18、即在给定空间距离d和方向θ时，灰度以i为起始点，出现灰度级j的概率；

19、在此基础上得到的纹理特征包括均值、方差、标准差、熵、对比度、角二阶矩、逆差矩；

20、通过将图像按不同频率分解成为低频子图和高频子图，提取的不同频率不同方向的特征；利用二维gabor滤波器，沿着空间域的不同方向角度θ和频率中的不同频率f对图像进行滤波变换，其中θ和f的取值如下：

21、

22、f∈{0.5、1、1.5、2、2.5、3、3.5、4}

23、每次滤波选取不同的θ和f值，在得到的每个特征图谱上统计均值、中值、峰度、偏度、标准差，作为小波特征。

24、进一步的，步骤(4)中，通过阴道电极采集盆底表面肌电信号数据包括五个阶段：

25、(4.1)前静息阶段，采集测试静态盆底肌张力的信号数据，包括肌张力肌电信号的平均值、变异性；

26、(4.2)快肌阶段，采集测试动态的快肌的肌力和反应速度的信号数据，包括快肌收缩阶段信号的最大值，肌电信号的上升时间和恢复时间；

27、(4.3)慢肌阶段，采集测试动态慢肌纤维的肌力和收缩控制的稳定性的信号数据，包括肌力信号的平均值、变异性，收缩和放松时肌电信号的上升时间和恢复时间；

28、(4.4)耐力测试阶段，采集测试盆底肌尤其是慢肌的耐力信号数据，持续收缩盆底肌保持1分钟状态下的肌电信号的平均值和变异性；

29、(4.5)后静息阶段，采集测试运动后的静态盆底肌张力的信号数据，包括肌张力肌电信号平均值和变异性。

30、进一步的，步骤(5)中，利用正态近似法进行秩和检验，按标准正态分布界定p值；

31、

32、其中t代表r1和r2中比较小的秩和，n代表样本总数，通过计算出的z值，按标准正态分布查表，界定得到p值，剔除p>0.05特征；

33、进一步的，步骤(6)中，利用最小冗余最大相关mrmr方法，用互信息来度量特征与标签之间的相关性和特征与特征之间的冗余性，对特征进行排序；互信息计算方式如下：

34、

35、其中，x表示特征向量，y表示标签向量，p(x,y)为联合概率密度函数，p(x)、p(y)为边际概率密度函数，i(x,y)就表现了特征和标签之间的互信息大小；

36、最大相关性计算如下，其中s为特征集，

37、

38、特征集合s中所有特征的冗余度是由特征xi与特征xj之间的所有互信息值的平均值决定的,最小冗余度计算如下：

39、

40、mrmr的最终函数如下：

41、maxf(d,r),f＝d-r

42、针对特征集进行排序，找出使得f最大的特征，依次进行，得到最终的特征排序。

43、进一步的，步骤(7)中，选择支持向量机或线性判别分析分类器构建模型。

44、有益效果：本发明利用超声图像影像组学数据、超声测量数据、肌电数据，多模态大数据进行数据分析，挑选评估多维度的数据，寻找到不同维度数据与盆底肌肉的关联，构建更为精准的模型评估盆底肌肉状态，并结合机器学习ai模型对相关数据进行自主训练，能够自动进行构建肌肉群的特征子集并给出评估结果。

45、对应上述方法，本发明同时提供一种多模态特征数据融合的盆底肌肉ai智能评估系统，包括：

46、第一模块，用以选取静息态超声图像和最大valsalva状态下图像，随后利用卷积神经网络加关键点热度图的方式，对每个关键点预测一张热度图，得到图像中的各关键点数据；根据标注在图像中的各关键点数据测量出第一二维图像特征集作为第一特征集；

47、第二模块，用以通过获取的盆底容积数据，并利用unet模型结合关键点回归，构建深度学习模型，找到肛提肌裂孔最大切面；利用卷积神经网络，结合注意力机制和关键点热度图，在三维渲染图像上识别出肛提肌裂孔的关键点，利用识别的关键点拟合出肛提肌裂孔区域，根据标注在图像的肛提肌裂孔区域中的各关键点测量出第二二维图像特征集作为第二特征集；

48、第三模块，用以对拟合出来的肛提肌裂孔区域作为感兴趣区域，提取超声图像影像组学，包括强度特征、纹理特征、小波特征；通过这些强度特征、纹理特征、小波特征，构建第三特征集；

49、第四模块，用以通过阴道电极采集盆底表面肌电信号数据，构建第四特征集；

50、第五模块，其中，将每个特征集的特征进行标准化处理；分别以会阴前后的浅横肌、耻骨部位的直肠肌和尾肌、肛门处的肛提肌中的至少一种肌肉组织为模型标签；对于某一标准化处理后特征，获取若干有损伤真实肌肉组织数据n1及若干无损伤真实肌肉组织数据n2，分别对这一维特征值进行排序，统计n1的秩和r1，以及n2的秩和r2；通过秩和检验，按标准正态分布界定p值，剔除p>m的特征，m为预设的阈值，

51、第六模块，用互信息来度量特征与标签之间的相关性和特征与特征之间的冗余性，对特征进行排序；选择在特征排列中排在前n个的特征，构建对应肌肉组织的特征子集；

52、第七模块，利用构建的肌肉组织的特征子集，构建机器学习模型进行训练，利用训练好的模型对不同肌肉群进行预测评估。