基于多模态成像的关节内压力检测及信息提取方法和系统与流程

本发明涉及计算机，尤其涉及一种基于多模态成像的关节内压力检测及信息提取方法和系统。

背景技术：

1、相关技术中，常使用mri、ct以及x射线等方式得到关节及其软组织图像，然而，不管是ct还是x射线均利用x射线的成像的灰度代表软组织或者骨头对x射线吸收的差异，其空间分辨率较低。mri成像尽管空间分辨率较高，但其对质子密度低的结构显示差，而且还涉及磁性对比剂的使用，其价位昂贵，不便于应用到关节疾病预后评估中。并且，该上述三种成像也无法直接关节内的压力情况，从而无法直接确定关节恢复状况。

2、公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

1、本发明提供一种基于多模态成像的关节内压力检测及信息提取方法和系统，能够解决相关技术中难以直接确定关节内压力情况，从而难以评估关节恢复状况的技术问题。

2、根据本发明的第一方面，提供一种基于多模态成像的关节内压力检测及信息提取方法,包括：

3、通过滤波反投影算法对膝关节的热声图像进行重构处理，获得热声重构图像；

4、通过延时叠加算法对膝关节的光声图像进行重构处理，获得光声重构图像；

5、通过训练后的关键点检测模型，对所述热声重构图像进行关键点检测处理，获得热声重构图像中的第一关键点的第一位置信息；

6、通过训练后的关键点检测模型，对所述光声重构图像进行关键点检测处理，获得光声重构图像中的第二关键点的第二位置信息；

7、根据所述第一关键点的第一位置信息和所述第二关键点的第二位置信息，对所述第一关键点和所述第二关键点进行匹配，获得匹配结果；

8、根据所述匹配结果，对所述热声重构图像和所述光声重构图像进行融合，获得多模态图像；

9、通过所述多模态图像，确定膝关节恢复状况。

10、根据本发明的第二方面，提供一种基于多模态成像的关节内压力检测及信息提取系统，包括：

11、热声重构图像模块，用于通过滤波反投影算法对膝关节的热声图像进行重构处理，获得热声重构图像；

12、光声重构图像模块，用于通过延时叠加算法对膝关节的光声图像进行重构处理，获得光声重构图像；

13、第一位置信息模块，用于通过训练后的关键点检测模型，对所述热声重构图像进行关键点检测处理，获得热声重构图像中的第一关键点的第一位置信息；

14、第二位置信息模块，用于通过训练后的关键点检测模型，对所述光声重构图像进行关键点检测处理，获得光声重构图像中的第二关键点的第二位置信息；

15、匹配模块，用于根据所述第一关键点的第一位置信息和所述第二关键点的第二位置信息，对所述第一关键点和所述第二关键点进行匹配，获得匹配结果；

16、多模态图像模块，用于根据所述匹配结果，对所述热声重构图像和所述光声重构图像进行融合，获得多模态图像；

17、恢复状况模块，用于通过所述多模态图像，确定膝关节恢复状况。

18、技术效果：根据本发明，可通过热声图像解决mri、ct和x射线图像中难以直接反应关节内的压力情况的问题，并通过光声图像与热声图像融合，提升融合后的多模态图像的清晰度，减少成像误差。从而可通过融合后获得的多模态图像应膝关节内的压力情况，便于确定膝关节恢复状况。且光声图像与热声图像的获取成本较低，便于应用到关节疾病预后评估中。在对第一关键点和第二关键点进行匹配时，可获取与第一关键点距离最近的第二关键点的最近距离，以及与第一关键点距离第二近的第二关键点的次近距离，进而基于最近距离与次近距离之间的比值来确定是否存在两个或多个与第一关键点的距离差距较小的第二关键点，如果不存在，则可判断与第一关键点距离最近的第二关键点不易与其他第二关键点发生混淆，从而可明确地确定该第二关键点为与第一关键点匹配的第二关键点。在融合热声重构图像和光声重构图像的过程中，可通过连续小波变换的方式，获得热声频带信号和光声频带信号，从而可在频域内进行融合，可更加突出关节内各个组织之间的对比度，并且，可对热声频带信号和光声频带信号分别进行局部脊波变换，使得处理后的热声频带信号和光声频带信号具有更高的精度以及更好的稀疏表达性能，从而在融合及局部脊波逆变换后，使得关节内各个组织之间的对比度更加明显，清晰度更高，从而更明显地展示软骨和关节面的状态，便于反映关节压力的状况，以及评估膝关节的恢复状况。在关键点检测模型的训练过程中，可确定第一关键点的位置误差以及检测错误率，第二关键点的位置误差以及检测错误率，第一样本关键点和第二样本关键点之间的位置误差以及整体的检测错误率，检测错误的第一样本关键点的位置误差以及检测错误率，以及检测错误的第二样本关键点的位置误差以及检测错误率，从而从多个方面训练关键点检测模型，提升关键点检测模型对于第一关键点和第二关键点的检测正确率，缩小位置误差。提升训练的全面性以及训练后的关键点检测模型的准确性。

19、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本发明。根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将更清楚。

技术特征：

1.一种基于多模态成像的关节内压力检测及信息提取方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态成像的关节内压力检测及信息提取方法，其特征在于，根据所述第一关键点的第一位置信息和所述第二关键点的第二位置信息，对所述第一关键点和所述第二关键点进行匹配，获得匹配结果，包括：

3.根据权利要求2所述的基于多模态成像的关节内压力检测及信息提取方法，其特征在于，根据最近距离和所述次近距离，确定是否存在与第i个第一关键点匹配的第二关键点，包括：

4.根据权利要求1所述的基于多模态成像的关节内压力检测及信息提取方法，其特征在于，根据所述匹配结果，对所述热声重构图像和所述光声重构图像进行融合，获得多模态图像，包括：

5.根据权利要求4所述的基于多模态成像的关节内压力检测及信息提取方法，其特征在于，根据所述热声重构图像中各像素点的像素值，获得热声重构图像的热声频带信号，包括：

6.根据权利要求4所述的基于多模态成像的关节内压力检测及信息提取方法，其特征在于，根据所述配准光声图像中各像素点的像素值，获得配准光声图像的光声频带信号，包括：

7.根据权利要求1所述的基于多模态成像的关节内压力检测及信息提取方法，其特征在于，所述关键点检测模型的训练方法包括：

8.根据权利要求7所述的基于多模态成像的关节内压力检测及信息提取方法，其特征在于，根据所述第一关键点标注位置、所述第二关键点标注位置、所述第一样本位置和所述第二样本位置，确定所述关键点检测模型的损失函数，包括：

9.一种基于多模态成像的关节内压力检测及信息提取系统，其特征在于，包括：

技术总结
本发明提供一种基于多模态成像的关节内压力检测及信息提取方法和系统，涉及计算机技术领域。所述方法包括：通过关键点检测模型，获得热声重构图像中的第一关键点的第一位置信息，以及光声重构图像中的第二关键点的第二位置信息；根据第一位置信息和第二位置信息，对第一关键点和第二关键点进行匹配，获得匹配结果；根据匹配结果，对热声重构图像和光声重构图像进行融合，获得多模态图像；通过多模态图像，确定膝关节恢复状况。根据本发明，可通过光声图像与热声图像融合，提升融合后的多模态图像的清晰度，减少成像误差，便于确定膝关节恢复状况。且光声图像与热声图像的获取成本较低，便于应用到关节疾病预后评估中。

技术研发人员：刘明明,李顺才,波波夫·尤金·亚历山德罗维奇,魏明生,王迪,法里多丁·沙里亚蒂·穆罕默德,刘松,陈翀,吕南宁,李洪叶
受保护的技术使用者：连云港市第二人民医院（连云港市临床肿瘤研究所）
技术研发日：
技术公布日：2024/4/17