一种多模态医学数据质量校准方法与流程

本发明涉及信息，尤其涉及一种多模态医学数据质量校准方法。

背景技术：

1、在现代医疗成像的科研应用中，磁共振成像和正电子发射断层扫描等多模态医学图像在疾病诊断、治疗规划和研究中扮演着至关重要的角色。然而，这些高级成像技术在科研应用中面临一系列挑战，特别是与生理运动和设备差异相关的问题。在mri和pet等医学成像过程中，患者的微小运动，如呼吸和心跳，都可能导致成像过程中产生运动变形。这种变形会影响图像的质量和准确性，从而对诊断和治疗规划产生负面影响。例如，在心脏或胸部成像中，患者的呼吸和心跳会导致图像模糊，难以识别关键的解剖结构。此外，这种生理运动还会增加图像获取的时间和复杂性，给患者和医疗团队带来额外的负担。不同的医学成像设备，如不同厂家的mri和pet扫描仪，其技术规格和性能存在差异。这些差异可能体现在空间分辨率、信噪比、对比度等方面。因此，即使是在相同的成像条件下，不同设备获取的图像也可能在细节层次和清晰度上有所不同。这种设备间的差异给临床医生和研究人员在解释和比较数据时带来了难题。特别是在进行长期科学研究时，设备差异可能导致数据的不一致性，影响最终的科研研究结果。在科研实践中，确定图像变形是由生理运动还是设备差异引起的，这是一个复杂且困难的任务。这两种因素都可能导致图像质量下降，但它们需要不同的校正方法。运动变形通常需要实时监测和校正，而设备差异则需要后处理技术来标准化和校准不同设备的图像。传统的校准方法往往不能有效区分这两种因素，导致校准效果有限。为了解决上述问题，急需一种考虑到生理运动和设备差异的特点的新的校准技术。以便提升科学研究精确度。

技术实现思路

1、本发明提供了一种多模态医学数据质量校准方法，主要包括：

2、收集包含元数据的多设备医学多模态医学图像序列,判断元数据的参数差异,并基于vision transformer的大模型提取图像本身的特征,识别和校正不同设备间多模态数据的差异；根据所述多模态医学图像序列，提取不同医学设备图像的通用特征，比较不同医学设备图像的通用特征的相似性，并在相似性高于预设阈值时，将通用特征迁移到指定类型的医学设备图像中，执行数据清洗与增强，进行病理分析前的参数归一化，获取并上传标准化图像至云平台，所述通用特征包括图像的纹理、形状和颜色分布；根据时间序列识别所述标准化图像的像素运动和结构变化，构建生理运动模型进行运动异常识别，构建设备差异模型进行结构性变形检测；将检测到的变形与所述生理运动模型、所述设备差异模型进行匹配,判断所述变形与两者的符合程度；根据多模态医学图像中的变形特征，量化非线性变形评估标准；根据无法判断类别的图像变形的特性，同时使用所述生理运动模型和所述设备差异模型进行无法判断类别的图像变形的识别与校正，并对处理后的图像进行迭代优化与效果评估；对处理后的图像序列进行生理周期性分析，进行动态特征的提取和评估，执行数据调整和第一模态转换，获取增强后的医学图像序列，所述动态特征包括像素点亮度、像素点颜色强度、局部移动、局部形状变化；根据所述增强后的医学图像序列，进行像素运动检测，识别和纠正异常运动和变形情况，进行图像语义分析和标签预测，分析序列连贯性，获取医学成像数据；根据所述医学成像数据及图像元数据，采用视觉特征提取，执行设备差异识别与校准，进行第二模态转换和标准化。

3、在一些实施例中，所述收集包含元数据的多设备医学多模态医学图像序列,判断元数据的参数差异,并基于vision transformer的大模型提取图像本身的特征,识别和校正不同设备间多模态数据的差异，包括：

4、通过不同医学成像设备，获取多模态图像序列，所述多模态图像序列包含每个序列的元数据，所述元数据包括设备类型和成像参数，所述成像参数包括分辨率和对比度；比较不同图像序列的元数据参数，若元数据中的参数差异超过参数预设阈值，确认存在设备间差异；根据多设备获取的医学图像，应用基于visiontransformer的模型，提取图像的质量特征，所述质量特征包括分辨率、对比度和噪声水平；对提取的图像的质量特征表示进行比较，若提取的图像的质量特征差异超过质量预设阈值，则确定不同设备之间存在数据差异；在无法明确区分设备差异的情况下，将元数据、图像质量特征结合，形成一个综合的特征集；在图像数据集大小低于预设数量时，通过图像旋转、缩放和翻转的技术手段，增加数据多样性；提取图像的结构特征，所述结构特征包括长度、宽度比例和边缘特征；若图像的结构特征在时间序列中出现突变，判断存在潜在变形；对于变形程度超过变形预设阈值的图像区域，进行图像处理，图像处理包括裁剪变形区域和插值补全结构。

5、在一些实施例中，所述根据所述多模态医学图像序列，提取不同医学设备图像的通用特征，比较不同医学设备图像的通用特征的相似性，并在相似性高于预设阈值时，将通用特征迁移到指定类型的医学设备图像中，执行数据清洗与增强，进行病理分析前的参数归一化，获取并上传标准化图像至云平台，所述通用特征包括图像的纹理、形状和颜色分布，包括：

6、根据从不同医学成像设备获取的多模态图像序列，使用卷积神经网络算法进行模型训练，提取通用特征，比较不同设备图像的通用特征相似性，所述通用特征包括图像的纹理、形状和颜色分布；若相似性高于相似性预设阈值，则直接将所述通用特征迁移到指定类型的医学图像中；若所述通用特征不适合指定类型的医学图像，则获取多设备图像及其标签，使用共享编码器提取设备不变特征，结合设备专属解码器对各自的标签进行预测；持续检测和分析图像标签预测的异常情况，若异常样本比例大于异常样本比例预设阈值，判定存在干扰的差异参数，则进行数据清洗或增强处理，采用归一化处理减少数据分布间的差异，生成新样本以补充数据集；对不同设备获取的图像执行参数归一化，确保所有图像数据在进行病理分析前具有一致的数据质量和特征分布，并将归一化的图像数据用于病理预测的主任务；应用中值滤波算法，降低数据精度，保留关键特征，消除冗余参数差异，得到标准化且质量良好的图像表征；将标准化图像上传至云平台，实现多个设备间的共享和协作。

7、在一些实施例中，所述根据时间序列识别所述标准化图像的像素运动和结构变化，构建生理运动模型进行运动异常识别，构建设备差异模型进行结构性变形检测，包括：

8、在标准化图像上，提取时间序列的光流和关键点描述符；通过光流法分析图像序列中像素点的运动，估计图像块的运动模式；若光流矢量在序列中出现不连续或突变，则判定为运动异常；根据标准化后的医学图像序列，运用基于transformer的模型学习时间序列的长期运动约束，构建生理运动模型；对当前图像运动与模型约束进行比对，判断当前图像运动是否符合模型约束，若不符合，则判定为变形；创建包含骨骼节点和关节连接信息的人体运动知识图谱；将新样本映射到所述人体运动知识图谱，比较拓扑结构变化，检测结构性变化；根据所述人体运动知识图谱，使用图卷积网络学习图谱中节点和边的特征表示，构建设备差异模型，对新样本在图谱上的表示进行分析，比较其节点和边的特征与已知正常结构模式之间的差异，所述节点和边的特征包括节点的位置、大小、形状；若新样本的特征与已知分布出现明显漂移，则表示变形源于设备参数差异；若新样本同时检测到运动和结构异常，则进行关联分析判断异常源头；若运动异常与时间序列模型相关联，则判定为生理变化；若结构异常与设备差异模型相关联，则判定为参数偏差；根据标准化后的图像序列数据，利用长短时记忆网络学习时空序列特征，识别长期运动模式和结构变化，融合时间和拓扑两大因素的关联，提升变形检测与异常源头分析的准确率，所述时空序列特征包括运动模式和结构变化。

9、在一些实施例中，所述将检测到的变形与所述生理运动模型、所述设备差异模型进行匹配,判断所述变形与两者的符合程度，包括：

10、计算变形与标准生理运动模式的jaccard距离，距离越小，则表示变形越符合生理运动模式；计算变形与指定设备图谱拓扑结构差异的欧氏距离，距离越小，则表明变形更可能源自设备差异；运用归一化处理方法处理生理运动模型和设备差异模型的输出，消除量纲影响，确保两者输出在相同的数值范围内；根据变形的特征、生理运动模型和设备差异模型的匹配度量，使用决策树算法进行模型训练，构建变形的潜在源头预测模型，判别变形的潜在源头，匹配度量为jaccard距离或欧氏距离；使用pearson相关系数，分析变形与生理运动模型和设备差异模型的输出的线性相关性；若变形特征与运动模型的线性相关性大于变形特征与设备差异模型的线性相关性，则判断变形是由生理运动引起的；若变形的特征与设备差异模型的线性相关性大于变形特征与运动模型的线性相关性，则判断变形源于设备参数的差异；根据从多模态医学图像中提取的特征，包括图像序列中的光流、关键点描述符和结构变化，采用支持向量机算法进行模型训练，确定检测到的变形与已经学习到的变形模式之间的相似度；根据检测到的变形与模式之间的相似度，判断检测到的变形的变形模式类别；对于置信度不足的检测结果，标注为无法判断类别；将生理运动模型和设备差异模型关于变形的判断作为新样本，训练数据，提升模型的判别能力；通过多次迭代学习，汇总检测结果，并判断变形的归因，还包括：根据多模态医学图像中的变形特征，量化非线性变形评估标准。

11、在一些实施例中，所述根据多模态医学图像中的变形特征，量化非线性变形评估标准，包括：

12、获取包含复杂变形特征的不同模态的医学图像数据，所述复杂变形包括肿瘤生长或器官移动引起的变形；对包含复杂变形特征的不同模态的医学图像进行初步分析，确定变形特征的普遍模式，所述变形特征包括强度变化、形状扭曲；基于初步分析的结果，设定公式dnl(x,y)＝α·δi(x,y)+β·δg(x,y)，量化图像中任意点(x，y)的非线性变形程度，其中，δi(x,y)表示像素强度的变化，δg(x,y)表示局部几何形状的变化，α和β是调节两者重要性的系数；通过计算相邻帧之间的像素强度差异得出δi(x,y)，通过评估局部区域的形状变化确定δg(x,y)；根据历史数据，确定不同图像模态的图像的系数α和β的最优值，以反映不同成像技术的特性，图像模态包括ct和mri；在不同模态的医学图像序列上应用定义的公式dnl(x,y)，为每个像素或区域生成一个非线性变形评分，识别出图像中的非线性变形区域；分析非线性变形评分的分布，识别出图像中变形程度最高的区域；用实际临床案例的图像数据测试和评估公式的有效性，确保其在多模态医学图像分析中的适用性；根据测试和评估结果，调整公式中的参数。

13、在一些实施例中，所述根据无法判断类别的图像变形的特性，同时使用所述生理运动模型和所述设备差异模型进行无法判断类别的图像变形的识别与校正，并对处理后的图像进行迭代优化与效果评估，包括：针对无法明确区分归因的复杂图像变形，同时使用所述生理运动模型和所述设备差异模型进行检测；获取所述生理运动模型和所述设备差异模型的输出，使用注意力机制融合这两种输出，计算每个模型输出的关联权重，评估两个模型对当前变形的解释程度；若其中一个模型的权重高于另一个模型，则判断权重高的模型的预测结果对变形的解释重要性大于另一个模型；若生理运动模型和设备差异模型的权重差值小于权值预设阈值，则两个模型预测结果同等重要，则通过联合决策得到检测结果；若生理运动模型预测存在生理运动异常，则使用数据插值和运动正则化算法校正变形；若设备差异模型预测存在设备参数偏差，则采用图像增强和模态转换的方法调整图像；对于无法明确归因的复杂图像变形，则同时应用生理运动异常和设备参数偏差的参数调整方法，对图像进行联合优化处理；处理后再次进行检测，提取变形特征，与优化前进行比较，评估校正效果；多次迭代后，选择处理精度和推理时间均大于预设阈值的模型，并应用到所述无法明确归因的变形情况，保证检测与优化的高效性；还包括：根据时间序列医学图像的强度与几何变化，评估和量化图像间的变形特征；

14、所述根据时间序列医学图像的强度与几何变化，评估和量化图像间的变形特征，具体包括：获取来自不同时间点的显示潜在变形特征的多模态医学图像，确定图像中的变化模式，所述变化模式包括像素强度和几何形状的变化；对图像i1和i2的每个像素位置(x，y)，使用公式计算两幅图像相应像素点的强度差的绝对值，计算所有像素强度差的平均值，以得到整体的强度差异度量δi(i1,i2)，n为图像中像素的总数；对于每幅图像，使用canny算法提取关键结构元素的边界；对于每一对结构元素，使用公式hausdorff(s1,s2)＝max{sups1∈s1infs2∈s2d(s1,s2),sups2∈s2infs1∈s1d(s1,s2)}，计算其边界间的hausdorff距离，其中，s1和s2是由canny算法从两幅图像中提取出的结构元素的边界点构成的集合，d(s1,s2)是点s1和s2之间的欧几里得距离；使用公式计算两幅图像间的几何形状变化程度δg(i1,i2)，s1k和s2k分别代表图像i1和i2中的相应结构元素的边界，结构元素包括器官、肿瘤，m是结构元素的数量；定义公式fts(i1,i2,δt)＝γ·δi(i1,i2)+δ·δg(i1,i2)·δt量化两个时间点t1和t2之间的医学图像i1和i2的变化程度，其中δt＝t2-t1，其中i1和i2分别为两个不同时间点的图像，δt是时间差；根据在不同模态和不同时间序列的图像，应用公式，并根据公式对变化的反应情况，结果调整γ和δ的值；在实际临床案例的图像数据上应用公式fts(i1,i2,δt)＝γ·δi(i1,i2)+δ·δg(i1,i2)·δt，评估其在实际情况中的表现，并根据评估结果，对公式和算法进行调整。

15、在一些实施例中，所述对处理后的图像序列进行生理周期性分析，进行动态特征的提取和评估，执行数据调整和第一模态转换，获取增强后的医学图像序列，所述动态特征包括像素点亮度、像素点颜色强度、局部移动、局部形状变化，包括：

16、对处理后的图像序列进行生理周期性分析，使用小波变换获取不同尺度下的时域统计特征，同时使用快速傅里叶变换获取图像序列的主要频率分量；若主频率分量存在缺失，则表明图像序列无法反映完整生理过程；根据图像序列中提取的动态特征，利用高斯混合模型，判断图像序列的动态特征是否符合标准正态分布，图像序列中提取的动态特征包括像素强度的时间变化和局部运动特征；若图像序列的动态特征符合单一的正态分布，表明图像数据一致，无明显异常；若数据符合多个正态分布，则表明存在不同类型的变化模式；若高斯混合模型的分析结果表示动态特征不符合标准分布或存在异常，则使用数据增强方法调整分布形状，正则化特征，数据增强方法包括统计属性修改、仿射变换、弹性变形、随机噪声添加和模态转换；对于特征不足的样本，根据主要频率成分完整的数据，使用变分自编码器，生成多样化的数据；将图像模态从ct转换为mri，增加生理状态在不同模态下的动态表征；对处理后的图像序列再次进行时域和频域特征提取，判断是否增加了周期信号成分；使用结构相似性指数和峰值信噪比，评估处理前后图像质量一致性，确保生成的数据在真实性和有效性上达标；还包括：根据图像区域特性，进行定制化增强和质量改善处理；

17、所述根据图像区域特性，进行定制化增强和质量改善处理，具体包括：使用canny边缘检测算法分析图像，识别对比度低于预设阈值的区域；在对比度低于预设阈值的区域，使用局部直方图均衡化技术进行锐化增强和对比度增强；使用高斯混合模型，识别出图像中的模糊或噪声区域，并在模糊区域应用wiener滤波算法提高图像的清晰度，在噪声区域应用中值滤波算法出去图像中的噪声，使用超分辨率技术在模糊区域内增强和恢复细节；对于图像中的细节丢失或质量低于预设阈值的区域，采用双三次插值技术进行重建；对重建区域应用wiener滤波算法和中值滤波算法，消除可能引入的噪声，保持图像的自然外观和一致性；结合直方图均衡化和色彩校正的方法，统一和优化整个图像序列的光照、对比度和色彩平衡；根据不同设备产生的ct和mri图像的特性，定制和优化图像处理模型。

18、在一些实施例中，所述根据所述增强后的医学图像序列，进行像素运动检测，识别和纠正异常运动和变形情况，进行图像语义分析和标签预测，分析序列连贯性，获取医学成像数据，包括：

19、对增强后的图像序列进行预处理，包括去噪和对比度调整；使用光流法检测每一帧中的像素位置变化，确定连续两帧之间的像素运动；从所述像素运动中提取出运动模式，识别图像序列中的异常运动，包括突发移动或形变；根据光流结果，识别出新出现的或残余的变形情况，并确定与预期生理运动模式不符的运动区域；对识别出的变形部分应用直方图均衡化技术和傅里叶变换以及中值滤波算法，纠正或最小化变形部分；若检测到图像序列中断，则使用三次样条插值方法连接断层，生成平滑的运动轨迹；根据图像语义标签，选择有效特征并消除与病变无关的特征；根据预处理和增强后的医学图像序列，使用卷积神经网络，预测每幅图像的标签，并判断整个序列的标签连贯性；通过回归法分析标签间的差异，确定序列的一致性；通过光流法生成时空特征，并使用离散余弦变换获取运动编码，判断编码的连续性；统计序列中无效帧的比例，并度量可用帧比例，若无效帧比例高于比例预设阈值，则进行新一轮数据增强；设定关键性能指标阈值，所述关键性能指标包括交并比、峰值信噪比和处理帧率；不断迭代优化处理，直至满足所有设定的性能指标。

20、在一些实施例中，所述根据所述医学成像数据及图像元数据，采用视觉特征提取，执行设备差异识别与校准，进行第二模态转换和标准化，包括：

21、根据不同类型的医学成像数据和图像元数据，采用卷积神经网络提取图像中的视觉特征，并与设备类型相关联，所述图像元数据包括制造商、型号和扫描设置，所述视觉特征包括图像的纹理、边缘、对比度和形状；比较基于元数据和基于卷积神经网络模型的设备差异识别结果，并使用比较结果指导后续的图像校准方向；将被判定为来自其他设备的图像进行标定转换；计算转换后图像的信噪比，并与目标设备的数据进行对比，评估参数校准的质量；根据不同模态的图像，采用生成对抗网络进行模型训练，学习不同模态之间的关键特征和分布差异，并使用所述生成对抗网络模型进行数据分布和特征层面的转换，图像模态包括ct和mri；在设备和模态标准化图像上，重复使用生理运动模型和设备差异模型进行检测，实现自我优化的图像处理循环，得到信噪比大于信噪比预设阈值和特征清晰的标准化参数图像。

22、本发明实施例提供的技术方案可以包括以下有益效果：

23、本发明公开了一种多模态医学数据质量校准方法，显著提升了医学成像数据的质量和一致性，有效应对了不同成像设备间的差异，为临床医生和研究人员提供了更准确、可靠的图像数据。该方法能够辨别和纠正由设备差异或生理运动引起的图像变形，确保图像质量不受这些因素的影响。此外，本方法还能够识别和增强图像中的关键特征细节，提高了图像数据在长期研究和多中心临床试验中的可比性和可用性。通过这种改进，医学图像数据在疾病诊断、治疗规划和医学研究中的应用变得更为精准和有效，为患者提供更优质的医疗服务。