一种面向数字人的跨模态医学影像配准方法、系统和设备

本发明涉及图像处理，尤其涉及一种面向数字人的跨模态医学影像配准方法、系统和设备。

背景技术：

1、综合来说，数字人指存在于非物理世界中，由计算机手段创造及使用，并具有多重人类特征的综合产物。早期的数字人主要通过手绘、动作捕捉、计算机图形学技术等方法制作，近年来，随着深度学习算法的突破，数字人的概念和应用场景再次得到全方位拓展，数字人更细化为由人物形象、语音生成、动画生成、音视频合成显示、交互等5个模块组成。但现有数字人重建技术聚焦于表观建模，如面部的几何形状、纹理和皮肤材质等，往往忽略了内部骨骼结构和表观模型之间的相关性。同时，考虑到对内部结构有需求的应用场景，如：医疗整容行业需要可视化人体内部结构在手术前后的效果对比。因此，考虑结合人体内部医学影像和外表扫描图像等多模态数据，同时对数字人内部的肌肉、骨骼、肌腱、脂肪、血管甚至神经等结构和外表皮肤进行建模，实现更加符合解剖学规律数字人的生成。

2、医学影像例如计算机断层扫描（computed tomography，ct)和磁共振成像（magnetic resonance imaging，mri)等技术则可以以非侵入的方式获取针对人体或人体部位的影像知识，为构建内部解剖结构正确的数字人提供数据支撑。ct图像提供了非常清晰的骨骼和器官轮廓信息，但是受试者面临高辐射照射的威胁，同时采集过程仅能在临床允许的情况下进行。mri扫描是一种安全的解决方案，可以在人体软组织（如肌肉、脂肪、肌腱和神经元）中提供良好的对比度。然而，由于人体软组织结构复杂，mri中骨骼结构不清晰，因此很难提取出与面部外观相关的解剖结构。除了以上采集过程，医学图像和数据的存储和共享过程中往往面临信息泄露的风险。通用数据保护法规（gdpr）通常需要对图像进行匿名化处理，即去除部分面部特征（例如使用freesurfer）或模糊面部，以保证测试对象的隐私，这也加剧了从医学图像中重建面部解剖结构的难度。

3、大多数现有的解剖约束参数化人体器官模型都基于公共ct、mri数据集或人工生成数据集。然而，基于数据驱动的器官解剖结构重建需要大量带有人工标注的ct或mri图像。但现有医学影像数据面临如下困难：（1）大量影像资料尚未数字化，且医院间的数据共享和互通程度较低，数据获取困难；（2）与自然图像相比，医学影像数据规模较小，一个数据集通常只含几百张图像；（3）大多数标注依赖人工识别，数据标注耗费大量人力财力。因此现存的医学影像数据集规模难以满足高质量、可扩展、自动化的过程，而临床的采集获取又面临以上种种挑战。近年来，随着高性能计算资源的快速普及，基于深度学习的数据生成技术已被广泛用于医学成像，因为与传统的图像处理算法相比，这些新方法在许多情况下提供了卓越的性能。

4、在获取大量的医学影像数据之后，需要高效、准确、稳健的3d头骨重建算法支持下游任务，为实现数字人参数化模型驱动的内外一致性提供基础。然而，头骨重建在数据准备方面也面临着多项挑战，包括但不限于以下方面：（1）辐射风险和数据采集困难：要构建准确的数字人，必须获得内外一致的数据。然而，获得精准的骨骼信息通常需要使用计算机断层扫描（ct）技术，而这种技术涉及高辐射照射，对被试者的健康构成风险，且数据采集相对困难。（2）姿势不一致和配准复杂性：内外一致数据通常需要来自不同受试者，他们可能具有不同的形状和姿势。这导致了数据的配准问题，使数据处理变得更加复杂。（3）标注困难和成本高昂：在ct影像中标注骨骼结构需要经验丰富的医生，通常需要数小时的耗时，并且标注的准确性因个体差异而异。这不仅耗时，还难以确保准确性，因此迫切需要一种方法，可以自动从外部mri图像中推断内部骨骼信息。（4）数据不完整和实际困难：在实际应用中，获取完全匹配的ct-mri数据对于受试者来说并不容易。此外，采集ct和mri数据不仅可行性低，而且可能对受试者的健康产生不必要的影响。

技术实现思路

1、针对上述存在的问题，本发明旨在提供一种面向数字人的跨模态医学影像配准方法、系统和设备，通过将模板ct图像与多个mri图像进行配准，实现了内部骨骼与mri外表面的一致性，避免了高辐射风险、减少了内外数据不一致和标注成本的问题，可用于为3d头骨重建任务提供依据。

2、为了实现上述目的，本发明所采用的技术方案如下：

3、一种面向数字人的跨模态医学影像配准方法，包括以下步骤：

4、s1：ct头骨模型数据和mri数据提取；

5、s2：通过平移、旋转和缩放操作，初步对齐ct与mri图像；

6、s3：基于ct头骨模型数据，训练基于形变图优化的配准模型；

7、s4：使用步骤s3中训练好的配准模型，输出与mri影像外表面掩膜相匹配的形变后的ct头骨三维网格，实现影像数据的配准。

8、进一步的，步骤s1中所述的ct头骨模型数据的提取包括以下步骤：

9、s101a：提取ct头骨模板掩膜和ct头骨模板标注点；

10、s102a：通过marching cubes算法，根据ct头骨模板掩膜生成ct头骨的三维网格；所述三维网格包括顶点、面以及法线信息；

11、s103a：坐标变换，使ct头骨模板标注点对齐到ct头骨三维网格的正确位置和尺寸。

12、进一步的，步骤s1中所述的mri数据的提取包括以下步骤：

13、s101b：提取一系列mri数据中的mri影像数据、mri影像外表面掩膜和mri影像头骨标注点；

14、s102b：使用marching cubes算法根据mri影像外表面掩膜生成mri面部的三维网格；

15、s103b：坐标变换，使mri影像头骨标注点对齐到mri面部三维网格的正确位置和尺寸。

16、进一步的，步骤s2的具体操作包括以下步骤：

17、s201：计算ct头骨三维网格和mri面部三维网格的中心差异，并执行平移，确保它们的原点对齐；

18、s202：执行绕x、y和z轴的旋转，确保两个模型的朝向一致；

19、s203：计算mri影像头骨标注点和ct头骨模板标注点之间的缩放比例，同时调整ct头骨三维网格和ct头骨模板标注点，使两种影像初步对齐；

20、s204：将ct头骨三维网格、mri面部三维网格和相应的点云以三维场景的形式展示并输出保存，确保两种影像的一致性。

21、进一步的，步骤s3的具体操作包括以下步骤：

22、s301：创建用于表示ct头骨三维网格形变的deformationgraph模型，该模型由控制节点和顶点组成；

23、s302：初始化随机梯度下降优化器，并以最小化总损失为目标，对deformationgraph模型的旋转和平移参数进行优化循环。

24、进一步的，步骤s302中所述的总损失 loss计算公式为：

25、；

26、式中，为旋转损失，为正则化损失、为一致性损失，、、分别表示旋转损失、正则化损失和一致性损失的权重。

27、进一步的，旋转损失、正则化损失和一致性损失的定义分别为：

28、；

29、；

30、；

31、其中，表示节点，表示的旋转矩阵，表示旋转矩阵的平方偏差，表示节点的数量；表示与节点相连的节点集合，是权重系数，表示节点的空间位置，表示实数集，表示大小为的节点的平移向量，表示二范数的平方；为变形后的顶点，向量是约束的指定位置，表示约束点的索引，从1到，表示约束点的个数，表示节点的空间位置，表示大小为的节点的平移向量。

32、进一步的，步骤s4的具体操作包括以下步骤：

33、s401：使用步骤s3中训练好的配准模型，通过ct_deformationgraph.predict函数预测ct头骨三维网格的形变，将得到的新的顶点位置应用到ct头骨模型上，从而实现ct头骨模型的形变；

34、s402：ct头骨三维网格通过形变图优化，将ct头骨模板标注点向mri影像头骨标注点拟合，最终输出与mri影像外表面掩膜相匹配的形变后的ct头骨三维网格，实现影像数据配准。

35、进一步的，本发明还包括一种面向数字人的跨模态医学影像配准系统，所述配准系统包括ct头骨模型数据提取模块、mri数据提取模块、ct与mri图像初步对齐模块和配准模型模块；

36、所述ct头骨模型数据提取模块和mri数据提取模块分别用于ct头骨模型数据和mri数据提取；

37、所述ct与mri图像初步对齐模块用于通过平移、旋转和缩放操作，初步对齐ct与mri图像；

38、所述配准模型模块用于对ct头骨模型和mri影像数据进行配准，输出与mri影像外表面掩膜相匹配的形变后的ct头骨三维网格；

39、所述ct头骨模型数据提取模块、mri数据提取模块、ct与mri图像初步对齐模块和配准模型模块基于如前所述的配准方法实现。

40、进一步的，本发明还包括一种面向数字人的跨模态医学影像配准设备，所述配准设备包括至少一个处理器；以及与所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如前所述的配准方法。

41、本发明的有益效果是：

42、1、本发明针对医学影像配准困难，成本高昂等问题，提出了以ct图像为模板配准到mri图像，同时获取内部骨骼标注信息和外部表观信息的配准方法。采用基于形变图优化的配准方法，将ct头骨模型形变以适应mri面部模型的形状，然后将模板ct图像与多个mri图像进行配准，以获得内部骨骼与mri外表面一致的数字人多模态数据集。该方法避免了传统数据集构建过程中常见的问题，如受试者高辐射风险、标注成本高和内外数据不一致等难题，为医学影像处理领域提供了更为可靠和可行的数据资源。

43、2、本发明仅使用一张清晰的ct图像，就可以通过配准得到每个mri图像的内部骨骼标注信息，从而构建内外一致的数字人多模态数据集，明显减少了数据集构建成本，并且有较高的精度，能够更准确地分析患者的医学影像数据，为临床诊断和治疗决策提供更可靠的依据，提升医疗领域的整体质量和效率；而且该方法减少了在医学图像配准和分析过程中的手动干预，有望提高整体自动化水平。