一种基于多模态融合的颞下颌关节运动系统性还原方法与流程

本发明涉及颞下颌关节运动还原，具体地说是一种基于多模态融合的颞下颌关节运动系统性还原方法。

背景技术：

1、口颌系统包括多个元件，是一个相互制约而又相互协调的整体。对口颌系统功能紊乱的患者进行全面的评估，充分了解牙列静态和动态接触状态、颞下颌关节结构以及运动协调性，对认识其疾病发生的原因、咀嚼系统尤其是颞下颌关节损害的程度以及疾病的转归尤为重要，也是后续治疗的基础。近年来，随着数字化技术的发展，将ct、口内外扫描数据、电子面弓下颌轨迹数据进行多模态数据融合已经成为可能，能更全面地对颞下颌关节及咬合功能进行评估。

2、电子面弓是使用数字化技术模拟人体颌骨及关节移动的一种技术，对于颌关节疾病的诊断以及牙齿修复和矫治都有很好的作用。传统的面弓技术需要使用精密的机械装置，操作复杂，器材携带困难，表达信息有限；而现有的电子面弓技术全部属于外国医疗器械公司，大多采用传感器方案，使用光学传感器、运动传感器等进行颌骨运动数据的采集，设备价格极其高昂。因此，需要兼顾经济性与实用性的全新技术方案。

3、随着现代医学的发展，越来越多临床辅助检查方法争相出现，有多种模态的医学数据可供辅助诊治疾病。解剖图像主要描述人体形态信息如锥形束ct（cone-beamcomputedtomography， cbct）、磁共振成像（magnetic resonance imaging,mri）、x线片、超声等；功能图像主要描述人体代谢、功能信息，如正电子发射断层扫描（pet）、单光子发射计算机断层成像术（spect）；此外还可以通过多种途径获取机体某部分的运动轨迹等，这些信息通常单一应用，在疾病的诊治中起到重要的作用。但是，在某些情况下，以上单一模态数据的评估方法或多或少存在缺陷，且相互之间缺少联系，而将这些不同的医学数据整合为一体，即为多模态数据融合，能综合多种辅助手段的优点。

4、将多模态数据融合理念应用在口颌系统的评估中，很大程度上可以帮助口腔医生更全面的诊治口颌系统疾病。因为关于口颌系统的评估，系统内的元件不是孤立的，应将静态的牙合与动态的咬合、颞下颌关节、口颌系统肌肉相关联，从整体的功能关系观察。对颞下颌关节、动静态咬合与肌肉有一个全局的判断，一定程度上可规避治疗风险、减少患者就诊次数，辅助制定远期的治疗方案，有利于多学科之间的合作以获得更加满意的治疗效果。

5、多模态数据融合是指经过计算机数字化和医学图像配准处理，使其内外部特征在空间坐标上相匹配，即可得到一种全新的更全面的融合影像。适当的多模态数据融合可为疾病的诊治提供线索，最大限度提取各影像中的有用信息。而在口腔医学临床中，有多种类型数据可作为多模态融合的基础，如dicom、stl或obj以及xml等。dicom格式的文件由cbct获取，stl则是牙列扫描所存储的基本格式，下颌运动轨迹通常存储为xml文件，其采集设备包括机械式或基于磁电量转换、超声定位或光学定位的三维描记仪。多模态数据融合的目的旨在将以上至少两种不同类型数据进行三维空间的配准，使其在同一时间、同一空间内反映出全面的诊疗信息。而且现有的多模态技术还没有导出下颌骨轨迹信息的功能，并且也不能根据医生的需求任意修改髁突的指定位置，颜面部的模型也不可以跟着下颌骨的运动一起运动以及能够根据设定的微笑、特殊字发音等动作进行的独立运动，以方便医生查看患者的在做这些运动时候牙齿的露出情况。

技术实现思路

1、本发明的目的是针对现有技术存在的问题，提供一种基于多模态融合的颞下颌关节运动系统性还原方法。

2、本发明的目的是通过以下技术方案解决的：

3、一种基于多模态融合的颞下颌关节运动系统性还原方法，其特征在于：该方法步骤如下：

4、a、采用口腔cbct设备获取患者口腔静态ct数据、手机或者平板拍摄获取患者面部静态数据、采用口腔扫描设备获取患者牙齿的静态扫描上颌模型和静态扫描下颌模型；

5、b、为患者粘结标记板，采用扫描设备获取患者扫描咬合模型、采用固定设置的手持拍摄设备拍摄获取患者口腔运动视频以及校准视频；

6、c、基于步骤a中的患者口腔静态ct数据，获得ct头颅上颌模型、ct下颌骨下颌模型、ct面部模型；

7、d、将步骤a中的患者面部静态数据转化为带有纹理的面部三维模型，然后与步骤c中的ct面部模型配准，获得面部配准模型；

8、e、以步骤b中的患者扫描咬合模型为基准、将步骤a中的静态扫描上颌模型和静态扫描下颌模型移动配准至患者扫描咬合模型上并融合为口扫配准融合模型，以步骤c中的ct头颅上颌模型为基准、将口扫配准融合模型移动配准至ct头颅上颌模型上，以口扫配准融合模型为基准、将步骤c中的ct下颌骨下颌模型和步骤b中的标记板对应的标记板模型移动配准至口扫配准融合模型上；

9、f、在步骤e的配准基础上，将口扫配准融合模型中的静态扫描上颌模型、标记板模型中的上标记板模型、ct头颅上颌模型绑定，得到头颅上颌绑定模型；将口扫配准融合模型中的静态扫描下颌模型、标记板模型中的下标记板模型、ct下颌骨下颌模型绑定，得到下颌骨下颌绑定模型；

10、g、基于步骤b中的校准视频和患者口腔运动视频获得患者口腔运动视频每一帧中的标记板空间位置坐标数据；

11、h、将步骤g中的标记板空间位置坐标数据中的动态的下标记板位置数据绑定到步骤f中的下颌骨下颌绑定模型上，获得下颌骨下颌动态绑定模型；

12、i、将步骤d中的面部配准模型、步骤f中的头颅上颌绑定模型与步骤h中的下颌骨下颌动态绑定模型相结合，获得具有下颌骨下颌动态信息的患者颅骨颜面部动态模型，从而精准还原患者口腔真实状态。

13、所述步骤a中的口腔cbct设备能够拍摄到髁突位置，进而获得包括髁突位置的患者口腔静态ct数据。

14、所述步骤a中的患者面部静态数据获得方法为：采用手机或者平板对患者的面部进行拍照，获取至少三排、每排5张以上的照片，拍照时患者的面部左右转动角度为±60°、面部上下俯仰角度为±50°，拍摄内容包含微笑开口状态和正常闭口状态的动作。

15、所述步骤b中的标记板包括上标记板和下标记板，上标记板和下标记板分别粘结到上下牙列的唇颊侧；所述步骤b中的患者扫描咬合模型包括标记板和上颌或者下颌粘接的部分。

16、所述步骤b中的患者口腔运动视频包括但不限于口腔的左侧方运动、右侧方运动、前伸运动、前伸最大运动、后退位运动、最大开口运动；所述步骤b中的手持拍摄设备的拍摄视角垂直于标记板中的上标记板和下标记板的中心位置，手持拍摄设备一般选用手机、平板电脑或其它能够将数据实时传输给控制系统（如电脑）的拍摄设备；所述步骤b中的校准视频与患者口腔运动视频的手持拍摄设备的焦距一致。

17、所述步骤d中的患者面部静态数据使用点云三维重建算法转为带有纹理的面部三维模型，然后将面部三维模型导入到步骤c中的ct面部模型中进行配准。

18、所述步骤d和所述步骤e中的配准是指：首先确定移动模型、基准模型；然后在移动模型、基准模型上各选取至少三个非共线特征点，移动模型、基准模型上的三个非共线特征点一致且需要一一对应；然后通过icp算法将移动模型移动配准到基准模型上。

19、所述步骤g中的标记板空间位置坐标数据的获得方法为：引入步骤b中的校准视频、通过校准算法算出手持拍摄设备的内参矩阵a和畸变系数b，并存储为校准文件；引入步骤b中的患者口腔运动视频，采用姿态估计算法与校准文件相结合，计算出患者口腔运动视频中的标记板的空间位置在虚拟三维坐标体系中的平移向量t和旋转向量r，然后通过罗德里格斯公式将旋转向量转为3x3旋转矩阵，在3x3旋转矩阵中加入平移向量，最后组合为4x4变换矩阵，用于表示获得患者口腔运动视频的每一帧中的标记板空间位置坐标数据。

20、所述步骤g和步骤h中的标记板空间位置坐标数据包括上标记板空间位置坐标数据和下标记板空间位置坐标数据，需要将上标记板空间位置坐标数据的平移向量t和旋转向量r转移给下标记板空间位置坐标数据，得到用于绑定到步骤f中的下颌骨下颌绑定模型上的动态的下标记板位置数据。

21、依次连接步骤h中的下颌骨下颌动态绑定模型中的相邻两帧视频中的下标记板空间坐标的点，并基于下颌切点与下标记板粘接的中心牙位置一致、以及左髁突和右髁突与下颌切点的位置关系，获得下颌切点运动轨迹、左髁突运动轨迹和右髁突运动轨迹；所述的下颌切点运动轨迹、左髁突运动轨迹和右髁突运动轨迹能够计算出患者口腔的个性化运动特征参数。

22、本发明相比现有技术有如下优点：

23、本发明提供了一种使用刚性连接标志物和计算机视觉算法识别的方法，从视频图像中直接采集颌骨运动数据，并经过优化处理，在人体头骨模型上进行运动重现及可视化，能够做到快速准确的轨迹重现，帮助医生进行咬合检测，简化原先繁琐的调试工作，提高医疗效率和质量，同时兼顾经济性。

24、本发明的基于计算机视觉的数字面弓方法能保证精确度，且计算迅速，等待时间短，能够帮助口腔科医生获取颌骨运动数据。

25、本发明的还原方法与其他已有的传感器方案相比，成本低廉；本发明的技术路线仅仅需要手机或平板拍摄视频，即可获得下颌骨动态信息的采集,有效降低方案成本。

26、本发明的还原方法与其他已有的技术方案相比，操作简便；以往的电子面弓和机械面弓都需要医生亲手进行操作，但是本发明仅需采用固定设置的手持拍摄设备拍摄即可完成视频的采集，简单快捷。