一种基于学习的AR辅助牙科治疗自动校准和导航方法与流程

本发明涉及生物医学工程，更具体地，涉及一种基于学习的ar辅助牙科治疗自动校准和导航方法。

背景技术：

1、口腔颌面外科是一门以外科治疗为主，以研究口腔器官、面部软组织、颌面诸骨、颞下颌关节以及颈部某些相关疾病的防治为主要内容的学科。计算机辅助治疗(cat)是一种常用的治疗方法，它改变了包括数字化牙科诊疗在内的许多不同医学领域的治疗方法，提高了效率和诊疗准确性，降低了对患者的影响，并能够辅助术前和术中的工作。已经开发的增强现实(ar)技术在计算机辅助治疗(cat)领域越来越受欢迎。增强现实技术通过将虚拟解剖结构叠加在真实患者上进行手术导航。

2、为了提高显示器校准程序的精度和可靠性，已有方案都是基于光学跟踪系统，光学跟踪系统使用多个标记作为动态参考系，这些标记牢固地固定在目标解剖结构上，以在动态参考系移动过程中跟踪目标移动的方向和姿势。在跟踪过程中，通常需要校准动态参考系和离线解剖结构之间的相对姿态，由于标记到目标配准中的误差可能分布在整个过程中，并且在标记插入过程中可能造成不必要的误差，因此，可以利用基于误差点或基于轮廓的配准。由此可知，在计算机辅助治疗中使用标记时，实现安全性和避免侵袭性是具有挑战性的。

3、在现有技术中，kellner等人提出了一种具有两阶段概念的几何校准方法(kellner f,bolte b,bruder g,et al.geometric calibration of head-mounteddisplays and its effects on distance estimation[j].ieee transactions onvisualization and computer graphics,2012,18(4):589-596.)，该方法跟踪六自由度头部附着标记和三自由度手动标记，改善了用户的交互方式。但该方法需要手动标记，降低了校准的效率和准确性。又如，jun等人提出了一种校准方法(jun h,kim g.a calibrationmethod for optical see-through head-mounted displays with a depth camera[c]//2016ieee virtual reality(vr).ieee,2016:103-111.)，利用低成本的飞行时间深度相机，进行了完全校准和简化校准两个阶段，以计算关键校准参数。但该方法要求用户使用指尖指向虚拟圆圈，不仅繁琐，而且绘制错误虚拟圆的几率很高，从而降低了校准的准确性。。

4、经分析，在口腔颌面外科数字化牙科诊疗领域，传统的基于ar的治疗依赖于光学标记和跟踪器，这使得治疗过程单一并且成本昂贵，而且使用基准标记、保留参考标记或在使用大型光学跟踪设备时，创建牙齿模型容易出现错误。这些基准标记和笨重的跟踪设备在使用时带来了困难，例如会对医生产生视线限制或由于标记移位而导致不准确等，这都增加了随后技术的复杂性，并需要对手术安排进行重大修改。此外，传统的计算机辅助治疗依赖于二维(2d)成像而不是感知三维(3d)图像来进行引导和导航，这导致医生对口腔的深度信息缺乏感知且造成了手眼协调的问题，因而牙科治疗领域的手术导航仍具有挑战性。

技术实现思路

1、本发明的目的是克服上述现有技术的缺陷，提供一种基于学习的ar辅助牙科治疗自动校准和导航方法。该方法包括以下步骤：

2、利用虚拟现实显示设备获取目标的3d下颌骨模型；

3、将所述3d下颌骨模型输入到经训练的特征点检测网络，识别出对应的多个特征点；

4、将所述多个特征点与对应的真实3d下颌骨模型的特征点对齐，以将虚拟现实显示设备下的虚拟模型校准并导航到真实模型上，其中，真实3d下颌骨模型的特征点利用深度相机检测；

5、基于多特征迭代最近点算法，将虚拟环境和真实环境结合起来，完成虚拟投影在真实环境中的显示。

6、与现有技术相比，本发明的优点在于，实现了数字化口腔治疗中基于增强现实(ar)的无标记校准和导航，可用于基于头戴式显示器的可视化增强现实，通过提高虚拟到真实距离之间的深度图质量，使头戴式显示器中的虚拟模型校准过程完全自动化，提高了校准的效率和准确率。

7、通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

技术特征：

1.一种基于学习的ar辅助牙科治疗自动校准和导航方法，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述特征点检测网络是全卷积网络模型，包含编码器和解码器，且编码器和解码器之间设置跳跃连接，编码器使用卷积和池化操作来计算具有空间分辨率递减和深度信息递增的特征图，解码器使用转置卷积和逐元素融合来生成与输入图像空间维度相同的类得分图，所述全卷积网络模型的输出用于标记3d下颌骨模型的特征点。

3.根据权利要求2所述的方法，其特征在于，所述全卷积网络模型针对输入的rgb图像识别出每个像素位置处的多个类别概率值的多通道概率图，通过将概率与来自输入帧的深度信息相结合，对下颌骨特征点进行标记，所述多个类别包含背景、下颌骨和特征点。

4.根据权利要求1所述的方法，其特征在于，根据以下公式实现显示像素点p(s)和3d实点v(m)之间的配准：

5.根据权利要求1所述的方法，其特征在于，采用以下公式将虚拟投影在真实环境中的显示：

6.根据权利要求5所述的方法，其特征在于，在将虚拟投影在真实环境中的显示过程中，将重投影误差大于设定阈值的点，作为异常值样本进行剔除，所述重新投影误差根据以下公式计算：

7.根据权利要求1所述的方法，其特征在于，所述虚拟现实显示设备是头戴式ar显示器，在该头戴式显示器顶部集成深度rgb相机。

8.根据权利要求1所述的方法，其特征在于，所述特征点检测网络的训练数据集根据以下步骤构建：

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本发明公开了一种基于学习的AR辅助牙科治疗自动校准和导航方法。该方法包括：利用虚拟现实显示设备获取目标的3D下颌骨模型；将所述3D下颌骨模型输入到经训练的特征点检测网络，识别出对应的多个特征点；将所述多个特征点与对应的真实3D下颌骨模型的特征点对齐，以将虚拟现实显示设备下的虚拟模型校准并导航到真实模型上，其中，真实3D下颌骨模型的特征点利用深度相机检测；基于多特征迭代最近点算法，将虚拟环境和真实环境结合起来，完成虚拟投影在真实环境中的显示。本发明提高了牙科治疗自动校准和导航的效率和准确性。

技术研发人员：夏泽洋,凡在,熊璟
受保护的技术使用者：深圳先进技术研究院
技术研发日：
技术公布日：2024/1/15