一种基于全景X线片和口扫数据的牙齿三维重建方法

本发明涉及三维重建，具体而言，涉及一种基于全景x线片牙齿分割方法、牙齿三维重建方法并和口扫三维数据相融合的牙齿三维重建方法。

背景技术：

1、传统的方式无法对口腔诊断和治疗过程充分有效表达，口腔疾病由于其复杂性以及患者与牙医的专业知识存在差距，导致患者无法全面准确了解自身的病情从而会产生一定的心理压力。为了建立医患之间的信任，可以借助计算机辅助手段缓解患者的焦虑。全景x线片是牙科实践中用于虚拟治疗计划和患者管理的最广泛的数字模型之一。虚拟治疗计划中的一个关键步骤是用高保真和准确的解剖信息准确描绘全景x线片中的所有牙齿骨骼结构。以前的研究已经建立了几种使用深度学习的全景x线片分割方法。然而，全景x线片固有的分辨率差异以及咬合和牙列信息的丢失在很大程度上限制了其临床适用性。在这里，提出了一个牙齿三维重建框架，该框架由全景x线片分割模型、口内扫描(ios)分割模型(最精确的数字牙科模型)和融合模型组成，以生成具有高保真度和准确咬合和牙列信息的三维牙齿结构。该模型可以在整个正畸治疗过程中可视化牙齿结构，有助于提高数字牙科模型的质量，并帮助牙医做出更好的临床决策。

2、口腔临床中治疗前的检查手段主要包括两种，一是利用x光机扫描全景x线片，二是利用锥形束投照计算机重组断层影像产生cbct(cone beam ct)图像。x线片由x光机在患者头部周围移动，因此只能获取表面2d全景信息，限制在疾病诊断位置的精确性。cbct成像技术可以展示患者全方位的组织结构信息(包括整个口腔的牙齿、下颌骨和上颌骨)，医生借助后处理软件可以观察不同组织结构的内外部结构。但是在cbct扫描过程中，患者需要接受更多的辐射剂量和支付更高的价格。因此，基于全景x线片图像，设计精准的口腔疾病诊断方法，恢复具有真实感的三维口腔结构是专利关注的重点。

3、基于深度学习的单幅图像三维重建是计算机视觉、医学图像处理和虚拟现实中的一个常见课题。基于深度学习的三维物体重建方法是训练神经网络学习二维图像和三维物体之间的映射关系。计算机视觉相关理论和技术的主要目的是从图像或多维数据中获取信息，建立人工智能系统。图像的三维重建是计算机视觉的主要任务之一，其目的是研究单幅图像或多幅图像生成相应的三维结构。根据重建目标的不同，图像的三维重建可分为三维场景重建和三维物体重建。单视图三维场景重建的一大挑战是从单幅图像中预测不可见的部分。多视点三维场景重建和多视点三维物体重建可以整合多幅图像的信息，弥补单幅图像预测不确定性对不可见部分的缺陷。与传统的多视图三维重建方法和模型相比，深度学习具有处理大数据的能力。因此，近年来有很多将传统方法与深度学习相结合的研究。

4、注意力机制(attention mechanism)是人们在机器学习模型中嵌入的一种特殊结构，核心思想就是基于原有的数据找到数据之间的关联性，然后突出其某些重要特征，注意力机制是上世纪九十年代，一些科学家在研究人类视觉时，发现的一种信号处理机制。人工智能领域的从业者把这种机制引入到一些模型里，并取得了成功。目前，注意力机制已经成为深度学习领域，尤其是自然语言处理领域，应用最广泛的“组件”之一。

技术实现思路

1、本技术所要解决的问题在于全景x线片图像无法提供有关牙齿体积或其空间定位的3d信息和现有重建方法精度低的问题，本发明提供了一种基于全景x线片和口扫数据的牙齿分割方法、牙齿三维重建方法和三维数据融合方法下的牙齿三维重建，从而高效获得高精度的牙齿模型。

2、针对现有技术的上述缺陷，本发明利用编码器和解码器的网络结构来提取图像上下文特征信息和深度信息；利用全景x线片实例分割模块获取牙齿实例分割图来对牙齿进行定位，以解决牙齿位置错乱问题；利用重建网络模块获取带有牙根的低精度牙齿三维模型；利用ios分割网络模块获取不带牙根的高精度牙齿三维模型；最后将两个三维模型相融合获得带有牙根的高精度牙齿三维模型。

3、为了解决上述技术问题，本发明提出一种通过融合口扫数据和全景x线片与深度学习重建三维牙齿模型的系统，其特征在于，包括：

4、全景x线片实例分割模块：通过特征提取网络提取全景x线片中上下文特征信息和深度信息，特征提取网络为由2d卷积组成的一个编码器-解码器结构；提取的特征图作为输入传入到实例分割和重建网络中；特征提取网络利用跨步卷积进行下采样，使用转置卷积进行上采样，以及通过将不同特征层之间的通道连接进行特征融合；将特征图输入到实例分割网络中，经过去噪、裁剪、填充得到全景x线片的实例分割图；

5、重建网络：为由2d和3d卷积组成的编码器-解码器结构；编码器采用二维卷积，其输出被压扁为一维特征向量，用于全连接操作；其中分割模块的分割结果用于确定重建模块中的牙齿位置；解码器则利用三维卷积将该特征向量映射到目标维度；将采用三次b样条曲线的方法拟合出牙弓曲线，并将牙弓曲线和重建网络的输出重建出低精度牙齿模型；

6、ios分割模块：将口扫网格数据采样成点云，再将点云输入到ios分割网络中的点独立全局注意模块，通过向共享mlp发送f来将特征通道的数量降到1，然后使用softmax进行归一化，得到全局注意图

7、

8、其中ωi是ω的第i个元素。在得到注意图后，首先对所有点进行注意池化，获得全局上下文特征；然后应用两个fc层来学习通道相关的依赖关系；最后，将输出特征堆叠成n个副本，通过元素相乘与f连接，得到特征映射g；整个过程表述为：

9、

10、⊙表示表示对应位置元素相乘，

11、为了以较低的计算成本和内存对长期的点相关依赖进行建模，引入点相关全局注意模块，首先通过随机抽样对3d点云进行重新排序；然后，将特征图g发送到两个随机交叉注意模块，分别生成和最后，h”和g发送到点自适应聚合块，用于聚合更多的特征映射x，然后经过两个全连接层将牙齿和牙龈进行分割；

12、融合模块：以ios点云为参考，删除属于全景x线片重建的牙冠的点；根据全景x线片中的点云到ios点云构造的kdtree的欧氏距离来识别这些点；这些点基于欧氏距离进行排序，并删除这些点的启发式部分。可能存在属于全景x线片冠部但未移除的点；通过对全景x线片中检测此类孤立点的其余点应用简单的dbscan算法，可以删除这些点；从ios和重建的全景x线片网格中得到基于融合点云和原始法线的重建牙齿三维模型。

13、与现有技术相比，本发明的有益效果是：主要包括以下几个方面：

14、一、本技术提出在ios分割网络中加入超强通道注意力模块，在复杂度和计算量不变的基础上可以有效提高网络的分割精度；针对缺乏表征能力的情况，拟加入点独立全局注意模块，从而捕捉图像中的多尺度信息。

15、二、本技术基于深度学习的融合框架，用于自动准确的牙齿重建和分析，全景x线片的局限性阻碍了其临床应用。ios扫描显示出最高的精确度，但遗漏了牙根的信息。全景x线片和ios模型的局限性促使了多模式融合系统的设计。

16、三、本技术基于深度学习的三维物体重建方法，通过训练神经网络学习二维图像和三维物体之间的映射关系来重建牙齿三维模型，提高数字牙科模型的质量，并帮助牙医做出更好的临床决策。

17、根据下文结合附图对本技术的具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述以及其他目的、优点和特征。