牙科用三维数据处理装置及其方法与流程

本发明涉及一种牙科用三维数据处理装置及其方法，尤其涉及一种能够基于牙齿数据及关于面部的图像数据判断牙齿与颞颌关节之间的相关关系来诊断咬合状态并分析牙齿及颞颌关节的运动的牙科用三维数据处理装置及其方法。

背景技术

通常，人的牙齿与颞颌关节连接而根据颞颌关节的运动程度及方向具有复杂的运动。

尤其，在颞颌关节的运动偏离正常运动的情况下，会影响与牙齿模型的咬合，因此有必要判断其运动。

以往，为了对颞颌关节出现问题的患者进行诊断，在生成牙齿模型之后，将牙齿模型安装于咬合器，进而从咬合器提取关于咬合的信息，从而判别咬合状态。

然而，不同人的颞颌关节及牙齿的咬合状态不同，咀嚼习惯不同，但咬合器具有预定形态而无法对应于所有人，因此即使根据从咬合器提取的关于咬合状态的信息对牙齿模型进行校正，并使用于对患者的治疗，应用于全部患者时也存在限制。

为了解决上述问题，提出了将预定装置安装于患者的口腔内后追踪其运动的方案，然而患者会感到不适，并且由于装置插入口腔内，所以妨碍牙齿的运动而无法提取准确的运动，因此难以进行诊断。

因此，需要提供一种能够更便于提取人的牙齿及颞颌关节的运动，并将颞颌关节的运动应用于牙齿模型而灵活应用于患者的牙齿模型校正及治疗的方案。

另外，韩国公开专利第10-2015-0082428号(2015.07.15.公开)作为现有技术，公开了关于通过口腔内三维扫描推测从特定的扫描到下一次扫描为止的运动轨迹并对运动轨迹进行补偿的技术。

技术实现要素：

技术问题

本发明涉及一种牙科用三维数据处理装置及其方法，其目的在于提供一种能够基于牙齿数据及关于面部的图像数据判断牙齿与颞颌关节之间的相关关系，从而诊断咬合状态并分析牙齿及颞颌关节的运动，从而能够诊断患者的状态并据此生成牙齿模型并校正的牙科用三维数据处理装置及其方法。

技术方案

根据本发明的牙科用三维数据处理装置包括：输入部，输入牙齿数据及关于人的面部的图像数据；控制部，将所述牙齿数据与所述图像数据结合并对齐而生成三维对齐数据；运动提取部，从所述图像数据分析牙齿或颞颌关节的移动而生成轨迹数据；以及模拟部，将所述轨迹数据应用于所述对齐数据而模拟牙齿或颞颌关节的运动。

并且，所述牙齿数据可以包括通过牙科扫描仪生成的扫描数据以及通过ct或mri测量的包含牙齿形状的面部骨骼数据中的任意一种。

并且，所述图像数据可以是实时获取的具有连续性的数据。

并且，所述牙科用三维数据处理装置还可以包括：模型生成部，基于所述对齐数据、所述轨迹数据及所述模拟部的模拟结果对牙齿进行设计而生成反映牙齿的形状及运动的牙齿模型。

并且，所述牙科用三维数据处理装置还可以包括：模型校正部，判断由所述模型生成部生成的所述牙齿模型的干扰因素，进而传递至所述模型生成部。

并且，所述模型校正部可以根据所述轨迹数据测试所述牙齿模型而判断是否发生干扰，进而将校正数据输入至所述模型生成部。

并且，所述控制部可以将所述扫描数据与所述图像数据对齐，并据此判断咬合状态。

并且，所述控制部可以将所述面部骨骼数据与所述图像数据对齐，进而追踪颞颌关节的位置及运动。

并且，所述图像数据可以是扫描露出牙齿的面部的图像数据，所述控制部可以将所述图像数据中包括的牙齿与所述牙齿数据进行匹配并对齐。

并且，所述运动提取部可以分析关于正在运动的牙齿的实时所述图像数据而提取特征点，并追踪所述特征点的移动而检测牙齿的运动。

并且，所述运动提取部可以对贴附于牙齿的靶进行扫描并分析所述靶的运动，进而检测牙齿的运动。

并且，所述牙科用三维数据处理装置还可以包括：输出部，输出在所述模拟部以使所述对齐数据根据所述轨迹数据运动的方式进行模拟的结果。

并且，所述模拟部可以将所述牙齿数据的移动轨迹及干扰面显示于屏幕，所述控制部可以通过模拟来检测颞颌关节的旋转轴。

根据本发明的另一侧面的牙科用三维数据处理方法包括如下步骤：输入通过牙科扫描仪生成的扫描数据、通过ct或mri测量的包含牙齿形状的面部骨骼数据中的任意一种；输入关于人的面部的图像数据；结合所述扫描数据及所述面部骨骼数据中的任意一种与所述图像数据并进行对齐，进而生成对齐数据；从所述图像数据分析牙齿或颞颌关节的移动而生成轨迹数据；将所述轨迹数据应用于所述对齐数据而模拟牙齿或颞颌关节的运动。

并且，所述牙科用三维数据处理方法还可以包括如下步骤：对应于所述对齐数据、所述轨迹数据及模拟结果对牙齿进行设计而生成反映牙齿的形状及运动的牙齿模型。

并且，所述图像数据可以包括扫描人闭嘴静止的面部的一次图像数据以及在人的牙齿露出的状态下扫描面部的二次图像数据中的至少一种。

并且，在输入所述图像数据的步骤中，可以利用扫描人的面部的数据识别距离，执行颜色纹理匹配而将面部3d数据作为所述图像数据生成，并且提取法兰克福平面、鼻翼平面、咬合基准平面。

并且，在生成所述对齐数据的步骤中，可以将所述扫描数据及所述面部骨骼数据中的任意一种与所述图像数据中所包括的牙齿进行匹配并对齐。

并且，在生成所述对齐数据的步骤中，可以将所述扫描数据与所述图像数据对齐，并据此判断咬合状态。

并且，在生成所述轨迹数据的步骤中，可以从实时输入的所述图像数据追踪牙齿或颞颌关节的运动。

并且，所述图像数据可以是扫描贴附于牙齿的靶的数据，在生成所述轨迹数据的步骤中，可以从所述图像数据检测所述靶，进而检测牙齿的运动。

并且，在生成所述轨迹数据的步骤中，可以从所述图像数据提取牙齿的特征点，并追踪所述特征点的移动而生成所述轨迹数据。

并且，所述牙科用三维数据处理方法还可以包括如下步骤：针对所述牙齿模型，利用所述轨迹数据感测牙齿干扰，进而对所述牙齿模型进行校正。

有益效果

对于如上所述地构成的根据本发明的牙科用三维数据处理装置及其方法，提取牙齿及颞颌关节的运动而应用于牙齿模型，从而能够更准确且精密地诊断牙齿状态，并且可以分析根据牙齿及颞颌关节的运动的咬合状态，并且能够基于运动及咬合状态准确地分析患者的状态来树立治疗对策，且能够生成适合于患者状态的牙齿模型并进行校正，从而能够提高治疗效果。

附图说明

图1是示意性地图示根据本发明的牙科用三维数据处理装置的构成的框图。

图2是图示根据本发明的牙科用三维数据处理装置的数据流动的图。

图3及图4是图示通过本发明的牙科用三维数据处理装置处理的数据的示例的图。

图5是在人的头盖骨图示牙齿及颞颌关节的图。

图6是图示根据本发明的牙科用三维数据处理装置的面部扫描的示例的图。

图7是图示根据本发明的牙科用三维数据处理方法的流程图。

具体实施方式

参照附图以及后文中详细记载的实施例将明确本发明构思的优点、特征以及达成其的方法。然而，本发明并不限定于以下公开的实施例，而能够实现为互不相同的多种形态，本实施例仅仅使本发明的公开完整，并且为了将发明的范围完整地告知于本发明构思所属领域中具有基本知识的技术人员而提供，本发明仅由权利要求范围定义。在整个说明书中，相同的附图符号表示相同的构成要素。

以下，参照附图对本发明的实施例进行具体说明。

图1是示意性地图示根据本发明的牙科用三维数据处理装置的构成的框图。

如图1所示，根据本发明的牙科用三维数据处理装置包括：输入部120、数据分析部130、运动提取部140、模拟部150、模型生成部160、控制部110、模型校正部170、输出部180、数据部190。

输入部120配备有至少一个输入单元来接收用于生成牙齿模型的数据。

首先，输入部120接收牙齿数据及人的面部的图像数据。在此，牙齿数据包括通过牙科扫描仪生成的扫描数据以及包含通过ct或mri(磁共振成像)测量的牙齿形状的面部骨骼数据中的任何一个。

为了获取通过所述牙科扫描仪生成的扫描数据，可以使用牙科扫描仪或牙科3d扫描仪，并且还可以包括用于拍摄运动的拍摄单元。输入部120接收通过所述扫描仪或拍摄单元获取的二维或三维扫描数据。

并且，为了获取包含人的牙齿形状的面部骨骼数据，输入部120可以连接于诸如x射线、计算机断层扫描(ct：computedtomography)、磁共振成像(mri：magneticresonanceimaging)等装置来接收包含牙齿形状的面部骨骼数据，并且可以接收已拍摄并存储的数据。

并且，输入部120以与所述牙齿数据独立的方式接收在各个不同表情下拍摄的关于人的面部的图像数据。在此，所述图像数据包括在人闭嘴静止状态下扫描面部的图像数据(一次图像数据)以及扫描露出牙齿的面部的图像数据(二次图像数据)。在此，所述图像数据为实时输入的数据，优选为具有连续性的数据，并且可以是二维或三维的扫描数据。

另外，输出部180将通过输入部120输入的牙齿数据或图像数据输出至屏幕，并且输出关于数据处理的整个过程的进行状态。并且，输出部180将根据运动提取或模拟的牙齿的运动输出至屏幕。在此，输出部180可以包括输出并显示数据的显示单元，还可以包括输出进行状态及警告声的扬声器或操作灯。

在数据部190存储有通过输入部120输入的牙齿数据、图像数据、在数据分析部130及控制部110的操作中生成的数据、由后述的模型生成部160生成的牙齿模型的数据。

数据分析部130对通过输入部120输入的牙齿数据、关于人的面部的图像数据进行分析，从而使牙齿数据与图像数据易于结合。具体而言，数据分析部130可以基于对人的面部扫描的图像数据识别距离，执行颜色纹理匹配以生成面部3d数据而作为所述图像数据，并且提取法兰克福平面(frankfurt'splane)、鼻翼平面(camperplane)、咬合基准平面等。

另外，运动提取部140分析对正在运动的牙齿的实时图像数据而提取特征点，并追踪所述特征点的运动而检测牙齿的运动。运动提取部140追踪所述特征点的运动而生成牙齿的轨迹数据。

即，运动提取部140通过实时输入的关于面部的图像数据对关于运动的牙齿数据进行实时分析而获取三维的坐标。运动提取部140可以追踪获取的坐标的移动而生成轨迹数据，并且根据人提取不同的牙齿及颞颌关节的运动。

控制部110接收输入的牙齿数据、图像数据、包含牙齿的运动的数据并对齐(align)，并据此判断咬合状态。

具体而言，控制部110可以将牙齿数据中的扫描数据与所述图像数据对齐以判断据此的咬合状态而应用于诊断。并且，控制部110可以将牙齿数据中的面部骨骼数据与所述图像数据对齐以追踪颞颌关节的位置及运动。由于所述图像数据是测量实际人的面部的数据，因此具有能够准确地进行所述咬合状态的判断或颞颌关节的位置及运动的追踪而具有进一步提高诊断准确性的优点。

另外，控制部110将输入的牙齿数据，即扫描数据或ct拍摄的面部骨骼数据，与面部图像数据对齐而生成咬合的三维的数据。在此，控制部110在将ct拍摄的面部骨骼数据与面部图像数据对齐的情况下，以颞颌关节为基准进行对齐。

控制部110除了在人闭嘴静止状态下扫描面部的一次图像数据之外，还接收扫描人发出“yi”或“a”的状态的牙齿的二次图像数据而用作颚骨与牙齿的合并基准数据。即，所述二次图像数据是扫描人张开嘴露出牙齿的状态的面部的数据，与一维图像数据不同地，包括关于牙齿的扫描信息，因此可以作为对齐时结合的基准，控制部110可以将二维图像数据中包含的牙齿与所述牙齿数据匹配，从而准确并快速地诊断牙齿的咬合状态及颞颌关节的状态。

控制部110将运动提取部140的轨迹数据与对齐的三维对齐数据传送至模拟部150。

另外，模拟部150以使对齐的三维的对齐数据根据轨迹数据移动的方式进行模拟，并通过输出部180输出。此时，在模拟对齐牙齿数据与图像数据的三维的数据的情况下，模拟部150对颞颌关节的移动进行模拟。

模拟部150将牙齿数据的移动轨迹及干扰面显示于屏幕，控制部110通过模拟检测颞颌关节的旋转轴。

控制部110将基于轨迹数据、颞颌关节的旋转轴、扫描数据或ct拍摄的面部骨骼数据的三维对齐数据传送至模型生成部160。

模型生成部160基于接收到的所述对齐数据、所述轨迹数据及所述模拟结果(颞颌关节的旋转轴等)设计牙齿而生成反映牙齿的形状及运动的牙齿模型。

模型校正部170根据轨迹数据测试由模型生成部160生成的牙齿模型来判断是否发生干扰。模型校正部170将关于发生干扰的位置或强度的信息传递至模型生成部160，从而模型生成部160应用关于干扰的数据来生成避免干扰的最终牙齿模型。

图2是图示根据本发明的牙科用三维数据处理装置的数据流动的图。

如图2所示，牙科用三维数据处理装置通过输入部120接收多个数据(10)。

例如，通过牙科扫描仪生成的扫描数据11、通过ct或mri测量的包含牙齿形状的面部骨骼数据12作为基本牙齿数据输入。此时，即使仅输入牙齿的扫描数据11与面部骨骼数据12中的任意一种也能够实现对牙齿状态的诊断。

并且，通过输入部120输入关于人的面部的一次图像数据13及二次图像数据14。

一次图像数据及二次图像数据都是对人的面部进行扫描的数据，一次图像数据是在人闭嘴的状态下拍摄的扫描数据，二次图像数据为对露出牙齿的状态的面部进行扫描的数据，例如是人在发出“yi”的状态下或发出“a”的状态下拍摄的数据。

一次图像数据及二次图像数据将颜色纹理应用于面部的3d数据，并在查找法兰克福平面、鼻翼平面、咬合基准面(咬合平面)等时使用。对于二次图像数据14的情况而言，由于包括牙齿的一部分，因此可以作为对齐时的结合的基准。

并且，通过运动提取部140追踪牙齿的运动而输入牙齿的轨迹数据15。

另外，在利用牙齿的扫描数据11或面部骨骼数据12与二次图像数据14进行对齐的情况下(20)，生成对齐数据(21)。

具体而言，从牙齿数据中的扫描数据11与二次图像数据14执行牙齿对齐，从面部骨骼数据12与二次图像数据14执行颞颌关节对齐。

模拟部150基于轨迹数据15模拟对齐数据(21)的三维数据的牙齿运动(30)。

通过模拟，通过输出部180显示牙齿或颞颌关节的运动，控制部110寻找颞颌关节的轴。在此，对应利用扫描数据11及二次图像数据14的牙齿对齐数据而言，基于牙齿数据寻找颞颌关节的轴，对于利用面部骨骼数据12及二次图像数据14的颞颌关节对齐数据而言，从ct数据寻找颞颌关节的轴。

基于通过模拟检测的颞颌关节的轴、对齐数据、轨迹数据进行牙齿设计(40)，进而生成牙齿模型。模型校正部170检测牙齿干扰而向模型生成部160输入校正数据(50)，从而模型生成部160生成消除牙齿干扰的最终牙齿模型(60)。

图3及图4是图示通过本发明的牙科用三维数据处理装置处理的数据的示例的图。

在图3中图示了牙齿数据中通过牙科扫描仪生成的三维的扫描数据，该扫描数据使用于牙齿诊断。将人的牙齿形态作为骨骼生成，进而通过3d扫描仪进行扫描并通过输入部120输入。

此时，牙齿的三维扫描数据中上颚与下颚的数据可以分离而分别输入，并且可以通过扫描人的面部的图像数据中的二次图像数据生成上颚与下颚咬合的数据。在上颚与下颚的数据分离而输入的情况下，可以通过对齐生成结合的状态，或者可以通过单独的结合过程生成图示的3d图像数据。

图4通过ct拍摄获得。由于包括ct拍摄时关于牙齿及颞颌关节的数据，因此能够实现关于颞颌关节的对齐以及以颞颌关节为基准的模拟。

图5在人的头盖骨图示牙齿及颞颌关节的图，区分为上颚及下颚的牙齿通过颞颌关节的运动而移动，进而进行咀嚼活动。

因此，追踪牙齿或颞颌关节的运动而生成关于其运动的轨迹数据，从而能够解决牙齿模型生成时的干扰或咬合不正。

如图3所示，在利用牙齿的3d扫描数据的情况下，可以生成关于牙齿的运动的轨迹数据，如图4所示，在利用面部骨骼数据(ct数据)的情况下，可以生成关于颞颌关节的运动的轨迹数据。

图6是图示根据本发明的牙科用三维数据处理装置的面部扫描的示例的图。

为了获取图像数据，扫描人的面部，同上所述，一次面部扫描时扫描人闭着嘴的模样，二次扫描时如图6所示地扫描人将嘴微张并发出“yi”的模样。

并且，如图6所示，可以在人的牙齿贴附靶(target)并利用其运动来追踪牙齿的运动。即使不使用单独的靶，也能够从运动的数据中提取特征点，进而通过特征点的移动提取牙齿或颞颌关节的运动。

当利用图像数据追踪牙齿或颞颌关节的运动时，若在图像数据中提取特征点并对其进行追踪，则能够追踪牙齿或颞颌关节的整体运动。并且，通过所述特征点的移动提取牙齿或颞颌关节的运动的方式不仅相比于靶贴附方式更简便，而且具有牙齿的咀嚼运动的妨碍相对小的优点。

当在图像数据中提取特征点时，可以利用尺度不变特征变换(sift：scaleinvariantfeaturetransform)算法等提取特征点。并且，从图像数据中提取的特征点具有可以在将三维牙齿数据与图像数据间的位置对齐时使用的优点。

图7是图示根据本发明的牙科用三维数据处理方法的流程图。

如图7所示，通过输入部120输入牙齿数据(s310)。此时，输入部120可以是扫描仪、3d扫描仪，或者可以与扫描仪、3d扫描仪连接而接收扫描的数据。并且，可以输入单独拍摄的ct数据。即，牙齿数据可以使用通过牙科扫描仪生成的扫描数据、通过ct或mri测量的包括牙齿形状的面部骨骼数据中的任意一种。

并且，在人闭嘴静止的状态下进行扫描而获取一次图像数据(s320)，在发出“yi”或“a”的状态下扫描人的面部而获取二次图像数据(s330)。

通过所述一次图像数据识别距离，匹配颜色纹理而生成面部3d数据。此时，一次图像数据用于寻找法兰克福平面、鼻翼平面、咬合基准平面。

由于一同扫描牙齿的前面及下颚，因此所述二次图像数据中生成包括前牙的面部3d数据。当进行二次面部扫描时，可以根据情况在牙齿贴附靶而进行扫描，从而能够更容易地检测牙齿。

利用牙齿数据及关于面部的图像数据来执行对齐，进而生成三维面部数据(s340)。

具体而言，利用通过牙科扫描仪生成的扫描数据及二次图像数据来执行牙齿对齐。并且，由于在ct数据中包括颞颌关节，因此利用面部骨骼数据及二次维图像数据来执行颞颌关节对齐。即，将面部骨骼数据中所包括的颞颌关节与二次图像数据中包括的扫描的牙齿一面对齐。这样，通过对齐生成咬合对齐的牙齿的3d数据(以下称为“对齐数据”)。

之后，运动提取部140追踪牙齿或颞颌关节的运动而生成轨迹数据(s350)。

牙齿或颞颌关节的运动追踪可以在牙齿模型扫描之前执行，也可以在对齐时执行。具体而言，运动提取部140实时拍摄或扫描运动的人的面部而实时接收，进而追踪其牙齿或颞颌关节的运动。此时，可以在牙齿贴附靶而通过其运动追踪牙齿或颞颌关节的运动，或者也可以不单独地贴附靶而追踪提取了特征点的运动。

运动提取部140追踪靶或特征点的移动而生成其轨迹数据。将这样生成的轨迹数据应用于对齐数据或咬合对齐的3d数据中来执行模拟(s360)。

模拟部150将根据轨迹数据的运动反映于对齐数据来模拟人进行咀嚼活动的模样，进而通过输出部180显示。可以与模拟数据一同显示轨迹、干扰因素，并且通过模拟来检测颞颌关节的旋转轴。

模型生成部160考虑对齐数据、轨迹数据、模拟结果，即干扰因素及颞颌关节的旋转轴来设计牙齿(s370)。

模型校正部170利用轨迹针对通过牙齿设计生成的牙齿模型再一次感测牙齿干扰而生成校正数据(s380)。

模型生成部160基于校正数据校正初始设计的牙齿模型(s390)，并生成最终牙齿模型(s400)。

因此，本发明结合牙齿数据(通过牙科扫描仪生成的扫描数据或面部骨骼数据)与扫描面部的图像数据而对其，从而能够生成咬合对齐的3d对齐数据，并且利用牙齿或颞颌关节的运动来进行模拟，进而考虑运动的轨迹或干扰而生成牙齿模型。并且，通过模型校正消除干扰因素而生成最终牙齿模型，从而能够对牙齿状态进行更为精密的诊断，并且能够生成对各个人合适的牙齿模型。

对构成本发明的实施例的全部构成要素结合为一个进行操作的情形进行了说明，然而本发明并不一定限定于这些实施例。只要在本发明的目的范围内，全部构成要素也可以根据实施例选择性地结合为一个以上进行操作。

以上的说明仅为举例说明本发明的技术思想的说明，只要是在本发明所属技术领域中具有通常知识的技术人员就能够在不脱离本发明的本质特征的范围内进行多种修正及变形。

产业上的可利用性

根据本发明，能够制造如下的牙科用三维数据处理装置，提取牙齿及颞颌关节的运动而应用于牙齿模型，从而能够更准确且精密地诊断牙齿状态，并且分析根据牙齿及颞颌关节的运动的咬合状态，并且能够基于运动及咬合状态准确地分析患者的状态来树立治疗对策。