用于提供面部调节图像的方法和系统的制作方法

用于提供面部调节图像的方法和系统的制作方法
【专利摘要】本发明涉及一种用于提供面部调节图像的方法和系统，所述方法包括以下步骤：(a)通过叠加要矫正面部的患者的、具有头盖骨图像的头部测量图像与所述患者的三维面部图像来生成匹配图像；以及(b)根据头部测量图像中的骨骼变化来变换面部的皮肤软组织，从而在屏幕上显示预测的面部图像。根据本发明，基于支撑皮肤软组织的头盖骨、牙齿、假体等的骨骼变化，在计算机、终端等的屏幕上显示皮肤软组织和预测的面部图像的变化。因此，可以预测皮肤软组织的变化，由此提高面部矫正手术的精确度，使得更精确且更方便地规划手术，并加强患者和医务人员之间的沟通和医疗咨询。
【专利说明】用于提供面部调节图像的方法和系统
【技术领域】
[0001]本发明涉及一种用于提供面部调节图像的方法和系统，更具体而言，涉及一种用于提供面部调节图像以显示预测的面部图像，从而在利用诸如外科整形手术或正畸治疗的面部矫正技术进行面部矫正手术之前确认手术计划的方法和系统。
【背景技术】
[0002]对于现代人来说，外观，特别是面部外观是求职面试或入学面试中发挥决定的标准之一，在诸如个人关系的社交生活中发挥着重要作用。因此，整形外科，尤其是手术整形外科非常流行。
[0003]近来，正在开发虚拟仿真程序以在进行手术之前显示面部矫正手术获得的预测的面部图像，并且将预测的面部图像提供给诸如整形外科门诊的门诊医务人员，使得医务人员可以利用虚拟仿真程序在手术咨询期间制定面部矫正策略并提供预测的面部图像以确认手术计划。
[0004]然而，上述虚拟仿真程序通过拍摄患者面部来在显示屏上显示二维图像，并修改二维图像以显示预测的面部图像，这与手术之后的实际外观是不同的。此外，实际手术涉及到骨组织的矫正，这使得难以制定手术的计划和方法。
[0005]同时，除了上述整形外科之外，面部矫正技术的其他实例包括改善牙齿排列不齐的牙矫正术，或正畸治疗，例如矫正性正颌手术，其中在上颌骨上进行外科手术以改善下颌前突或短下巴。
[0006]换言之，上述正畸治疗包括矫正排列不齐，例如牙矫正术，以简单地使不规则牙齿平直，这有助于口腔组织的健康，其方式是矫正各种可能发生于生长期间的骸骨不协调，以恢复正常功能，并美化面部线条，实现好看的面部特征。
[0007]上述牙矫正术是通过重新排列牙齿来改善诸如错位咬合的排列不齐的技术，而矫正性正颌手术允许通过对上颌骨进行外科手术来进行骸骨改善。
[0008]如上所述，由于通过牙矫正术或矫正性正颌手术可以显著改变面部外观，所以需要在牙矫正术之前精确预测面部变化以进行适当的手术。然而，由于难以根据二维修改来显示精确预测的外观变化和面部线条变化，而二维修改取决于操作员经验，所以预测的外观可能与牙矫正术之后的实际外观不同，在制定矫正计划和方法时也存在困难。
[0009]因此，发明人开发了一种用于提供面部调节图像的方法和系统，其中可以通过根据支撑皮肤软组织的骨骼变化变换面部皮肤软组织来以高精确度预测并显示面部外观变化。

【发明内容】

[0010]本发明的一个目的是提供一种用于提供面部调节图像的方法和系统，其中可以根据支撑皮肤软组织的头部的骨骼变化，基于皮肤软组织的变换来预览面部外观图像的变化。[0011]本发明的另一个目的是提供一种用于提供面部调节图像的方法和系统，其中可以精确且容易地进行面部外观图像和头盖骨图像的叠加。
[0012]根据本发明的一个方面，为了实现上述目的，提供了一种用于提供面部调节图像的方法和系统，该方法包括以下步骤:(a)通过叠加要矫正面部的患者的、具有头盖骨图像的头部测量图像与所述患者的三维面部图像来生成匹配图像；以及(b)基于所述匹配图像中皮肤软组织的变换，在屏幕上显示预测的面部图像。步骤(b)是基于根据头部测量图像中的骨骼变化的皮肤软组织变化来显示预测的面部图像。
[0013]在步骤(a)中，将布置在所述面部图像上以叠加所述面部图像和所述头部测量图像的多个第一对准点与布置在所述头部测量图像中由皮肤软组织形成的轮廓上与第一对准点的位置相对应的位置处的多个第二对准点匹配，从而叠加所述面部图像和所述头部测
量图像。
[0014]在这里，步骤(a)可以包括:(al)，接收用于第一对准点和第二对准点的输入；以及(a2)，在屏幕上显示与头部测量图像叠加的面部图像。
[0015]优选地，步骤(a)还可以包括步骤(a3)，将所述头部测量图像的大小和取向调节成与所述面部图像的大小和取向相同。
[0016]在这里，所述第一对准点包括一对面部对准点；所述第二对准点包括位于与所述面部对准点的位置相对应的位置处的一对轮廓对准点。通过使由所述面部对准点形成的第一矢量的大小和取向与由所述轮廓对准点形成的第二矢量的大小和取向匹配来执行所述步骤(a3 )。
[0017]此外，所述步骤(a)还包括在所述屏幕上显示匹配对准线的步骤(a4)。在所述步骤(al)之前对应地在第一对准点上形成所述匹配对准线，并且可以调节它们的取向和长度以实现所述第一对准点与所述第二对准点的一一对应。
[0018]所述步骤(a)通过在由所述面部图像上布置的匹配基准线所划分的截面上叠加所述头部测量图像来生成匹配图像。
[0019]这里，所述匹配基准线是将所述面部图像分成左、右侧的垂直线，并且所述头部测量图像是通过在垂直于所述面部的正侧的侧向上拍摄所述患者头部而获得的侧面图像。
[0020]此外，所述步骤(a)在所述屏幕上透明地显示所述面部图像被所述头部测量图像划分的一个侧面，从而在所述屏幕上显示所述头部测量图像。
[0021]步骤(b)可以包括:(bl)确定与所述头部的骨骼变化相对应的所述皮肤软组织的变化；以及(b2)基于所述皮肤软组织的变化，在所述屏幕上显示所述预测的面部图像。
[0022]所述头部的骨骼变化源自牙移位和颅骨变换的至少一种。
[0023]步骤(b2)选择性地在预测的面部图像上显示用于示出皮肤软组织的变化的等值线。
[0024]所述步骤(b)可以在屏幕上同时或相继地显示仿真前后的预测的面部图像。
[0025]根据本发明的另一方面，提供了一种用于提供面部调节图像的系统，包括:匹配模块，通过叠加要矫正面部的患者的、具有头盖骨图像的头部测量图像与所述患者的三维面部图像来生成匹配图像；以及图像显示模块，基于所述匹配图像中皮肤软组织的变换，在屏幕上显示预测的面部图像。
[0026]根据本发明的又一方面，提供了一种用于提供面部调节图像的计算机系统，包括:第一图像采集单元，采集要矫正面部的患者的、具有头盖骨图像的二维头部测量图像；第二图像采集单元，通过拍摄所述患者的面部来采集三维面部图像；图像存储器模块，接收并存储所述头部测量图像和所述三维面部图像；匹配模块，通过叠加所述图像存储器模块中存储的所述头部测量图像和所述面部图像来生成匹配图像；以及图像显示模块，基于所述匹配图像中皮肤软组织的变换，在屏幕上显示预测的面部图像。
[0027]根据本发明的又一方面，提供了一种计算机可读的记录介质，上面存储了用于提供面部调节图像的程序，所述程序使得计算机能够充当:匹配模块，通过叠加要矫正面部的患者的具有头盖骨图像的头部测量图像与所述患者的三维面部图像来生成匹配图像；以及图像显示模块，基于所述匹配图像中皮肤软组织的变换，在屏幕上显示预测的面部图像。
[0028]根据本发明的用于提供面部调节图像的方法和系统实现了以下效果。
[0029]首先，根据本发明，基于支撑皮肤软组织的头盖骨、牙齿、假体等的骨骼变化，在计算机、终端等的屏幕上显示皮肤软组织和预测的面部图像的变化。因此，可以预测皮肤软组织的变化，由此提高面部矫正手术的精确度，使得更精确且更方便地规划手术，并加强患者和医务人员之间的沟通和医疗咨询。
[0030]第二，根据本发明，匹配头部测量图像和面部图像变得更方便，可以利用以精确尺寸和比例匹配的图像在三维空间中显示手术后的预测的面部图像，使得手术之后的预测外观变得更精确。
[0031]第三，根据本发明，可以在单个屏幕上同时或相继地向要矫正面部的患者显示手术前后的图像，从而可以比较手术前后的图像并可以精确地进行手术。
[0032]第四，根据本发明，可以在三维空间中观察由变化的骨骼直接支撑的皮肤软组织及其相邻部分的变化，从而可以提高预测的面部图像的精确度。
是显示窗口(屏幕)的拍摄图像，示出了 3D面部图像的正视图。
是显示窗口的拍摄图像，示出了特征点以及将面部图像分成左右侧的对准基
【专利附图】

【附图说明】
[0033]图1为流程图，示出了根据本发明的用于提供面部调节图像的方法的一个实施例。
[0034]图2为方框图，示出了根据本发明的用于提供面部调节图像的系统的一个实施例。
[0035]图3
[0036]图4准线。
[0037]图5是显示窗口的拍摄图像，示出了 3D面部图像，其中显示了根据对准基准线的轮廓。
[0038]图6是显示窗口的拍摄图像，示出了横向头部测量图像作为头部测量图像的一个实例。
[0039]图7
[0040]图8实例。
[0041]图9是显示窗口的拍摄图像，同时示出了头部测量图像和3D面部图像，以叠加头部测量图像和面部图像。
是显示窗口的拍摄图像，示出了头部测量图像，其中显示了界标点和界标线。是显示窗口的拍摄图像，示出了正面头部测量图像作为头部测量图像的一个是显示窗口的拍摄图像,示出了布置头部测量图像和3D面部图像对应点的
是显示窗口的拍摄图像，示出了调节头部测量图像和3D面部图像尺寸和取
是显示窗口的拍摄图像，示出匹配的图像，其中清晰地显示了排除轮廓线的
是显示窗口的拍摄图像，示出了布置匹配图像的倾斜角的流程。
是显示窗口的拍摄图像，示出了半切割匹配图像作为匹配图像的一个实例。是显示窗口的拍摄图像，示出了利用匹配图像生成预测的面部图像的仿真
是显示窗口的拍摄图像，示出了输入窗口，其中可以手动输入皮肤软组织的
是显示窗口的拍摄图像，示出了矫正下颌骨轮廓线的流程。
是显示窗口的拍摄图像，示出了正面头部测量图像和侧面头部测量图像的
是显示窗口的拍摄图像，示出了手术前后的侧面面部图像。
是显示窗口的拍摄图像，示出了显示等值线的预测的面部图像。
【具体实施方式】
[0053]在下文中，将参考附图描述本发明的优选实施例。在描述实施例时，将使用相同的名称和数字表示相同的元件，下文将省略其额外解释。
[0054]首先，将参考图1和2描述根据本发明用于提供面部调节图像的方法和系统。
[0055]参考图1，根据本发明用于提供面部调节图像的方法包括以下步骤:(a)通过叠加要矫正面部的患者的头部测量图像与3D面部图像来生成匹配图像(S120)(即匹配图像生成步骤)以及(b)显示在面部矫正手术之前预测的面部图像(S130)(即预测图像显示步骤)。
[0056]接下来，参考图2，根据本发明用于提供面部调节图像的装置包括:控制单元110，其控制面部调节图像的处理；匹配模块120，通过叠加要矫正面部的患者的头部测量图像和3D面部图像来生成匹配图像；以及图像显示模块130，以在面部矫正手术之前显示诸如预测图像(即预测的面部图像)的各种图像。
[0057]作为上述面部调节图像提供装置的一个实例，可以提供一种用于提供面部调节图像的系统，例如计算机系统或工作站，其包括采集头部测量图像的第一图像采集单元210和采集面部图像的第二图像采集单元220。
[0058]第一图像采集单元210通过拍摄要矫正面部的患者头部来采集二维图像，第二图像采集单元220通过拍摄，更具体地说，通过扫描患者面部来采集3D面部图像。
[0059]第一图像采集单元210和第二图像采集单元220可以彼此独立地实施，并连接到计算机，在计算机中执行程序以实施用于提供面部调节图像的方法，或者可以将两者配置成单个装置并连接到上述计算机，作为合成图像拍摄装置。
[0060]第一图像采集单元210可以`通过X射线摄影术采集头部测量图像。头部测量图像可以具有骨组织的图像(头盖骨图像和牙齿图像)，由于X射线吸收的差异，与骨组织图像表面上的骨组织相比，面部的皮肤软组织可以形成较为透明的轮廓。
[0061]匹配模块120，即匹配单元，可以通过叠加数据存储器140的图像存储器模块141中存储的头部测量图像和面部图像来生成匹配图像。图像存储器模块141可以接收并存储从第一图像采集单元210和第二图像采集单元220发送的头部测量图像和面部图像，还可以存储各种图像，例如匹配图像和预测的面部图像。
[0062]图像显示模块130基于匹配图像中皮肤软组织的变化在屏幕上显示预测的面部图像。更具体而言，图像显示模块130基于与头部测量图像中的骨骼变化相对应的皮肤软组织的变化来显示预测的面部图像。此外，图像显示模块130通过仿真步骤在计算机、终端等的屏幕上显示诸如头部测量图像、面部图像、匹配图像和预测的面部图像的图像。
[0063]匹配模块120使得计算机能够与图像显示模块130和图像存储器模块141协作以充当匹配装置、图像生成/显示装置以及图像存储器装置。此外，界面显示模块150在屏幕上显示使用者界面以生成面部调节图像。控制单元110控制上述模块以处理面部调节图像。
[0064]同时，步骤(a) (S120)，即匹配图像生成步骤，通过匹配面部图像上布置的多个第一对准点(参见图10和11)和在头部测量图像的轮廓上与第一对准点的位置相对应的位置处布置的多个第二对准点，来叠加面部图像和头部测量图像。
[0065]第一对准点布置于面部图像上，以叠加面部图像和头部测量图像，第二对准点布置在头部测量轮廓上与第一对准点的位置相对应的位置上，由皮肤软组织形成头部测量图像的边缘。
[0066]换言之，第一对准点和第二对准点被布置成位于面部的相同部分。例如，当第一对准点布置在面部图像中的鼻突点和下颌上时，第二对准点也布置在头部测量图像中的鼻突点和下颌上。
[0067]因此，步骤(a) (S120)可以包括以下步骤:(al)接收针对第一对准点和第二对准点的输入(SllO)(即对准点输入步骤)，以及(a2)在屏幕上生成并显示其中面部图像与头部测量图像叠加的匹配图像(S120)(即匹配图像显示步骤)。
[0068]优选地，步骤(a) (S120)还包括:步骤(a3)，将头部测量图像的尺寸和取向调节成与面部图像的尺寸和取向相同(S130)(即图像调节步骤)，因为头部测量图像的尺寸和取向可能与面部图像的尺寸和取向不同。
[0069]更具体而言，第一对准点包括一对面部校准点，例如面部图像上的鼻突点(第一鼻突点)和颌下点(第一颌下点)，第二对准点包括头部测量图像上的一对轮廓对准点，例如鼻突点(第二鼻突点)和颌下点(第二颌下点)，它们布置在与面部对准点对应的位置上，即面部的相同位置。
[0070]此外，通过匹配由面部对准点形成的第一矢量和由轮廓对准点形成的第二矢量的尺寸和取向来执行步骤(a3) (S130)。
[0071]步骤(a) (S120)还可以包括:步骤(a4)，在屏幕上显示匹配对准线(S140)。在步骤(al) (SllO)之前，对准线分别形成在第一对准点上，可以调节它们的取向和长度来实现第一对准点与第二对准点的——对应(参见图10和11)。
[0072]因此，使用者可以使用诸如鼠标的使用者接口来点击并拖动对准线的末端点与第二对准点匹配，使得匹配模块120可以移动头部测量图像和面部图像中的至少一个以精确叠加头部测量图像和面部图像。
[0073]在本实施例中，步骤(a) (S120)通过在面部图像上布置的匹配参考线所划分的面部图像的截面上重叠头部测量图像来生成匹配图像(参见图2和3)。
[0074]这里，匹配基准线是将面部图像分成左右侧的垂直线，头部测量图像可以是通过在垂直于面部正侧的侧向线上拍摄患者头部获得的侧面头部测量图像。
[0075]此外，在步骤(a) (S120)中，特别是在匹配图像显示步骤(a2) (S120)中，可以在屏幕上透明地显示由头部测量图像所划分的面部图像的两个侧面之一，从而可以在屏幕上显示头部测量图像。
[0076]接下来，步骤(b) (S130)，即预测图像显示步骤，是在屏幕上显示预测的面部图像的步骤，该步骤是基于匹配图像中的皮肤软组织的变换实施的。更具体而言，步骤(b)(S130)是通过根据头部测量图像的骨骼变化来变换皮肤软组织，从而在屏幕上显示预测的面部图像的步骤。
[0077]在本实施例中，步骤(b) (S130)包括:步骤(bl)，确定头部中与骨骼变化相对应的皮肤软组织变化(S210);以及(b2)，基于皮肤软组织的变化在屏幕上显示预测的面部图像(S220)。
[0078]头部中的骨骼变化可以指牙移位松动和颅骨变换中的至少一种，例如颚骨(上和/或下颚骨)、颧骨、额骨等的变换，还可以是由于植入面部以支撑皮肤软组织的修补物(例如，鼻植入物)。步骤(b2)有选择地在预测的面部图像上显示等值线，用于示出皮肤软组织的变化(S220)。
[0079]此外，在根据本发明用于提供面部调节图像的方法的步骤(b)中(S130)，可以同时或相继地在屏幕上显示仿真前后的预测的面部图像，使得使用者和/或患者可以比较仿真前后的图像。
[0080]在下文中，将更详细地描述实施根据本发明的用于提供面部调节图像的方法的具体步骤。
[0081]1.3D面部图像
[0082]在第一步骤中，在屏幕上加载由3D扫描仪采集的3D面部模型，即3D面部图像，并执行布置上述匹配基准线等的步骤。
[0083]参考图3，使用者按下按钮以在界面显示模块150在屏幕上显示的使用者界面中加载面部图像(加载面部)，然后从图像数据框选择具有期望形状的3D面部图像数据，从而由图像显示模块130在屏幕上显示3D面部模型，即面部图像。
[0084]为了布置匹配基准线，可以利用缩放功能放大/缩小面部图像并利用旋转功能旋转。为此，界面显示模块150的界面在屏幕一侧显示旋转条、缩放条和基准线跟踪条，使用它们调节放大/缩小、面部图像的Z轴旋转(旋转Z)和Y轴旋转(旋转Y)以及匹配基准线布置。旋转Z跟踪条使面部图像绕Z轴(屏幕的水平或垂直轴)旋转，旋转Y跟踪条使面部图像绕Y轴(屏幕的垂直或水平轴，垂直于Z轴)旋转。线跟踪条向左或右移动蓝线(匹配基准线)。
[0085]同时，使用者可以按下屏幕上的Initialize按钮以对面部图像的放大倍数和旋转以及匹配基准线的位置进行初始化。
[0086]参考图4和5，在布置匹配基准线之后，按下Fix按钮，在3D面部图像上投影二维匹配基准线，使得图像显示模块130自动显示轮廓线(例如红线)，可以在生成轮廓线之后或同时将面部特征点，例如鼻突点、颌下点、嘴角等显示为屏幕上的小点。使用者还可以手动指定或矫正特征点的位置。下文将说明在面部图像中检测特征点的原理。
[0087]3D面部模型，S卩3D面部图像，一般由网格和纹理图像构成，控制单元110分析网格的几何信息和纹理的图像信息以自动提取特征点。例如，可以通过在面部中的轮廓线上搜索最突出的点来检测鼻突点；可以通过分析纹理图像的色彩分布来检测嘴角(皮肤颜色和嘴唇颜色区域)以获得嘴唇区域，然后找到嘴唇区域的两个末端；以及可以通过寻找面部中面部轮廓与轮廓线汇合的下端点来检测颌下点。以下将描述检测特征点的理由。
[0088]特征点可以用来分析患者的面部条件。更具体而言，通过连接特征点以生成线条，可以检测面部特定部分的长度或角度(例如，嘴唇的宽度，上下唇之间的咬合角度等)，并与现有的平均值比较，来分析并诊断患者的面部条件。
[0089]此外，可以将特征点用作匹配参考点，S卩，3D面部图像和头部测量图像的对准点。例如，可以将3D面部模型上的两个特征点，例如鼻突点和软组织颌下点，用作二维面部图像和头部测量图像的匹配参考点。
[0090]此外，为了调节3D面部图像的上下斜率，可以使用特征点来布置鼻子-下巴线，即下文所述的斜线。通过连接鼻突点与软组织颌下点，尤其是软组织颏点来生成斜线。在数据库或数据文件140中可以基于屏幕上的虚拟坐标以坐标值的形式存储特征点。可以通过计算坐标值来确定面部特定部分的长度或角度。
[0091]此外，使用者可以利用鼠标操作图像显示模块130以在屏幕上旋转面部图像，以检查图5所示的3D面部图像上轮廓线的形成，并任选地在3D面部图像上显示特征点的名称。可以调节面部图像的色彩、亮度、对比度等以改变并显示面部图像的色调。
[0092]2.头部测量图像
[0093]在3D面部图像处理之前或之后，由图像显示模块在屏幕上加载头部测量图像，然后在屏幕上的头部测量图像上显示界标点。
[0094]图6和7表明，在屏幕上将侧面头部测量X射线图像显示为头部测量图像的实例，这是从垂直于面部前方的侧面拍摄的X射线图像。在屏幕上加载头部测量图像时，可以调节头部测量图像的对比度和亮度，可以在勾选反色复选框时以黑白反色的方式显示头部测
量图像。
[0095]在使用者利用鼠标手动点击头部测量图像的特定点时，图像显示模块可以在屏幕上显示该点处形成的界标点，其具有预定形状，例如蓝十字形状，而可以自动布置和显示界标点。此外，可以移动或删除界标点。
[0096]界标点的坐标值与特征点的坐标值一起被存储在数据库或数据文件140中。
[0097]同时，在头部测量图像的特定部分中，可以通过一些界标点自动显现出与特定部分对应的模型。例如，在牙齿上布置界标点的位置时，可以在头部测量图像上自动显示对应的牙齿模型。
[0098]更具体而言，对于上颌骨的门牙而言，例如，分别在使用者头部测量图像上显示的牙根尖和上颌骨门牙冠尖处布置两个界标点时，将基于牙根尖和冠尖之间的距离和角度转换具有预定义的连接界标点的形状(例如，上颌骨门牙形状的轮廓)的上颌骨门牙模型的尺寸、位置和旋转值，从而可以将该模型与头部测量图像的上颌骨门牙叠加。[0099]此外，如果利用鼠标在界标点间手动布置多个辅助点，从而平滑连接界标点，那么在屏幕上显示经由辅助点平滑连接界标点的界标线。
[0100]可以在诸如数据库、数据文件140或其他存储单元的数据存储单元中存储界标点的坐标。如果使用者按下工具箱中的Initialize按钮，它是由界面显示模块150显示于屏幕右侧的，则擦除先前布置的界标点和线，从而可以从初始状态重新开始工作。
[0101]形成界标点和线可以允许分析患者的头部。界标线可以大致描绘小颚、上颚等的位置和形状。此外，可以通过移动小颚和上颚的位置或切割小颚和上颚的一部分来执行仿真手术。此外，通过直接连接界标点或生成从界标点延伸的辅助线，可以检测诸如小颚、上颚或下巴线的各部分的形状以及特定点之间的长度和角度。可以对检测到的数据进行分析工作，将数据与现有平均值进行比较，以诊断/分析患者的条件。
[0102]同时，图8示出了从面部正面拍摄的X射线图像，即正面头部测量图像，作为头部测量图像的另一个实例。也可以利用正面头部测量图像执行上述界标点和线的生成和显示。例如，如果面部矫正的目标区是下颌骨的左、右下巴线，那么可以使用正面头部测量图像执行仿真面部矫正手术。
[0103]3.生成匹配图像(叠加)
[0104]参考图9到13，匹配模块120执行在3D坐标上叠加3D面部图像和头部测量图像并在屏幕上对准叠加图像的步骤，作为实施本发明的流程。
[0105]面部图像是3D空间中的三维对象，而头部测量图像是二维屏幕上的二维对象。为了在共同的3D坐标空间上叠加两个图像，叠加面部图像和头部测量图像，从而将诸如上述侧面头部测量图像的头部测量图像置于通过3D面部图像的轮廓线并以两侧对称方式划分面部的平面上。
[0106]图9中的屏幕示出，在如上所述的屏幕上的共同的3D坐标空间中同时显示3D面部图像和头部测量图像。可以利用屏幕右侧上的工具箱中的以下接口工具来调节屏幕。
[0107](I)Opacityl:调节整个3D面部图像的透明度。
[0108](2)0pacity2:调节被中间平面分开的3D面部图像的两个部分中(距使用者)更远一个的透明度。
[0109](3)Contrast:调节头部测量图像的对比度。
[0110](4)Brightness:调节头部测量图像的亮度。
[0111](5) Invert:反转头部测量图像的黑色和白色。
[0112]参考图10和11，屏幕上的公共3D坐标空间中显示的3D面部图像和头部测量图像可能在其尺寸和位置方面不同，它们的旋转值(从侧面观察到的低头程度；在下文中称为“面部斜率”)也可以不同。
[0113]为了匹配3D面部图像和头部测量图像的尺寸、位置和旋转值，要调节两个图像之一的比例尺、旋转和平移值(在下文中称为“SRT值”)。在本实施例中，相对于3D面部图像调节头部测量图像的尺寸、位置和旋转值。然而，本发明不限于此。
[0114]在本实施例中，为了提高叠加面部图像和头部测量图像的精确度，提供了一种方法，用于在3D面部图像和头部测量图像中布置多个对应点(例如，两对对应点)并匹配它们。
[0115]对应点包括布置于面部图像上的多个第一对准点以及布置于头部测量图像上的多个第二对准点。如图10和11所示，如果头部测量图像是侧面头部测量图像，第二对准点位于由皮肤软组织形成的侧面头部测量图像的边缘(即轮廓)上，并布置于与第一对准点的位置相对应的位置。
[0116]换言之，在面部图像和头部测量图像中的面部的相同点上布置第一对准点和第二对准点。在本实施例中，提供一对面部对准点作为第一对准点，提供一对轮廓对准点作为第二对准点。
[0117]更具体而言，分别选择面部图像和头部测量图像中的鼻突点和颌下点作为本实施例中的两对对应点。3D面部图像的鼻突点和颌下点变成面部对准点，头部测量图像的鼻突点和颌下点变成轮廓对准点。然而，对准点不限于此，可以将其他部分，例如人中或闕中指定为对准点。在诸如数据文件或数据库的数据存储器140中存储第二对准点，即鼻突点和颌下点的坐标值。
[0118]此外，利用鼻突点和颌下点的坐标值生成连接3D面部图像的鼻突点和颌下点的第一矢量以及连接头部测量图像的鼻突点和颌下点的第二矢量，然后匹配第一和第二矢量的大小和方向，使得面部图像和头部测量图像的SRT值相同。
[0119]可以通过提取如上所述特征点来布置3D面部图像的鼻突点和颌下点的位置。更具体而言，那些位置布置在位于匹配基准线上的两个特征点上，例如，头部测量图像上鼻突点和颌下点的两个位置上。
[0120]在本实施例中，将对准点表示为3D面部图像上鼻突点和颌下点上的“X”，可以在屏幕上显示从每个对准点突出延伸形成的每个匹配对准线。匹配点分别被表示为匹配对准线尖端处的另一种颜色的“X”(例如红色)。可以调节匹配对准线的取向和长度，使得使用者可以通过用鼠标点击/拖动每个匹配点来改变对准线的长度和取向。通过分别在头部测量图像的鼻突点和颌下点上定位匹配对准线的匹配点，建立了两个图像的匹配位置参考。这里提供匹配对准线以便于使用者直观地理解，简单地找到两对对应点的位置实际允许建立两个图像的匹配位置参考。
[0121]如上所述，如果在适当连接对应的鼻突点和颌下点之后按下屏幕上的Match按钮，那么调节头部测量图像的大小、位置和旋转值，从而与面部图像的大小、位置和旋转值匹配，并且将头部测量图像和3D面部图像正确地叠加。
[0122]同时，可以处理面部图像除轮廓线之外的其余部分以变得透明，如图13中所示，从而可以在屏幕上选择性地显示仅剩余轮廓线的头部测量图像和匹配图像。这样使得更容易确定置加面部图像和头部测量图像的精确度。图像显不1旲块130可以在调节Opacityl跟踪条时显示上述图像。
[0123]此外，如图13所示，图像显示模块可以显示连接鼻突点和颌下点的斜线，也可以显示斜线和真实垂直线之间的角度(即真实垂直线角度或TVL角)。在本实施例中，假设真实垂直线是平行于屏幕的垂直线的虚拟线，可以调节TVL角度以调节面部斜率。
[0124]4.显示预测的面部图像
[0125]图14示出了匹配图像，其中3D面部图像被沿3D面部图像的轮廓线叠加的头部测量图像精确切割，即半切割匹配图像。因此，叠加二维头部测量图像和3D面部图像导致面部的内部骨架结构看起来像三维的。
[0126]为此，可以使用透明度调节模块(Opacity跟踪条)调节被头部测量图像分开的3D面部图像右半部的透明度。使用者可以将半切割匹配图像旋转到期望取向，然后显示。如图14中所示，图像显示模块130在屏幕上按照使用者希望的取向来显示半切割匹配图像。
[0127]此外，在步骤(b)中，即预测的面部图像显示步骤(S130)中，图像显示模块130确定皮肤软组织中与头部骨骼变化对应的变化并基于皮肤软组织的变化在屏幕上显示预测的面部图像。
[0128]相反，皮肤软组织的变化可能涉及头部的骨骼变化(骨组织的变化)，从而可以在屏幕上显示预测的面部图像。这可以通过与用于确定与头部中骨骼变化相对应的皮肤软组织变化的方法相反的方法来执行，并且执行这些方法的原理是相同的。
[0129]下文将更详细地描述与头中的骨骼变化相对应的皮肤软组织变化的实例。在使用者选择屏幕右侧的Teeth复选框时，以形成牙齿边缘的轮廓的形式示出牙齿模型，在布置头部测量图像的界标点和线的过程中将该模型与头部测量图像的对应牙齿部分叠加。在使用者利用鼠标改变牙齿模型的位置和取向时，牙齿模型例如是匹配图像的头部测量图像中的上/下门牙模型，在屏幕上显示根据牙齿模型的变化的皮肤软组织变化。
[0130]例如，在使用者使用鼠标点击布置在上/下门牙模型中的齿冠尖端的界标点并来回移动它们时，上/下嘴唇部分根据门牙模型的位置变化以自然的方式来回移动。通常，上/下嘴唇部分的变换程度与门牙模型尖端的运动量成比例。在这种情况下，嘴唇的最突起部分(嘴唇的中心)变换最多，变换程度向着上、下方向和嘴唇的两端减小。换言之，如果与上门牙的运动相关联变化的软组织(例如嘴唇部分)的变换区域是预定的，则参考变换率来确定变换区域中每个部分的变换率，然后在屏幕上显示对应部分的皮肤软组织基于变换量进行变化的面部图像。
[0131]相对于嘴唇的变化，本发明确定与牙齿位置和取向变化对应的皮肤软组织(即嘴唇)的变化量和面积。在数据文件140中存储各位患者的手术数据，基于这些数据导出平均值。基于平均值确定根据齿冠尖端变化量的嘴唇变换率，并基于变换率实现嘴唇的形状改变，由此改变面部图像。可以用公式表示并自动计算嘴唇的上述变换率。
[0132]也就是说，可以基于各个患者的手术数据来确定皮肤软组织的变换部分和变换量(变换率)，或可以根据预定公式(可以从使用者输入参数值)自动计算皮肤软组织的变换量。另外，可以组合实施上述两者。
[0133]例如，如果有关于皮肤软组织变换部分的手术数据，那么控制单元110可以利用手术数据导出变换量，或者根据适当的公式确定没有手术数据的变换部分的变换量。
[0134]作为具体实例，通过上颌骨/下颌骨门牙的运动对上唇中点/下唇中点进行最大变换。那些部分的变换量可以计算为(上/下门牙模型尖端的运动量)x (使用者输入的或基于手术数据导出的变换率)。
[0135]此外，可以基于特征点确定整个变换区域。在上颌骨/下颌骨门牙移动时，皮肤软组织的变化区域可以是在垂直方向上从鼻下点到颏点的区域，以及水平方向上距右/左嘴角预定距离之内的区域。然而，可以基于各种临床试验的结果，即手术数据，改变皮肤软组织的变换部分。
[0136]变换程度从上唇中点/下唇中点(涉及皮肤软组织间大部分变化)向嘴唇的上下方向和两端减小。例如,可以使用正弦函数确定变换程度的减小，这样简单但有效。
[0137]利用上述方法，在改变特定部分，例如牙齿区域的骨骼时，可以利用根据本发明用于提供面部调节图像的方法来确定并实现与骨骼变化及其局部变换率相关联改变的皮肤软组织部分。基于上述，可以在虚像中显示面部中的三维变换。
[0138]如图15所示，也可以从使用者通过输入窗口输入根据牙齿模型变化的嘴唇变换率，因为每位操作员都依赖于变换率的不同理论和标准，可以根据每位患者的特性，例如嘴唇高度，轻微改变这些比率。
[0139]在除牙齿之外的部分，例如颧骨变化时，以单独的方式确定与颧骨变化和局部变换率相关联变换的软组织区域。
[0140]如图17中所示,可以调节屏幕右侧的Upper Lip跟踪条和Lower Lip跟踪条，以分别在垂直方向上移动上、下嘴唇的位置，并在屏幕上显示它们。
[0141]根据本发明，可以进行仿真以矫正从下嘴唇尖端连接到颈部的线，并可以利用鼠标移动位于该线上的多个控制点的位置，以修改线的形状，从而可以通过自然的方式修改颌的形状，以生成最佳的面部形状。
[0142]同时，图像显示模块130可以在屏幕上显示匹配的图像，其中彼此垂直地叠加侧面头部测量图像和正面头部测量图像，并可以选择性地显示这样的图像。也就是说，将侧面头部测量图像旋转预定角度，然后在屏幕上显示，同时旋转正面头部测量图像以直角与侧面头部测量图像相交，然后显示于屏幕上。在这时候，由侧面头部测量图像将正面头部测量图像分成两个部分，可以将正面头部测量图像与3D面部图像和侧面头部测量图像叠加。可以调节3D面部图像的透明度以仅在屏幕上显示正面和侧面头部测量图像。
[0143]接下来，参考图19，图像显示模块130可以在步骤(b)中显示仿真前后的外观。也就是说，可以在屏幕上同时或相继地显示手术前的外观和预测的面部图像进行对比。
[0144]换言之，使用者可以交替地按下屏幕右侧的Before按钮和After按钮以对比仿真前后的外观。此外，可以在预测的面部图像上显示等值线，如图20所示。
[0145]在选定屏幕右侧的等值线复选框时，可以通过等值线的形式示出由于门牙运动导致的嘴唇和颌的变换程度。可以连接具有相同变换程度的部分以形成线，分别以规则间隔相对于多个变换量绘制这样的线。通过在等值线上放置鼠标点，可以按照毫米显示实际变换量。基于根据骨骼变化的皮肤软组织变换量在屏幕上显示上述等值线。
[0146]同时，根据本发明，提供了 一种计算机可读记录介质，其上存储有用于提供面部调节图像的程序，所述程序能使计算机充当:匹配装置，以通过叠加要矫正面部的患者的、具有头盖骨图像的头部测量图像与患者的面部图像来生成匹配图像；以及图像显示模块，以通过根据头部测量图像中的骨骼变化来变换面部的皮肤软组织而在屏幕上显示预测的面部图像。此外，可以提供一种装置，例如存储计算机可读记录介质的系统服务器等，以便通过网络传送上述程序。记录介质可以包含程序，以实施用于提供面部调节图像的上述方法的各个步骤。
[0147]上文已经描述了根据本发明的优选实施例，本领域的普通技术人员将会认识到，在不脱离本发明的精神和范围内，可以对说明书做出各种修改和变化。因此，应当将上述实施例视为说明性的而非限制性的，从而本发明不限于上述描述，而是可以在所附权利要求书及其等价形式的范围内进行修改。
[0148]工业实用性
[0149]本发明涉及一种用于正牙和整形外科领域中的虚拟整形外科仿真系统和虚拟整形外科方法，在用于虚拟整形外科仿真的制造装置和方法的领域中具有工业实用性。利用根据本发明用于提供面部调节图像的方法和系统，基于支撑皮肤软组织的头盖骨、牙齿、假体等的骨骼变化，在计算机、终端等的屏幕上显示皮肤软组织和预测的面部图像的变化。因此，可以预测皮肤软组织的变化，从而提高面部矫正手术的精确度，使得更精确且更方便地规划手术，并加强患者和医务人员之间的沟通和医疗咨询。
【权利要求】
1.一种用于提供面部调节图像的方法，包括以下步骤: (a)通过叠加要矫正面部的患者的、具有头盖骨图像的头部测量图像与所述患者的三维面部图像来生成匹配图像；以及 (b)基于所述匹配图像中皮肤软组织的变换，在屏幕上显示预测的面部图像。
2.根据权利要求1所述的方法，其中，在步骤(a)中，将布置在所述面部图像上以叠加所述面部图像和所述头部测量图像的多个第一对准点与布置在所述头部测量图像中由皮肤软组织形成的轮廓上与第一对准点的位置相对应的位置处的多个第二对准点匹配，从而叠加所述面部图像和所述头部测量图像。
3.根据权利要求2所述的方法，其中，所述步骤(a)包括以下步骤: (al)接收用于所述第一对准点和所述第二对准点的输入；以及 (a2)在所述屏幕上显示与所述头部测量图像叠加的所述面部图像。
4.根据权利要求3所述的方法，其中，所述步骤(a)还包括:步骤(a3)，将所述头部测量图像的大小和取向调节成与所述面部图像的大小和取向相同。
5.根据权利要求4所述的方法，其中，所述第一对准点包括一对面部对准点；所述第二对准点包括位于与所述面部对准点的位置相对应的位置处的一对轮廓对准点；并且通过使由所述面部对准点形成的第一矢量的大小和取向与由所述轮廓对准点形成的第二矢量的大小和取向匹配来执行所述步骤(a3 )。
6.根据权利要求3所述的方法，其中，所述步骤(a)还包括在所述屏幕上显示匹配对准线的步骤(a4);并且其中，在所述步骤(al)之前在第一对准点上分别形成所述匹配对准线，并且可以调节它们的取向和长度以实现所述第一对准点与所述第二对准点的一一对应。
7.根据权利要求 2所述的方法，其中，所述步骤(a)通过在由所述面部图像上布置的匹配基准线所划分的脸部图像的截面上叠加所述头部测量图像来生成匹配图像。
8.根据权利要求7所述的方法，其中，所述匹配基准线是将所述面部图像分成左侧和右侧的垂直线，并且所述头部测量图像是通过在垂直于所述面部的正侧的侧向上拍摄所述患者头部而获得的侧面图像。
9.根据权利要求1所述的方法，其中，所述步骤(a)在所述屏幕上透明地显示所述面部图像被所述头部测量图像划分的一个侧面，从而在所述屏幕上显示所述头部测量图像。
10.根据权利要求1所述的方法，其中，所述步骤(b)包括以下步骤: (bl)确定与所述头部的骨骼变化相对应的所述皮肤软组织的变化；以及 (b2)基于所述皮肤软组织的变化，在所述屏幕上显示预测的面部图像。
11.根据权利要求10所述的方法，其中，所述头部的骨骼变化源自牙移位和颅骨变换的至少一种。
12.根据权利要求10所述的方法，其中，所述步骤(b2)选择性地在所述预测的面部图像上显示用于表示所述皮肤软组织变化的等值线。
13.根据权利要求1所述的方法，其中，所述步骤(b)在所述屏幕上同时或相继地显示仿真前后的所述预测的面部图像。
14.一种用于提供面部调节图像的系统，包括: 匹配模块，通过叠加要矫正面部的患者的、具有头盖骨图像的头部测量图像与所述患者的三维面部图像来生成匹配图像；以及图像显示模块，基于所述匹配图像中皮肤软组织的变换，在屏幕上显示预测的面部图像。
15.一种用于提供面部调节图像的计算机系统，包括: 第一图像采集单元，采集要矫正面部的患者的、具有头盖骨图像的二维头部测量图像； 第二图像采集单元，通过拍摄所述患者的面部来采集三维面部图像； 图像存储器模块，接收并存储所述头部测量图像和所述三维面部图像； 匹配模块，通过叠加所述图像存储器模块中存储的所述头部测量图像和所述面部图像来生成匹配图像；以及 图像显示模块，基于所述匹配图像中皮肤软组织的变换，在屏幕上显示预测的面部图像。
16.一种计算机可读的记录介质，上面存储了用于提供面部调节图像的程序，所述程序使得计算机能够充当: 匹配模块，通过叠加要矫正面部的患者的具有头盖骨图像的头部测量图像与所述患者的三维面部图像来生成匹配图像；以及 图像显示模块，基于所述匹配图像中皮肤软组织的变换，在屏幕上显示预测的面部图像。`
【文档编号】G06T19/00GK103443827SQ201280010073
【公开日】2013年12月11日 申请日期:2012年2月9日 优先权日:2011年2月22日
【发明者】崔兴山, 金禛洙, 朴荣国, 白承学, 朱相焕, 崔衡俊 申请人:莫菲斯有限公司