图像处理方法及使用其的装置与流程

文档序号:29435043发布日期:2022-03-29 11:19阅读:724来源:国知局
本发明涉及一种图像处理方法及使用其的装置。
背景技术
:三维扫描技术用于测量、检查、逆向工程、内容创建、计算机辅助设计/计算机辅助制造(CAD/CAM)、医疗设备等各种工业领域,随着计算技术的发展,扫描性能得到提高,其实用性正在进一步扩大。在通过三维扫描仪生成三维模型的过程中,三维扫描仪将通过拍摄测量对象而获取的图像转换为三维模型来获取整个三维模型数据。并且,测量对象拍得越细致,三维扫描仪获取的图像就越多,由此提高与实时转换的三维模型有关的最终数据的可靠性。近年来正在积极进行如下的研发:在三维扫描过程中,可使用户实时确认扫描结果来引导对低可靠性部分的附加扫描,从而提高与测量对象有关的最终数据的精度和可靠性,并提高用户的便利性。现有技术文献专利文献专利文献1:韩国公开专利10-2017-0020210号(2017年02月22日公开)技术实现要素:本发明提供一种如下的图像处理方法:在生成三维模型的步骤中,三维模型具有至少两种不同的表达模式,在显示步骤中,实时显示具有至少两种不同表达模式的三维模型。并且,提供一种如下的使用图像处理方法的图像处理装置:生成具有至少两种不同表达模式的三维模型并将其显示于显示部,从而无需在表达模式之间进行额外的切换过程。本发明的技术问题不限于以上提及的技术问题,本发明所属
技术领域
:的普通技术人员可以通过以下记载明确理解其他未提及的技术问题。本发明的图像处理方法包括:从对象体获取多个图像数据的步骤;从多个上述图像数据生成具有至少两种不同表达模式的三维模型的步骤;以及显示上述具有至少两种不同表达模式的上述三维模型的步骤。并且,上述生成三维模型的步骤包括:从多个上述图像数据获取特性信息的步骤;以及生成具有上述特性信息的三维模型的步骤,上述特性信息包含可靠性及对象体表达信息。并且,上述可靠性包含对应于多个上述图像数据之间的重叠区域的数据的密度以及扫描上述图像数据的扫描角度中的至少一种。并且,上述表达模式包括:可靠性模式,包含上述可靠性;以及纹理模式,包含上述对象体表达信息。并且,上述可靠性模式和上述纹理模式覆盖(overlay)显示。并且,在上述可靠性模式下,上述可靠性通过规定的可靠性显示手段来显示,上述可靠性显示手段为规定颜色、图案及透明度中的至少一种。并且,在上述纹理模式下,显示上述对象体表达信息的纹理显示手段的纹理显示程度根据上述可靠性而改变,随着上述可靠性的增加,上述纹理显示程度的比例增加。在上述可靠性模式下,可靠性显示手段的可靠性显示程度根据上述可靠性而改变,随着上述可靠性的增加,上述可靠性显示程度的比例减少。并且,随着上述可靠性的增加,纹理显示程度的比例增加,而可靠性显示程度的比例减少。并且,上述可靠性分为至少两个可靠性显示级别。并且,为上述可靠性显示级别中的每个可靠性显示级别分配不同的透明度,并且根据上述可靠性显示级别差异分配不同的上述透明度。并且,在0%至100%的范围内根据上述可靠性显示级别的数量划分并分配上述透明度。另一方面,本发明的图像处理装置包括:扫描部,用于扫描对象体;控制部,用于从上述对象体的多个图像数据生成具有至少两种不同表达模式的三维模型;以及显示部,用于显示上述具有至少两种不同表达模式的上述三维模型。并且,上述控制部通过从多个上述图像数据获取特性信息来生成具有上述特性信息的三维模型,上述特性信息包含可靠性及对象体表达信息。并且,上述可靠性包含对应于多个上述图像数据之间的重叠区域的数据的密度以及扫描上述图像数据的扫描角度中的至少一种。并且,上述表达模式包括:可靠性模式,包含上述可靠性;以及纹理模式,包含上述对象体表达信息。并且,上述可靠性模式和上述纹理模式覆盖(overlay)显示。并且,上述控制部通过规定的可靠性显示手段来显示上述可靠性,上述可靠性显示手段为规定颜色、图案及透明度中的至少一种。并且,在上述纹理模式下,显示上述对象体表达信息的纹理显示手段的纹理显示程度根据上述可靠性而改变,随着上述可靠性的增加,上述纹理显示程度的比例增加。在上述可靠性模式下,可靠性显示手段的可靠性显示程度根据上述可靠性而改变,随着上述可靠性的增加,上述可靠性显示程度的比例减少。并且,随着上述可靠性的增加,纹理显示程度的比例增加,而可靠性显示程度的比例减少。并且,上述可靠性分为至少两个可靠性显示级别。并且,上述控制部为可靠性显示级别中的每个可靠性显示级别分配不同的透明度,并且根据上述可靠性显示级别差异分配不同的上述透明度。并且,上述控制部在0%至100%的范围内根据上述可靠性显示级别的数量划分并分配上述透明度。根据本发明,通过生成具有可靠性模式和纹理模式的三维模型并一同显示,解决以往需要切换可靠性模式和纹理模式的不便。并且,显示级别与可靠性的变化对应地发生变化,并且显示与显示级别对应的可靠性显示手段,从而可使用户易于确认是否获取到高可靠性的三维模型。附图说明图1为本发明的图像处理方法的流程图。图2为用于说明将图像数据转换为三维模型的图。图3及图4为分别显示不同的两种模式的比较例。图5至图8为用于说明根据可靠性附加分配包括显示级别的特性信息的图。图9及图10为用于说明临界密度的图。图11为用于说明扫描角度范围的图。图12为用于说明根据扫描角度范围补充数据的密度的步骤的图。图13至图15为示出通过使用本发明的图像处理方法来显示的三维模型的图。图16为本发明的图像处理装置的结构图。附图标记说明S110:获取图像数据的步骤S120:生成三维模型的步骤S121:获取特性信息的步骤S122:生成具有特性信息的三维模型的步骤S150:显示步骤S210:临界密度判断步骤S220:最小数据的密度检测步骤S230:扫描角度范围指示步骤I:图像数据M:三维模型i:图像数据(用户界面(UI)上)m:三维模型(用户界面(UI)上)Ti:初始数据Tn:新数据Tf:更新数据10:图像处理装置100:扫描部200:控制部210:特性信息获取部220:三维模型生成部230:附加特性信息分配部250:三维模型补充部300:显示部具体实施方式以下,将通过示例性附图详细说明本发明的一些实施例。应当注意,在对各个附图的结构要素赋予附图标记的过程中,即使示出在不同的附图中,对于相同的结构要素也尽可能赋予了相同的附图标记。并且,在说明本发明的过程中,当判断出对相关公知结构或功能的具体说明有可能混淆本发明的主旨时,将省略对其的详细说明。在说明本发明的结构要素的过程中,可使用第一、第二、A、B、(a)、(b)等术语。这种术语仅仅用于对其结构要素与其他结构要素进行区分,而相应结构要素的本质或次序或顺序等并不局限于此。并且,除非另有定义,否则包括技术性或科学性的术语在内的所有术语具有与本发明所属领域的普通技术人员通常所理解的相同含义。诸如词典中所定义的术语之类的通常使用的术语应被解释为具有与相关技术的文脉中所具有的含义一致的含义,除非在本发明中明确定义,否则不应以理想性或过于形式化的含义来解释。图1为本发明的图像处理方法的流程图,图2为用于说明将图像数据转换为三维模型的图。参照图1,本发明的图像处理方法包括:从对象体获取多个图像数据的步骤S110;从多个上述图像数据生成具有至少两种不同表达模式的三维模型的步骤S120;以及显示步骤S130,显示具有至少两种不同表达模式的三维模型。本发明的图像处理方法在生成对于对象体的三维模型的过程中,三维模型具有至少两种不同的表达模式,其技术思想是显示这种三维模型的纹理模式和可靠性模式,以下,为了便于说明,作为本发明的图像处理方法的一例,以利用三维扫描仪获取对象体(是指包括牙齿、牙龈等的患者的口腔内部)的三维模型并显示各种信息的过程为例进行说明。根据本发明的图像处理方法的一实施例,获取与患者的口腔内部有关的对象体的图像数据(步骤S110)。在此情况下,可以获取对象体的多个图像数据,图像数据的获取数量越增加,生成的三维模型的可靠性就越提高。获取的上述图像数据可以是二维或三维图像的照片(Shot)。可以获取至少一个图像数据,但可以通过在不会无效率地浪费系统存储器和扫描所需时间的范围内获取多个图像数据来提高后述的可靠性。在获取图像数据的步骤S110中,为了获取图像,可以利用三原色(RGB)光源,或者可以利用一维线性扫描(1DLinescan)、通过结构光的三角测量(Triangulation)、共焦等方式中的至少一种。在获取图像数据的步骤S110中,可以使用用于扫描患者的口腔内部的三维口腔扫描仪(3-dimensionalintraoralscanner)。在此情况下,三维模型实时显示,对象体的可靠性也实时更新。然而,在获取图像数据的步骤S110中,还可以使用用于扫描石膏模型等的三维台式扫描仪(3-dimensionaltablescanner)。在此情况下,三维模型中仅显示最终处理的三维模型,并且可以在最终处理的三维模型中显示可靠性。当在获取图像数据的步骤S110中使用三维口腔扫描仪时,可以实时确认可靠性变化。另一方面,当使用三维台式扫描仪时,可以获取可靠性相对高的三维模型。图2为用于说明将图像数据转换为三维模型的图。参照图2,通过扫描对象体来获取的图像数据I可以包含至少一个像素(pixel)。像素是具有规定面积并构成图像数据的最小单位,图像数据I中包含的像素的数量越多,能够以越高的分辨率表达图像数据I。另一方面,在生成三维模型的步骤S120中,可以从图像数据I实时省城三维模型M。在生成三维模型的步骤S120中,可以使用各种用于三维建模的方法。例如,还可以使用通过上述结构光的三角测量(Triangulation)、标记、激光等来生成三维模型M。生成的三维模型M包括至少一个体素(voxel),体素具有规定体积,是构成三维模型M的最小单位。三维模型M中包含的体素的数量越多,能够以越高的分辨率表达三维模型M。体素与图像数据I的像素相对应,对应的像素所具有的多个规定信息可以分配给在特定位置生成的体素。在本发明的图像处理方法中,生成三维模型的步骤S120可以包括从获取的多个图像数据I获取特性信息的步骤S121。其中,特性信息可以是指用于表达通过对象体的扫描获取的多个图像数据I特征的多个参数(parameter)。示例性地,特性信息包含对象体的表达信息,上述对象体的表达信息是指可通过对象体的建模结果确认的对象体的信息,例如对象体的形状、对象体的颜色等。假设扫描对象体为口腔内部的牙齿,则可以从通过扫描上述牙齿获取的图像数据I获取牙齿的形状、大小、颜色等的建模结果,这称为对象体的表达信息。上述特性信息可以从多个图像数据I中包含的多个像素中的每个像素获取。像素具有其分别配置的图像数据I的位置的特性信息。另一方面,特性信息可以是指可靠性。可靠性可以包含数据的密度及扫描角度中的至少一种。数据的密度可以表示当获取多个图像数据I并产生多个图像数据I之间的重叠区域时在规定位置重叠的数据的数量。后述的可靠性显示手段可根据数据的密度而改变。扫描角度可以表示用于扫描对象体的扫描仪所采用的角度。另一方面,图像数据I的“位置”可以对应于对象体的规定点或规定区域。通过持续获取对象体的规定点或区域的多个图像数据,获取的图像数据的数量增加并且数据的密度相应增加。当在获取多个图像数据I时相邻图像数据I之间发生重叠部分时,能够以使重叠部分相连接的方式对齐(align)多个图像数据I。作为对齐多个图像数据I的方法,可以使用多个常规方法中的至少一种,示例性地,可以使用迭代最近点(ICP,IterativeClosestPoint)方法。根据需要,特性信息还可包含可靠性对应的显示级别。更加详细地,可将可靠性分为具有规定区间的至少两种显示级别,稍后将描述与上述显示级别相关的内容。并且,生成三维模型的步骤S120可以包括生成具有特性信息的三维模型的步骤S122。可以将在获取特性信息的步骤S121中获取的多个特性信息分配给三维模型的体素。另一方面,体素可以对应于图像数据的像素。因此,可以将形成在规定位置的多个像素所具有的特性信息分配给体素。如上所述,分配的特性信息可以包含数据的密度及对象体的表达信息。通过生成三维模型的步骤S120来生成的三维模型具有至少两种不同的表达模式。示例性地,三维模型可以包括:可靠性模式(reliabilitymode),包含可靠性;以及纹理模式(texturemode),包含对象体表达信息。可靠性模式可以在视觉上显示是否获取到对象体的可靠的三维模型,纹理模式可以在视觉上显示对象体的表面特性,即对象体的表达信息。当生成三维模型时,可以执行实时显示具有至少两种不同表达模式的三维模型的显示步骤S130。在显示步骤S130中,通过显示装置显示根据三维扫描仪的对象体扫描而生成的三维模型。在此情况下,用于显示三维模型的表达模式可以包括纹理模式(texturemode)。在纹理模式下,包含在三维模型中的体素的特性信息中的一部分可以一同显示。可以显示的特性信息可以是对象体的表达信息(对象体的颜色、对象体的形状等)。在显示步骤S130中,可以通过公知的输出装置(监视器等)向用户显示同时包括至少两种不同表达模式的三维模型。可以通过与三维扫描仪电连接的摄像头及彩色图像传感器获取对象体的表达信息中的对象体的颜色。可以使用各种颜色模型中的至少一种获取对象体的颜色,示例性地,颜色模型可以是灰色(Gray)模型、三原色(RGB)模型、色调饱和度亮度(HSV)模型、分量配置(YCbCr)模型、四色(CMYK)模型等。另一方面,灰色(Gray)模型是一种基于消色差的颜色模型,仅提供亮度信息。为了在纹理模式下容易显示对象体的颜色,可以使用基于彩色的颜色模型来获取对象体的颜色。另一方面,用于显示三维模型的表达模式可以是可靠性模式(reliabilitymode)。在可靠性模式下,可以一同显示包含在三维模型中的体素的特性信息。此时可以显示的特性信息可能与在上述纹理模式下可以显示的特性信息不同。示例性地,可以在可靠性模式下显示的特性信息可以是数据的密度,数据的密度可通过后述的可靠性显示手段显示。图3及图4为分别显示不同的两种模式的比较例。更加详细地,图3为根据本发明的比较例以纹理模式显示的三维模型,图4为根据本发明的比较例以可靠性模式显示的三维模型。可以考虑如下的比较例:分别显示用于示出对象体表达信息的纹理模式和用于示出根据对象体的数据的密度的可靠性模式。在此情况下,用户需要分别确认纹理模式和可靠性模式。参照图4,在可靠性模式下,虽然三维模型M的第一可靠性颜色r1、第二可靠性颜色r2及第三可靠性颜色r3以不同的图案或颜色表达,但无法一同确认三维模型的实际颜色。因此,根据本发明的比较例,用户存在如下麻烦,即,在纹理模式下查看三维模型以确认对象体的颜色,然后需要切换到可靠性模式以确认三维模型的可靠性。尤其,为了在纹理模式与可靠性模式之间切换,用户需要从对象体移动到位于隔开位置的输入装置(键盘、鼠标等),因而造成不便。并且,在交替执行对象体的扫描和输入装置操作的过程中,可能发生将患者暴露于不卫生环境的问题。为了解决上述比较例存在的问题,本发明的图像处理方法可以用一种集成模式来表达,而无需在纹理模式和可靠性模式之间切换。因此,向患者提供卫生的治疗环境,向用户提供方便的工作环境。更加详细地,本发明的图像处理方法可以包括实时显示具有至少两种不同表达模式的三维模型的显示步骤S130。其中,表达模式可以包括:可靠性模式,包含可靠性;以及纹理模式,包含对象体表达信息。实际上,由于在扫描对象体的初期数据的密度较小,因此三维模型的可靠性较低。确认可靠性低的三维模型的纹理毫无意义,并且存在向患者提供不准确治疗的可能性。因此,可以覆盖(overlay)显示可靠性模式和纹理模式。更加详细地,可以在纹理模式上覆盖显示可靠性模式。即,可靠性模式在纹理模式之前显示给用户,从而可使用户易于确认三维模型的低可靠性的部分,作为三维模型的高可靠性的部分,可以向用户显示用于显示对象体表达信息的纹理模式。结果,可以向用同时显示可靠性模式和纹理模式。以下,将详细说明在可靠性模式下通过规定的可靠性显示手段显示可靠性的过程以及将可靠性分为至少两种显示级别的过程。更加示例性地,将说明根据可靠性中的数据的密度对显示级别进行分类,并通过可靠性显示手段在视觉上显示数据的密度的过程。当获取到可靠性时,可以在可靠性模式下通过规定的可靠性显示手段显示可靠性。在此情况下,可靠性显示手段可以是特定颜色、图案及透明度中的至少一种。在可靠性模式下显示的可靠性显示手段在视觉上显示可靠性,从而可使用户易于确认根据三维模型的一部分获取的可靠性程度。图5至图8为用于说明根据可靠性附加分配包括显示级别的特性信息的图。参照图5至图8,在可靠性模式下,数据的密度可以被分为至少两个可靠性显示级别,以对应于图像数据的像素。可靠性显示级别可以将积累的数据的密度分为规定区间,并对每个区间使用被划分的显示手段。即,在可靠性显示级别的情况下,可将规定的可靠性显示手段分配给每个可靠性显示级别的体素。在此情况下,可靠性显示手段可以是特定颜色,也可以是特定图案。并且,可靠性显示手段也可以是透明度。分配给体素的可靠性显示手段可以显示在三维模型上。图5示出根据数据的密度将区间分为2个可靠性显示级别。虽然未示出,但是当三维模型中的数据的密度为0时,由于未生成三维模型,因此不存在可靠性。另一方面,当数据的密度为1以上且小于xc时,可以分配显示级别“1”。在此情况下,xc可以是判断为具有足够可靠性的临界密度(criticaldensity)。可以向可靠性显示手段附加分配第一颜色(示例性地,红色(Red)),使得可靠性显示级别“1”对应于分配的可靠性显示级别“1”。因此,数据的密度为1以上且小于xc的体素以第一颜色显示。另一方面,当数据的密度为xc以上时,可以向相应的体素分配可靠性显示级别“2”。并且,可以向可靠性显示手段附加分配第二颜色,以对应于可靠性显示级别“2”,第二颜色可以是与第一颜色不同的颜色。例如,第二颜色可以是绿色(Green)。通过以与第一颜色不同的颜色形成第二颜色,用户可以容易地确认已经积累的可靠的数据量。根据图6所示,根据数据的密度,可靠性显示级别可分为5个级别。然而,可靠性显示级别的数量不受限制,可以设置为能够有效区分数据的密度的数量。当可靠性显示级别被分别5个级别时,可靠性显示级别可以具有数据的密度0与临界密度xc之间的至少一个中间临界密度x1、x2、x3。中间临界密度x1、x2、x3可以具有等差值,但也可能没有。然而,为了表示根据统一标准的可靠性变化,中间临界密度可以在数据的密度0与临界密度xc之间以等间隔形成。在体素中,当数据的密度为1以上且小于x1时,可以分配给可靠性显示级别“1”,当数据的密度为x1以上且小于x2时,可以分配给可靠性显示级别“2”,当数据的密度为x2以上且小于x3时,可以分配给可靠性显示级别“3”,当数据的密度为x3以上且小于xc时,可以分配给可靠性显示级别“4”,并且当数据的密度为xc以上时,可以分配给可靠性显示级别“5”。并且,如上所述,可以附加分配与每个可靠性显示级别对应的不同的可靠性显示手段。示例性地,可以向分配到可靠性显示级别“1”的体素附加分配第一颜色,向分配到可靠性显示级别“2”的体素附加分配第二颜色,向分配到可靠性显示级别“3”的体素附加分配第三颜色,向分配到可靠性显示级别“4”的体素附加分配第四颜色,并且向分配到可靠性显示级别“5”的体素附加分配第五颜色,并在可靠性模式下显示。在此情况下,第一颜色至第五颜色能够以不同的颜色来构成,以便能够易于确认可靠性显示级别的变化。以数据的密度为例对上述内容进行了说明,但不限于此,可以通过包括数据的密度、扫描角度等在内的各种因素来测量可靠性。另一方面,在可靠性显示级别的情况下,每个可靠性显示级别可以具有不同的比例。即,为了说明这一点,以与可靠性显示手段相对的概念来定义纹理显示手段,纹理显示手段可以是对象体表达信息中的对象体的颜色。在此情况下,可通过合成可靠性模式侧的可靠性显示手段和纹理模式侧的纹理显示手段来生成用户所要确认的信息。因此,纹理显示手段和可靠性显示手段可以按照不同加权值的比例关系合成并显示在显示装置上,与该合成相关的数学式1表示如下。数学式1A*y+B*(1-y)(A:纹理模式侧纹理显示手段,B:可靠性模式侧可靠性显示手段,y:加权值。但y为0至1之间的实数)根据数学式1,向用户显示的三维模型能够以通过用于显示对象体表达信息的纹理显示手段显示的纹理显示程度和通过可靠性显示手段显示的可靠性显示程度之和来表达。在此情况下,纹理显示程度可以表示纹理显示手段的显示程度,可靠性显示程度可以表示可靠性显示手段的显示程度。根据数学式1,当纹理模式侧纹理显示手段所占的比例(加权值y)增加时,可靠性模式侧可靠性显示手段所占的比例(1-y)减少,同样地,当纹理模式侧纹理显示手段所占的比例减少时,可靠性模式侧可靠性显示手段所占的比例增加。更加详细地,纹理显示程度的比例(加权值y)与可靠性显示程度的比例(1-y)之和可以是1。因此,在显示步骤S130中,随着可靠性模式侧可靠性显示级别随数据的密度的积累而增加,可靠性模式侧可靠性显示手段的可靠性显示程度降低,从而逐渐以纹理模式侧纹理显示手段来显示。由此具有可以直观地掌握体素的可靠性,并且可以在一种显示模式下同时确认对象体的颜色和可靠性的优点。根据另一实施例,可以合成纹理显示手段和可靠性显示手段来显示与显示装置上,与该合成相关的数学式2表示如下。数学式2A+B*(1-y)(A:纹理模式侧纹理显示手段,B:可靠性模式侧可靠性显示手段,y:加权值。但y为0至1之间的实数)根据数学式2,纹理模式侧纹理显示手段是恒定的。但是,可靠性模式侧可靠性显示手段所占的比例随着可靠性的增加而逐渐减少。更加详细地,在低可靠性状态下,可在纹理显示手段上重叠显示可靠性显示手段。另一方面,随着可靠性通过扫描增加,可靠性模式侧可靠性显示手段的比例(1-y)逐渐减少并收敛到0。因此,在显示步骤S130中,随着可靠性模式侧可靠性显示级别随数据的密度积累而增加,可靠性模式侧可靠性显示手段的可靠性显示程度降低并逐渐消失,结果,可以仅显示纹理模式侧纹理显示手段。由此具有可以直观地掌握体素的可靠性,并且可以在一种显示模式下同时确认对象体的颜色和可靠性的优点。另一方面,为了更容易地显示每个可靠性显示级别的可靠性变化,可以引入“透明度”的概念。例如,用作可靠性显示手段的可靠性颜色可以是显示通道(RGBA)模型或色彩(HSL)模型中的至少一种。即,可将包含透明度的颜色模型用作可靠性显示手段。参照图7,根据数据的密度分为至少两种可靠性显示级别方面与上述相同,但与上述不同的是,可以使用透明度作为可靠性显示手段。示例性地,当数据的密度为1以上且小于xc时,可以分配可靠性显示级别“1”。在此情况下,xc可也是判断为具有足够可靠性的临界密度(criticaldensity)。可以向可靠性显示手段附加分配特定颜色和第一透明度,使得可靠性显示级别“1”对应于分配的可靠性显示级别“1”。例如,可以向分配到可靠性显示级别“1”的体素分配紫色(purple)和0%的透明度。因此,当数据的密度为1以上且小于xc时,纹理模式所具有的对象体表达信息被可靠性显示手段掩盖而不被显示。另一方面,当数据的密度为xc以上时,可以向相应的体素分配可靠性显示级别“2”。并且,可以向可靠性显示手段附加分配第二透明度,以对应于可靠性显示级别“2”,第二透明度可以是与第一透明度不同的值。例如,第二透明度可以是100%。通过以与第一透明度不同的值形成第二透明度,用户可以容易地确认已经积累的可靠的数据量。当显示级别为“2”且可靠性显示手段具有100%透明度时,通过在相应体素中去除可靠性显示手段的颜色并显示对象体表达信息(示例性地,对象体的颜色),用户可以更加容易地同时确认可靠性和对象体的实际颜色。即,当可靠性显示级别增加时,透明度一同增加,相反,可靠性显示程度降低。结果,当积累到可靠的数据量时,可靠性显示手段完全消失,并且可以仅显示对象体表达信息。参照图8,示出根据数据的密度分为5个可靠性显示级别的示例。在此情况下,每个可靠性显示级别可以应用互不相同的透明度,可以与可靠性显示级别成正比地应用。因此,随着可靠性显示级别的增加,可靠性显示手段的透明度也增加,并且随着数据的积累,可靠性显示颜色逐渐消失。另一方面,透明度可以在0%至100%的范围内根据可靠性显示级别的数量以规定间隔划分并分配。示例性地,可以向可靠性显示级别“1”分配透明度0%,向可靠性显示级别“2”分配透明度25%,向可靠性显示级别“3”分配透明度50%,向可靠性显示级别“4”分配透明度75%,并且向可靠性显示级别“5”分配透明度100%。当数据的密度为临界密度以上时,判断为相应体素中积累了高可靠性的数据量,从而可以去除可靠性显示颜色并显示三维模型的对象体表达信息。因此,用户可以对保留可靠性显示颜色的三维模型的部分进行附加扫描,并且可以获取整体上高质量的三维模型。图9及图10为用于说明临界密度的图。参照图9及图10,数据的密度与图像数据的获取对应地得到更新,数据的密度可以仅更新至临界密度。初始数据Ti、新数据Tn及更新数据Tf可以表示作为像素集合的图像数据或作为体素集合的三维模型。为了便于说明,初始数据Ti、新数据Tn及更新数据Tf被认为是对作为体素集合的三维模型的简化,但不限于此。示例性地,新数据Tn可以与临界密度被设置为500的初始数据Ti对齐并重叠。在此情况下,新数据Tn可以与初始数据Ti的一部分或全部重叠。标有“X”的多个部分是新数据Tn与初始数据Ti不重叠的部分,未标有“X”的多个部分是新数据Tn与初始数据Ti重叠的部分。参照图9,将说明针对新数据Tn与初始数据Ti重叠的部分更新数据的密度的过程。每个体素分配有数据的密度,体素可以通过收容重叠的新数据Tn来更新数据的密度。但是,参照图10,在新数据Tn与初始数据Ti重叠的部分中,针对数据的密度达到临界密度的体素不更新数据的密度。通过针对数据的密度达到临界密度的体素不更新数据的密度,可以防止执行本发明的图像处理方法的装置过度使用存储空间,并且可以节省系统资源。以下,将说明根据扫描角度范围的选择性数据的密度的更新。图11为用于说明扫描角度范围的图。三维模型必须以多角度扫描才能获取高可靠性数据。即,即使在同一时间扫描同一点,也优选沿着多个方向扫描该点而不是沿着一个方向扫描该点。如图10所示,能够以扫描起始角度为中心形成第一扫描角度范围θ1,并且可以生成与第一扫描角度范围分别相邻的第二扫描角度范围θ2及第三扫描角度范围θ3。尽管在图10中针对一个角度因素形成了扫描角度范围,但是可以根据需要形成针对滚动(roll)、偏航(yaw)、俯仰(pitch)的角度因素中的至少一种的扫描角度范围。示例性地,假设总临界密度xc为300,并且分配给第一扫描角度范围θ1的第一亚临界密度xθ1为100,分配给第二扫描角度范围θ2的第二亚临界密度xθ2为100,分配给第三扫描角度范围θ3的第三亚临界密度xθ3为100(第一亚临界密度至第三亚临界密度未在附图中示出)。在此情况下,在每个扫描角度范围θ1、θ2、θ3中,数据可以积累到对应于每个临界密度的数据的密度。例如,当在第一扫描角度范围θ1中的数据的密度为100,在第二扫描角度范围θ2中的数据的密度为70,在第三扫描角度范围θ3中的数据的密度为50时,相应体素的数据的密度未达到总临界密度xc。但是,当为了获取高可靠性的数据而更新数据的密度时,即使在第一扫描角度范围θ1中进行扫描,也不更新相应体素的数据的密度。因此,为了提高相应体素的可靠性,用户需要在第二扫描角度范围θ2或第三扫描角度范围θ3中进行附加扫描。像这样,通过允许数据的密度在每个扫描角度范围中更新至亚临界密度,用户可以引导沿着多个方向扫描对象体,以获取高可靠性的数据,并且可以提高三维模型的整体可靠性。并且,在本发明的图像处理方法中,当数据的密度为临界密度以下时,可以进一步执行补充数据的密度的步骤S200。图12为用于说明根据扫描角度范围补充数据的密度的步骤S200的图。参照图12,判断分配给规定体素的数据的密度是否为临界密度xc以上(步骤S210)。当分配给规定体素的数据的密度为临界密度xc以上时,判断相应体素中已经积累了足够的数据。但是,当分配的数据的密度为临界密度xc以下时,通过确认每个扫描角度范围所具有的亚临界密度来检测未达到亚临界角度的扫描角度范围。在上述示例中,第一扫描角度范围达到第一亚临界密度,但第二扫描角度范围及第三扫描角度范围分别未达到第二亚临界密度及第三亚临界密度。在此情况下,可以检测具有最低数据的密度的扫描角度范围(步骤S220),可通过指示相应扫描角度范围(步骤S230)来补充可靠性。例如,当当前扫描的扫描角度范围为第一扫描角度范围,并且待补充的扫描角度范围为第二扫描角度范围时,可以通过显示装置显示诸如“请向左侧倾斜来进行扫描”之类的通知消息。用户可以通过识别相应消息等并在未达到亚临界角度的扫描角度范围中进行附加扫描来获取可靠性更高的三维模型。图13至图15为示出通过使用本发明的图像处理方法来显示的三维模型的图。参照图13,可以确认上述图像处理方法的初始执行过程。在用户界面(UserInterface,UI)上,可以在一侧显示实时生成的三维模型M,在另一侧显示实时获取的图像数据I。在三维模型M中,由于在图像处理方法的初始执行过程中整体体素的数据的密度低,因此在大部分区域中明确显示可靠性显示手段。示例性地,生成的三维模型M被表达为整体上具有第一可靠性颜色r1。然而,第一可靠性颜色r1、第二可靠性颜色r2及第三可靠性颜色r3是示例性的,也可以具有规定图案或相同颜色的不同透明度。参照图14,随着数据的密度的增加,可以确认到一些体素中出现纹理模式的对象体表达信息。随着显示级别随数据的密度的增加而增加,可靠性显示手段变为第二可靠性颜色r2或第三可靠性颜色r3并逐渐消失,并且可以仅显示对象体表达信息(示例性地,对象体的形状、对象体的颜色等)。并且,参照图15,可靠性模式的可靠性显示手段消失相当一部分,并且可以显示纹理模式的对象体表达信息。另一方面,通过显示包括可靠性模式和纹理模式的三维模型,低可靠性部分可以通过可靠性显示手段显示,高可靠性部分可以通过对象体表达信息显示。因此具有可使用户易于确认低可靠性部分,并且获取整体上具有高可靠性的三维模型的优点。另一方面,以数据的密度为例对上述内容进行了说明,但这属于一个示例。作为另一示例,可靠性可以表示扫描角度,可以从各种扫描角度进行扫描来提高可靠性。在此情况下,如上所述,可以通过将扫描角度划分范围并获取每个扫描角度范围的数据的密度来获取可靠性。并且,还可以单独积累扫描角度来获取可靠性。以下,将说明本发明的图像处理装置。与上述本发明的图像处理方法的说明重复的部分的说明将被部分省略。图16为本发明的图像处理装置的结构图。参照图16,本发明的图像处理装置10可以包括:扫描部100,用于扫描对象体;控制部200,从对象体的多个图像数据生成具有至少两种不同表达模式的三维模型;以及显示部300,用于显示具有至少两种不同表达模式的三维模型。扫描部100通过扫描对象体(示例性地,包括牙齿、牙龈的患者的口腔内部)来获取图像数据。图像数据可以是二维图像数据或三维图像数据的照片(Shot)。扫描部100可以具有用于拍摄对象体的摄像头。通过摄像头的镜头收容从对象体的表面反射的光。并且,扫描部100可以具有与摄像头电连接的成像传感器。成像传感器可以从收容于摄像头的光生成图像数据。作为成像传感器,可以使用诸如电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器之类的彩色成像传感器。由扫描部100获取的图像数据传送到控制部200。另一方面,如上所述,扫描部100可以是手持式口腔扫描仪(handheldintraoralscanner),手持式口腔扫描仪可以在获取图像数据的同时在实时显示部300中显示三维模型。并且,扫描部100可以是三维台式扫描仪(3-dimensionaltablescanner),三维台式扫描仪可以通过获取图像数据来在显示部300中显示完成的最终处理模型。控制部200通过从多个图像数据获取特性信息来具有特性信息的三维模型,并且特性信息包含可靠性及对象体表达信息。控制部200可以包括:特性信息获取部210,用于从多个图像数据获取特性信息;以及三维模型生成部220,从获取的特性信息和图像数据获取三维模型。从图像数据生成三维模型的方法可以使用如上所述的使用激光、标记、结构光的多个公知方法中的至少一种。三维模型可以包含特性信息。特性信息可以表示用于表达通过对象体的扫描获取的图像数据的特征的多个参数。更加详细地,三维模型可以具有包括表达可靠性、对象体的颜色、形状等特征的对象体表达信息的特性信息。在此情况下,可靠性可以包括对应于多个图像数据之间的重叠区域的数据的密度及扫描角度中的至少一种。另一方面,图像数据包含至少一个像素,三维模型可以包含在像素对应的位置具有规定体积的体素。另一方面,三维模型包含根据获取的特性信息使用于可靠性模式的可靠性和使用于纹理模式的对象体表达信息。因此,当三维模型显示于显示部300时,可以使可靠性模式和纹理模式均显示。另一方面,可靠性模式和纹理模式可以覆盖显示。更加详细地,可靠性模式可以在纹理模式上覆盖显示。因此,三维模型中的低可靠性体素可通过可靠性模式显示,三维模型中的高可靠性体素可通过纹理模式显示。以下,使用对象体的密度来说明作为可靠性模式的特性信息的可靠性。然而,对象体的密度是示例性的,也可以将扫描部100扫描对象体的扫描角度用作可靠性。在可靠性模式下,可靠性显示手段可根据数据的密度而改变。可靠性显示手段可以表示规定颜色、图案或透明度中的至少一种。可以通过持续获取对象体的规定点或区域的图像数据来积累数据的密度的数量,当获取多个获取图像数据时,可以对齐并积累多个图像数据,以连接相邻图像数据之间的重叠部分。特性信息还可包含与数据的密度对应的可靠性显示级别。示例性地,数据的密度可以根据其数量分为具有规定区间的至少两个可靠性显示级别。控制部200还可包括用于根据数据的密度分配对应的可靠性显示级别的附加特性信息分配部230。在此情况下,附加特性信息分配部230可以附加分配从通过特性信息获取部210获取的特性信息导出并加工上述特性信息而成的信息。示例性地,根据数据的密度按新分类标准生成的可靠性显示级别可它能够给附加特性信息分配部230重新分配给与三维模型对应的体素。并且,附加特性信息分配部230可以向每个可靠性显示级别附加分配规定的可靠性显示手段,可靠性显示手段可以是规定的颜色、透明度、图案中的至少一种。示例性地,当可靠性显示手段为规定的颜色时,分配给相同体素的可靠性颜色和对象体的颜色可以被合成并通过显示部300显示。随着数据的密度的增加,可靠性显示级别也增加,根据上述数学式1或数学式2,随着可靠性显示级别增加,可靠性显示手段(可靠性颜色)的比例逐渐减少。相反,随着数据的密度的增加,纹理模式侧纹理显示手段所具有的比例逐渐增加。结果,当积累足够的数据量时,可靠性显示手段消失,并且仅保留对象体表达信息,从而可使用户一同确认三维模型的可靠性和三维模型的对象体表达信息。因此,由于体素显示的颜色通过根据比例合成两种颜色而逐渐改变,因此用户可以容易地确认三维模型的可靠性信息及三维模型的对象体表达信息。另一方面,附加特性信息分配部230可以在三维模型的体素中向每个可靠性显示级别分配不同的透明度。这种透明度的分配可以按可靠性显示级别划分并进行差异分配。然而,即使在这种情况下,若数据的密度被分为足够多的可靠性显示级别,则可使可靠性显示手段根据数据的密度逐渐消失。附加特性信息分配部230可以根据在0%至100%的范围内根据可靠性显示级别的数量划分并分配从数据的密度导出的透明度信息。例如,可以向第一可靠性显示级别分配透明度0%,向第二可靠性显示级别分配透明度25%,向第三可靠性显示级别分配透明度50%,向第四可靠性显示级别分配透明度75%,以及向第五可靠性显示级别分配透明度100%。因此,随着数据的密度的增加,显示级别也增加,透明度提高,结果,可使可靠性显示手段消失,并且仅显示纹理模式的对象体表达信息。另一方面,特性信息获取部210可以对应于图像数据的获取而更新数据的密度,并且将数据的密度更新至临界密度。示例性地,当临界密度为400并且在特定体素中积累400个数据时,判断为相应体素获取足够的数据量,从而可以不积累附加数据。通过不在达到临界密度的体素中积累附加数据,可以防止不必要地使用存储空间,并且可以节省系统资源。并且,数据的密度根据图像数据的扫描角度范围具有至少两种亚临界密度,可以将数据的密度更新至每个扫描角度范围的亚临界密度。例如,当扫描部100扫描对象体时,若将扫描起始角度设置为0度,则可以具有从起始角度0度向两侧具有规定角度的范围-第一扫描角度范围以及与第一扫描角度范围分配相邻的第二扫描角度范围和第三扫描角度范围。另一方面,每个扫描角度范围可以具有亚临界密度,每个亚临界密度可以相同。另一方面,控制部200还可以包括根据每个扫描角度范围的亚临界密度补充数据的密度的三维模型补充部240。三维模型补充部240可以沿着多个方向对规定体素进行扫描来获取高可靠性的三维模型。示例性地,当针对特定体素的第一扫描角度范围达到相应范围的临界密度,且第二扫描角度范围及第三扫描角度范围未达到相应范围的临界角度时,可通过在第二扫描角度范围及第三扫描角度范围内进行扫描来提高三维模型的可靠性。尤其,当三维模型补充部240具有多个扫描角度范围时,三维模型补充部240可以控制显示部300指示具有最低数据的密度的扫描角度范围。示例性地,扫描部100位于第一扫描角度范围,且第二扫描角度范围具有最低数据的密度时,三维模型补充部240可使显示部300显示诸如“请向左侧倾斜来进行扫描”之类的通知消息。用户可以通过识别相应消息等并在未达到亚临界角度的扫描角度范围中执行附加扫描来获取可靠性更高的三维模型。以上说明仅仅为对本实施例的技术思想的例示性说明,只要是本实施例所属
技术领域
:的普通技术人员,就可在不脱离本实施例的本质特性的范围内进行多种修改及变形。因此本实施例并非所要限定本实施例的技术思想而用于说明本实施例,本实施例的技术思想的范围并不局限于这种实施例。本实施例的保护范围应以以下发明要求保护范围来进行解释,与其等同的范围内的所有技术思想应被解释为包含在本实施例的权利范围内。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1