用于被测量的三维目标场景的目标分类的制作方法

专利名称：用于被测量的三维目标场景的目标分类的制作方法
技术领域：
本发明一般涉及目标场景的三维(3D)成像。特别是，本发明涉及在目标场景的3D 测量中在不同类别目标之间区分的方法。
背景技术：
在典型的牙科或医用3D摄像机或扫描器成像系统中，获得目标场景中的一个或更多个目标表面的一系列二维OD)亮度图像(intensity image)，其中针对每个图像的照明可以变化。在一些系统中，结构光图案(structured light pattern)被投影在所述表面上并且在每个2D亮度图像中被检测。例如，投影的光图案可以通过将一对相干光束投影在目标表面上并且得到在连续的2D图像之间变化的条纹图案来产生。替代地，投影的光图案可以是利用亮度掩膜(mask)和在连续的2D图像之间移动位置的投影图案产生的一系列投影的平行线。在其他种类型的3D成像系统中，采用诸如共焦成像的技术。在动态3D成像系统中，在摄像机或扫描器相对于目标场景运动时获得一系列3D 数据组。例如，成像系统可以是使用者相对于目标场景手动定位的识别棒/扫描棒或其他手持式装置。在一些应用中，通过相对于目标移动该装置来测量多个目标表面，以便在一个位置中的从该装置的视野遮蔽的表面在另一个位置可以被该装置观察。例如，在牙科应用中，在静态视场中牙齿或其他牙齿特征的存在能够遮蔽其他牙齿的视野。处理单元自动记录(register)所有获得的3D数据的重叠区，以在测量过程期间得到所有被观察表面的完整3D数据组表示。3D测量的结果可能难以解释。例如，口腔的测量通常包括诸如牙齿、假牙结构和牙龈的不同类别目标的3D数据。3D数据能够以不同的图形格式呈现给用户，例如3D表面图(surface map)表示形式或3D点云形式的点的显示。在该显示中表示的不同结构之间的区分可能是问题并且需要很大的努力来适当地解释该显示中的特征。在一些例子中，临床医生或许不能区别分开的目标的相邻部分。例如，对于牙科专业人员而言，难以准确地识别牙龈和釉质或牙质之间的边界。

发明内容
—方面，本发明以口腔图像的目标分类的方法为特征。该方法包括用光束照射口腔的至少一部分并且获得被照射部分的图像。确定该图像中多个点的坐标，并且确定每个点的半透明度值。基于每个点的半透明度值确定该点的目标类别。
另一方面，本发明以目标场景的3D数据的目标分类方法为特征。该方法包括用结构光图案照射目标场景并且获得该被照射的目标场景的图像。基于获得的图像确定在该目标场景中的多个点的坐标。确定每个点的半透明度值并且基于每个点的半透明度值确定该点的目标类别。又一方面，本发明以目标场景的3D数据的目标分类方法为特征。该方法包括用每个具有不同空间相位的一系列结构光图案照射目标场景。针对每个结构光图案，获得该目标场景的图像。基于获得的图像确定该目标场景中的多个点的坐标。基于获得的图像确定每个点的背景强度值，并且基于每个点的背景强度值确定每个点的目标类别。再一方面，本发明以用于目标场景的目标分类的设备为特征。该设备包括照射目标场景的照明源、成像器以及与该成像器通信的处理器。成像器被配置成获得被照射的目标场景的图像并且提供包括该目标场景的2D图像数据的输出信号。处理器被配置成响应 2D图像数据，确定表示在该图像中的多个坐标的半透明度值。处理器响应每个坐标的半透明度值来确定每个坐标的目标类别。再一方面，本发明以用于目标场景的目标分类的设备为特征。该设备包括投影仪、 成像器以及与该成像器通信的处理器。投影仪被配置成用一系列结构光图案照射目标场景。成像器被配置成获得针对该系列中每个结构光图案的被照射目标场景的图像。对于每个图像，成像器提供包括该目标场景的2D图像数据的输出信号。处理器被配置成响应所述系列的2D图像数据，确定目标场景的3D坐标和每个3D坐标的半透明度值。处理器响应每个3D坐标的半透明度值而确定每个3D坐标的目标类别。


通过结合附图参考下面的说明能够更好地理解本发明的上述和其他优点，其中， 在各图中相同的附图标记表示相同的结构元件和特征。为了清楚起见，不是在每个图中给每个元件都注上标记。附图不需要按比例绘制，而是将重点放在图解说明本发明的原理上。图1是示出能够被用来获得目标场景的3D图像的测量系统的例子的块示意图。图2图解说明可操纵的识别棒，它是被用来获得口腔的3D测量数据的3D测量系统的一部分。图3图解说明如何用图2的识别棒进行上牙弓的3D测量。图4是根据本发明的实施例的目标场景的3D数据分类方法的流程图表示。图5是根据本发明的另一个实施例的目标场景的3D数据分类方法的流程图表示。
具体实施例方式下面将参考在附图中示出的本发明的示范性实施例更加详细地描述本发明。虽然结合各种实施例和例子描述本发明，但不是想要将本发明限制于这些实施例。相反，正如本领域的技术人员将理解的，本说明包含各种替代方案、修改和等同物。已经接触在此的本发明的本领域普通技术人员将会认识到属于这里描述的本公开范围内的附加实现、修改和实施例以及其他使用领域。本发明的方法可以以可操作的方式包括任何描述的实施例或所描述的实施例的组合。简言之，本发明的方法能够进行被测量的3D目标场景的快速自动目标分类。正如这里所用的，目标分类是指从被测量目标的多个可能的目标类别确定目标的类型或类别。在获得数据的同时在3D测量过程期间可以执行该方法。替代地，可以在用前面获得的数据完成测量过程之后执行该方法。在各种实施例中，用光束照射目标场景并且获得图像。确定图像中的各点的坐标并且确定每个点的半透明度值。基于每个点的半透明度值确定每个点的目标类别。可选地，每个点的灰度或彩色图像数据被用来补充目标类别确定。在下面描述的具体实施例中，若干方法涉及在口腔的3D测量——例如在牙科应用中由临床医生进行的测量期间或之后3D数据的目标分类。被测量的表面可以包括牙齿的釉质表面、牙齿的牙质下部结构、牙龈、各种牙结构(例如桩、植入物和填充物)以及软组织 (例如舌或唇)。用于口腔测量的3D测量数据的分类能够在对应于这些不同目标类别的3D 数据中进行区分。区分不同类型目标的能力允许3D测量数据以示出在被测量的目标场景中的目标类别的方式显示。而且，因此能够管理来自不感兴趣的目标的3D测量数据。例如， 通过口腔测量应用中的测量视场的舌或唇的运动能够使来自干扰目标的数据被获得。可以抛弃这种不想要的数据或防止其破坏想要的目标场景即牙齿和牙龈的测量。应当意识到这些方法也能够应用于医疗应用和在其中为具有多个目标类别的目标场景获得3D测量数据的其他应用。在下面描述的一些实施例中，3D测量系统利用由干涉测量条纹投影或其他技术产生的结构照明图案。成像部件获得2D图像，以基于目标的结构照明确定目标表面上的各点的坐标信息。通过引用结合于此的美国专利5，870，191号描述了一种叫做云纹干涉测量法 (Accordion Fringe Interferometry，AFI)的技术，这种技术基于干涉测量条纹投影能够被用于高精度3D测量。基于AFI的3D测量系统通常采用两个紧密间隔的相干光源，以将干涉测量条纹图案投影在目标的表面上。针对该条纹图案的至少三个空间相位的条纹图案的图像被获得。图1图解说明基于AFI的3D测量系统10，该系统被用来得到一个或更多个目标22 的3D图像。由条纹投影仪18产生的两个相干的光束14A和14B被用来以干涉条纹沈的图案照射目标22的表面。在目标22的干涉图案的图像由成像系统或透镜30形成在包括光电探测器34的阵列的成像器上。例如，探测器阵列34可以是二维电荷耦合器件(CCD)成像阵列。由探测器阵列34产生的输出信号被提供给处理器38。输出信号包括关于在阵列 34中的每个光电探测器处接收的光的强度的信息。可选的偏振器42定向成与散射光的主偏振分量一致。控制模块46控制从条纹投影仪18发射的两个相干的光束14的参数。控制模块46包括调节两个光束14的相位差的相移控制器50和调节在目标22处的干涉条纹 26的间距或间隔的空间频率控制器M。条纹图案的空间频率由在条纹投影仪18中的相干光辐射的两个虚拟源的间隔、 从虚拟源到目标22的距离以及辐射的波长确定。尽管实际的光辐射源可以位于在别处，但是虚拟源是光辐射看起来像是从其起源的点。处理器38和控制模块46通信以关于相位差和空间频率的变化来协调来自光电探测器阵列34的信号的处理，并且处理器38根据条纹图案图像确定目标表面的3D信息。处理器38基于在条纹图案的连续相移之后产生的一系列2D图像中的像素的强度值，为每个像素计算从成像系统30和探测器阵列34到目标表面的距离。因此处理器生成能够显示为表示目标表面的点云或表面图的一组3D坐标。处理器38与用于存储在测量过程期间产生的3D数据的存储器模块58通信。用户接口 62包括输入装置和显示器，以使诸如临床医师的操作者能够提供操作者指令并且使操作者能够以接近实时的方式观察获得的3D信息。例如，在目标22的表面的不同区被测量并且获得附加的3D测量数据时，操作者能够观察点云或表面图的图形表示的增长的显示。图2图解说明可操纵的识别棒66的形式的手持式3D测量装置，该装置可被用来获得口腔的3D测量数据。识别棒66包括通过柔性电缆74连接于处理器和系统其他部件 (未示出)的主体部分70。识别棒66产生从投影端82附近投影的结构光图案78，以照射要被测量的目标场景。例如，结构光图案78可以是基于如上面针对图1描述的AFI测量系统的原理的干涉测量条纹图案。识别棒66可被用来获得一部分牙弓的3D数据。识别棒66 由临场医生在口腔内操作，因此获得可被结构光图案78照射的所有表面的3D数据。图3示出如何用图2的识别棒66进行上牙弓的3D测量的例子。在这个例子中， 识别棒66是AFI型3D测量系统的可操纵部件。在牙弓的口腔扫描的一部分期间，从识别棒66将条纹投影在测量视场94中的牙齿86和邻近的牙龈组织90上。优选地，从测量扫描获得的3D数据对临床医生显示为示出牙齿86和牙龈90的被测量表面的3D点云或表面图(例如，线框表示)。参考图1，成像阵列34接收投影在测量视场94的范围内的牙齿86和相邻牙龈90 上的条纹图案的图像。由于釉质的半透明性质，在投影的条纹图案中的一些光透过牙齿的表面并且在表面下面的区域中散射。散射的光通常导致条纹图案的图像变差。半透明性的程度确定条纹图案中透过表面并在下面散射的光的量。如果来自表面下面的区域的散射光相对于来自在表面的条纹照射的散射光的是数量上非常大的，则图像中的条纹图案的表观位置(即，表观相位)能够不同于在牙齿86的表面上的条纹图案的实际位置。优选地，投影仪18利用增加靠近表面的内部散射的照射波长。例如，条纹照射可以包括近紫外波长或较短的可见波长(例如从大约350nm到500nm)，和较长的波长相比，这种波长导致靠近表面的更多散射和在该表面的下面的较少透过。此外，优选地，条纹图案被构造成具有高空间频率，使得从浅的表面下区域散射的光给条纹图案的图像带来几乎均勻的背景光。在处理2D 图像以确定牙齿86的3D数据期间，来自表面下区域的背景影响被忽略。而且，来自表面下区域的任何空间变化的强度影响引起的残差的大小不太重要，因为该影响被限制在每个牙齿86的表面之下的浅区。在示范性的实施例中，投影的条纹图案的波长是405nm，并且在牙齿表面的条纹图案的空间频率或间距是至少1条纹/mm。图4是针对目标场景的3D数据的目标分类方法100的流程图表示。方法100包括用结构光图案照射目标场景(步骤110)。例如，结构光图案可以是由相干光束的干涉或阴影掩膜投影产生的条状强度图案。获得被照射的目标场景的图像(步骤120)。在一些应用中，目标场景对应于3D成像装置的测量视场并且通过操作该装置使得测量视场包括较大的目标场景的其他区来测量较大的目标场景。从该获得的图像确定该目标场景表面上的 3D点的坐标(步骤130)。确定每个被测量的3D点的半透明度值(步骤140)。目标场景可以包括可相互区别的多个目标。例如，两个目标可以由具有不同半透明度的不同材料组成。因此半透明度值可以被用来为点确定目标的类型或目标类别(步骤150)。目标分类可以基于将半透明度值与一个或更多个和不同目标类型关联的阈值进行比较。例如，目标分类可以基于确定在多个半透明度值范围中的那个范围包括该点的半透明度值。在这个例子中，每个半透明度值范围对应于唯一的目标分类。可选地，对应于从对应目标表面散射的光的幅值的反射率值与半透明度值组合使用，以确定目标类别。在这种情况下，将反射率值和反射阈值或阈值的范围进行比较，反射阈值或阈值的范围和半透明度值组合来与各种目标类别关联。生成目标场景的图形显示(步骤160)。该显示包括针对每个点的目标类别的指示。例如，该显示可以是3D表面图表示，其中线框表示、表面元件描绘等用不同的颜色显示，以指示目标类别。其他的图形参数可以用来指示每个点的目标分类。在另一个例子中， 显示可以是3D点云，其中每个点具有与其目标分类关联的颜色。在一些实施例中，图形显示可以包括边界线或类似特征，以将目标场景的不同区分段成或区别成图形目标，使得不同的目标能够被容易地识别。可选地，获得目标场景的被照射区的彩色图像。为每个点获得的彩色数据可以与每个点的半透明度值组合使用，以确定每个点的目标类别。在被动照明设备或诸如白光源或宽带光源的补充光源能够用来改进通过颜色进行区别的能力的情况下，能够获得彩色图像。在替代实施例中，诸如红光、绿光和蓝光发光二极管(LED)的光谱光源的顺序操作可以用来产生RGB图像。以这种方式，单色成像器可以用来产生彩色数据，以补充目标分类。在另一替代选择中，获得目标场景的被照射区的灰度图像。每个点的目标灰度值与该点的半透明度值组合使用，以确定该点的目标类别。灰度图像可以用被动照明设备获得，或者可以使用补充光源。图5是目标场景的3D数据的目标分类方法200的实施例的流程图表示。方法200 包括用一系列不同空间相位的结构光图案照射目标场景(步骤210)。优选地，结构光图案是在一维中具有正弦强度变化的干涉测量强度图案，例如，正弦强度图案通过如在上面关于图1描述的两个相干光束的干涉产生。优选地，该系列包括一组三个正弦强度图案，每个具有偏离另外两个正弦强度图案120°的空间相位。针对该系列中的每个光图案，获得被照射的目标场景的图像(步骤220)。基于该系列结构光图案的图像确定目标场景中点的3D数据(步骤230)。为来自该系列图像的每个点计算背景强度值(步骤M0)。一般来说，如果目标场景的其他照射源被保持在低水平并且如果图像获得时间充分短，则在目标场景中的点的背景强度值主要是由于与该点关联的目标的半透明度引起的。因此背景强度值可以用作该点的半透明度(即，半透明度值)的量度。在基于三个正弦强度图案的投影的实施例中，通过首先将正弦强度变化数学地拟合到被照射的目标场景的2D图像中点位置的三个强度值来确定该点的背景强度值。例如，数学拟合可以是正弦函数的最小二乘方拟合。背景强度存在于该系列的所有图像中并且使对比度变差。背景强度的值被确定为已拟合的正弦函数的最小值。由于背景强度值与半透明度值紧密相关，背景强度值水平可以用来确定该点的目标类型或目标类别(步骤250)，例如通过将背景值和与不同目标类型关联的与一个或更多个阈值或背景强度值范围进行比较。在另外的实施例中，目标分类是两步比较，其中目标分类还包括将拟合的正弦函数的最大值与一个或更多个阈强度值进行比较。生成目标场景的图形显示(步骤沈0)并且该图形显示包括每个点的目标类别的
9指示。该显示可以是如上面关于图4的方法描述的表面图表示或3D点云的任何类型，其中颜色或其他图形特征用来指示不同的目标类别和结构。可选地，获得目标场景的彩色或灰度图像并且将所述图像与背景强度值组合使用，以确定目标类别。虽然上面描述的实施例主要涉及其中利用结构光图案照射目标场景的目标分类， 但是将会认识到，通过确定半透明度的目标分类可以在更一般的照射条件下进行。例如，可以用允许确定目标上的点或区的半透明度值的任何方式以光束照射目标场景。光相干断层撮影(OCT)系统和共焦点的显微系统是能够适于半透明度测量和目标分类的测量系统的例子。诸如波长或光谱宽度的光束特性可以被选择，以最好地有助于不同目标类型之间的区分。而且，目标场景的灰度或彩色图像数据可以用在各种实施例中，以提高目标分类能力。虽然已经参考具体实施例示出并描述了本发明，但是本领域的技术人员应当理解，在不脱离由权利要求限定的本发明的精神和范围的情况下可以进行各种形式和细节的修改。
权利要求
1.一种口腔图像的目标分类的方法，该方法包括 用光束照射口腔的至少一部分；获得所述口腔的被照射部分的图像确定所述图像中的多个点的坐标； 确定每个点的半透明度值；以及基于每个点的半透明度值确定该点的目标类别。
2.根据权利要求1的方法，其中确定每个点的目标类别包括将所述半透明度值和与目标类别关联的至少一个阈值进行比较。
3.根据权利要求1的方法，还包括为每个点确定目标颜色，并且其中确定每个点的目标类别是基于所述半透明度值和所述目标颜色。
4.根据权利要求1的方法，还包括为每个点确定目标灰度值，并且其中确定每个点的目标类别是基于所述半透明度值和所述目标灰度值。
5.根据权利要求1的方法，其中所述坐标是所述口腔中的目标表面的3D坐标。
6.根据权利要求1的方法，其中所述坐标是所述口腔的图像的2D坐标。
7.一种目标场景的三维数据的目标分类的方法，该方法包括 用结构光图案照射目标场景；获得被照射的目标场景的图像；基于获得的图像确定在所述目标场景中的多个点的坐标； 确定每个点的半透明度值；以及基于所述半透明度值确定每个点的目标类别。
8.根据权利要求7的方法，其中照射所述目标场景包括投射具有单个波长的光。
9.根据权利要求7的方法，其中照射所述目标场景包括投射具有多个波长的光。
10.根据权利要求7的方法，其中照射所述目标场景包括投射具有连续波长光谱的光。
11.根据权利要求7的方法，其中所述坐标是所述目标场景的三维坐标。
12.根据权利要求7的方法，其中确定每个点的目标类别包括将所述半透明度值和与目标类别关联的至少一个阈值进行比较。
13.根据权利要求7的方法，还包括为每个点确定目标颜色并且其中确定每个点的目标类别是基于所述半透明度值和所述目标颜色。
14.根据权利要求7的方法，还包括为每个点确定目标灰度值，并且其中确定每个点的目标类别是基于所述半透明度值和所述目标灰度值。
15.根据权利要求7的方法，还包括根据所述坐标生成所述点的图形显示，其中每个所述点具有指示该点的目标类别的图形表示。
16.根据权利要求7的方法，其中所述坐标是2D图像坐标。
17.根据权利要求16的方法，还包括生成所述2D图像坐标的图形显示，其中每个所述 2D图像坐标具有指示所述2D图像坐标的目标类别的图形表示。
18.根据权利要求15的方法，其中生成所述图形显示包括生成所述目标场景中的所述点的3D表面图表示。
19.根据权利要求15的方法，其中生成所述图形显示包括生成3D点云显示。
20.根据权利要求15的方法，其中指示所述目标类别的所述图形表示是颜色。2
21.根据权利要求7的方法，其中所述目标类别是从多个目标类别确定的，所述多个目标类别包括来自包括牙齿、牙龈和软组织的一组目标类别的至少两个目标类别。
22.—种目标场景的三维数据的目标分类方法，该方法包括 用每个具有不同空间相位的一系列结构光图案照射目标场景； 为每个所述结构光图案获得所述目标场景的图像；基于获得的图像确定在所述目标场景中的多个点的坐标； 基于获得的图像确定每个点的背景强度值；以及基于所述背景强度值确定每个点的目标类别。
23.根据权利要求22的方法，其中所述背景强度值对应于所述目标场景中的所述点的半透明度。
24.根据权利要求22的方法，还包括为每个点确定目标颜色并且其中确定每个点的目标类别是基于所述背景强度值和所述目标颜色。
25.根据权利要求22的方法，还包括为每个点确定目标灰度值，并且其中确定每个点的目标类别是基于所述背景强度值和所述目标灰度值。
26.根据权利要求22的方法，其中确定所述背景强度值包括计算数学地拟合于所述系列中的图像的点的所述强度值的正弦强度函数，所述正弦强度函数具有最大值和最小值；以及确定所述背景强度值作为所述正弦强度函数的最小值。
27.根据权利要求22的方法，其中目标类别的所述确定包括将背景强度值和与目标类别关联的至少一个阈值进行比较。
28.根据权利要求22的方法，还包括根据所述坐标生成所述点的图形显示，其中每个所述点具有指示该点的目标类别的图形表示。
29.根据权利要求观的方法，其中生成所述图形显示包括生成所述目标场景中的所述点的3D表面图表示。
30.根据权利要求观的方法，其中生成所述图形显示包括生成3D点云显示。
31.根据权利要求观的方法，其中指示所述目标类别的图形表示是颜色。
32.根据权利要求22的方法，其中所述目标类别是从多个目标类别确定的，所述多个目标类别包括来自包括牙齿、牙龈和软组织的一组目标类别的至少两个目标类别。
33.一种用于目标场景的目标分类的设备，包括 照射目标场景的照明源；成像器，所述成像器被配置成获得被照射的目标场景的图像并且提供包括所述目标场景的二维图像数据的输出信号；以及处理器，所述处理器与所述成像器通信并且被配置成响应所述二维图像数据而确定表示在所述图像中的多个坐标的半透明度值，所述处理器还响应所述坐标的半透明度值来确定每个所述坐标的目标类别。
34.根据权利要求33的设备，其中所述处理器响应所述二维图像数据来确定每个所述坐标的颜色，并且其中所述处理器响应所述坐标的半透明度值和颜色来确定每个所述坐标的目标类别。
35.根据权利要求33的设备，其中所述处理器响应所述二维图像数据来确定每个所述坐标的灰度值，并且其中所述处理器响应所述坐标的半透明度值和灰度值来确定每个所述坐标的目标类别。
36.一种用于目标场景的目标分类的设备，包括投影仪，所述投影仪被配置成用一系列结构光图案照射目标场景；成像器，所述成像器被配置成为所述系列中的每个结构光图案获得被照射的目标场景的图像，所述成像器针对每个所述图像提供包括所述目标场景的二维图像数据的输出信号；以及处理器，所述处理器与所述成像器通信并且被配置成响应针对所述系列结构光图案的所述二维图像数据来确定所述目标场景的三维坐标和每个所述三维坐标的半透明度值，所述处理器还响应所述三维坐标的半透明度值来确定每个所述三维坐标的目标类别。
37.根据权利要求36的设备，其中所述处理器响应所述二维图像数据来确定每个所述三维坐标的颜色，并且其中所述处理器响应所述三维坐标的半透明度值和颜色来确定每个所述三维坐标的目标类别。
38.根据权利要求36的设备，其中所述处理器响应所述二维图像数据来确定所述每个所述三维坐标的目标灰度值，并且其中所述处理器响应所述三维坐标的半透明度值和目标灰度值来确定每个所述三维坐标的目标类别。
全文摘要
本发明描述能够进行被测量的三维目标场景的快速自动目标分类的方法。每种方法能够在获得数据的同时在三维测量过程中进行，或在利用所获得的数据完成测量过程之后进行。在各种实施例中，用光束照射目标场景并且获得图像。在一些实施例中，用结构光图案照射目标场景并且获得被在不同空间相位的该图案照射的该目标场景的一系列图像。确定在一个或多个图像中各点的坐标，并且确定每个点的半透明度值。基于每个点的半透明度值确定该点的目标类别。可选地，诸如每个点的灰度或彩色图像数据的附加信息用来补充该目标类别的确定。
文档编号G06T19/00GK102402799SQ20111027399
公开日2012年4月4日 申请日期2011年9月9日 优先权日2010年9月10日
发明者B·赵, R·F·迪伦 申请人:三维光子国际公司