三维形状计测装置、三维形状计测方法及程序与流程

本发明涉及向计测对象物投射具有周期性的图案，并使用所观测的信号对该计测对象物的三维形状进行计测的技术。

背景技术：

作为使用图像而对物体的三维形状进行计测的技术，公知有相移法。相移法是指如下的方法：由投影仪向计测对象物投射具有周期性的图案，对依赖于物体表面的凹凸而产生的投影图案的失真(相位偏移量)进行解析，从而对物体表面的三维形状进行复原。另外，作为相移法的改良手法，还公知有称为MPS(Micro phase shifting：微相移)的手法(参考非专利文献1)。

在这些方法中，有时会产生存在于计测对象物的周围的其他物体上的反射光降低计测精度这样的现象。关于该现象，参考图6进行说明。图6示出使用了摄像装置200和投影仪201的计测系统。从投影仪201向计测对象物202投射具有规定的图案的光201L，并利用摄像装置200来对计测对象物202的表面上映出的投影图案进行拍摄。此时，由计测对象物202的表面凹凸引起的投影图案的失真成为图像的亮度变化而出现。因此，能够基于图像的亮度变化而确定投影仪201、计测对象物202的表面上的点及摄像装置200的位置关系，并根据三角计测的原理而计算计测对象物202的表面的高度(三维位置)。

但是，如图6所示，在计测对象物202的附近存在物体203时，有时从投影仪201投射的光在物体203的表面上进行反射，其反射光203L照射到计测对象物202的表面。这样，在利用摄像装置200观测的观测信号中，不仅包括投影仪201的光201L的反射光分量201R(称为直接分量信号)，而且还包括来自物体203的间接光203L的反射光分量203R(称为间接分量信号)。该间接分量信号203R作为噪声而重叠到计测对象物202的表面上的投影图案，因此对投影图案的解析(即，观测信号的相位值的计算)带来不良影响而产生计测误差。在本说明书中，将这样的现象称为“相互反射”或“多重反射”，将导致相互反射或多重反射的原因的物体(在图6的例子中为物体203)称为“原因物体”。

作为降低相互反射的影响的方法，在专利文献1中提出了如下的方法：确定成为相互反射的原因的原因物体，并在对投射于该原因物体的投影图案进行减光或消光的状态下进行拍摄。但是，在如该方法这样对投影图案进行减光或消光时，有可能出现无法对三维形状进行计测的部分(所谓的死角)。另外，该方法在无法预先准确地确定原因物体(应当对投影图案进行减光或消光的部分)的情况下无法有效地抑制相互反射，因此还存在现实中难以安装到装置的问题。

现有技术文献

专利文献

专利文献1：日本特开2008-309551号公报

非专利文献

非专利文献1：Gupta,Mohit,and Shree K.Nayar."Micro phase shifting."Computer Vision and Pattern Recognition(CVPR),2012IEEE Conference on.IEEE,2012.

技术实现要素：

发明要解决的课题

本发明是鉴于上述实情而完成的，本发明的目的在于提供一种如下的技术：在根据投射于计测对象物的图案的相位来计测三维形状的方法中降低相互反射的影响并提高计测精度。

用于解决课题的手段

为了达到上述目的，在本发明中，采用如下结构：通过反复执行对观测信号所包含的两个分量信号进行估计的处理，将观测信号高精度地分离为两个分量信号。

具体而言，本发明的三维形状计测装置具有：投影装置；摄像装置；及控制装置，其根据观测信号对计测对象物的三维形状进行计测，所述观测信号是在从所述投影装置针对所述计测对象物投射了在时间方向和空间方向上具有周期性的投影图案的状态下利用所述摄像装置观测的信号。在此，假设所述观测信号是相位相互不同的第1分量信号和第2分量信号的合成信号，所述控制装置取得利用具有不同的空间频率的多个投影图案而观测到的多个观测信号，作为针对所述计测对象物上的计测点的观测信号，所述控制装置对各观测信号设定第1分量信号的估计值的初始值，所述控制装置通过反复执行如下运算，对各观测信号所包含的第1分量信号及第2分量信号进行估计，其中所述运算包括：(1)第1步骤，针对各观测信号的第1分量信号的估计值，应用降低振幅及相位的误差的第1校正处理，从而求出各观测信号的第1分量信号的校正估计值；(2)第2步骤，从各观测信号减去第1分量信号的校正估计值，从而求出各观测信号的第2分量信号的估计值；(3)第3步骤，针对各观测信号的第2分量信号的估计值，应用降低振幅及相位的误差的第2校正处理，从而求出各观测信号的第2分量信号的校正估计值；及(4)第4步骤，从各观测信号减去第2分量信号的校正估计值，从而求出各观测信号的第1分量信号的估计值，所述控制装置根据所估计出的第1分量信号或第2分量信号的相位，计算所述计测点的三维位置。

根据该结构，通过反复执行包括第1至第4步骤的运算，以减小各分量信号的振幅及相位的误差(与真值之差)的方式，更新各分量信号的估计值。因此，能够将观测信号高精度地分离为两个分量信号。并且，通过将分离的分量信号的相位利用于计测点的三维位置的计算，从而能够实现降低了相互反射的影响的高精度的三维形状计测。

另外，本发明的方法具有如下优点：即便观测信号所包含的第1分量信号和第2分量信号的比例完全未知、即在没有特别的事前知识、前提条件的情况下，也能够应用。例如，在现实的应用情形中，虽然相互反射的影响的程度、原因物体的形状(反射面的形状、朝向等)、反射特性(反射率等)、原因物体和计测对象物的位置关系这样的条件各种各样，但在本发明的方法的情况下，可期待对于任何条件均能够以通用方式应用。因此，本发明在现实中容易安装到装置。

在为了降低相互反射的影响而利用本发明的情况下，例如，所述第1分量信号及所述第2分量信号中的一个信号是从所述投影装置投射的光在所述计测点处进行反射并入射到所述摄像装置的直接分量信号，另一个信号是从所述投影装置投射并在其他反射面进行了反射的光在所述计测点处进行反射并入射到所述摄像装置的间接分量信号。

所述第1校正处理可以是“根据各观测信号的第1分量信号的估计值来计算振幅及相位，从而取得针对所述多个投影图案各自的空间频率的多个振幅值及多个相位值，将校正振幅值决定为比所述多个振幅值中的最小值大且比最大值小的值，对所述多个相位值进行归一化(normalization)，将校正相位值决定为比归一化后的所述多个相位值中的最小值大且比最大值小的值，根据所述校正振幅值及所述校正相位值，再生针对所述多个投影图案各自的空间频率的亮度信号”的处理。在该情况下，所述再生的针对各空间频率的亮度信号是各观测信号的第1分量信号的校正估计值。

所述第2校正处理可以是“根据各观测信号的第2分量信号的估计值来计算振幅及相位，从而取得针对所述多个图案各自的空间频率的多个振幅值及多个相位值，将校正振幅值决定为比所述多个振幅值中的最小值大且比最大值小的值，对所述多个相位值进行归一化，将校正相位值决定为比归一化后的所述多个相位值中的最小值大且比最大值小的值，根据所述校正振幅值及所述校正相位值，再生针对所述多个图案各自的空间频率的亮度信号”的处理。在该情况下，所述再生的针对各空间频率的亮度信号是各观测信号的第2分量信号的校正估计值。

根据各分量信号的估计值而计算出的振幅值包含误差，该误差的大小(与真值之差的绝对值)及正负(比真值大还是小)可针对投影图案的每个空间频率而不同。即，针对多个投影图案各自的空间频率而估计的“多个振幅值”夹着真值而分别分布于正侧和负侧的可能性高。如果根据相反的观点，则振幅值的真值存在于多个振幅值中的最小值与最大值之间的盖然性高。因此，如上述这样决定的校正振幅值至少能够期待比多个振幅值中的误差最大的振幅值更接近真值。

同样地，根据各分量信号的估计值而计算出的相位值包含误差，该误差的大小(与真值之差的绝对值)及正负(比真值大还是小)可针对投影图案的每个空间频率而不同。即，针对多个投影图案各自的空间频率而估计的“多个相位值”夹着真值而分别分布于正侧和负侧的可能性高。如果根据相反的观点，则相位值的真值存在于多个相位值中的最小值与最大值之间的盖然性高。因此，如上述这样决定的校正相位值至少能够期待比多个相位值中的误差最大的相位值更接近真值。

因此，通过上述的第1校正处理及第2校正处理，能够降低各分量信号的振幅值及相位值的误差。

所述校正振幅值可以是所述多个振幅值的平均值或中间值。另外，所述校正相位值可以是归一化后的所述多个相位值的平均值或中间值。由此，通过简单的运算处理，能够降低振幅值及相位值的误差。

对所述多个相位值进行归一化的处理可以是将所述多个相位值变换为共同的空间频率的相位值的处理。根据各分量信号而计算出的相位值是针对在该分量信号的观测中使用的投影图案的空间频率的相位值。因此，通过实施如上述这样变换为共同的空间频率的相位值的归一化，能够进行多个相位值的比较。

在按照每个空间频率而所述多个振幅值的衰减率不同的情况下，也可以在求出所述校正振幅值之前，进行用于消除所述多个振幅值各自的衰减率的差异的归一化。另外，在衰减率相同或可忽略衰减率的差异的情况下，也可以省略振幅值的归一化。

所述控制装置可以通过相移法或MPS(Micro Phase Sifting)，根据所估计出的第1分量信号或第2分量信号的相位而计算所述计测点的三维位置。

另外，本发明可以被理解为具有上述结构或功能的至少一部分的三维形状计测装置或图像处理装置。另外，本发明也可以是具备上述三维形状计测装置的检查装置、三维扫描仪、物体辨识装置。另外，本发明可以是包括上述处理的至少一部分的三维形状计测方法、图像处理方法、检查方法、物体辨识方法、用于使计算机执行这些方法的程序、或非临时地记录了这样的程序的计算机可读取的记录介质。上述结构及处理只要各自在技术上不产生矛盾，则能够相互组合来构成本发明。

发明效果

根据本发明，能够在根据投射于计测对象物的图案的相位而计测三维形状的方法中降低相互反射的影响并提高计测精度。

附图说明

图1是示出三维形状计测装置的硬件结构的示意图。

图2是示出与三维形状计测相关的功能的框图。

图3的(A)及图3的(B)是示出相互反射和观测信号的模型的示意图。

图4是信号分离处理的流程图。

图5是三维形状计测处理的流程图。

图6是对相互反射进行说明的图。

具体实施方式

本发明涉及根据投射于计测对象物的图案的相位的变化而对三维形状进行计测的三维形状计测技术，特别地，涉及用于降低由存在于计测对象物的周围的反射面引起的相互反射的影响并提高计测精度的方法。本发明能够优选地应用于利用了相移法或作为其改良的MPS(Micro phase shifting)的三维形状计测及利用了TOF(Time of Flight：飞行时间)方式的相位差法的三维形状计测。本发明的三维形状计测例如能够应用于对物体的表面形状进行计测的三维扫描仪、根据所计测的三维形状进行物体的检查的检查装置、根据所计测的三维形状进行物体辨识、个体识别的装置等各种装置。例如，在表面安装基板的外观检查装置中，由基板上的金属制部件引起的相互反射有可能导致检查精度的降低，因此能够特别优选地应用本发明的三维形状计测。

下面，参考附图，对用于实施本发明的优选的方式的一例进行说明。但是，以下的实施方式中记载的装置的结构、动作只是一例，其主旨并非将本发明的范围仅限定于它们。

(三维形状计测装置的结构)

参照图1，对本实施方式的三维形状计测装置的整体结构进行说明。图1是示出三维形状计测装置的硬件结构的示意图。三维形状计测装置1是用于对计测对象物O的三维形状进行计测的装置，作为主要的结构，具有投影装置(投影仪)10、摄像装置(相机)11、控制装置(计算机)12而构成。

投影装置10是对计测对象物O投射在时间方向和空间方向上具有周期性的图案的投影单元。投影装置10的数量既可以是1个，也可以设置多个投影装置10，以从多个方向对计测对象物O投射图案。作为投影装置10，优选能够利用使用了数码镜设备的方式的DLP(Digital Light Processing：数字光处理)投影仪。因为DLP投影仪能够容易地变更投影图案。

摄像装置11是对被投射了图案的状态的计测对象物O进行摄影，并输出数字图像的单元。摄像装置11例如构成为具有光学系统和图像传感器。在进行三维形状计测时，改变从投影装置10投射的图案的相位并利用摄像装置11来取入多张图像。在本说明书中，将利用摄像装置11观测的计测对象物O的亮度称为“观测信号”，将利用摄像装置11拍摄的图像称为“观测图像”。即，观测图像的各像素的值表示计测对象物上的对应的计测点的观测信号(亮度值)。在本实施方式中，改变投影图案的空间频率并取得多个观测图像。

控制装置12是具有投影装置10及摄像装置11的控制、针对从摄像装置11取入的图像的处理、三维形状的计测等的功能的单元。控制装置12能够由具备CPU(处理器)、存储器、非易失性的存储装置(例如，硬盘、闪存)、输入装置(例如，键盘、鼠标、触摸面板等)、显示装置(例如，液晶显示器等)的计算机构成。后述的控制装置12的功能能够通过将储存在非易失性的存储装置中的程序加载到存储器并由CPU执行该程序来实现。但是，也可以用ASIC、FPGA、专用的硬件来代替控制装置12的全部或一部分功能。另外，也可以利用分布计算、云计算的技术，通过多个计算机的协作来实现控制装置12的功能。

图2是示出与控制装置12的三维形状计测相关的功能的框图。控制装置12作为与三维形状计测相关的功能，具有图像取得部20、信号分离部21、相位计算部22及三维复原部23。

图像取得部20是从摄像装置11取入用于三维形状计测的多个观测图像的功能。信号分离部21是针对观测图像的每个像素而将观测信号分离为两个分量信号的功能。相位计算部22是计算分离的分量信号的相位值的功能。三维复原部23是根据由相位计算部22计算出的相位值而计算观测图像的各像素(即，计测对象物O的表面上的各计测点)的三维位置的功能。关于这些功能的具体情况，将后述。

(相互反射和观测信号的模型)

图3的(A)及图3的(B)示出相互反射和观测信号的模型。

图3的(A)是在具有扩散反射面的计测对象物O的附近存在镜面性高的反射面30(例如金属制的物体的表面)的例子。图3的(B)是在具有镜面性高的反射面的计测对象物O的附近存在扩散反射面31的例子。

在从投影装置10投射了具有正弦波状的条纹图案的投射图像100的情况下，假设与投射图像100上的位置xD对应的光(称为直接光)LD及与投射图像100上的位置xR对应的光在反射面30或31上的反射光(称为间接光)LR到达计测对象物O上的计测点P。

此时，利用摄像装置11而观测的观测信号I成为直接光LD在计测点P反射并入射到摄像装置11的光(称为直接分量信号)ID和间接光LR在计测点P反射并入射到摄像装置11的光(称为间接分量信号)IR的合成信号。三维形状计测中所需的期望信号是直接分量信号ID。另外，在图3的(A)这样的场景中，间接分量信号IR在反射面30上反射时衰减，因此直接分量信号ID的强度会大于间接分量信号IR的强度。另一方面，在图3的(B)这样的场景中，光LD的大部分在镜面性反射面向正反射方向反射，因此间接分量信号IR的强度有时也会大于直接分量信号ID的强度。

将投影图案的空间频率设为ω，将时间方向的频率(时间频率)设为v，将直接分量信号ID的振幅设为AD，将间接分量信号IR的振幅设为AR。此时，关于时刻t的观测信号I(ω，t)，使用直接分量信号ID(ω，t)和间接分量信号IR(ω，t)而可在加法上表达为如下：

[数学式1]

I(ω，t)＝ID(ω，t)+IR(ω，t)

ID(ω，t)＝AD cos(ωxD+vt)+CD

IR(ω，t)＝AR cos(ωxR+vt)+CR

在将观测信号视为单一分量信号而计算相位及振幅A′(ω，Δx)时，可估计为如下。其中，Δx＝xD-xR。

[数学式2]

由于直接分量信号ID是期望信号，因此振幅的真值是AD，相位的真值是ωxD。但因相互反射(间接分量信号IR)的影响，振幅·相位都发生误差。根据上述式可知，该误差依赖于投影图案的空间频率ω和差分Δx而发生变化。

(信号分离法)

接下来，对从观测信号分离出作为期望信号的直接分量信号的手法进行说明。

在本实施方式中，假设观测信号是相位相互不同的2种分量信号的合成信号。将2种分量信号中的振幅大且信号强度大的一个信号定义为主分量信号(附加下标“P”)，将另一个信号定义为副分量信号(附加下标“S”)。在大部分的情况下，主分量信号对应于直接分量信号，副分量信号对应于间接分量信号，因此，在本实施方式中将从观测信号分离的主分量信号利用于三维形状计测。另外，如图3的(B)所例示这样，也有直接分量信号的信号强度变低的情况，但在该情况下将副分量信号利用于三维形状计测即可。

本实施方式的信号分离法利用由相互反射的影响引起的振幅·相位的误差依赖于投影图案的空间频率这样的性质。因此，作为输入，使用利用具有不同的空间频率的多个投影图案而观测到的多个观测信号。在将投影图案的空间频率设为ωk(k＝1，…，K)，将时间频率设为vk时，可将观测信号表达为如下：

[数学式3]

IO(ωk，t)＝AD(ωk)cos(ωkxD+vkt)+AR(ωk)cos(ωkxR+vkt)+C(ωk)

作为预处理，从观测信号IO(ωk，t)除去偏移量分量(直流分量)C(ωk)。在后级的反复运算中，使用通过下述式来除去了偏移量分量的观测信号I(ωk，t)。

[数学式4]

关于空间频率ωk中的偏移量分量C(ωk)的值，例如使用观测信号在时间方向上的1周期量的和而可计算为如下：

[数学式5]

另外，也可代用以与空间频率接近的其他观测信号来估计的偏移量分量的值，来代替针对每个空间频率估计偏移量分量的值。在不进行偏移量的代用的情况下，为了实现期望的处理，针对每个空间频率ωk需要相位不同的3张以上的观测图像。对此，在进行偏移量的代用的情况下，关于代用偏移量的空间频率，如果至少有2张相位不同的观测图像，则能够实现期望的处理。因此，通过进行偏移量的代用，能够削减所需的投射次数及拍摄次数，能够实现三维形状计测的高速化。

图4示出由信号分离部21执行的信号分离处理的流程。图4的处理是针对观测图像的每个像素执行的。以后，将作为处理对象的像素称为“关注像素”。

在步骤S40中，信号分离部21取得关注像素的观测信号I(ωk，t)的集合I(在图4中设为用粗体字的记号来标明集合)。观测信号集合I由与多个空间频率ω1、…、ωK对应的多个观测信号I(ω1，t)、…、I(ωK，t)构成。另外，各空间频率ωk的观测信号包含于在多个时刻t(t＝0，1，…，Tk-1)观测到的、相位不同的多个观测信号I(ωk，0)、I(ωk，1)、…、I(ωk，Tk-1)中。另外，观测信号I(ωk，t)是除去了偏移量分量的信号，Tk是投影图案的时间周期。

观测信号I(ωk，t)是主分量信号IP(ωk，t)和副分量信号IS(ωk，t)的合成信号，但各个分量信号的比例(强度比)是未知的。因此，本实施方式的信号分离部21采用如下做法：通过将分离性能低的单一分量估计法反复应用于各分量信号，更新各分量信号的估计值(近似值)，从而估计各分量信号的真值。

首先，在步骤S41中，信号分离部21对于各空间频率ωk的观测信号I(ωk，t)设定主分量信号IP(ωk，t)及副分量信号IS(ωk，t)的初始值。在本实施方式中，将观测信号I(ωk，t)设定为主分量信号IP(ωk，t)的初始值，将副分量信号IS(ωk，t)的初始值设为0。图4的粗体字记号Ip表示主分量信号集合，粗体字记号IS表示副分量信号集合。

在步骤S42中，信号分离部21针对每个空间频率ωk，根据主分量信号IP(ωk，t)而计算振幅值AP(ωk)及相位值在一般情况下，在同一空间频率ωk的信号在时间上以等间隔被观测一周期量时，关于各时刻t的信号，使用时间频率vk而表达为如下：

[数学式6]

IP(ωk，t)＝A(ωk)cos(ωkx+vkt)， t＝0，1，...，Tk-1

在对这些信号IP(ωk，0)、IP(ωk，1)，…、IP(ωk，Tk-1)进行频率变换时，关于第一高次谐波即时间频率vk的分量J(ωk，vk)，以j为虚数单位而成为如下：

[数学式7]

因此，能够将针对空间频率ωk的振幅值AP(ωk)和相位值计算为如下：

[数学式8]

其中，记号Re()和Im()为分别采用复数的实部和虚部的算子。

为了后级的处理，对计算出的相位值进行归一化。例如，信号分离部21使用所谓的相位连接，将不同的空间频率ωk下的多个相位值变换为共同的空间频率ωL下的相位值θP(ω1)、θP(ω2)、…、θP(ωK)。例如，在将空间频率ωk的投影图案中的相位值设为将连接用的空间频率ωL的投影图案中的相位值设为将连接倍率设为α时，可将变换后的相位值θ计算为如下：

[数学式9]

各空间频率ωk的振幅值集合AP和归一化后的相位值集合θP为如下的步骤S42的处理的输出。

[数学式10]

AP＝{AP(ω1)，AP(ω2)，…，AP(ωk)}

θP＝{θP(ω1)，θP(ω2)，…，θP(ωk)}

在步骤S42的处理中，将主分量信号Ip(ωk，t)视为单一分量信号而计算振幅值及相位值。但是，在主分量信号Ip(ωk，t)的分离尚不充分的阶段中，在步骤S42中计算的振幅值及相位值相对于真值而误差大。因此，在步骤S43中，信号分离部21根据在步骤S42中求出的振幅值集合AP和相位值集合θP而估计更接近真值的(误差小的)振幅值及相位值。另外，在此的估计法无需是完全地解除误差的方法，也可以是多少能够期待减少误差的方法(称为“弱估计”)。因为通过反复应用弱估计而与真值渐近，能够得到实用的分离精度。

不限定弱估计的具体的方法。振幅值的误差的大小及其正负在每个空间频率ωk下不同，因此在步骤S42中计算的多个振幅值AP(ωk)夹着真值而在正侧和负侧分别分布的可能性高。如果根据相反的观点，则可谓振幅值的真值存在于多个振幅值AP(ωk)中的最小值与最大值之间的盖然性高。因此，通过将振幅值决定为比多个振幅值AP(ωk)中的最小值大且比最大值小的值，能够期待得到与真值接近的振幅值。例如，这相当于求出多个振幅值AP(ωk)的平均值、中间值的方法。以上的内容同样也适用于相位值θP(ωk)。

在本实施方式中，作为弱估计的方法而使用“平均”。具体而言，在步骤S43中，信号分离部21计算在下述式中定义的校正振幅值(AP帽(^))及校正相位值(θP帽)。

[数学式11]

另外，在按照每个空间频率ωk而振幅的衰减率不同的情况下，也可以通过下述式来计算校正振幅值。

[数学式12]

rk是空间频率ωk的投影图案的振幅的衰减率。

在步骤S44中，信号分离部21根据在步骤S43中求出的校正振幅值及校正相位值而再生针对各空间频率ωk的亮度信号。在振幅的衰减率与空间频率ωk无关地被视为恒定的情况下，可通过下述式来计算亮度信号。

[数学式13]

另外，在按照每个空间频率ωk而振幅的衰减率不同的情况下，可通过下述式来计算亮度信号。

[数学式14]

这样再生的亮度信号IP′(ωk，t)成为相比于在步骤S42中使用的原来的主分量信号IP(ωk，t)而降低了振幅及相位的误差的信号。以上所述的步骤S42～S44的处理是本发明中的“第1步骤”的一例，原来的亮度信号IP(ωk，t)是本发明中的“第1分量信号的估计值”的一例，再生的亮度信号IP′(ωk，t)是本发明中的“第1分量信号的校正估计值”的一例。

在步骤S45中，信号分离部21从各空间频率ωk的观测信号I(ωk，t)减去在步骤S44中求出的亮度信号IP′(ωk，t)。由此，能够更新副分量信号IS(ωk，t)的估计值。亮度信号IP′(ωk，t)相比于原来的主分量信号IP(ωk，t)而误差小，因此通过该更新处理，还能够降低副分量信号IS(ωk，t)的误差。该步骤S45的处理是本发明中的“第2步骤”的一例，在步骤S45中求出的亮度信号IS(ωk，t)是本发明中的“第2分量信号的估计值”的一例。

接下来，在步骤S46中，信号分离部21针对每个空间频率ωk，根据副分量信号IS(ωk，t)而计算振幅值AS(ωk)及相位值θS(ωk)。由于具体的处理内容与步骤S42相同(其中，将主分量信号置换为副分量信号)，因此省略详细的说明。作为步骤S46的处理的输出，得到各空间频率ωk的副分量信号IS(ωk，t)的振幅值集合AS和归一化后的相位值集合θS。

在步骤S47中，信号分离部21根据在步骤S46中求出的振幅值集合AS和相位值集合θS而计算更接近真值的校正振幅值(AS帽)及校正相位值(θS帽)。由于具体的处理内容与步骤S43相同(其中，主分量信号置换为副分量信号)，因此省略详细的说明。

在步骤S48中，信号分离部21根据在步骤S47中求出的校正振幅值及校正相位值而再生针对各空间频率ωk的亮度信号。在振幅的衰减率与空间频率ωk无关地被视为恒定的情况下，可通过下述式来计算亮度信号。

[数学式15]

另外，在按照每个空间频率ωk而振幅的衰减率不同的情况下，可通过下述式来计算亮度信号。

[数学式16]

这样再生的亮度信号IS′(ωk，t)成为相比于在步骤S46中使用的原来的副分量信号IS(ωk，t)而降低了振幅及相位的误差的信号。以上所述的步骤S46～S48的处理是本发明中的“第3步骤”的一例，原来的亮度信号IS(ωk，t)是本发明中的“第2分量信号的估计值”的一例，再生的亮度信号IS′(ωk，t)是本发明中的“第2分量信号的校正估计值”的一例。

在步骤S49中，信号分离部21从各空间频率ωk的观测信号I(ωk，t)减去在步骤S48中求出的亮度信号IS′(ωk，t)。由此，能够更新主分量信号IP(ωk，t)的估计值。亮度信号IS′(ωk，t)相比于原来的副分量信号IS(ωk，t)而误差小，因此通过该更新处理，还能够降低主分量信号IP(ωk，t)的误差。该步骤S49的处理为本发明中的“第4步骤”的一例，在步骤S49中求出的亮度信号IP(ωk，t)为本发明中的“第1分量信号的估计值”的一例。

通过反复多次以上所述的步骤S42～S49的运算，更新各分量信号的估计值，以减小各分量信号的振幅及相位的误差(与真值之差)。因此，能够将观测信号I(ωk，t)高精度地分离为两个分量信号IP(ωk，t)、IS(ωk，t)。另外，既可以预先确定反复次数，也可以使用规定的评价式来评价各分量信号的估计值的收敛程度，从而动态地改变反复次数。

(三维形状计测)

按照图5的流程图，对本实施方式中的三维形状计测的处理的流程的一例进行说明。

在步骤S50中，控制装置12对投影装置10及摄像装置11进行控制，对多个观测图像进行摄影。例如，将亮度以正弦波状发生变化的条纹图案每次π/2地改变相位而投射4次，由此拍摄4张观测图像。

为了达到高的计测精度(分辨率)，优选条纹图案的空间频率ω为高频。但是，计测范围依赖于条纹图案的周期，因此在使用高频的条纹图案时存在计测范围变窄这样的缺点。因此，通过将高频的相位变换为低频的相位，进行计测范围的扩大。该手法称为相位连接。通过相位连接，能够使高的计测精度和宽的计测范围并存。

在进行相位连接的情况下，使用空间频率不同的多个投影图案，取得空间频率不同的多个观测图像。例如在一般的相位连接的情况下，进行基于计测用的高频的投影图案和连接用的低频的投影图案的拍摄，在MPS的情况下，进行基于多个种类的高频的投影图案的拍摄。观测图像的数据通过图像取得部20取入到控制装置12，储存于存储器或非易失性的存储装置。

在步骤S51中，信号分离部21进行将观测图像上的各像素的观测信号分离为两个分量信号的处理。信号分离的具体的处理如图4中所示。在本实施方式中，将主分量信号视为直接分量信号。

在步骤S52中，相位计算部22根据在步骤S51中分离的直接分量信号而计算关注像素的相位值。另外，也可以利用在步骤S51的信号分离的计算过程中取得的相位值(例如，在图4的步骤S43中求出的校正相位值(θP帽))。

之后，在步骤S53中，三维复原部23基于在相位计算部22中计算出的各像素的相位值，计算观测图像上的各像素(即，计测对象物的表面上的各计测点)的三维位置。由此，能够复原计测对象物表面的三维形状。作为将相位值变换为三维位置(高度信息)的方法，例如存在通过校准(calibration)而预先求出相位和高度的变换式，并向该变换式代入相位值来求出高度信息的方法等。

根据以上所述的本实施方式的信号分离法，能够从观测信号高精度地分离直接分量信号。并且，将分离的直接分量信号的相位利用于计测点的三维位置计算，从而能够实现降低了相互反射的影响的高精度的三维形状计测。另外，本实施方式的方法具有如下优点：即便观测信号所包含的直接分量信号与间接分量信号的比例是完全未知即没有特别的事前知识、前提条件，也能够应用。例如，在现实的应用情形中，即便相互反射的影响的程度、相互反射的原因物体的形状(反射面的形状、朝向等)、反射特性(反射率等)、相互反射的原因物体和计测对象物的位置关系这样的条件各种各样，但在本实施方式的方法的情况下，能够期待以通用方式应用于任何条件。因此，根据本实施方式的方法，在现实中容易安装到装置。

另外，上述的实施方式的说明只不过是对本发明进行了例示性的说明。本发明不限于上述的具体的方式，可在其技术思想的范围内进行各种变形。

标号说明

1：三维形状计测装置；10：投影装置；11：摄像装置；12：控制装置；20：图像取得部；21：信号分离部；22：相位计算部；23：三维复原部；30：反射面；31：反射面。