三维测量装置和三维测量方法
【专利摘要】从投影机使格子移动而对作为测量对象的物体进行多次投影，并且利用摄像机拍摄将格子投影后的作为测量对象的物体，向作为测量对象的物体的三维形状变换。在距离摄像机近的位置和远的位置设置2台投影机，通过由从距离摄像机近的位置的投影机投影时的图像求出的相位，将由从距离摄像机远的位置的投影机投影时的图像求出的相位向唯一地表示沿从摄像机的视线方向的位置的相位变换。能够在短时间准确地测定物体的三维形状。
【专利说明】三维测量装置和三维测量方法
【技术领域】
[0001]本发明涉及三维测量，特别是涉及利用相位移动法得到的相位的连接。
【背景技术】
[0002]通过从投影机将格子投影到测量对象物体，用摄像机拍摄图像，而求取测量对象物体(以下简称为“测量物体”)的三维形状(例如专利文献1:日本专利3536097)。在投影机的前表面配置透光度以正弦波状周期性地变化的格子，使格子的位置每隔正弦波的周期的例如1/4移动，例如进行4次拍摄。如果设4张图像中的相同像素的亮度为10?13，则(11-13)/(10-12)表示相对于格子的像素的相位，相位表示从投影机观察到的测量物体的方向。从摄像机观察到的像素的方向是已知的，因此若从投影机观察到的测量物体的方向确定，则根据立体测量的原理，测量物体表面的三维位置就确定了。由于使用格子的相位，因此该方法被称为相位移动法。
[0003]利用相位移动法测定的是0?2π的相位。为了高精度地测定三维形状，而使用周期性地重复的格子，因此需要判别是相对于第几个格子的相位。以下，将格子的编号设为η,将0?2 π的相位设为Θ ,将在相位θ加上编号η而变换为2η π + Θ的相位这一情况称为相位连接。已知在相位Θ在相邻的像素间连续地变化的情况下，加上相位连续地变化这一条件，变换为2ηπ + θ的相位。但是在相邻的像素间相位Θ大幅跳跃的情况下，即相位Θ不连续地变化的情况下，相位连接是困难的。
[0004]对于这一点，专利文献1:日本专利3536097公开了使用格子的空间频率(格子的间距的倒数)周期性地变化的频率调制格子。但是这种格子难以制作，在空间频率低的部分，相位的分辨率较低，三维测量的分辨率也较低。专利文献2:日本专利3500430提出了使用将间距之比为m:n的2种格子合成后的单色矩形波格子，但mXn张图像需要的拍摄时间长，而格子的对比度低，因此相位Θ的测定精度较低。专利文献3:日本专利4170875提出了通过使格子沿从投影机的投影方向移动，而得到与将多个格子投影后的结果相同的结果。但是该方法中，需要使格子向相对于投影机的垂直方向(投影方向)移动的机构。
[0005]在先技术文献
[0006]专利文献
[0007]专利文献1:日本专利3536097
[0008]专利文献2:日本专利3500430
[0009]专利文献3:日本专利4170875
【发明内容】
[0010]本发明的课题是能够不显著增加测量时间且简单地将相位Θ连接。
[0011]本发明的三维测量装置，具备:投影机，将格子以移动自如的方式投影到作为测量对象的物体；摄像机，拍摄作为测量对象的物体；计算机，由使格子的位置移动后的多个图像求出相对于格子的作为测量对象的物体的相位，向作为测量对象的物体的三维形状变换，其特征在于，
[0012]在距离摄像机相对近的位置和相对远的位置设置2台所述投影机，
[0013]所述计算机具备:
[0014]相位解析部，由从距离摄像机近的位置的投影机投影时的图像，求出作为测量对象的物体的表面的粗略的相位，并且由从距离摄像机远的位置的投影机投影时的图像，求出作为测量对象的物体的表面的精确的相位；
[0015]相位连接部，将所述精确的相位通过所述粗略的相位向唯一地确定沿从摄像机的视线方向的作为测量对象的物体的表面的位置的相位变换。
[0016]本发明的三维测量方法的特征在于，执行以下步骤:
[0017]通过三维测量装置的相位解析部，由从距离摄像机近的位置的投影机投影时的图像求出作为测量对象的物体的表面的粗略的相位；
[0018]通过三维测量装置的相位解析部，由从距离摄像机远的位置的投影机投影时的图像求出作为测量对象的物体的表面的精确的相位；
[0019]通过三维测量装置的相位连接部，将所述精确的相位通过所述粗略的相位向唯一地表示沿从摄像机的视线方向的作为测量对象的物体的表面的位置的相位变换。求出粗略的相位的步骤和求出精确的相位的步骤先执行哪一个都可以。
[0020]如图6所示，若利用距离摄像机近的一侧的投影机投影，则得到唯一地表示沿摄像机的视线方向的位置的相位(粗略的相位)，但该相位的空间分辨率低。若利用距离一方摄像机远的一侧的投影机投影，则空间分辨率高，但得到无法唯一确定沿摄像机的视线方向的位置的相位(精确的相位)。由粗略的相位可知测量物体表面的三维坐标的概略值，由此可知精确的相位的概略值。另外，粗略的相位连续地变化的情况下，精确的相位也连续地变化，因此能够限制精确的相位能够取值的范围。因此能够将粗略的相位向唯一地决定沿摄像机的视线方向的位置的精确的相位变换。然后通过精确的相位能够准确地决定物体的三维形状。
[0021]本发明中，不需要像现有技术这样拍摄mXn张图像，因此能在短时间进行测量。另外，不需要沿视线方向使格子移动，而且也不需要使用频率调制格子。投影机的台数为至少2台，摄像机为至少I台，优选设置多台。本说明书中，关于三维测量装置的记载也直接适用于三维测量方法，反过来关于三维测量方法的记载也直接适用于三维测量装置。
[0022]优选的是，格子为周期性的格子，设格子的I个周期为O以上且小于2 π时，精确的相位为OS θ <2π的Θ，相位连接部设格子的距离基准点的周期的数量为η，由粗略的相位求出η，从而求出2n + Θ作为唯一确定的相位。
[0023]优选的是，设置控制单元，该控制单元以在距离摄像机相对近的投影机使格子移动的期间从距离摄像机相对远的投影机投射格子，在距离摄像机相对远的投影机使格子移动的期间从距离摄像机相对近的投影机投射格子的方式，控制2台投影机。在投射格子后的图像(以下有时简称为图像)的取得中最需要时间的是格子的移动。并且在一方的投影机使格子移动的期间，利用另一方的投影机投影而利用摄像机拍摄，因此图像的取得所需要的时间实质上没有增加，能够在短时间取得图像。因此即使是人体、动物、正在振动的物体等难以固定形状的物体，也能够容易地测定三维形状。
[0024]特别优选的是，所述控制手段构成为，设所述摄像机为第一摄像机，在距离第一摄像机相对远的投影机的附近设置第二摄像机，不管是在距离第一摄像机相对近的投影机投影时，还是在相对远的投影机投影时，都使第一摄像机和第二摄像机一起拍摄作为测量对象的物体。这样，可得到来自2台摄像机的图像，减少三维形状的测定中的死角。第二摄像机是离距离第一摄像机远的一侧的投影机相对近，而离距离第一摄像机近的一侧的投影机相对远的摄像机。
【专利附图】
【附图说明】
[0025]图1是实施例的三维测量装置的框图；
[0026]图2是表示实施例中的测量物体和单元的图；
[0027]图3是实施例中的测量用个人计算机的框图；
[0028]图4是表示实施例中的三维测量算法的流程图；
[0029]图5是表示实施例中的发光及拍摄与格子的移动的图；
[0030]图6是说明实施例中的粗略的相位和精确的相位的图；
[0031]图7是表示实施例中的相位连接的图；
[0032]图8是表示实施例中的测量结果的图。
【具体实施方式】
[0033]以下示出用于实施发明的最优实施例。
[0034]实施例
[0035]图1?图8中，示出实施例的三维测量装置2和三维测量方法。图1中，4是格子的投影和拍摄用的单元，例如在作为测量对象的物体(以下称为测量物体)1的周围配置4台。测量物体1为例如人体、家具、机械、汽车、电子设备、建筑物等，设置4台单元4是为了对测量物体1的全周进行三维测量。对全周进行测量时例如设置3台以上且6台以下的单元4，如果仅对1面进行测量，则也可以为1个单元。6为控制器，控制单元4中的格子的移动及投影机的发光和基于摄像机的拍摄，经由向单元4送出与它们相关的指令。另夕卜，单元4经由向控制器6送出拍摄的图像，控制器6将图像向测量用个人计算机8传送。个人计算机8可以与控制器6 —体，或者也可以与单元4 一体，也可以不使用个人计算机而使用其他种类的计算机。10为监视器，用于用户的输入和测量结果的显示等。
[0036]如图2所示，单元4具备上下2台摄像机01、02和上下2台投影机？1、？2，后缀1表示上侧，2表示下侧。投影机？1、？2例如以1^0面板为光源，在投射光的一侧具备将矩形波、正弦波等格子周期性地显现到玻璃板等的基板。相位移动法中，使格子的位置移动而将相同的场景拍摄3次以上，投影机？1、？2具备使格子移动的移动机构9。实施例中，为了使相位的计算容易，而将相同的场景拍摄4次，但也可以拍摄3次。实施例中，将上下的投影机？1、？2组合，因此格子为横格，移动方向为上下，若以摄像机为基准，则投影机？1为相对近的位置的投影机，投影机？2为相对远的位置的投影机。若以摄像机02为基准，则投影机？2为相对近的位置的投影机，投影机？1为相对远的位置的投影机。另外，在将其他单元的相同高度的投影机组合的情况下，格子为纵格，移动方向设为水平。另外，摄像机01、02为数码摄像机。
[0037]图3示出个人计算机8的构成，输入输出12经由控制器6与单元4连接。用户输入14接受用户的指示，显示控制16控制监视器10。输出部18输出三维测量数据。相位解析部20通过相位移动法对相位进行解析，实施例中,通过摄像机Cl、C2和投影机P1、P2的组合求取粗略的相位和精确的相位，若与接近摄像机的投影机组合，则得到粗略的相位，若与远离的投影机组合，则得到精确的相位。例如通过相同的投影机的发光，使格子每隔1/4间距移动而拍摄4张图像，设其亮度为1?13。间距为格子的周期。于是，(11-13)/(10-12)表示tarT1 Θ，由此求取相位Θ。
[0038]相位连接部22中，将O?2 Ji的精确的相位Θ变换为2n Ji + θ (n为整数)的完全的相位，η为格子的距离基准点的间距的数量。相位连接的详细情况如图4?图8所示。测量物体I中，存在2台摄像机C1、C2的一方相比另一方能够更准确地测量的区域。例如相对于一方的摄像机成为影子的区域、在一方的摄像机中只能得到暗的图像的区域中，基于另一方的摄像机的图像测定三维形状的一方精度高。选择部24相对于从2台摄像机C1、C2求取的三维坐标，对测量物体的每个区域选择测量精度高的一侧。坐标变换部26将以摄像机Cl、C2为基准的坐标系中的三维坐标变换为基准坐标系中的三维坐标。合成部28例如通过以可靠度为权重的加法平均来将从多个单元4得到的测量物体表面的三维坐标合成。
[0039]背景除去部30将测量物体和背景分离，例如存储由没有测量物体的状态下的图像生成的振幅图像和相位图像。振幅图像为由4张图像算出的正弦波状的格子的对比度的图像，也可以为亮度的最大值的图像等。另外，相位图像是例如由相位解析部20提取的相位的图像，值为O?2 ，可以为精确的相位的图像也可以为粗略的相位的图像。相位图像在利用相位解析部20对相位进行解析的期间得到。若设某像素的相位为α，则得到Asina等数据，因此若例如通过相位解析部20求取相位α，则得到振幅Α。或者得到Asina和Acosa的数据，因此由A2Sin2 a和A2Cos2 a可知振幅A的平方。在拍摄测量物体时，同样地求取振幅图像和相位图像。在包括测量物体的图像中，相位和振幅都没有从背景图像变化的像素属于背景。相位和振幅的至少一方变化了的像素存在属于测量物体的可能性，因此设为三维测量的对象。
[0040]图4示出实施例中的三维测量算法。此处假想将I台单元的上下的摄像机C1、C2和投影机PU P2组合的情况，使格子移动需要时间，因此在从投影机Pl发光而利用摄像机Cl、C2进行拍摄的期间，使投影机P2的格子移动(步骤1、2)。相反在使投影机Pl的格子移动的期间，从投影机P2发光而利用摄像机Cl、C2拍摄(步骤3、4)。通过并行进行一方的投影机中的格子的移动和另一个投影机中的发光和拍摄，能够不使合计的拍摄时间延长而使用多个投影机进行拍摄。直到使格子的移动结束为止反复进行以上的处理(步骤5)。
[0041]实施例中使用4台单元，因此如图5所示设定投影机的发光和摄像机的拍摄的模式，上表示上侧的投影机，下表示下侧的投影机。若这样处理，则例如在I秒期间使8台投影机各发光4次，在每次发光时最多利用8台摄像机进行拍摄，因此将格子投影到测量物体后的图像最多得到256张。但是拍摄所需要的合计的时间与使用I台投影机的情况下相比，例如仅增加1/3?1/6程度。
[0042]若粗略的相位在测量物体存在的范围中最大变化2 31程度，则相对于粗略的相位不需要相位连接。并且从粗略的相位能够唯一地决定测量物体表面的位置，虽然是低精度的。但是从粗略的相位无法判别是背景还是测量物体，因此除去背景。然后相对于测量物体的表面求出粗略的相位和精确的相位(步骤6、7)。而且参照粗略的相位，将O?2π的范围的精确的相位变换为2ηπ + θ的完全的相位(步骤8)。若通过相位连接求出完全的相位，则准确地求出测量物体表面的三维坐标。另外，在步骤9中，对应于摄像机Cl、C2的图像的亮度等，对测量物体表面的每个区域决定使用从摄像机Cl、C2的哪一个求出的坐标。在步骤11中向基准坐标系变换坐标，在步骤12中将来自多个单元的坐标合成而输出。在合成中例如以可靠度为权重，对来自各单元的坐标进行加法平均。另外，也可以取代所述的选择，而将坐标系统一后，以可靠度为权重，对从摄像机C1、C2求出的坐标进行加法平均。
[0043]图6中示出从摄像机C1观察到的粗略的相位和精确的相位。来自投影机P1、P2的线表示格子的1个间距。从摄像机C1观察到的相位相对于来自投影机P2的格子沿视线方向大幅变化，在相同视线上给予相同相位的多个点Θ1?Θ 4等存在，测量物体表面的位置无法唯一确定。从摄像机C1观察来自投影机P1的格子的相位只是缓慢地变化，例如在测量范围内给予相同相位的点没有别的点，则能够唯一地决定测量物体表面的位置，虽然是低精度的。
[0044]图7示出该状况，横轴是沿视线方向的位置。设利用来自投影机P1的发光的粗略的相位为ΘΡ1，利用来自投影机P2的发光的精确的相位为ΘΡ2。粗略的相位ΘΡ1虽然是低精度的但可覆盖宽广的纵深的范围，精确的相位θ P2虽然是高精度的但只能覆盖狭小的范围，给予相同相位的点在测量范围内存在多个。因此若使用粗略的相位ΘΡ1将精确的相位θ P2连接，则可得到完全的相位Φ。作为具体的方法，例如通过粗略的相位ΘΡ1对每个像素确定完全的相位Φ的范围(即，确定η可取到的值的范围)，将相位ΘΡ2变换为完全的相位Φ。或者对于一部分像素如上所述求出完全的相位Φ，对于其他像素，由像素间的粗略的相位θ Ρ1的变化量，确定完全的相位Φ的变化量的范围，由此将精确的相位θ Ρ2变换为完全的相位Φ。
[0045]图8示出由基于上侧的投影机Ρ1的发光的粗略的相位求出的三维的点群数据、通过下侧的投影机Ρ2的发光由精确的相位求出的三维的点群数据、及根据实施例求出的三维的点群数据。摄像机都是使用上侧的摄像机C1。图8中的亮度的偏差表示测量的精度，上侧的投影机Ρ1的测量中数据的偏差显著。另外，下侧的投影机Ρ2的测量中，数据不连续。相对于此，实施例中，数据的偏差少，且数据基本上连续。这表示对于宽广的范围能够高精度地求出测量物体的形状。
[0046]实施例中可得到以下的效果。
[0047]1)相对于1台摄像机，使用2台以上的投影机，求出粗略的相位和精确的相位，由此能够准确地测定三维形状。
[0048]2)若将来自1台投影机的发光及基于摄像机的拍摄、和其他投影机中的格子的移动并行进行，则实质上不会延长测定时间。
[0049]3)若将2台以上的投影机和2台以上的摄像机组合，则能够更准确地测定三维形状，而且测定时间不会延长。
[0050]标号说明
[0051]1测量物体2三维测量装置4单元
[0052]6控制器7 LAN 8测量用个人计算机
[0053]9移动机构10监视器12输入输出14用户输入
[0054]16显示控制18输出部20相位解析部
[0055]22相位连接部24选择部26坐标变换部
[0056]28合成部30背景除去部
[0057]？1、？2投影机(:1^2摄像机
【权利要求】
1.一种三维测量装置，具备:投影机，将格子以移动自如的方式投影到作为测量对象的物体；摄像机，拍摄作为测量对象的物体；计算机，由使格子的位置移动后的多个图像求出相对于格子的作为测量对象的物体的相位，向作为测量对象的物体的三维形状变换，其特征在于， 在距离摄像机相对近的位置和相对远的位置设置2台所述投影机， 所述计算机具备: 相位解析部，由从距离摄像机近的位置的投影机投影时的图像，求出作为测量对象的物体的表面的粗略的相位，并且由从距离摄像机远的位置的投影机投影时的图像，求出作为测量对象的物体的表面的精确的相位； 相位连接部，将所述精确的相位通过所述粗略的相位向唯一地确定沿从摄像机的视线方向的作为测量对象的物体的表面的位置的相位变换。
2.根据权利要求1所述的三维测量装置，其特征在于， 所述格子为周期性的格子， 设格子的1个周期为0以上且小于2 31时，所述精确的相位为0彡0?2？1的0， 所述相位连接部构成为，设格子的距离基准点的周期的数量为II，由所述粗略的相位求出II，从而求出21131 + 0作为所述唯一确定的相位。
3.根据权利要求2所述的三维测量装置，其特征在于， 具备控制单元，该控制单元以在距离摄像机相对近的投影机使格子移动的期间从距离摄像机相对远的投影机投射格子，在距离摄像机相对远的投影机使格子移动的期间从距离摄像机相对近的投影机投射格子的方式，控制2台投影机。
4.根据权利要求3所述的三维测量装置，其特征在于， 设所述摄像机为第一摄像机，在距离第一摄像机相对远的投影机的附近设置第二摄像机， 所述控制手段构成为，不管是在距离第一摄像机相对近的投影机投影时，还是在相对远的投影机投影时，都使第一摄像机和第二摄像机一起拍摄作为测量对象的物体。
5.一种三维测量方法，从投影机使格子移动而多次投影到作为测量对象的物体，并且利用摄像机拍摄将格子投影后的作为测量对象的物体，通过计算机，由格子的位置移动后的多个图像求出相对于格子的作为测量对象的物体的相位，向作为测量对象的物体的三维形状变换，其特征在于，执行以下步骤: 在距离摄像机相对近的位置和相对远的位置设置2台所述投影机； 通过三维测量装置的相位解析部，由从距离摄像机近的位置的投影机投影时的图像求出作为测量对象的物体的表面的粗略的相位； 通过三维测量装置的相位解析部，由从距离摄像机远的位置的投影机投影时的图像求出作为测量对象的物体的表面的精确的相位； 通过三维测量装置的相位连接部，将所述精确的相位通过所述粗略的相位向唯一地表示沿从摄像机的视线方向的作为测量对象的物体的表面的位置的相位变换。
【文档编号】G01B11/25GK104380037SQ201380031286
【公开日】2015年2月25日 申请日期:2013年5月22日 优先权日:2012年6月12日
【发明者】岩井一能 申请人:株式会社岛精机制作所