以取得了计测用立体图像Sm的拍摄部11的视点为基准的坐标系表不。
[0079]计测形状整合部43将计测形状复原部42复原出的计测形状Gm整合为计测形状Gi并输出更新后的计测形状Gi，该计测形状Gi是根据到此为止复原出的I或多个计测形状Gm生成的三维模型(参照图9)。这时，计测形状整合部43例如根据基于预览用立体图像Sp中包含的多个特征点的追踪结果推测出的拍摄部11的移动的推测结果，将计测形状Gm的坐标系变换为计测形状Gi的坐标系即世界坐标系。或者，计测形状整合部43根据基于计测用立体图像Sm中包含的多个特征点的追踪结果推测出的拍摄部11的移动的推测结果，将计测形状Gm的坐标系变换为计测形状Gi的坐标系即世界坐标系。这种情况下，与基于预览用立体图像Sp中包含的多个特征点的追踪结果时相比，能够进行更高精度的坐标变换。
[0080]计测形状三维特征点计算部44根据由计测形状整合部43整合后的计测形状Gi，计算三维特征点群Fi (参照图10)。计测形状三维特征点计算部44计算三维特征点群Fi后，预览用立体图像取得部31进行下一预览用立体图像Sp的取得处理。
[0081]接下来，参照图4及图5说明具备图3所示的输出指示生成部12a的三维形状计测装置I的动作例。另外，图4和图5的流程通过I对结合符A及I对结合符B相互连接。例如，若摄影者进行规定的指示操作，则在输出指示生成部12a中，预览用立体图像取得部31取得预览用立体图像Sp (步骤S301)。接着，预览用形状复原部32从预览用立体图像Sp将预览用形状Gp复原(步骤S302)。接着，预览用形状三维特征点计算部33根据预览用形状Gp计算三维特征点群Fp (步骤S303)。接着，三维对应计算部34将从预览用形状Gp抽取到的三维特征点群Fp和从整合后的计测形状Gi抽取到的三维特征点群Fi建立对应，得到三维对应M(步骤S304)。接着，坐标变换计算部35根据三维对应M计算预览用形状Gp的坐标系与整合后的计测形状Gi的坐标系之间的坐标变换T(步骤S305)。接着，摄影视点计算部36根据坐标变换T和基准视点(位置Pm、朝向Vm、上方向矢量Um)计算预览用立体图像Sp的摄影视点(位置Pp、朝向Vp，上方向矢量Up)(步骤S306)。
[0082]接着，计测形状描绘部37从计算出的摄影视点(位置Pp、朝向Vp、上方向矢量Up)，使用摄像机参数A，得到对整合后的计测形状Gi进行了描绘的图像Ip (步骤S307)。接着，形状缺损率计算部38根据描绘出的已整合的计测形状Gi的图像Ip，计算描绘了形状的像素数相对于全部像素数的比例Xp (步骤S308)。接着，拍摄要否判定部39判定下面的条件是否成立(条件:Xp < Xt)(步骤S309)。
[0083]在此，在条件成立的情况下，输出指示信号输出部40输出输出指示信号(步骤S310)。接着，计测用立体图像取得部41取得计测用立体图像Sm(步骤S311)。接着，计测形状复原部42从计测用立体图像Sm将计测形状Gm复原(步骤S312)。接着，计测形状整合部43将计测形状Gm整合为到此为止整合到的计测形状Gi (步骤S313)。接着，计测形状三维特征点计算部44根据整合后的计测形状Gi，计算三维特征点群Fi (步骤S314)。在此，处理回到步骤S301，重复执行上述的处理。
[0084]另一方面，在步骤S309中条件不成立的情况下，处理回到步骤S301，重复执行上述的处理。
[0085]如以上那样，在本实施方式的三维形状计测装置I中，基于逐个拍摄的预览用立体图像Sp(第I 二维图像)和在生成三维形状模型时成为处理对象的计测用立体图像Sm(第2 二维图像)，判定是否需要取得下一计测用立体图像Sm(第2 二维图像)。因此，例如能够基于预览用立体图像Sp (第I 二维图像)适当地设定取得定时，能够适当地设定基于计测用立体图像Sm(第2 二维图像)取得的图像的量，与以一定的时间间隔取得的情况相比，能够容易地适当设定取得定时。
[0086]此外，本实施方式的输出指示生成部12a基于从拍摄预览用立体图像Sp (第I 二维图像)的视点观看基于计测用立体图像Sm(第2 二维图像)的三维形状模型Gi的情况下的形状缺损比例，判定是否需要取得下一计测用立体图像Sm(第2 二维图像)。因此，能够准确地推测生成三维模型时所需的计测用立体图像Sm(第2 二维图像)不足的情况，能够高精度地判定是否需要取得。此外，形状缺损比例对应于将基于计测用立体图像Sm(第2二维图像)所求出的三维形状模型Gi从预览用立体图像Sp(第I 二维图像)的拍摄时的视点作为二维图像来表示的情况下计算出的图像Ip的比例。因此，能够考虑拍摄部11的位置和朝向来高精度地判定是否需要取得。
[0087]另外，在拍摄部11具备输出距离图像的功能的情况下，能够将预览用立体图像Sp (第I 二维图像)作为例如析像度小的距离图像，将计测用立体图像Sm(第2 二维图像)作为例如析像度大的距离图像。这种情况下，能够利用深度图像中包含的各像素的深度信息(或深度值、进深值、距离信息)来计算三维形状模型。
[0088]另外，本发明的实施方式不限于上述实施方式。例如，三维形状计测装置I可以适当进行如下等变更:具备显示基于拍摄到的图像复原出的三维模型的显示部等，具备将三维模型复原或者将复原的结果输出的构成。此外，三维形状计测装置I可以使用I或多个CPU和由CPU执行的程序来构成，该程序经由计算机可读取的记录介质或通信线路流通。
[0089]符号的说明:
[0090]I三维形状计测装置；11拍摄部；12、12a输出指示生成部；13存储部；14照明部。
【主权项】
1.一种三维形状计测装置，具备: 拍摄部，逐个输出所拍摄到的第I 二维图像，并且与规定的输出指示对应地输出与所拍摄到的所述第I二维图像之间设定不同的第2 二维图像； 输出指示生成部，基于从拍摄了所述第I 二维图像的视点观看基于所述拍摄部所输出的所述第2 二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示；以及存储部，存储所述拍摄部所输出的所述第2 二维图像。2.如权利要求1所述的三维形状计测装置， 在所述第I 二维图像与所述第2 二维图像之间，图像的析像度的设定不同， 所述第2 二维图像与所述第I二维图像相比为高析像度。3.如权利要求1或2所述的三维形状计测装置， 所述形状缺损比例对应于将基于所述第2 二维图像求出的所述三维形状模型从所述第I二维图像的拍摄时的视点作为二维图像来表示的情况下计算出的图像的比例。4.如权利要求1?3中任一项所述的三维形状计测装置， 在所述第I 二维图像与所述第2 二维图像之间，拍摄图像时的快门速度、光圈值或拍摄元件的灵敏度中的至少I个设定不同。5.如权利要求1?4中任一项所述的三维形状计测装置， 具备对拍摄对象物进行照明的照明部， 与所述输出指示对应地，所述拍摄部拍摄所述第2 二维图像，并且所述照明部对所述拍摄对象物进行规定的照明。6.如权利要求1?3中任一项所述的三维形状计测装置， 所述第I二维图像和所述第2 二维图像是深度图像。7.一种三维形状计测方法， 使用逐个输出所拍摄到的第I 二维图像、并且与规定的输出指示对应地输出与所拍摄到的所述第I 二维图像之间设定不同的第2 二维图像的拍摄部，基于从拍摄了所述第I 二维图像的视点观看基于所述拍摄部所输出的所述第2 二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示， 存储所述拍摄部所输出的所述第2 二维图像。8.—种三维形状计测程序，使计算机执行以下步骤: 输出指示生成步骤，使用逐个输出所拍摄到的第I 二维图像、并且与规定的输出指示对应地输出与所拍摄到的所述第I二维图像之间设定不同的第2 二维图像的拍摄部，基于从拍摄了所述第I二维图像的视点观看基于所述拍摄部所输出的所述第2 二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示；以及存储步骤，存储所述拍摄部所输出的所述第2 二维图像。
【专利摘要】本发明的三维形状计测装置具备：拍摄部，逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)，并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的二维图像(以下称为第2二维图像)；输出指示生成部，基于从拍摄了所述第1二维图像的视点观看基于所述拍摄部所输出的所述第2二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示；以及存储部，存储所述拍摄部所输出的所述第2二维图像。
【IPC分类】G01B11/24, G06T1/00
【公开号】CN105190229
【申请号】CN201480021104
【发明人】运天弘树, 石井达也
【申请人】凸版印刷株式会社
【公开日】2015年12月23日
【申请日】2014年4月14日
【公告号】EP2990757A1, US20160042523, WO2014171418A1