图像处理系统以及图像处理方法
【技术领域】 本发明设及图像处理系统W及图像处理方法，更加详细地说，设及进行基于利用单色 图案的单镜头拍摄（One shot)=维测量的高密度的形状复原的图像处理系统W及图像处 理方法。
【背景技术】 最近，动态的3维场景的复原受到瞩目。例如，通过对人体进行实时测量并解析该动作 来实现不需要安装设备的界面的游戏用产品取得大的成功（例如，参照非专利文献1)。进 一步地，将该样的产品用作自动移动的机器人的眼睛的研究也正在被推进，并强烈地认识 到动物体测量的重要性。当前能够利用的动物体扫描仪无法像测量静态的场景的3维扫描 仪那样实现高精度、高密度的测量。但是，一般认为，如果能够实现更进一步的精度W及密 度的提高的话，则能够显著扩展医疗应用、流体解析等应用范围。 作为进行运动着的对象的形状测量的方法，从仅采用摄影机的立体方法直到基于 Time-of-Fli曲t(T0F，飞行时间）方式的激光扫描，存在许多方法。其中，对通过采用投影 仪与摄影机的系统而被结构化了的光线进行投影的方法适用于得到运动着的物体的形状 数据，所W最近人们热衷于其开发、研究（例如，参照非专利文献1-4)。 对被结构化了的光线进行投影的方法大致被分类为时间编码法与空间编码法。空间编 码法是从单一图像进行形状复原（单镜头拍摄扫描）的方法，所W适于W高帖速率来测量 动物体。因此，正被积极地研究。在空间编码法中，将能够从投影图案整体中唯一地确定的 对应点信息，直接嵌入到2维图案。为此，需要在某种程度上大的区域，所W复原密度容易 变低。另外，也容易产生由基于表面形状变化的图案的失真等所导致的译码错误等。 作为高效地将对应点信息嵌入到2维图案的方法，考虑使用颜色信息的方法。使用 多种颜色来将多个比特信息嵌入到各点的方法被广泛地利用（例如，参照非专利文献3、 5-8)。但是，在利用颜色信息的情况下，目标物体的表面需要充分地反射RGB的各颜色要 素。另外，在市面上出售的投影仪中，各颜色要素之间的光谱分布相互干扰，所W在各像素 的颜色的确定中容易产生误差。因此，作为不利用颜色的空间编码方法，提出了利用虚线图 案、网格图案等的方法。然而，到目前为止，无法完全解决模糊性、密度降低的问题。 作为主动测量方法，一般已知基于T0F扫描仪、主动立体的系统。关于动物体的主动测 量方法，也研究了各种方法。在多数T0F激光扫描仪中，向想要测量的对象照射点激光，测 量直到该激光返回到检测器为止的时间。因此，一次仅测量一点，不适于在短时间内测量宽 的范围。因此，为了测量动物体等，存在W下装置，该装置通过对宽范围照射而被时间调制 了的光，针对二维传感器的各像素而观测该调制，从而实现距离图像的测量（例如，参照非 专利文献9、10)。但是，在现实中，容易受到基于其他光源的干扰的影响，分辨率也比通常的 摄影机低。 另一方面，在基于主动立体的测量方法中，在多数情况下，通过照射点激光或线激光并 进行扫描来测量对象。因此，测量耗费时间，所W不适合于动物体的测量。通过利用视频投 影仪等面状光源，能够缩短测量时间，但需要解决对应点问题。作为其解决方法，主要有时 间编码方式与空间编码方式（例如，参照非专利文献5)。 在时间编码方式中，对多个图案进行投影，在图案的各点的时间变化中对信息进行编 码。因此，可W说不适于动物体测量。为了弥补该缺点，提出了几种方法。例如，高速地切 换图案的方法（例如，参照非专利文献11)、使用相位图案来减少必要的张数的方法（例如， 参照非专利文献12)、或者使用DMD图案的方法（例如，参照非专利文献13)等。 另外，作为与通常的主动立体稍微不同的手段，也提出了使用2台W上的摄影机来对 时间变化的图案进行照射的时空立体法（例如，参照非专利文献14)等。当前，也介绍了组 合动作推测而在基于100巧S左右的测量中成功了的例子。然而，由于需要多个帖的信息， 所W本质上不适于高速的物体的测量。 另一方面，空间编码方式使用静态图案，从仅一张的输入图像复原形状，所W适于动物 体测量。但是，由于需要将信息嵌入到图案的空间上的区域，所W分辨率低。反而，由于对象 物体表面的纹理、形状而图案失真，所W容易变得不稳定。因此，提出了许多减轻该不利情 况的方法。例如，有W下方法：为了使得不存在相同组合而采用多种颜色带的方法（例如， 参照非专利文献15、16)、利用特异的虚线的方法（例如，参照非专利文献17、18)、将信息嵌 入到二维的图案的方法（例如，参照非专利文献1、19)等。然而，还不存在在精度、分辨率 W及稳定性该些所有方面都满足足够的性能的方法。 现有技术文献 非专利文献 非专利文献 l:Microsoft,"甜OX 360Kinect, "2010. http://www.xbox.com/en-US/ kinect. 非专利文献 2:H. Kawasaki, R. Furukawa, R. Sagawa and Y. Yagi, "Dynamic scene shape reconstruction using a single structured light pattern, "CVPR, pp. 1-8, June 23-282008. 非专利文献 3:R. Sagawa, Y. 0ta,Y. Yagi,R. Furukawa, N. Asada and H. Kawasaki, "Dense 3d reconstruction method using a single pattern for fast moving object, "ICCV,2009. 非专利文献 4:A. 0. Ulusoy, F. Calakli and G. Taubin,"One-shot scanning using de bruijn spaced grids, "Hie 7th IE邸 Conf.3DIM, 2009. 非专利文献 5: J.Salvi,J. Batlle and E.M.Mouaddib, "A robust coded pattern projection for dynamic 3D scene measurement, "Pattern Recognition, vol. 19, no. 11 ,pp. 1055-1065, 1998. 非专利文献 6: C. Je, S. W. Lee and R. H. Park, "High-contrast color stripe pattern for rapid structured-light range imaging, "ECCV, vol.1,pp.95-107, 2004. 非专利文献 7:L. Zhang, B. Curless and S.Seitz, "Rapid shape acquisition using color structured light and multi-pass dynamic programming, " 3DPVT, pp. 24-36, 2002. 非专利文献 8: R. Sagawa, H. Kawasaki, R. Furukawa and S. Kiyota, "Dense one-shot 3d reconstruction by detecting continuous regions with parallel line projection, " ICCV, 2011. 非专利文献 9:Canesta, Inc.，"Canesta Vision EP Development Kit, "2010.ht 化：// WWW. canesta. com/devkit. htm. 非专利文献 l〇:Mesa Imaging AG.，"Swiss Ranger SR-4000，"2011.ht化：//w丽. swissranger. ch/index. php. 非专利文献 ll:S.Rusinkiewicz，O.Hall-Holt and M.Levoy, "Realtime 3D model acquisition, "Rroc. SIGGRAPH, pp. 438-446, 2002. 非专利文献 12:T.Weise，B.Le;Lbe and LV.Gool,"Fast 3D scanning with automatic motion compensation,''CVP民，2007. 非专利文献 13: S. G. Narasimhan，S. J. Koppal，and S. Yamazaki，"Temporal dithering of illumination for fast active vision，''Proc. European Conference on Computer Vision,pp.830-844,October 2008. 非专利文献 14:L. Zhan咨，B. Curless and S. M. Seitz, "Space time stereo: Shape recovery for dynamic scenes, IEEE Computer Society Conference on Computer Vision and Pattern 民ecognition, pp. 367-374,June 2003. 非专利文献 15: J. Tajima and M. Iwakawa，"3_D data acquisition by rainbow range finder,，，ICPR，pp. 309-313, 1990. 非专利文献 16:S. Zhan咨 and P. Huang, ^^High-resolution, real-time 3D shape acquisition,，，Proc. Conference on Computer Vision and Pattern Recognition Workshop, p. 28,