光装置而构成。
[0052]进而，三维形状计测装置I也可以具备无线或有线的通信装置，将图1所示的构成要素间经由无线或有线的通信线路连接。此外，三维形状计测装置I也可以具备图1中未示出的显示部、信号音输出部、显示灯及操作部，具有将来自输出指示生成部12的输出指示输出到该显示部、信号音输出部及显示灯的构成。并且，也可以通过由摄影者操作规定的操作件，使拍摄部11拍摄第2 二维图像。S卩，在输出指示生成部12输出了输出指示的情况下，除了拍摄部11直接按照该输出指示拍摄第2 二维图像的构成，还可以采用经由摄影者的操作而拍摄部11按照输出指示拍摄第2 二维图像的构成。
[0053]此外，三维形状计测装置I例如可以在输出指示生成部12内(或者与输出指示生成部12分体地)设置进行基于多个第I 二维图像来推测三维形状计测装置I的移动的处理的构成。该移动的推测例如可以通过在多个第I二维图像中追踪各第I二维图像中包含的多个特征点来进行(例如参照非专利文献I)。这时，作为在运动图像那样的多个二维图像间追踪特征点的手法，广泛使用Kanade-Lucas-Tomasi法(KLT法)等多种手法。该移动的推测结果例如可以存储在存储部13中。
[0054]此外，三维形状计测装置I例如可以具有使用GPS(global posit1ning system)接收机等取得自装置的位置信息的功能，或者具有使用加速度传感器、陀螺仪传感器等检测自装置的移动的功能。该移动的检测结果例如可以存储在存储部13中。
[0055]接下来，参照图2说明参照图1说明的拍摄部11的构成例。图2所示的拍摄部11具备:第I拍摄部51a、第2拍摄部51b、控制部52。第I拍摄部51a和第2拍摄部51b是具有相同构成的拍摄装置。第I拍摄部51a具备光学系统61a、曝光控制部62a及拍摄元件65a。第2拍摄部51b具备与光学系统61a、曝光控制部62a及拍摄元件65a相同构成的光学系统61b、曝光控制部62b及拍摄元件65b。第I拍摄部51a和第2拍摄部51b在拍摄部11中配置为彼此的位置和朝向不同。光学系统61a及61b具备:1或多个透镜、用于使焦点距离变化为远景或广角的透镜的驱动机构、以及自动对焦用的透镜的驱动机构。曝光控制部62a及62b具备光圈值控制部63a及63b和快门速度控制部64a及64b。光圈值控制部63a及63b具备机械式光圈可变机构和驱动可变机构的驱动部，将从光学系统61a及61b入射的光的量可变地射出。快门速度控制部64a及64b具备机械式快门和驱动机械式快门的驱动部，遮挡从光学系统61a及61b入射的光，或者使其通过仅规定的时间。快门速度控制部64a及64b也可以取代机械式快门而使用电子快门。
[0056]拍摄元件65a及65b经由光学系统61a及61b、曝光控制部62a及62b入射对象物的反射光，变换为电信号并输出。拍摄元件65a及65b通过在平面上纵横排列为栅格状的多个受光元件构成各像素(在此，像素指的是图像的记录单位)。此外，拍摄元件65a及65b可以具备与各像素对应的滤色器，也可以不具备。此外，拍摄元件65a及65b具有各受光元件的驱动电路和输出信号的变换电路等，将由各像素受光的光变换为数字或模拟的规定的电信号，并作为像素信号输出到控制部52。此外，作为拍摄元件65a及65b，也可以使用能够按照来自控制部52的指示而使像素信号的读出析像度可变的拍摄元件。
[0057]控制部52控制第I拍摄部51a及第2拍摄部51b分别具备的光学系统61a及61b、曝光控制部62a及62b、拍摄元件65a及65b。控制部52将第I拍摄部51a及第2拍摄部51b输出的像素信号按照规定的帧周期反复输入，将第I拍摄部51a及第2拍摄部51b输出的各像素信号按照每个帧组合而作为预览用图像Sp(对应于图1的第I 二维图像)输出。控制部52还按照从输出指示生成部12输入的输出指示，例如从预览用图像Sp的拍摄时的拍摄条件变化为规定的拍摄条件，并且将在该条件下从第I拍摄部51a和第2拍摄部51b读出的像素信号输入I帧或规定帧。控制部52例如将在按照输出指示而变化后的拍摄条件下拍摄到的图像信号按照每个帧进行组合，作为计测用立体图像Sm(对应于图1的第2 二维图像)输出(在此，η是表示对(pair)编号的I?N的整数)。另外，预览用图像Sp是包括每帧包含I张预览图像的图像和每帧包含2张预览图像的图像这两种情况的名称。此夕卜，在确定为包含由立体摄像机拍摄到的2张预览图像的情况时，称为预览用立体图像Sp。
[0058]此外，控制部52也可以在内部具备存储部71。这种情况下，控制部52在输出预览用图像Sp (第I 二维图像)时，也可以取得与计测用立体图像Sm(第2 二维图像)相同析像度的图像数据，将该图像数据暂时存储到自身内部的存储部71，仅抽取规定的像素，作为比计测用立体图像Sm更低析像度的预览用图像Sp，输出到输出指示生成部12和存储部13。此外，这种情况下，控制部52在被从输出指示生成部12供给了输出指示时，从自身内部的存储部71读出与该输出指示对应的作为预览用图像Sp的图像数据，并且以拍摄时的析像度原样地作为计测用立体图像Sm输出。然后，控制部52与输出指示对应地，包括作为计测用立体图像Sm的图像数据在内，将在该图像数据之前的时刻拍摄到的图像数据从自身内部的存储部71删除。在此，控制部52的内部的存储部71，在取得当前存储的计测用立体图像Sm的下一定时的计测用立体图像Sm之前，仅将取得的图像数据的存储所需的容量设为例如通过实验等决定的容量，能够设为必要最小限度的容量。
[0059]在图2所示的构成中，第I拍摄部51a和第2拍摄部51b作为立体摄像机使用。例如，第I拍摄部51a的内部参数矩阵A和第2拍摄部51b的内部参数矩阵A相同。此外，第I拍摄部51a和第2拍摄部51b之间的外部参数矩阵M预先设定为规定的值。因此，基于同时拍摄到的第I拍摄部51a的拍摄图像和第2拍摄部51b的拍摄图像(以下也将这I对图像称为立体图像对)进行像素间(或者副像素间)的对应建立，从而能够将以拍摄了该图像的视点为基准的三维形状(即三维坐标)没有不确定性地复原。
[0060]另外，内部参数矩阵A也被称为摄像机校正矩阵，是将与拍摄对象物有关的物理坐标变换为图像坐标(即以第I拍摄部51a的拍摄元件65a的拍摄面及第2拍摄部51b的拍摄元件65b的拍摄面为中心的坐标，也被称为摄像机坐标)的矩阵。图像坐标是以像素为单位的坐标。内部参数矩阵A通过焦点距离、图像中心的坐标、图像坐标的各成分的比例因子(=换算系数)、剪切系数来表示。此外，外部参数矩阵M是将图像坐标变换为世界坐标(即，对于所有的视点和对象物共通地决定的坐标)的矩阵。外部参数矩阵M是由多个视点间的三维的旋转(即姿势的变化)和平移(即位置的变化)决定的矩阵。第I拍摄部51a和第2拍摄部51b之间的外部参数矩阵M例如能够通过第I拍摄部51a的图像坐标向作为基准的第2拍摄部51b的图像坐标的旋转和平移来表示。此外，基于立体图像对将三维形状没有不确定性地复原指的是，根据内部参数矩阵A和外部参数矩阵M均已知的2个拍摄部的各拍摄图像，计算与各像素对应的对象物的物理三维坐标。此外，在本发明的实施方式中，有不确定性指的是，无法唯一地决定投影成图像的三维形状。
[0061]另外，图1所示的拍摄部11并不是必须采用图2所示的立体摄像机(即使用2台摄像机的构成)。例如，也可以仅使用一个拍摄元件(即，使用I台摄像机)，将一边使该拍摄元件移动一边拍摄到的2张图像作为立体图像对使用。但是，这种情况下，外部参数矩阵M不确定，所以残留着一定的不确定性。但是，例如可以使用与对象物的多个基准点有关的三维坐标的实测数据来修正，或者即使在不使用实测数据的情况下，也能够取代现实的三维空间而在以不确定性的存在为前提的虚拟空间内将三维的形状复原等。此外，摄像机的台数不限于2台，例如也可以是3台或4台。
[0062]此外，作为图1所示的拍摄部11，例如可以使用专利文献I记载的具备深度图像的生成部和彩色图像的生成部的拍摄部。并且，这种情况下，可以采用按照输出指示来变更深度图像的析像度、或者变更深度图像和彩色图像双方的析像度、或者变更彩色图像的析像度的拍摄部。
[0063]接下来，参照图3?图14，说明参照图1说明的输出指示生成部12的构成例。图3所示的输出指示生成部12a，基于从拍摄了预览用图像Sp (第I 二维图像)的视点观看基于计测用立体图像Sm(第2 二维图像)的三维形状模型时的形状的缺损率(即形状缺损比例)，生成输出指示。在此，形状缺损比例对应于将基于计测用立体图像Sm(第2 二维图像)所求出的三维形状模型从预览用图像Sp (第I 二维图像)的拍摄时的视点作为二维图像来表示的情况下计算出的图像的比例。在图3中，将与图1所示的输出指示生成部12对应的构成作为输出指示生成部12a示出。输出指示生成部12a例如可以使用CPU(中央处理装置)、RAM(随机访问存储器)等的构成和由CPU执行的程序来构成。在图3中，将通过执行该程序而进行的处