专利名称：多视点拍摄控制装置、控制方法以及控制程序的制作方法
技术领域：
本发明涉及一种多视点拍摄控制装置、多视点拍摄控制方法以及多视点拍摄控制程序，其用于通过使用单透镜以多个视点对特定的被拍摄体进行拍摄，从而取得表现该特定的被拍摄体的三维形状的要素数据。
背景技术：
当前，已知一种通过使用云台和导轨而生成3D图像的立体图像拍摄辅助装置(参照日本特开2004-236156号公报)。在该立体图像拍摄辅助装置中，通过使云台从导轨的中心左右对称地移动，从而可以进行稳定的拍摄。为了得到上述3D图像或用于立体视觉显示的图像，基本上要求以多视点对图像进行拍摄，在日本特开2004-236156号公报所记载的技术中，需要用于拍摄的特殊装置。另一方面，作为拍摄者手持拍摄装置进行移动的同时进行拍摄的技术，提出了一种进行全景拍摄时的拍摄方法(参照日本特开平11-164325号公报)。在该日本特开平11-164325号公报中记载了下述内容，S卩，其将在进行全景拍摄时如果不使拍摄设备以一定的角速度旋转则无法正确地进行拍摄这一点作为课题，基于图像中心线上的像素的光流(optical flow)的大小，对摆动速度进行计算，进行全景合成。另外，在该日本特开平11-164325号公报中，记载了下述内容，S卩在静止画面的全景图像生成时，相邻的2个图像不是严密地一致，需要用户自身通过手动操作发现并指定特征点的处理。
发明内容
但是，在上述日本特开平11-164325号公报的技术中，由于针对中央部(被拍摄体部)测量中心线处的光流大小，所以在以被拍摄体为中心进行拍摄的情况下，存在无法进行拍摄的问题。如上述所示，在以多视点进行拍摄的情况下，难以确定拍摄地点，另外，即使确定了拍摄地点，也难以在准确的视点处进行拍摄作业。本发明考虑上述事实，其目的在于得到一种多视点拍摄控制装置、多视点拍摄控制方法以及多视点拍摄控制程序，其在需要以多视点拍摄的图像的情况下，可以容易地进行该多视点的各个拍摄地点的确定，且可以简单地执行拍摄作业本身。本发明的第1形态所涉及的发明具有拍摄部，其对图像进行拍摄；动画图像显示部，其在显示画面上显示用于确定拍摄视角的动画；测距部，其对由所述动画图像显示部显示的动画中包含的特定的被拍摄体进行模拟拍摄，至少对至所述特定的被拍摄体为止的距离进行测定；取得部，其取得从多个拍摄视点进行拍摄时的拍摄视点间的收敛角；视点数量设定部，其设定至少包含最初进行拍摄的拍摄开始点及最后进行拍摄的拍摄结束点在内的视点数量；位置信息运算部，其基于所述收敛角数据、及由所述测距部测定的从测距点至所述特定的被拍摄体为止的距离数据，且以使所述模拟拍摄位置的视点成为中心的方式，对包含从所述最初进行拍摄的拍摄开始点至最后进行拍摄的拍摄结束点为止的移动量在内的位置信息进行运算；以及通知部，其基于由所述位置信息运算部运算出的位置信息，执行要求从所述测距点至拍摄开始点为止进行移动的通知，以及要求从所述拍摄开始点至所述拍摄结束点为止进行移动的通知。本发明的第2形态所涉及的发明，在第1形态所涉及的发明的基础上，还具有判定部，其与所述移动相对应，将拍摄开始点作为基准图像，基于该基准图像和移动后的拍摄图像之间的比较，判定是否为应进行拍摄的视点；自动拍摄执行控制部，其在所述判定部判定为拍摄点的情况下，在该拍摄点自动地对所述被拍摄体进行拍摄；以及存储部，其将由自动拍摄执行控制部拍摄到的图像数据作为所述要素数据而存储。本发明的第3形态所涉及的发明，在第2形态所涉及的发明的基础上将由所述自动拍摄执行控制部自动拍摄到的拍摄开始点之后的拍摄点的视点图像作为新的基准图像而进行更新。本发明的第4形态所涉及的发明，在第2或第3形态所涉及的发明的基础上，技术方案4所记载的发明在上述技术方案2或技术方案3所记载的发明中，所述判定部基于所述基准图像、和在对移动后的拍摄图像上的所述特定的被拍摄体的位置偏移进行校正的情况下预先设定的背景图像的偏移量，判定针对所述移动后的拍摄图像的拍摄视点是否为应进行拍摄的视点。本发明的第5形态所涉及的发明，在第1 第4形态中的任一种形态所涉及的发明的基础上，在所述显示画面上，以规定的透明度显示在所述拍摄结束点之前的拍摄点处拍摄到的图像。本发明的第6形态所涉及的发明，在第1 第5形态中的任一种形态所涉及的发明的基础上，从所述拍摄开始点至所述拍摄结束点的移动轨迹是以所述被拍摄体为中心的圆弧轨迹，所述测距点位于移动范围的中央。本发明的第7形态所涉及的发明，在第1 第6形态中的任一种形态所涉及的发明的基础上，至少包含所述拍摄开始点以及所述拍摄结束点这2个点，并且是自动或者手动设定的。本发明的第8形态所涉及的发明，在第1 第7形态中的任一种形态所涉及的发明的基础上，还具有测量部，其对从所述拍摄开始点至所述拍摄结束点为止的移动速度进行测量；以及中止部，其在由所述测量部测量出的移动速度大于或等于规定值的情况下，判定为不能继续进行自动拍摄，将由所述自动拍摄执行控制部进行的拍摄中止。本发明的第9形态所涉及的发明的特征在于，在显示画面上显示用于确定拍摄视角的动画，对所显示的动画中包含的特定的被拍摄体进行模拟拍摄，至少对至所述特定的被拍摄体为止的距离进行测定，取得从多个拍摄视点拍摄时的拍摄视点与拍摄视点间的收敛角，设定至少包含最初进行拍摄的拍摄开始点、以及最后进行拍摄的拍摄结束点在内的视点数量，基于所述收敛角数据、以及由所述测距部测定的从测距点至所述特定的被拍摄体的距离数据，且以使所述模拟拍摄位置的视点成为中心的方式，对包含从所述最初进行拍摄的拍摄开始点至最后进行拍摄的拍摄结束点为止的移动量在内的位置信息进行运算， 基于运算出的位置信息，执行要求从所述测距点至拍摄开始点为止进行移动的通知，以及要求从所述拍摄开始点至所述拍摄结束点为止进行移动的通知。
5
本发明的第10形态所涉及的发明使计算机执行下述内容，即在显示画面上显示用于确定拍摄视角的动画，对所显示的动画中包含的特定的被拍摄体进行模拟拍摄，至少对至所述特定的被拍摄体为止的距离进行测定，取得从多个拍摄视点拍摄时的拍摄视点与拍摄视点间的收敛角，设定至少包含最初进行拍摄的拍摄开始点、以及最后进行拍摄的拍摄结束点在内的视点数量，基于所述收敛角数据、以及由所述测距部测定的从测距点至所述特定的被拍摄体的距离数据，且以使所述模拟拍摄位置的视点成为中心的方式，对包含从所述最初进行拍摄的拍摄开始点至最后进行拍摄的拍摄结束点为止的移动量在内的位置信息进行运算，基于运算出的位置信息，执行要求从所述测距点至拍摄开始点为止进行移动的通知，以及要求从所述拍摄开始点至所述拍摄结束点为止进行移动的通知。根据本发明，在由动画图像显示部向显示画面上显示动画的状态下，S卩，在拍摄模式中，将特定的被拍摄体收容在视角内，利用模拟拍摄对至该特定的被拍摄体为止的距离进行测定。在这里，基于表现三维形状所必需的收敛角数据和上述测定的距离数据，运算最初进行拍摄的拍摄开始点以及最后进行拍摄的拍摄结束点的位置数据。在此情况下，使上述模拟拍摄位置的视点成为中心。然后，首先进行要求从测距点至拍摄开始点为止进行移动的通知，然后进行要求从拍摄开始点至拍摄结束点为止进行移动的通知。该通知例如可以是在显示画面上进行信息显示，也可以是通过声音等进行通知。或者也可以另外设置显示部。作为是否为拍摄位置的判定，例如基于基准图像和在对移动后的拍摄图像上的特定的被拍摄体的位置偏移进行校正的情况下预先设定的背景图像的偏移量，判定针对移动后的拍摄图像的拍摄视点是否为应进行拍摄的视点。如上述所示，在本发明中，由于仅要求用户移动，然后如果该移动到达拍摄点，则自动执行拍摄，所以可以容易地取得用于表现三维形状的要素数据(图像数据)。另外，在该拍摄中不需要特殊工具等，对被拍摄体的位置没有限制。另外，在本发明中，用户根据上述通知内容，从测距点向拍摄开始点移动，然后向拍摄结束点移动，与该移动对应地，将拍摄开始点作为基准图像，基于该基准图像和移动后的拍摄图像之间的比较，判定是否为应进行拍摄的视点，在应进行拍摄的视点处，自动地对上述被拍摄体进行拍摄。拍摄出的图像数据作为用于表现三维形状的要素数据而存储。如果从上述拍摄开始点至上述拍摄结束点的移动轨迹是以上述被拍摄体为中心的圆弧轨迹，则可以使至被拍摄体为止的焦点距离以及视角上的位置始终相同。另外，通过使模拟拍摄位置位于移动范围的中央，从而可以取得相对于被拍摄体左右对称地表现三维形状的动态影像。另一方面，存在拍摄装置不与特定的被拍摄体正对的情况，例如，特定的被拍摄体位于与模拟拍摄时的视角位置不同的位置的情况。在这种情况下，只要基于基准图像、和移动后的拍摄图像之间的预先设定的背景图像的移动量进行校正即可。通过以所谓半透明的方式在显示画面上显示拍摄结束后的图像，从而易于根据动画设定下一个拍摄点处的拍摄视角。作为拍摄点，只要至少包含上述拍摄开始点以及上述拍摄结束点这2个点即可。 另外，也可以与至被拍摄体为止的距离相对应而自动设定拍摄点的数量。此外，也可以由用户手动设定拍摄点的数量。对从拍摄开始点至上述拍摄结束点为止的移动速度进行测量，在该移动速度大于或等于规定值的情况下，判定为不能继续进行自动拍摄，将利用上述自动拍摄执行控制部进行的拍摄中止。即，其原因是，如果移动过快，则会产生拍摄点偏移、使收敛角不正确。此外，在中止自动拍摄后，可以指示从最初开始重新进行处理，也可以指示从结束了正常拍摄的拍摄点的下一个拍摄点开始重新进行拍摄。发明的效果根据如以上说明所示的本发明，可以得到下述效果，S卩，在需要以多视点拍摄的图像的情况下，可以容易地确定该多视点的各个拍摄地点，并且可以简单地执行拍摄作业本身。
图1是第1实施方式的复眼数字照相机的正面侧斜视图。图2是第1实施方式的复眼数字照相机的背面侧斜视图。图3是表示第1实施方式的复眼数字照相机的内部结构的概略框图。图4A是涉及第1实施方式的概念图，表示在对拍摄视点、用于使用户移动的移动轨迹、移动量进行设定的情况下，数字照相机朝向特定的被拍摄体的理想的状态。图4B是涉及第1实施方式的概念图，表示在对拍摄视点、用于使用户移动的移动轨迹、移动量进行设定的情况下，数字照相机没有朝向特定的被拍摄体的状态。图5是涉及第1实施方式的设置有信息显示区域的液晶显示器的正视图。图6是涉及第1实施方式的表示三维形状拍摄模式执行控制步骤的流程图。图7A是涉及第2实施方式的设置有表示在标识为拍摄开始点S时的移动速度指示部的液晶显示器的正视图。图7B是涉及第2实施方式的设置有表示在标识为特定的被拍摄体的正面时的移动速度指示部的液晶显示器的正视图。图8是涉及第2实施方式的表示三维形状拍摄模式执行控制步骤的流程图。标号的说明1数字照相机2快门按钮7液晶显示器7A信息显示区域2IA拍摄部22拍摄控制部沘显示控制部30三维处理部31距离测定部32收敛角调整部33移动量计算部34半透明处理部
35整合性判定部50特定的被拍摄体50H半透明图像52假想线54 直线56特征点58箭头图像60箭头图像62移动速度指示部62A显示区域62B标识部
具体实施例方式(第1实施方式)如图1及图2所示，在数字照相机1的上部具有快门按钮2、电源按钮3、以及变焦杆4。另外，在复眼数字照相机1的正面配置有闪光灯5以及2个拍摄部21A、21B的透镜。另外，在复眼数字照相机1的背面配置有进行各种显示的液晶显示器7以及各种操作按钮8。图3是表示数字照相机1的内部结构的概略框图。如图3所示，数字照相机1具有2个拍摄部21A、拍摄控制部22、图像处理部23、压缩/展开处理部M、帧存储器25、媒体控制部26、内部存储器27、显示控制部观、输入部36、以及CPU 37。拍摄控制部22由未图示的AF处理部以及AE处理部构成。AF处理部基于通过对快门按钮2的半按操作而由拍摄部21A取得的预摄图像，确定合焦区域，并且确定透镜的焦点位置，并向拍摄部21A输出。AF处理部将被拍摄体区域作为合焦区域，不仅确定透镜的焦点位置，而且为了后述的处理，将与该被拍摄体区域不同的背景区域作为合焦区域，确定透镜的焦点位置。此外，被拍摄体区域以及背景区域是通过当前已知的图像识别处理而确定的。AE处理部基于预摄图像，确定光圈值和快门速度，并向拍摄部21A输出。另外，拍摄控制部22通过快门按钮2的半按操作而对至被拍摄体为止的距离进行测定(测距)，通过全按操作而指示正式拍摄。此外，在对快门按钮2进行操作前，拍摄控制部22对拍摄部21A进行指示，使其依次取得用于确定拍摄模式中的拍摄视角的动画(像素数量比正式图像少，且具有规定时间间隔(例如1/30秒间隔)的拍摄图像)。此外，下面有时将上述动画称为“动态影像”。图像处理部23对由拍摄部21A取得的图像的数字图像数据，实施调整白平衡的处理、灰度校正、锐度校正、以及颜色校正等图像处理。压缩/展开处理部M对表示由图像处理部23实施处理后的图像的图像数据，以例如JPEG等压缩形式进行压缩处理，从而生成图像文件。该图像文件包含图像数据，基于 Exif格式等存储拍摄日期等附加信息、以及表示后述的三维形状拍摄模式中的视点位置的视点信息。帧存储器25是在对表示由拍摄部21A取得的图像的图像数据执行包含上述图像处理部23进行的处理在内的各种处理时使用的作业用存储器。媒体控制部沈对访问记录媒体四而对图像文件等的写入及读入进行控制。内部存储器27存储在数字照相机1中设定的各种常数以及由CPU 37执行的程序寸。在拍摄时，显示控制部观将存储在帧存储器25中的图像显示在液晶显示器7上， 或将记录在记录媒体四中的图像显示在液晶显示器7上。另外，显示控制部观使液晶显示器7显示动态影像。另外，数字照相机1具有三维处理部30、距离测定部31、收敛角调整部32、移动量计算部33、半透明处理部34、以及整合性判定部35。三维处理部30对以多个视点拍摄到的多个图像进行三维处理，生成立体视觉用图像。距离测定部31基于通过拍摄控制部22的AF处理部而得到的被拍摄体区域的透镜焦点位置，对至被拍摄体为止的距离进行测定，并且基于背景区域的透镜焦点位置，对至背景为止的距离进行测定。收敛角调整部32对在三维形状拍摄模式中拍摄的多个图像之间的角度进行计算。此外，在利用三维处理部31生成立体视觉用图像的情况下，基于该计算出的收敛角进行收敛角调整处理，以位置对应的方式将多个图像重合。移动量计算部33基于由距离测定部31测定的至被拍摄体为止的距离，计算在三维形状拍摄模式下进行拍摄时的多个视点之间的最佳移动距离(移动范围)。半透明处理部34对拍摄到的图像(在这里为以多个视点进行拍摄时的最初的拍摄点(拍摄开始点)处拍摄到的图像)进行半透明处理。整合性判定部35对在各视点处拍摄到的图像和动态影像进行微分处理(例如，拉普拉斯处理)，对微分处理后的图像的被拍摄体区域和动态影像的被拍摄体区域的相关系数进行计算，并且对图像的特征点和动态影像的特征点的相关系数进行计算。另外，整合性判定部35在计算出的被拍摄体区域的相关系数大于或等于第1阈值的情况下，向拍摄控制部22指示图像拍摄。由此，拍摄控制部22自动利用拍摄部21A执行拍摄。在这里，在第1实施方式中，具有下述模式(三维形状拍摄模式)，在该模式中，使用作为单透镜的数字照相机1，以特定的被拍摄体50为对象，取得可以成为三维形状的要素的、以多个视点拍摄到的图像数据。对于视点的位置，可以在使数字照相机1与特定的被拍摄体50的正面相对的状态下，基于至被拍摄体为止的距离而确定(利用距离测定部31进行的测距)。此外，对于该测距，可以提取实际拍摄时的测距数据(模拟拍摄)，也可以使用通过半按快门按钮2而得到的测距数据。在CPU 37中，对收敛角调整部32、移动量计算部33进行控制，基于测定出的测距数据，得到特定的被拍摄体50的拍摄范围。拍摄范围是将特定的被拍摄体50的正面(当前的数字照相机1的位置)作为中央而以扇形展开的拍摄范围(图4A、B所示的角度θ )。 由此，形成以特定的被拍摄体50为中心的圆弧轨迹。在三维形状拍摄模式中，需要在将以特定的被拍摄体50为中心的圆弧轨迹(图4A、B的假想线52)的两端连结而成的直线(弦) 上，至少以隔着特定的被拍摄体50的正面图像的方式确定左右各1个视点(最少2个点)。此外，假定圆弧轨迹的假想线52是与直线M近似的，原本优选在圆弧轨迹的假想线52上设定视点，但由用户移动的角度出发，设定为直线M。在第1实施方式中，将上述直线M的两端确定为视点，将其一端作为拍摄开始点 S，将另一端作为拍摄结束点E。此外，也可以在直线M上增加拍摄点(视点)。在这里，上述角度θ不一定与收敛角一致，在视点为拍摄开始点S和拍摄结束点E这2个点的情况下， 角度θ成为收敛角。另外，在第1实施方式中，如图5所示，如果确定上述视点，则首先，在液晶显示器 7的信息显示区域7Α中显示要求在特定的被拍摄体50的正面进行测距的信息。另外，在液晶显示器7的信息显示区域7Α中，显示要求用户以该特定的被拍摄体 50的正面为基准(即，利用模拟拍摄等进行测距的位置)向拍摄开始点S移动的信息。另外，在液晶显示器7中，通过显示对移动方向进行引导的箭头图像58(在这里为向左)，从而对用户的移动方向进行引导。对于用户是否按照该信息显示区域7Α中显示的信息及箭头图像58的引导而到达拍摄开始点S，可以如上述所示通过对动态影像的特征点56的位置变化解析而自动判别。 其结果，如果到达拍摄开始点S，则自动开始拍摄。另外，在拍摄开始点S处的拍摄结束后，在液晶显示器7的信息显示区域7Α中显示要求用户向拍摄结束点E移动的信息，并且显示对移动方向进行引导的箭头图像60 (在这里为向右)。其结果，用户一边手持数字照相机1 一边沿图4Α、Β的直线M移动。此外，图4Α示出数字照相机1以与特定的被拍摄体50面对(正对)的理想的朝向进行拍摄的状态，另一方面，图4Β示出数字照相机1没有朝向特定的被拍摄体50(光轴偏移)的状态。在这里，在第1实施方式中，将在上述拍摄开始点S拍摄到的图像以半透明图像 50Η显示在液晶显示器7上。该半透明图像50Η可以成为用户沿直线M移动的参考。在存在设定于直线M上的视点的情况下，在该时刻自动执行拍摄，在到达拍摄结束点E后，执行最后的自动拍摄。拍摄到的多个视点(至少为拍摄开始点S和拍摄结束点Ε)的图像数据，作为用于生成特定的被拍摄体50的三维形状的要素而相关联，并存储在帧存储器25等中。此外，也可以存储在记录媒体四中。下面，说明第1实施方式的作用。图6是表示第1实施方式中的三维形状拍摄模式执行控制步骤的流程图。在步骤100中，确定拍摄点数量(视点的数量)。该视点的数量可以是预先确定的数量，也可以由用户任意设定。此外，作为视点，必须有拍摄开始点S和拍摄结束点Ε。在下一个步骤102中，确定所设定的视点间的收敛角，然后跳转至步骤104，在液晶显示器7的信息显示区域7Α(参照图5)中，显示信息(“请站在被拍摄体的正面，测定距离”)。此外，该信息也可以是“请进行模拟拍摄”或“请半按快门，测定距离”。在下一个步骤106中，对拍摄(模拟拍摄)或者测距是否完毕(是否取得了测距数据)进行判断，如果是肯定判定，则跳转至步骤108，基于确定的收敛角和测距数据，对数字照相机移动量(从拍摄开始点S至拍摄结束点E为止)进行运算，跳转至步骤110。在步骤110中，在液晶显示器7上进行移动方向的引导显示(箭头图像58)，然后跳转至步骤112，在液晶显示器7的信息显示区域7A中，显示信息(“请向拍摄开始点移动”)，并跳转至步骤114。在步骤114中，对根据动态影像是否确认到移动进行判断，在为否定判定的情况下，判断为没有移动。另外，在步骤114中为肯定判定的情况下，判断为已移动，并跳转至步骤116。在步骤116中，对在该移动中是否到达了拍摄开始点S进行判断，在为否定判定的情况下，返回至步骤114，重复步骤114、116的判断。另外，如果在步骤118中为肯定判定，则判断为用户(即，数字照相机1)已经到达拍摄开始点S，跳转至步骤118而执行自动拍摄处理。在该自动拍摄处理中，自动处理曝光、 焦点距离、快门速度、拍摄、数据存储等。在下一个步骤120中，基于在上述拍摄开始点S处拍摄到的图像数据，在液晶显示器7上显示半透明图像50H，并跳转至步骤122。该半透明图像50H的显示可以作为用户移动时的参考。此外，半透明图像50H在作为目视的参考的同时，也可以成为用于对特定的被拍摄体50在视角上的位置偏移进行校正的基准图像。该基准图像可以固定地使用模拟拍摄或在拍摄开始点S拍摄到的图像，也可以在各视点处每次进行拍摄时更新。在步骤122中，在液晶显示器7上进行移动方向的引导显示(箭头图像60)，然后跳转至步骤124，在液晶显示器7的信息显示区域7A中，显示信息(“请向拍摄结束点移动”)，跳转至步骤126。在步骤126中，对根据动态影像是否确认到移动进行判断，在为否定判定的情况下，判断为没有移动。另外，在步骤126中为肯定判定的情况下，判断为已经移动，并跳转至步骤128。在步骤128中，对在该移动中是否到达下一个拍摄点进行判断，在为否定判定的情况下，返回至步骤126，重复步骤126、128的判断。另外，如果在步骤128中为肯定判定，则判断为用户(即数字照相机1)已经到达下一个拍摄点，并跳转至步骤130，执行自动拍摄处理。在该自动拍摄处理中，对曝光、焦点距离、快门速度、拍摄、数据存储、特定的被拍摄体50的位置校正等全部进行自动处理。此外，在这里，将基于图4A的数字照相机1的朝向为理想状态这一理想情况作为前提，对于特定的被拍摄体50的位置校正，基于图4B在后面记述。在下一个步骤132中，对该拍摄点是否为拍摄结束点E进行判断，在为否定判定的情况下，应继续拍摄，返回步骤126。另外，在步骤132中为肯定判定的情况下，判断为拍摄结束点E处的拍摄结束，至少图4A、B所示的直线M (移动范围)的两端即拍摄开始点S和拍摄结束点E处的拍摄已经完毕，从而结束该步骤。如上述说明所示，在第1实施方式中，在对特定的被拍摄体50的用于生成三维形状的要素、即来自多个视点的图像数据进行拍摄的情况下，通过对用户适当地进行引导，在液晶显示器7的信息显示区域7A等中，显示要求在特定的被拍摄体50的正面进行测距、从测距位置至拍摄开始点S为止进行移动、以及从拍摄开始点S至拍摄结束点E为止进行移动的信息。另外，通过对动态影像进行解析，从而基于特征点56的变化，自动识别数字照相机1的位置，并且进行自动拍摄，因此，即使用户对繁杂的流程没有经验，也可以适当地拍摄多个视点的图像。另外，不需要为了三维拍摄而对移动进行引导的仪器等。
11
此外，在第1实施方式中，以图4A的状态、即数字照相机1 (的光轴)朝向特定的被拍摄体50(正对)这一点作为前提，但在实际状况中，数字照相机1的朝向与用户相关， 因此，存在如图4B所示数字照相机1的朝向没有朝着特定的被拍摄体50的情况(参照图 4B的角度α )。在此情况下，在模拟拍摄或者在拍摄开始点S处进行拍摄时，存在于视角中央的特定的被拍摄体50从图像的中央偏移。该偏移与图4Β的角度α相关。因此，基于该特定的被拍摄体50和预先设定的特征点56之间的相对位置关系，对该特定的被拍摄体50的变化量(偏移量)进行运算，并以使特定的被拍摄体50成为视角的中央的方式进行校正。更具体地说，例如在图4Β的拍摄开始点S处，在数字照相机1的光轴朝向纸面正上方，与特定的被拍摄体50之间的角度为α的情况下，特定的被拍摄体50向视角中央的右侧偏移。该向右侧偏移的情况，仅根据特定的被拍摄体50是难以判别的。因此，在特定的被拍摄体50的背面设定特征点56，基于特定的被拍摄体50和特征点56之间的相对位置关系，对偏移量进行运算，并对图像进行校正，以使特定的被拍摄体50的位置到达视角中央。由此，即使与用户相关的数字照相机1的朝向没有成为理想(参照图4Α)的朝向， 也可以得到用于生成三维形状的、多个视点处的图像数据。此外，在特定的被拍摄体50从视角中央大幅度偏移的情况下，也可以将在其前后拍摄到的图像数据进行合成。(第2实施方式)下面，说明本发明的第2实施方式。此外，在第2实施方式中，对于与上述第1实施方式相同的结构部分，标注相同的标号(包括在附图中沿用)，省略该结构的说明。第2实施方式的特征在于，对用户沿图4Α、Β的直线M移动的移动速度进行监视。 即，在拍摄开始点S处自动拍摄之后，如果基本上以比预先确定的移动速度更快的速度移动，则有时由于此时的曝光及快门速度等导致无法进行适当的拍摄。因此，在第2实施方式中，在确定了进行拍摄的视点的时刻对移动速度进行运算，并且在液晶显示器7上设置移动速度指示部62。移动速度指示部62由横长状的显示区域62Α和在该显示区域62Α中移动的标识部62Β构成。在这里，如果在确定了进行拍摄的视点的时刻对移动速度进行运算，则在拍摄开始点S即显示区域62Α的图7Α中的左端，显示标识部62Β。如果在拍摄开始点S处执行自动拍摄，则标识部62Β基于运算出的移动速度，从上述左端至右端的拍摄结束点E为止进行移动。即，标识部62Β的移动成为用于使用户移动的参考，例如图7Β所示，在标识部62Β到达显示区域62Α的中央的情况下，当前位于特定的被拍摄体50的正面这一状态是适当的。如果用户被要求移动，则通过一边观察该标识部62Β 一边移动，从而可以在维持适当的移动速度的同时进行移动。下面，根据图8的流程图，说明第2实施方式的作用。此外，图8的流程图是在上述第1实施方式的图6的流程图中添加与移动速度相关的处理而得到的，对于进行与该图 6相同的处理的步骤，在相同标号的末尾标注“Α”而进行说明。在步骤100Α中，确定拍摄点数量(视点的数量)。该视点的数量可以是预先确定的数量，也可以由用户任意设定。此外，作为视点，必须有拍摄开始点S和拍摄结束点E。在下一个步骤102A中，确定所设定的视点间的收敛角，然后跳转至步骤104A，在液晶显示器7的信息显示区域7A(参照图5)中，显示信息(“请站在被拍摄体的正面，测定距离”)。此外，该信息也可以是“请进行模拟拍摄”或“请半按快门，测定距离”。在下一个步骤106A中，对拍摄(模拟拍摄)或者测距是否完毕(是否取得了测距数据)进行判断，如果是肯定判定，则跳转至步骤108A，基于确定的收敛角和测距数据，对数字照相机移动量(从拍摄开始点S至拍摄结束点E为止)进行运算，跳转至步骤109。在步骤109中，对要求用户进行移动的移动范围(图4A、B的直线内的移动速度进行运算。该移动速度的运算例如与拍摄时的曝光及快门速度、特定的被拍摄体50的位移等相关。在该步骤109中运算出的移动速度，被反映至后述的移动速度指示部62的显示中。在步骤109中对移动速度进行运算后，跳转至步骤110A。在步骤1IOA中，在液晶显示器7上进行移动方向的引导显示(箭头图像58)，然后跳转至步骤112A，在液晶显示器7的信息显示区域7A中，显示信息(“请向拍摄开始点移动”)，并跳转至步骤114A。在步骤114A中，对根据动态影像是否确认到移动进行判断，在为否定判定的情况下，判断为没有移动。另外，在步骤114A中为肯定判定的情况下，判断为已移动，并跳转至步骤116A。在步骤116A中，对在该移动中是否到达了拍摄开始点S进行判断，在为否定判定的情况下，返回至步骤114A，重复步骤114A、116A的判断。另外，如果在步骤118A中为肯定判定，则判断为用户(即，数字照相机1)已经到达拍摄开始点S，跳转至步骤118A而执行自动拍摄处理。在该自动拍摄处理中，自动处理曝光、焦点距离、快门速度、拍摄、数据存储等。在下一个步骤120A中，基于在上述拍摄开始点S处拍摄到的图像数据，在液晶显示器7上显示半透明图像50H，并跳转至步骤123。该半透明图像50H的显示可以作为用户移动时的参考。在步骤123中，在液晶显示器7上进行移动方向的引导显示(箭头图像60)，并且， 与上述步骤109中运算出的移动速度相对应，使用移动速度指示部62，在显示区域62A的左端显示作为移动速度参考的标识部62B(参照图7A)。然后跳转至步骤124A，在液晶显示器 7的信息显示区域7A中，显示信息(“请向拍摄结束点移动”)，并跳转至步骤126A。在用户从拍摄开始点S向拍摄结束点E沿直线M移动时，上述移动速度指示部62 的标识部62B沿显示区域62A向右端移动。因此，如图7B所示，在标识部62B位于显示区域62A的中央时，用户位于特定的被拍摄体50的正面这一位置是适当的。用户通过一边观察该标识部62B的移动状态一边沿直线M移动，从而可以以适当的移动轨迹和适当的移动速度进行移动。在下一个步骤126A中，对根据动态影像是否确认到移动进行判断，在为否定判定的情况下，判断为没有移动。另外，在步骤126A中为肯定判定的情况下，判断为已经移动， 并跳转至步骤127。在该步骤127中，沿上述标识部62B移动是适当的，但在通过对动态影像解析而判定用户到达与标识部62B相比距离大于或等于规定值的位置的情况下，在步骤 127中进行否定判定，跳转至步骤129。在步骤129中，强制执行使三维形状拍摄模式下的拍摄中止的处理，并结束该步骤。此外，在将该拍摄中止的处理中，例如也可以在液晶显示器7中显示“由于移动速度不适当，中止拍摄”或“再次从距离测定开始，重新拍摄”等信息。另一方面，在上述步骤129中为肯定判定、即移动速度适当的情况下，跳转至步骤 128A。在步骤128A中，对在该移动中是否到达下一个拍摄点进行判断，在为否定判定的情况下，返回步骤U6A，重复步骤126A、127、U8A的判断。另外，如果在步骤128A中为肯定判定，则判断为用户(即数字照相机1)已经到达下一个拍摄点，并跳转至步骤130A，执行自动拍摄处理。在该自动拍摄处理中，对曝光、焦点距离、快门速度、拍摄、数据存储、特定的被拍摄体50的位置校正(参照图4B)等进行自动处理。在下一个步骤132A中，对该拍摄点是否为拍摄结束点E进行判断，在为否定判定的情况下，应继续拍摄，返回步骤126A。另外，在步骤132A中为肯定判定的情况下，判断为拍摄结束点E处的拍摄结束，至少图4A、B所示的直线M (移动范围)的两端即拍摄开始点 S和拍摄结束点E处的拍摄已经完毕，从而结束该步骤。此外，也可以将上述第1实施方式以及第2实施方式的三维形状拍摄模式的执行处理步骤程序化。将日本申请特愿2010-149681号公报的公开内容整体通过参照而编入本说明书。本说明书中记载的所有文献、专利申请、以及技术标准，以与具体且单独地通过参照编入各个文献、专利申请、以及技术标准进行记述的情况相同程度地，通过参照编入本说明书。
权利要求
1.一种多视点拍摄控制装置，其具有 拍摄部，其对图像进行拍摄；动画图像显示部，其在显示画面上显示用于确定拍摄视角的动画； 测距部，其对由所述动画图像显示部显示的动画中包含的特定的被拍摄体进行模拟拍摄，至少对至所述特定的被拍摄体为止的距离进行测定；取得部，其取得从多个拍摄视点进行拍摄时的拍摄视点间的收敛角； 视点数量设定部，其设定至少包含最初进行拍摄的拍摄开始点及最后进行拍摄的拍摄结束点在内的视点数量；位置信息运算部，其基于所述收敛角数据、及由所述测距部测定的从测距点至所述特定的被拍摄体为止的距离数据，且以使所述模拟拍摄位置的视点成为中心的方式，对包含从所述最初进行拍摄的拍摄开始点至最后进行拍摄的拍摄结束点为止的移动量在内的位置信息进行运算；以及通知部，其基于由所述位置信息运算部运算出的位置信息，执行要求从所述测距点至拍摄开始点为止进行移动的通知，以及要求从所述拍摄开始点至所述拍摄结束点为止进行移动的通知。
2.根据权利要求1所述的多视点拍摄控制装置，其中， 还具有判定部，其与所述移动相对应，将拍摄开始点作为基准图像，基于该基准图像和移动后的拍摄图像之间的比较，判定是否为应进行拍摄的视点；自动拍摄执行控制部，其在所述判定部判定为拍摄点的情况下，在该拍摄点自动地对所述被拍摄体进行拍摄；以及存储部，其将由自动拍摄执行控制部拍摄到的图像数据作为所述要素数据而存储。
3.根据权利要求2所述的多视点拍摄控制装置，其中，将由所述自动拍摄执行控制部自动拍摄到的拍摄开始点之后的拍摄点的视点图像作为新的基准图像而进行更新。
4.根据权利要求2或3所述的多视点拍摄控制装置，其中，所述判定部基于所述基准图像、和在对移动后的拍摄图像上的所述特定的被拍摄体的位置偏移进行校正的情况下预先设定的背景图像的偏移量，判定针对所述移动后的拍摄图像的拍摄视点是否为应进行拍摄的视点。
5.根据权利要求1至4中任一项所述的多视点拍摄控制装置，其中，在所述显示画面上，以规定的透明度显示在所述拍摄结束点之前的拍摄点处拍摄到的图像。
6.根据权利要求1至5中任一项所述的多视点拍摄控制装置，其中，从所述拍摄开始点至所述拍摄结束点的移动轨迹是以所述被拍摄体为中心的圆弧轨迹，所述测距点位于移动范围的中央。
7.根据权利要求1至6中任一项所述的多视点拍摄控制装置，其中，至少包含所述拍摄开始点以及所述拍摄结束点这2个点，并且是自动或者手动设定的。
8.根据权利要求1至7中任一项所述的多视点拍摄控制装置，其中，还具有测量部，其对从所述拍摄开始点至所述拍摄结束点为止的移动速度进行测量；以及中止部，其在由所述测量部测量出的移动速度大于或等于规定值的情况下，判定为不能继续进行自动拍摄，将由所述自动拍摄执行控制部进行的拍摄中止。
9.一种多视点拍摄控制方法，在该方法中，在显示画面上显示用于确定拍摄视角的动画，对所显示的动画中包含的特定的被拍摄体进行模拟拍摄，至少对至所述特定的被拍摄体为止的距离进行测定，取得从多个拍摄视点拍摄时的拍摄视点与拍摄视点间的收敛角，设定至少包含最初进行拍摄的拍摄开始点、以及最后进行拍摄的拍摄结束点在内的视点数量，基于所述收敛角数据、以及由所述测距部测定的从测距点至所述特定的被拍摄体的距离数据，且以使所述模拟拍摄位置的视点成为中心的方式，对包含从所述最初进行拍摄的拍摄开始点至最后进行拍摄的拍摄结束点为止的移动量在内的位置信息进行运算，基于运算出的位置信息，执行要求从所述测距点至拍摄开始点为止进行移动的通知， 以及要求从所述拍摄开始点至所述拍摄结束点为止进行移动的通知。
10.一种多视点拍摄控制程序，其使计算机执行下述内容，即在显示画面上显示用于确定拍摄视角的动画，对所显示的动画中包含的特定的被拍摄体进行模拟拍摄，至少对至所述特定的被拍摄体为止的距离进行测定，取得从多个拍摄视点拍摄时的拍摄视点与拍摄视点间的收敛角，设定至少包含最初进行拍摄的拍摄开始点、以及最后进行拍摄的拍摄结束点在内的视点数量，基于所述收敛角数据、以及由所述测距部测定的从测距点至所述特定的被拍摄体的距离数据，且以使所述模拟拍摄位置的视点成为中心的方式，对包含从所述最初进行拍摄的拍摄开始点至最后进行拍摄的拍摄结束点为止的移动量在内的位置信息进行运算，基于运算出的位置信息，执行要求从所述测距点至拍摄开始点为止进行移动的通知， 以及要求从所述拍摄开始点至所述拍摄结束点为止进行移动的通知。
全文摘要
本发明提供一种多视点拍摄控制装置、多视点拍摄控制方法以及多视点拍摄控制程序，其在需要以多视点拍摄的图像的情况下，确定该多视点的各个拍摄地点，且可以简单地执行拍摄作业本身。在对用于生成特定的被拍摄体的三维形状的要素、即来自多个视点的图像数据进行拍摄的情况下，通过对用户适当地进行引导，从而在液晶显示器的信息显示区域等中，显示要求在特定的被拍摄体的正面处进行测距、从测距位置向至摄开始点为止进行移动、以及从拍摄开始点至拍摄结束点为止进行移动的信息。另外，通过对动态影像进行解析，从而基于特征点的变化，自动识别数字照相机的位置，并且进行自动拍摄。
文档编号H04N5/225GK102550015SQ201180001676
公开日2012年7月4日 申请日期2011年4月13日 优先权日2010年6月30日
发明者桥本贵志 申请人:富士胶片株式会社