摄像系统以及校正方法与流程

本公开涉及，校正配置在规定的位置的摄像装置的内部参数的摄像系统、以及该摄像系统的校正方法。

背景技术：

专利文献1公开，根据多台照相机分别拍摄的影像再生被摄体的三维形状的技术。根据专利文献1，利用该三维形状生成自由视点影像。

(现有技术文献)

(专利文献)

专利文献1：日本特开2015－022510号公报

技术实现要素：

发明要解决的课题

本公开提供，能够容易进行配置在规定的位置的摄像装置的内部参数的校正的摄像系统以及校正方法。

解决课题所采用的手段

本公开的摄像系统，对配置在规定的位置的摄像装置的参数进行校正，所述摄像系统具备：移动控制部，使具有用于校正的标记的移动体移动到所述摄像装置的拍摄区域内；摄像控制部，使所述摄像装置拍摄所述标记；以及校正部，利用由所述摄像装置拍摄而得到的包括所述标记的图像，对所述摄像装置的内部参数进行校正。

而且，这些整个或具体的形态，也可以由系统、方法、集成电路、计算机程序或计算可读取的cd-rom等的记录介质实现，也可以由系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。

发明效果

本公开的摄像系统，能够容易进行配置在规定的位置的摄像装置的内部参数的校正。

附图说明

图1是示出三维空间识别的概要的图。

图2是示出实施方式1的多视点摄像系统的结构的框图。

图3是示出实施方式1的摄像装置的结构的框图。

图4是示出实施方式1的控制装置的结构的框图。

图5是示出实施方式1的移动体的结构的框图。

图6是示出实施方式1的摄像系统执行的一连串的工作的序列图。

图7a示出实施方式1的校正信息的数据结构的一个例子。

图7b示出实施方式1的校正信息的数据结构的另一个例子。

图8是示出实施方式1的校正处理的一个例子的流程图。

图9a是用于说明实施方式1的校正处理的细节的图。

图9b是用于说明实施方式1的校正处理的细节的图。

图9c是用于说明实施方式1的校正处理的细节的图。

图9d是用于说明实施方式1的校正处理的细节的图。

图10是示出实施方式2的校正处理的一个例子的流程图。

图11a是用于说明实施方式2的校正处理的细节的图。

图11b是用于说明实施方式2的校正处理的细节的图。

图11c是用于说明实施方式2的校正处理的细节的图。

图12是用于说明变形例的校正处理的图。

图13是用于说明变形例的校正处理的图。

图14是示出实施方式3的校正处理的一个例子的流程图。

图15是示出影像信息处理系统的结构的图。

图16是示出照相机启动时显示的通知画面的一个例子的图。

图17是实现内容分发服务的内容提供系统的全体结构图。

图18是数字广播用系统的全体结构图。

图19是示出智能手机的一个例子的图。

图20是示出智能手机的结构例的框图。

具体实施方式

(作为本发明的基础的知识)

对于三维空间中的自由视点影像的生成，利用由进行被摄体的三维形状的重构(建模)的三维空间重构装置的三维空间重构的结果。三维空间重构装置，利用从包括拍摄同一场面的影像的多台照相机的摄像系统提供的影像数据、以及示出通过校正而得到的各个照相机的位置以及姿势等的照相机参数，进行建模。因此，若校正后发生照相机的焦点距离等的变化，则照相机参数没有反映照相机的焦点距离等的实际状态，因此，不能适当地执行三维空间重构，其结果为，导致自由视点影像的画质的恶化、或者生成本身的失败。因此，需要定期校正照相机的参数。

这样的摄像系统拍摄的规定的空间是，例如，进行体育活动的会场，多个照相机，被配置为包围规定的空间。因此，若针对多个照相机的每一个想要校正照相机参数，则需要将用于照相机的校正的标记接近该照相机来拍摄，因此，存在花费劳力和时间的问题。

如此，现有的技术，不能容易进行配置在规定的位置的摄像装置的内部参数的校正。

于是，本公开的一实施方案涉及的摄像系统，对配置在规定的位置的摄像装置的参数进行校正，所述摄像系统具备：移动控制部，使具有用于校正的标记的移动体移动到所述摄像装置的拍摄区域内；摄像控制部，使所述摄像装置拍摄所述标记；以及校正部，利用包括所述摄像装置拍摄而得到的所述标记的图像，对所述摄像装置的内部参数进行校正。

据此，利用移动体将标记移动到摄像装置的拍摄区域内，使摄像装置进行拍摄，来校正摄像装置的内部参数，因此，即使不是由人将标记接近摄像装置，也能够校正摄像装置的内部参数。据此，能够容易进行配置在规定的位置的摄像装置的内部参数的校正。

并且，也可以是，所述移动控制部，以在所述摄像装置具有的图像传感器整体中拍摄所述标记的方式，使所述移动体移动。

因此，能够有效地进行摄像装置的内部参数的校正。

并且，也可以是，所述移动控制部，利用对由所述摄像装置拍摄的图像进行图像处理而得到的结果，以由该摄像装置拍摄的图像整体中包括所述标记的方式，使所述移动体移动。

因此，能够容易且有效地进行摄像装置的内部参数的校正。

并且，也可以是，所述移动控制部，利用对由所述摄像装置拍摄的图像进行图像处理而得到的结果，以假设为生成重叠图像时的该重叠图像整体中包括所述标记的方式，使所述移动体移动，所述重叠图像是在不同的多个定时由所述摄像装置拍摄而得到的多个图像彼此重叠而得到的。

因此，能够有效地进行摄像装置的内部参数的校正。

并且，也可以是，所述移动控制部，利用对由所述摄像装置拍摄的图像进行图像处理而得到的结果，使所述移动体移动到所述多个图像中包括的所述标记被拍摄为规定的清晰度以上的清晰度的位置。

因此，能够高精度地进行摄像装置的内部参数的校正。

并且，也可以是，所述移动控制部，以所述摄像装置被设定为预先决定的焦点距离、以及预先决定的光圈的至少的一方的状态，使所述摄像装置进行拍摄。

因此，能够有效地进行摄像装置的内部参数的校正。

并且，也可以是，所述标记具有多个第一特征点，所述校正部，获得示出所述多个第一特征点的相对位置关系的信息，利用该信息、以及对包括由所述摄像装置拍摄的所述标记的所述图像进行图像处理而得到的多个第二特征点，对所述摄像装置的内部参数进行校正。

因此，能够有效地进行摄像装置的内部参数的校正。

而且，这些整个或具体的形态，也可以由系统、方法、集成电路、计算机程序或计算可读取的cd-rom等的记录介质实现，也可以由系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。

以下，对于本发明的一实施方案涉及的摄像系统以及校正方法，参照附图进行具体说明。

而且，以下说明的实施方式，都示出本发明的一个具体例子。以下的实施方式示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一个例子，不是限定本发明的宗旨。并且，对于以下实施方式的构成要素中的示出最上位概念的实施方案中没有记载的构成要素，作为任意的构成要素而被说明。

以下，利用图1至图9d说明实施方式1。

(实施方式1)

[1.三维空间识别的概要]

首先，对于本实施方式涉及的利用摄像系统的三维空间识别的概要，利用图1进行说明。

摄像系统具备，用于拍摄规定的空间内的同一场面的多台照相机。具体而言，规定的空间是进行体育活动的会场，同一场面是在该会场进行的比赛的场面。作为其他的例子，规定的空间是利用监视相机监视的空间，同一场面是，该监视对象空间内的人或物体的状况。

多台照相机的每一个，从互不相同的位置拍摄该空间内的至少一部分重复的区域的影像。例如，如图1的(a)所示，多台照相机100，被设置在包围作为体育比赛的会场的空间的互不相同的位置。并且，照相机100以互不相同的姿势，将该空间的至少一部分容纳在各个拍摄区域。使各个照相机100的拍摄区域的至少一部分重复，这是因为，从多个视点拍摄同一被摄体而生成的影像数据用于三维空间的虚拟的重构(三维空间重构)的缘故。

而且，对于拍摄区域的重复，并不需要一个照相机100的拍摄区域与其他的所有的照相机100的拍摄区域重复，也可以与其他的照相机100之中的一部分的照相机100的拍摄区域重复。

如此设置的多台照相机100，与摄像系统具备的后述的控制装置连接成能够通信。

若设置照相机100，则执行校正。

校正是指，建立各个照相机100的拍摄区域内的实际的点与影像上的点的对应(图1的(b)中的曲线所连结的白三角所示的点彼此的对应)、或不同的照相机100的各个影像间的点的对应(该(b)的曲线所连结的白圆所示的点彼此的对应)，从而计算示出各个照相机100的位置以及拍摄方向的角度(姿势)等的参数。示出照相机100的位置以及姿势的参数是在作为三维空间的规定的空间的共同的坐标系上表示的、以后用于三维空间重构的照相机参数。对于照相机参数，在后面进行说明。

将这些照相机参数计算出并成为已知的处理是指，执行三维空间识别的准备，在三维空间识别的开始前执行的。计算出的照相机参数，发送到进行三维空间重构的后述的三维空间重构装置。

这样的准备之后，各个照相机100，根据来自控制装置的信号拍摄同步影像，从而执行多视点拍摄(图1的(c))。通过该拍摄生成的影像数据被发送到三维空间重构装置。

在三维空间重构装置进行的三维空间重构中，利用所述影像数据和照相机参数，生成位于拍摄区域的各个被摄体的三维模型数据(图1的(d))。三维模型数据，被发送到执行三维空间识别的后述的三维空间识别装置。

作为三维空间识别装置利用三维模型数据执行的三维空间识别(图1的(e))所提供的功能的例子，可以举出所述的自由视点影像生成、场景分析、以及追踪。

示出自由视点影像生成的方法的简单的例子。首先，根据三维模型数据计算，从用户或系统管理员指定的、或自动地设定的虚拟视点看到的、拍摄区域内的各个被摄体的结构以及与虚拟视点的距离。接着，根据各个照相机100之中的、位于与虚拟视点近的距离的照相机100的影像数据优先获得各个被摄体的颜色以及纹理的信息。最后，利用该颜色以及纹理的信息和所述的计算出的各个被摄体的结构以及距离，进行从虚拟视点看到的影像的生成(绘制)。绘制后的影像，被分发到用户的影像显示终端。

这样的自由视点影像生成的功能，例如，能够用于电视的体育节目等的娱乐领域。据此，例如视听者能够再生从自己所希望的视点看的精彩场面的影像。并且，自由视点影像生成的功能能够用于监视系统。在此情况下，能够将从现实的照相机没有捉住的视点看的可疑者的估计外观提示给警卫员来担任警戒。

并且，场景分析以及追踪也能够，与自由视点影像生成相同，根据三维模型数据计算从拍摄区域内的各个被摄体的虚拟视点看的结构以及与虚拟视点的距离，进一步，利用从位于与虚拟视点近的距离的照相机100优先获得各个被摄体的颜色以及纹理的信息。

场景分析是，示出拍摄区域内的各个被摄体、例如人或物体的某瞬间的状况的影像，由软件、或人看画面来分析从而执行的。根据三维模型数据进行该场景分析，从而能够观察拍摄区域内的人的三维姿势以及物体的三维形状，能够进行比利用二维影像时精度高的状况识别以及预测。

根据追踪，例如，首先，通过各个照相机100拍摄的影像的场景分析确定拍摄区域内的某被摄体。并且，在某瞬间各个照相机100拍摄的影像上确定的被摄体之中的同一被摄体，由软件或人手建立对应。而且，进而，按照时间轴进行这样的被摄体的确定以及建立对应，从而执行追踪。但是，例如，在各个照相机100的二维影像中，会有因关注的被摄体由其他的被摄体暂时遮蔽，而不能持续进行该确定的情况。即使在这样的情况下，若利用三维模型数据，通过利用被摄体各自的三维位置信息或三维形状信息，从而能够持续进行被摄体的确定。

这样的场景分析以及追踪的功能，例如，能够用于所述的下一代型监视系统。据此，能够试图可疑的现场的早期发现以及发现的精度的提高。并且，即使在能够设置的照相机的台数有限制的场所，也能够试图比以往更强的安全性。

而且，对于自由视点影像生成、场景分析、以及追踪的、任何三维空间识别的功能，都能够估计事后的使用以及实时的使用的双方。按照使用目的选择功能即可，各个功能被安装在包括例如与选择对应的性能、尤其关于影像处理的性能的计算机的系统。

如此，在任何三维空间识别的功能中，都利用基于三维模型数据的三维模型数据。而且，该三维模型数据，由基于各个照相机100拍摄的影像数据、以及通过校正计算出的各个照相机100的照相机参数的三维空间重构(建模)生成。

该照相机参数，由示出三维空间的照相机的位置以及姿势的外部参数、以及示出照相机的焦点距离、像差、图像中心等的光学系统的特性的内部参数构成。根据该照相机参数，导出照相机拍摄的二维影像上的点(u,v)、与作为该二维影像中出现的三维空间的拍摄区域内的点(x,y,z)的对应关系。也就是说，通过利用照相机参数，从而能够将该照相机拍摄的二维影像上的各个点，投影到被拍摄的三维空间。该向三维空间的投影是所述的三维空间重构(图1的(d))。

并且，在被设定在拍摄区域的共同的三维坐标系上示出所述的多台照相机100的照相机参数。而且，各个照相机100的照相机参数，以多台照相机100拍摄的各个影像中出现的拍摄区域内的相同的地点(点)，根据各个影像投影到该三维坐标系上的相同的点的方式而被计算(图1的(b))。

该照相机参数是，为了根据各个照相机100拍摄的影像数据生成三维模型数据而需要的，其精度决定三维空间重构的精度。在此，精度是指，照相机参数示出的、三维空间的照相机100的位置等的准确度、即与照相机100的现实的状态的一致程度。在照相机参数的精度不充分的情况下，不能获得三维模型数据。

如参照图1说明，在紧接拍摄之前执行校正的情况下，一般而言，照相机参数的精度，即使紧接摄像开始之后充分，也因照相机100的设置场所的振动、向照相机100的操作等的原因，而随着时间的经过降低。以下说明，在拍摄中也适当地执行照相机参数的精度降低的照相机100的校正，从而抑制基于照相机参数的精度的降低的向三维空间重构的不良影响，进而，试图三维空间识别的精度和可用性的稳定的摄像系统。

[2.摄像系统的结构]

图2是示出实施方式1的摄像系统的结构的框图。而且，对于利用从摄像系统接受的数据的三维空间重构装置以及三维空间识别装置，和从三维空间识别装置接收自由视点影像等来显示的用户设备，也参照图2进行说明。

实施方式的摄像系统1000具备，多个摄像装置10a至10n、控制装置200、用户接口500、以及移动体600。摄像装置10a至10n，与控制装置200连接成能够通信。并且，移动体600，与控制装置200连接成能够无线通信。

[2－1.摄像装置的结构]

图3是示出实施方式1的摄像装置的结构的框图。

多个摄像装置10a至10n，分别是具备相当于用于拍摄规定的空间的图1的照相机100的照相机100的装置，可采用的结构是共同的。而且，在此，规定的空间是，多台照相机100各自的拍摄区域的并集。

摄像装置10a至10n分别具备，照相机100、支架120、以及状况感测部160。以后，摄像装置10a至10n的结构相同，因此，在说明本公开的某一台摄像装置的情况下，说明摄像装置10a。也就是说，以后说明摄像装置10a的内容，与其他的摄像装置10b至10n同样。

照相机100具备，存储部101、控制部102、光学系统103、以及图像传感器104。

存储部101，存储控制部102读出并执行的程序。并且，存储部101暂时存储，利用图像传感器104拍摄的拍摄区域的影像数据、赋予到该影像数据的时间戳等的元信息、后述的状况感测部160感测的信息、照相机100的照相机参数、以及适用中的帧率或分辨率等的拍摄设定。存储部101也可以存储，示出后述的标记606的形状的形状信息。对于形状信息的具体例，在后面进行说明。

这样的存储部101是，利用例如闪存等的可重写的非易失性的半导体存储器而被实现。并且，按照是否重写保存的数据或需要的保存期间等，也可以将不可重写的rom(read－onlymemory)或易失性的ram(randomaccessmemory)作为存储部101利用。

而且，摄像系统1000具备的摄像装置为多个即可，关于个数，没有特别的限定。并且，各个摄像装置10的特性也可以不是共同。并且，不仅限于非立体照相机，也可以包括立体相机。

控制部102，利用例如cpu(centralprocessingunit)而被实现，读出并执行所述的存储部101所存储的程序，从而将照相机100具备的各个构成要素控制成发挥拍摄、其他的功能。其他的功能也包括，照相机参数的计算、即校正。控制部102包括的校正部102a是，控制部102执行用于校正的程序而被实现的功能构成要素。而且，控制部102也可以，由将照相机100具备的各个构成要素控制成发挥拍摄、其他的功能的专用电路实现。也就是说，控制部102，也可以由软件实现，也可以由硬件实现。

校正部102a，若按照用户的操作，或者，从后述的控制装置200输入校正信息，则根据其内容执行校正。校正部102a，利用包括摄像装置10a拍摄而得到的标记606的图像，校正摄像装置10a的内部参数。校正是，将例如作为拍摄区域的三维空间上的特定的点(或包括多个点的线或面)的坐标、与二维影像上的点(或包括多个点的线或面)的坐标建立对应从而执行的。或者，在摄像装置10a至10n间分别拍摄的二维影像之中的、至少一部分重复的拍摄区域的影像之间，将影像上的特定的点(或包括多个点的线或面)彼此建立对应从而执行的。该建立对应是，由执行程序的校正部102a自动进行的。作为校正的结果计算出的照相机参数，例如，作为用于三维空间重构的数据被发送到三维空间重构装置3000。

光学系统103，是使来自拍摄区域的光成像于图像传感器104上的构成要素，利用包括透镜的光学元件而被实现。并且，焦点距离以及视角也可以是能够变更的。并且，也可以利用广角透镜、或鱼眼透镜那样的超广角透镜。例如，在摄像系统1000拍摄的影像用于监视系统的情况下，会有为了获得广泛的拍摄区域而利用广角透镜的情况。而且，该光学系统103的焦点距离、像差、图像中心等的特性，作为所述的内部参数用于三维空间重构。也就是说，在光学系统103的焦点距离变更、或交换透镜的情况下，与照相机的位置变更的情况同样，需要变更用于三维空间重构的照相机参数。也就是说，需要校正。

图像传感器104，由光学系统103所收集的光由受光面接受，将该接受的光，变换为示出图像的电信号的ccd图像传感器、cmos图像传感器、或mos图像传感器等的固体摄像元件实现。图像传感器104生成的影像数据，为了用于三维空间重构以及三维空间识别而被发送到三维空间重构装置3000以及三维空间识别装置4000。

图3所示的照相机100还具备，运动传感器105、工作检测部106、以及收音器107。对于它们，作为后述的状况感测部160的构成要素进行说明。

支架120，是用于将正在通过拍摄来生成用于三维空间重构的影像数据的照相机100固定并支撑在规定的位置的构成要素，由例如三脚架实现。而且，为了作为该拍摄的准备调整照相机100的固定位置，支架120的脚部分的长度以及角度也可以是能够调整的。并且，支架120也可以具备，为了使照相机100摇拍或倾斜而使云台旋转的机构、用于上下移动的升降机构等。或者，支架120也可以包括，小车或吊车等的、将照相机100支撑且移动的机构。

图3所示的支架120还具备，运动传感器125以及工作检测部126。对于它们，作为后述的状况感测部160的构成要素进行说明。

状况感测部160，感测照相机100(或摄像装置10a)、以及包括照相机100的拍摄区域的规定的空间的至少一方的状况，将感测的该状况作为摄像状况信息输出。若利用其他的表现，状况感测部160，是测量照相机100以及规定的空间的至少一方的现象的传感器或检测发生的检测器，输出该测量或检测的结果的信号。输出的信号被发送到控制装置200，用于控制装置200进行的、关于是否执行校正的判断。

作为状况感测部160，若是能够感测所述的状况的传感器或检测器，则也可以利用照相机100或支架120具备的传感器或检测器，也可以利用与它们另外设置的传感器或检测器。

例如，也可以将照相机100具备的图像传感器104作为状况感测部160利用。在此情况下，控制装置200，根据从图像传感器104输出的影像数据，判断是否执行校正。例如，根据影像数据中出现的背景区域的随时间的变化、特征点的个数、或特定的被摄体(例如人、球、监视对象的陈列品)的有无的随时间的变化，进行该判断。

并且，照相机100，会有具备感测变位、加速度、振动、倾斜、或地磁的传感器、或能够感测更大的平行移动的gps(globalpositioningsystem)接收机等的测位机构的情况。也可以将检测这样的照相机100的运动(移动)的传感器(运动传感器105)作为状况感测部160利用。

并且，照相机100，会有具备检测基于用户进行的手动的操作、或执行程序的控制部102的控制下、即基于自动的工作的机构的情况。在此，作为检测的工作的例子，可以举出开关的on－off的切换、焦点距离、焦点等的光学系统103的设定发生变化那样的工作。也可以将检测这样的照相机100的工作的传感器(工作检测部106)作为状况感测部160利用。

并且，支架120也可以具备感测变位、加速度、振动、倾斜、或地磁的传感器、或gps接收机等的测位机构。照相机100的运动，与固定在该照相机100的支架120的运动同步，因此，例如能够根据支架120的运动的有无间接感测照相机100的运动。也可以将检测这样的照相机100的运动检测的传感器(运动传感器125)作为状况感测部160利用。

并且，支架120，会有具备检测基于用户进行的操作的工作的机构的情况。在此，检测的工作是，例如云台的旋转或上下移动的工作。也可以将检测这样的支架120的工作的传感器(工作检测部126)作为状况感测部160利用。

而且，在支架120中，因其工作而发生物理运动，因此，运动传感器125和工作检测部126，在图3所示的结构中，为了便于说明而区别，但是实际上并不一定需要区别。

照相机100会有具备收音器107的情况。或者，会有与照相机100分开的收音器147用于收集照相机100拍摄的场面的声音的情况。这些收音器107或收音器147收集的声音能够示出照相机100或包括照相机100的拍摄区域的规定的地点的状况。例如，由声音能够示出，冲击施加到照相机100或支架120的情况、体育活动为精彩场面、或休息时间的开始或结束。也可以将收集这样的声音的收音器107或147作为状况感测部160利用。

如此，作为本实施方式的摄像系统1000的状况感测部160，能够利用各种传感器。在图3中，如此能够作为状况感测部160利用的构成要素之中的、照相机100必须具备的图像传感器104由实线的框表示，除此以外由虚线的框表示。

并且，状况感测部160，并不需要由照相机100以及支架120分别具备的传感器的双方构成，具备所述示例的、具备感测照相机100(或摄像装置10a)、以及包括照相机100的拍摄区域的规定的空间的至少一方的状况的传感器以及检测器的任一方的至少一个即可。

与摄像装置10a相同，摄像装置10b至10n也分别具备，照相机100、支架120以及状况感测部160。如上所述，摄像装置10a至10n能够采用的结构是共同的，但是，若从各个照相机100输出，通过拍摄而生成的影像数据、以及照相机参数，从摄像系统1000输入到三维空间重构装置300，则摄像装置10a至10n的结构也可以不共同。并且，一个摄像装置也可以具备多台照相机100，照相机100具备的光学系统以及图像传感器也可以不是分别一个。例如照相机100也可以是立体照相机。

[2－2.控制装置以及用户接口的结构]

图4是示出实施方式1的控制装置的结构的框图。

控制装置200具备，存储部201、控制部202、以及定时器203。

控制装置200，进行摄像装置10a至10n的控制、以及从摄像装置10a至10n接受的数据的处理。并且，经由用户接口500将关于该控制以及数据的处理的信息提示给用户，从用户接受关于该控制以及数据的处理的指示的输入。并且，控制装置200，进行移动体600的控制。

这样的控制装置200是，例如计算机。在此情况下，存储部201是该计算机的存储装置，由硬盘驱动器或各种半导体存储器、或它们的组合实现。并且，控制部202由该计算机的cpu实现，定时器203是该cpu参照的、计算机具备的定时器。并且，用户接口500，由与该计算机连接的显示装置、触摸屏幕、跟踪板、键盘、鼠标、以及其他的控制器类或它们的组合实现。

存储部201存储，控制部202读出并执行的程序。并且，存储部201存储，从摄像装置10a至10n接受的数据、即作为控制部202的处理的对象的数据。图示的摄像状况信息是该数据的例子。

控制部202，读出并执行所述的存储部201存储的程序，从而进行所述的摄像装置10a至10n的控制、从摄像装置10a至10n接受的数据的处理、以及所述移动体600的控制。并且，控制部202，执行针对关于这些控制以及处理的向用户的信息的提示以及来自用户的指示的处理。作为这些处理之一，可以举出摄像装置10a至10n具备的各个照相机100的同步影像的拍摄的控制。

并且，这些处理之一也可以包括，活动检测以及校正指示。控制部202包括的活动检测部202a是，用于活动检测的程序由控制部202执行而被实现的功能构成要素。并且，控制部202包括的校正指示部202b是，用于校正指示的程序由控制部202执行而被实现的功能构成要素。

并且，这些控制之一也可以包括，移动体600的移动控制。控制部202包括的移动控制部202c是，用于移动体600的移动控制的程序由控制部202执行而被实现的功能构成要素。并且，控制部202包括的摄像控制部202d是，用于摄像装置10a至10n的拍摄控制的程序由控制部202执行而被实现的功能构成要素。

而且，控制部202的活动检测部202a、校正指示部202b、移动控制部202c、以及摄像控制部202d也可以，由发挥活动检测、校正指示、移动控制、拍摄控制等的专用电路实现。也就是说，控制部202，也可以由软件实现，也可以由硬件实现。

活动检测部202a，根据从摄像装置10a至10n提供的摄像状况信息，检测摄像装置10a至10n分别具备的照相机100的任一个中会成为校正的执行的理由的规定的活动的发生。会成为校正的执行的理由的活动是，例如发生照相机100的移动、或移动的发生的可能性高的活动、或能够以高精度地执行校正的可能性高的活动。对于更具体的例子，在后面的摄像系统1000的工作的说明中进行说明。在检测出这样的活动的发生的情况下，活动检测部202a判断是否执行校正。在判断为执行校正的情况下，将示出执行的校正的校正信息，输出到例如校正指示部202b。并且，校正信息也可以，输出到作为用户接口500的显示装置，并提示给用户。该校正信息包括，例如执行校正的照相机100(或包括它的摄像装置10a至10n的任一个)、以及作为校正的执行的理由的活动的内容。

校正指示部202b，根据从活动检测部202a接受的校正信息，使校正信息所示的照相机100执行校正。并且，在校正信息示出的照相机有两台以上的情况下也可以，根据例如校正信息示出的、作为校正的执行的理由的活动的内容，决定使各个照相机100执行校正的顺序。对于校正指示部202b的处理，在后面说明具体例。

移动控制部202c，进行使具有用于校正的标记606(参照后述)的移动体600移动到由执行校正的摄像装置的拍摄区域内的移动控制。具体而言，移动控制部202c，在移动控制中，以执行校正的摄像装置具有的图像传感器104整体中拍摄标记606的方式，使移动体600移动。例如，移动控制部202c，利用对由执行校正的摄像装置拍摄的图像进行图像处理而得到的结果，以由该照相机100拍摄的图像整体中包括标记的方式，使移动体600移动。

摄像控制部202d，使执行校正的摄像装置拍摄标记606。摄像控制部202d，以执行校正的摄像装置被设定为预先决定的焦点距离、以及预先决定的光圈的至少一方的状态，使该摄像装置拍摄。

定时器203，由控制部202在所述的处理中为了计时而被参照。

[2－3.三维空间重构装置以及三维空间识别装置的结构]

接着，返回到图2，说明三维空间重构装置3000以及三维空间识别装置4000的校正。

三维空间重构装置3000利用计算机而被实现，具备图中未示出的存储装置以及运算处理装置。图中示出的模型生成部302a是，该运算处理装置，执行存储装置所存储的用于三维模型数据的生成(三维空间重构)的程序而被实现的功能构成要素。

模型生成部302a，根据三维空间重构装置3000从摄像系统1000接收并使存储装置存储的影像数据以及照相机参数，执行被摄体的三维形状的重构(建模)。通过三维建模生成的三维模型的数据由存储装置存储。并且，提供到三维空间识别装置4000。

三维空间识别装置4000利用计算机而被实现，具备图中未示出的存储装置以及运算处理装置。图示的视点决定部402a、绘制部402b、场景分析部402c、以及追踪部402d是，该运算处理装置，执行存储装置所存储的用于三维空间识别的程序而被实现的功能构成要素。而且，三维空间识别装置4000，根据其用途，也可以不包括这些功能构成要素的一部分。例如，若三维空间识别装置4000的用途是自由视点影像的生成，则也可以不具备场景分析部402c以及追踪部402d。若三维空间识别装置4000作为监视系统的一部分而被利用，则包括场景分析部402c以及追踪部402d，从而提供更高功能的监视系统。

视点决定部402a，决定从三维空间重构装置3000提供的三维模型投影的虚拟视点。关于该决定，例如在从用户设备5000，有特定的时刻的从特定的视点的影像的请求时，将该特定的视点决定为三维模型投影的虚拟视点。或者，也可以将预先设定的视点决定为三维模型投影的虚拟视点。例如，也可以是，若是体育活动的自由视点影像，则将在球门附近从正面看到选手的脸的视点决定为三维模型投影的虚拟视点，若是监视器的影像，则将在出入口附近从正面看到选手的脸的视点决定为三维模型投影的虚拟视点。或者，也可以按照后述的来自场景分析部402c或追踪部402d的请求，将新的视点决定为虚拟视点。若决定虚拟视点，则将示出决定的虚拟视点的信息(以下，称为虚拟视点信息)从视点决定部402a提供到绘制部402b。

绘制部402b，利用从三维空间重构装置3000接受的三维模型的数据、从视点决定部402a接受的虚拟视点信息、以及从摄像系统1000接受的影像数据，生成自由视点影像。在自由视点影像的生成中，三维模型投影到虚拟视点信息所示的虚拟视点。此时，在自由视点影像包括的被摄体的颜色以及纹理的决定中，优先利用与虚拟视点的距离近的摄像装置的影像数据中包括的各个被摄体的颜色以及纹理的信息。生成的自由视点影像，也可以被提供到场景分析部402c，也可以为了显示自由视点影像而被分发到用户设备5000。并且，也可以由三维空间识别装置4000具备的存储装置或外部的存储装置作为自由视点影像数据保存。

场景分析部402c，分析从三维空间重构装置3000接受的三维模型的数据，进行例如被摄体的确定。分析的结果，也可以被提供到追踪部402d，也可以与自由视点影像一起被分发并显示在用户设备5000。并且，也可以由三维空间识别装置4000具备的存储装置或外部的存储装置作为自由视点影像的分析结果的数据保存。并且，也可以按照分析的结果，场景分析部402c向视点决定部402a请求，其他的时刻或其他的位置的虚拟视点的决定。

追踪部402d，根据从三维空间重构装置3000接受的三维模型数据，追踪特定的被摄体。追踪的结果，也可以与自由视点影像一起被分发并显示在用户设备5000。并且，例如在不能追踪特定的被摄体的情况下，也可以从追踪部402d向视点决定部402a请求，其他的时刻或其他的位置的虚拟视点的决定。

[2－4.用户设备的结构]

用户设备5000是，分别具备图中未示出的通信部以及显示部的、电视机、个人电脑、或便携终端等的设备。经由通信部从三维空间识别装置4000接收的自由视点影像显示在用户设备的显示部。

并且，用户设备5000也可以具备，触摸屏幕、跟踪板、键盘、鼠标、麦克风、以及其他的控制器类或它们的组合所构成的输入装置。而且，也可以经由该输入装置接受来自用户的关于三维空间重构或三维空间识别的请求的输入。例如，若接受特定的时刻的从特定的视点的影像的显示的请求的输入，则该请求从用户设备5000的通信部发送到三维空间识别装置4000。并且，例如，在接受特定的被摄体的自由视点图像的显示的请求的情况下也可以，该请求从用户设备5000的通信部发送到三维空间重构装置3000或三维空间识别装置4000。并且，例如，在接受追踪对象的特定的被摄体的指定的请求的输入的情况下也可以，该请求发送到三维空间识别装置4000。

[2－5.移动体的结构]

图5是示出实施方式1的移动体的结构的框图。

移动体600具备，存储部601、控制部602、多个(在本实施例中为四个)转子单元603、通信部604、检测部605、以及标记606。

移动体600，飞行到执行校正的至少一个摄像装置10a至10n具备的照相机100的拍摄区域，从而将用于校正的标记606移动到该拍摄区域。

存储部601，存储控制部602读出并执行的程序。

控制部602，读出并执行所述存储部601所存储的程序，从而进行与经由通信部604获得的来自控制装置200的关于移动控制的控制信息对应的移动控制。并且，控制部602，根据检测部605检测出的移动体600的位置、姿势等的检测结果，执行移动体600的移动控制中的、姿势的控制、移动方向的控制等。控制部602，由具备cpu(centralprocessingunit)、ram(randomaccessmemory)、rom(read－onlymemory)、通信接口、以及i/o端口等的计算机实现。而且，控制部602，也可以由发挥移动控制的专用电路实现。也就是说，控制部602，也可以由软件实现，也可以由硬件实现。

多个转子单元603分别具备，图中未示出的螺旋桨以及电动机。多个转子单元603分别，以螺旋桨在与铅垂方向平行的旋转轴旋转的姿势固定于移动体600的壳体。多个转子单元603，在各个转子单元603固定的壳体的位置，由电动机使螺旋桨旋转，从而能够赋予相对于该位置朝向上方或朝向下方的力量。多个转子单元603，由控制部602控制各个转子单元603的旋转速度、旋转方向等，从而使移动体600向所希望的方向移动。

通信部604，与控制装置200进行无线通信连接。通信部604是，能够与控制装置200进行无线通信连接的通信接口即可，例如，也可以是符合ieee802.11a，b，g，n标准的无线lan(localareanetwork)接口，也可以是符合bluetooth(注册商标)标准的无线通信接口，也可以是符合zigbee(注册商标)标准的通信无线接口。

检测部605，检测移动体600的位置以及姿势。具体而言，检测部605也可以具备，检测移动体600的变位、加速度、倾斜等的传感器、感测移动体600的地磁的传感器、或能够检测移动体600的位置的gps(globalpositioningsystem)接收机等的测位机构。

标记606具有，预先决定的大小。标记606，具体而言，具有在平面上的互不相同的第一方向以及第二方向，以规定的间隔反复而成的图案。优选的是，标记606具有，能够根据照相机100拍摄而得到的图像，容易确定所述的规定的间隔的图案。标记606也可以具有，例如，黑正方形和白正方形交替地在第一方向以及第二方向上反复排列配置的图案。并且，标记606也可以具有，例如，黑圆在第一方向以及第二方向上以规定的间隔以矩阵状排列配置的图案。

在此，照相机100的存储部101所存储的示出标记606的形状的信息是，例如，示出标记606整体的大小的信息。该信息也可以包括，标记606的第一方向的长度、以及第二方向的长度。并且，该信息也可以包括，标记606的图案的规定的间隔。

而且，所述移动体600是，具备多个转子单元603的、所谓无人机，但是，不仅限于无人机，也可以是具备气球以及得到推力的转子单元的飞艇型的移动体，也可以是直升机型的飞行体。并且，不仅限于无人的移动体，也可以是有人的移动体。也就是说，移动体600，若是接受控制装置200的指示，能够移动控制的飞行体，则也可以是任何飞行体。并且，移动体600，是飞行体，但是，不仅限于飞行体，也可以是蜘蛛摄像机(注册商标)那样的以悬挂的状态在空中移动的设备。

[2-6.其他]

以上，说明了本实施方式的摄像系统1000的结构、以及利用从摄像系统1000接受的影像数据以及照相机参数的三维空间重构装置3000以及三维空间识别装置4000、以及接收并显示来自三维空间识别装置4000的自由视点影像等的用户设备5000各自的结构。而且，这些结构不仅限于所述的说明。

例如，在所述说明中提及了，在各个照相机100中，校正部102a根据从控制装置200输入的校正信息执行校正的情况，但是，校正的执行的主体，不仅限于此。例如，控制装置200的控制部202也可以具备，摄像系统1000中的总括的校正部。而且，控制部202的校正部也可以，根据来自校正指示部202b的校正信息，获得并利用多台照相机100拍摄的影像，执行校正。

并且，所述说明中利用计算机实现的各个控制装置200、三维空间重构装置3000、以及三维空间识别装置4000也可以，它们的一部分或全部组合而安装在一台以上的计算机上。

并且，用户接口500和用户设备5000也可以是，同一设备。也就是说，用户接口500也可以，与用户设备5000同样接收从三维空间识别装置4000分发的影像，将它显示给系统管理员。若该系统管理员是，摄像系统的管理员，也是包括三维空间重构装置3000以及三维空间识别装置4000的自由视点影像分发系统或监视系统的管理员，则能够按照显示的该影像输入用于三维空间重构装置3000以及三维空间识别装置4000的控制的请求。

[3.工作]

接着，说明本实施方式的摄像系统1000的、实现校正的及时的执行的工作。

在摄像系统1000中，为了及时执行校正，在摄像装置或其周围的状况发生变化(活动)时，判断是否执行校正。图6是用于说明本实施方式的摄像系统1000的包括是否执行校正的判断的一连串的工作的序列图。而且，在图6中，摄像装置10示出，图2所示的摄像装置10a至10n之中的任意一个。

在拍摄中的摄像装置10中，状况感测部160，不断地或按照规定的周期，感测照相机100(或摄像装置10)以及包括照相机100的拍摄区域的规定的空间的至少一方的状况(步骤s31)。感测到的状况，作为摄像状况信息从状况感测部160输出后，发送到控制装置200。

在控制装置200中，根据接收的摄像状况信息，由活动检测部202a检测规定的活动的发生(步骤s32)。

该规定的活动是，成为现状的照相机参数不准确地示出照相机100的位置等的契机的活动。具体而言，例如，是结构的说明中的使照相机100的移动发生的活动、或使移动发生了的可能性高的活动。并且，即使在照相机100没有移动的情况下，也可以将使拍摄区域变化的活动、或使拍摄区域的变化发生了的可能性高的活动也检测为该规定的活动。

作为用于这样的活动的检测的摄像状况信息的例子，可以举出示出从图像传感器104输出的影像数据的信息、以及运动传感器105或125输出的照相机100的位置、倾斜、或振动等的信息。在影像数据的情况下，例如，影像被分析，根据估计为背景区域的区域内的变化、或影像中背景区域所占的范围的变化，能够估计照相机100的位置等的变化的有无。

并且，摄像状况信息也可以是，从工作检测部106或126输出的、示出照相机100或支架120的规定的工作的信息。更具体而言，是示出照相机100的焦点距离的变更、曝光的变更、电源的on-off的切换、支架120的云台的移动等的信息。这些工作，即使是因由人手的操作而产生，还是因由摄像装置10的自动控制而产生，也可以由摄像状况信息示出。

照相机参数，会有不准确地反映规定的工作后的照相机100的状态的情况。例如，若焦点距离变化，则随着它而内部的参数也变化。并且，会有在使电源一旦关闭的蓄电池交换的前后，尽管用户没有意图，照相机100的位置或姿势也变化的情况。或者，在电源off的期间照相机100移动的情况下，照相机100的运动传感器105不检测该移动。因此，照相机100的电源再接通后，在使电源off之前使用的照相机参数，没有准确地反映照相机100的位置以及姿势。并且，支架120的云台的旋转或上下的工作，伴随着照相机100的位置以及姿势的变化(以下，会有也包括支架120的工作而称为照相机100的工作的情况)。如此，检测伴随着照相机100的状态的变化的可能性高的规定的工作，根据该检测判断校正的执行，从而能够试图照相机参数的精度的维持。

并且，摄像状况信息也可以是，从收音器107或147输出的、摄像装置10周边的声音的信息。

活动检测部202a，在这样的摄像状况信息示出的随时间的变化超过规定的阈值的情况下，检测活动的发生(步骤s32的“是”)。该规定的阈值是，本实施方式的第一阈值的例子。

在检测出活动的发生的情况下(步骤s32的“是”)，活动检测部202a，例如根据该信息的随时间的变化的大小判断是否执行校正(步骤s33)。例如该规定的阈值是，考虑针对摄像状况信息示出的照相机100的移动的大小持续使用现状的照相机参数的情况的向三维空间重构的精度的影响的大小来决定的。而且，是否执行校正的判断是，例如根据该变化是否超过比第一阈值大的规定的阈值来判断的。该比第一阈值大的规定的阈值是，本实施方式的第二阈值的例子。

并且，规定的活动也可以是，以高精度能够执行校正的可能性高的活动。例如在包括许多特征点的影像的校正中，能够容易获得更高精度(可靠度)的照相机参数。

作为这样的用于活动的摄像状况信息，也可以举出从所述的图像传感器104输出的影像数据所示的信息的例子。例如在通过影像的分析提取特征点，提取的特征点的个数为规定的个数以上的情况下也可以，判断为规定的活动发生(步骤s32的“是”)，并且，执行校正(步骤s33的“是”)。

并且，规定的活动也可以是，给用户的方便性带来的影响少的活动。例如，在体育活动中也可以，在中场时间等的比赛没有进展的时间段的情况下，检测为规定的活动的发生。或者，若是球赛，则关注没有球以及人的地点的用户少，因此，在拍摄区域的全体为没有球以及人的状态时，也可以检测为规定的活动的发生。并且，若是监视系统，则在拍摄区域或包括其周边为没有人以及汽车的状态时，也可以检测为规定的活动的发生。

作为这样的用于活动的摄像状况信息，也可以举出从所述的图像传感器104输出的影像数据所示的信息、并且从收音器107或147输出的、摄像装置10周边的声音的信息的例子。在影像数据的情况下，例如，在通过影像的分析，影像没有包括人等的规定的对象的图像的情况下，也可以判断为规定的活动发生(步骤s32的“是”)，进而，执行校正(步骤s33的“是”)。在声音的信息的情况下也可以，通过声音的分析，判断比赛是否正在进展、是否吹响了哨子、在摄像装置10的周边是否存在人的说话声以及脚步声、或汽车的动力声音或行驶声音等。

并且，根据照相机100的操作的种类，也可以将其发生判断为规定的活动的发生。这是因为，例如在发生照相机100的重新启动、蓄电池的交换、或透镜的装卸的情况下，该照相机100的拍摄区域发生变化的可能性高的缘故。这样的活动的检测也是，根据从工作检测部106输出的信息进行的。例如蓄电池的交换或透镜的交换是，在照相机100的电源为关断的状态下进行的，因此，在此后的拍摄开始之前发生照相机100的启动的工作。因此，例如，活动检测部202a也可以，在接收示出启动的工作的检测的信息的情况下，判断为规定的活动的发生。在此后的步骤s33中，也可以判断为启动后作为必须的工作执行校正，也可以根据其他的摄像状况信息判断。

并且，活动检测部202a也可以，在从照相机100的上次的校正经过规定的时间时检测规定的活动的发生。例如，活动检测部202a，在存储部201保留校正执行的记录，参照控制装置200具备的计时器203示出的时刻计算从上次的校正经过的时间，在该经过的时间超过规定的时间时，检测规定的活动的发生。

据此，以规定的频度以上的频度执行照相机100的校正。例如在某照相机100，蓄积低于判断为执行校正的第二阈值的变化，以没有执行校正的状态，照相机参数从照相机100的实际的状态背离的情况下，确保照相机参数的更新的机会。

判断为不执行校正的活动检测部202a(步骤s33的“否”)，返回到摄像状况信息的接收等待状态。

判断为执行校正的活动检测部202a(步骤s33的“是”)，输出校正信息。

校正信息包括，作为执行校正的对象的照相机100(或包括该照相机100的摄像装置10)以及判断为执行校正的理由(所述的活动)。图7a以及图7b分别示出校正信息的数据结构的例子。

在图7a的例子中，执行校正的对象，利用包括符合的照相机100的摄像装置10a而被示出(“校正对象”的栏的“10a”)。并且，执行校正的理由，与20的理由码一起示出在“云台旋转移动”的“理由”的栏。这样的校正信息是，在活动检测部202a，从摄像装置10a的状况感测部160接受的摄像状况信息示出，超过第一阈值以及第二阈值的云台的旋转移动时输出的。

在图7b的例子中示出，执行照相机校正的对象的照相机100是，所有的摄像装置10中包括的照相机100(“校正对象”的栏的“all”)。并且，执行照相机校正的理由，在“理由”的栏与100的理由码一起示出为“中场时间检测”。这样的照相机校正信息是，在活动检测部202a，根据从摄像装置10的任意的状况感测部160接受的摄像状况信息，估计为包括拍摄区域的规定的空间中进行的体育比赛的中场时间开始的情况下输出的。如此，根据检测出的活动的内容，活动检测部202a也可以，判断为执行作为摄像状况信息的发送源的摄像装置10包括的照相机100以外的照相机校正。

校正信息，输入到校正指示部202b。接受校正信息的校正指示部202b，根据校正信息的内容生成校正指示，将生成的校正指示发送到包括适当的照相机100的摄像装置10。

此时，校正指示部202b，例如在校正信息的“校正对象”的栏中示出多个摄像装置10(或两台以上的照相机100)的情况下(步骤s34a的“是”)，或者，在一定的时间内，接收“校正对象”的栏的内容不同的多个校正信息的情况下，决定照相机100间执行校正的顺序(步骤s35a)。而且，校正指示部202b，按照决定的顺序执行校正。校正指示部202b也可以，为此，例如针对校正指示的发送设定时间差，或者，针对校正指示指定实施的时刻。

该顺序也可以，例如根据校正信息的“理由”的栏中所示的活动的内容而被决定。活动的内容是，例如活动的种类。例如存储部201存储有按活动的每个种类预先设定了校正的执行的优先级的表。或者，存储部201也可以存储有，活动检测部202a如图7a以及图7b那样给理由赋予的每个理由码预先决定了校正的执行的优先级的表。而且，接收“校正对象”的栏的内容不同的多个校正信息的校正指示部202b也可以，参照该表，或者，根据理由码，决定执行校正的照相机100的顺序(步骤s35a)。这样的优先级，更大的拍摄区域的变化发生的可能性越高，就越被设定为高。并且，即使同一种类的活动，例如振动发生的活动，也可以按照其大小设定不同的优先级。

并且，也可以按活动的每个种类预先决定其顺序。例如，也可以决定为，在活动为中场时间的情况下，所有的照相机100一起执行校正。在此情况下，例如校正指示部202b，向摄像装置10a至10n广播校正指示。或者，即使在中场时间也答应自由视点影像的生成的请求的情况下也可以决定为，将校正在规定的空间的配置中按每隔几个台交替执行、或者从某一台照相机100按顺序执行。在此情况下，校正指示部202b，按照该预先决定的顺序，决定执行校正的照相机100的顺序(步骤s35a)。

并且，该顺序也可以，例如根据由校正部102a执行的上次的校正计算出的各个照相机100的照相机参数而被决定。例如，也可以根据所有的照相机100的照相机参数确定各个照相机100的拍摄区域，以优先校正具有与其他的照相机100的拍摄区域重复的部分小的拍摄区域的照相机100的方式，决定执行校正的照相机100的顺序。并且，也可以根据拍摄区域中包括的对象，例如以优先校正能够捉住选手射门的场面的球门前的区域为拍摄区域的照相机100的方式决定顺序。

而且，本实施方式中说明的“执行校正的照相机100的顺序”也包括，多台照相机100并行执行校正的情况。

如此，校正指示部202b调整并决定执行校正的照相机100的顺序，从而能够按照适于适当地执行三维空间重构的状态的维持的、或者给三维空间重构带来的影响尽量小的顺序，使各个照相机100执行校正。

并且，校正信息也可以，例如发送到用户接口500，提示给系统管理员等的用户(步骤s34b)。用户，将用于根据该信息校正对象的照相机100的指示，经由用户接口500输入(步骤s35b的指示接受)。输入的指示，经由校正指示部202b发送到校正部102a。在此情况下，照相机100间的校正的执行的顺序，也可以由用户指定，也可以由校正指示部202b决定。

在接收校正指示的、摄像装置10的照相机100以及移动体600中，执行校正处理(s36)。在校正处理中，由移动体600根据校正指示执行移动控制(s36a)，在照相机100的校正部102a执行校正(步骤s36)。执行校正处理而计算出的照相机参数，输出到三维空间重构装置3000(步骤s37)。

接着，说明校正处理的具体例子。

图8是示出实施方式1的校正处理的一个例子的流程图。图9a至图9d是用于说明实施方式1的校正处理的细节的图。

在本实施方式的校正处理中，首先，控制装置200的移动控制部202c，使具有标记606的移动体600移动到成为校正的对象的摄像装置10a至10n的任意的照相机100的拍摄区域a1内(s41)。具体而言，移动控制部202c，在进行摄像装置10a的照相机100的校正的情况下，如图9a示出，使移动体600向预先决定的摄像装置10a的照相机100的拍摄区域a1移动。例如，移动控制部202c，也可以向移动体600发送示出拍摄区域a1的位置的位置信息，从而移动到该拍摄区域a1，获得移动体600的位置信息，从而向移动体600实时地指示移动的方向。移动控制部202c也可以，使摄像装置10a具备的收音器107、147获得移动体600的转子单元603发出的固有的声音，使移动体600向该声音大的方向移动，从而使移动体600接近拍摄区域a1。并且，移动控制部202c也可以，移动体600具有的通信部604获得用于无线通信的电波的电波强度，来使移动体600向该电波强度大的方向，从而使移动体600接近拍摄区域a1。

接着，控制装置200的摄像控制部202d，使照相机100拍摄标记606(s42)。具体而言，在判断为移动控制部202c使移动体600接近拍摄区域a1的情况下，摄像控制部202d使照相机100进行拍摄。而且，移动控制部202c，若通过拍摄而得到的图像中没有包括标记606，则反复进行步骤s41，从而再次进行使移动体600接近照相机100的拍摄区域a1的处理。

而且，移动控制部202c，获得包括由照相机100拍摄而得到的标记606的图像，判断获得的图像整体中是否包括标记606(s43)。

移动控制部202c，在判断为图像整体中包括标记606的情况下(s43的“是”)，将示出图像整体中包括标记606的信息发送到摄像装置10a，进入以后的步骤s44。

另一方面，移动控制部202c，在判断为图像整体中没有包括标记606的情况下(s43的“否”)，使移动体600移动到该图像的具有空白的一侧(s45)。也就是说，移动控制部202c，对该图像进行图像处理，从而确定照相机100的拍摄区域a1之中的没有包括标记606的方向，使移动体600向确定的方向移动。

例如，如图9b示出，移动控制部202c，若摄像装置10a的照相机100拍摄而得到的图像即摄像图像中，仅左一半包括标记606，则使移动体600移动到摄像图像之中的没有包括标记606的空白的区域即右侧的区域侧。在此情况下，摄像装置10a，朝向x轴方向正侧，摄像图像中的左右方向是y轴方向。而且，摄像图像中的右方向是，y轴方向负侧。因此，移动控制部202c，将使移动体600以规定的距离向y轴方向负侧移动的指示，发送到移动体600。移动体600接收来自控制装置200的移动控制部202c的指示，使移动体600以规定的距离向y轴方向负侧移动。

若步骤s45结束，则返回到步骤s42。也就是说，控制装置200，直到由照相机100拍摄的图像整体中包括标记606为止，反复进行步骤s42、s43、s45的处理。

而且，若摄像装置10a接收示出图像整体中包括标记606的信息，摄像装置10a的照相机100的校正部102a，利用该图像校正照相机100的内部参数(s44)。也就是说，如图9c示出，移动控制部202c，若摄像装置10a的照相机100拍摄而得到的图像即摄像图像整体中包括标记606，则将向照相机100的校正部102a发出的用于利用该摄像图像校正内部参数的指示发送到摄像装置10a。接收了该指示的摄像装置10a，根据该指示，进行利用该摄像图像的照相机100的内部参数的校正。若校正结束，则移动控制部202c向移动体600发送示出校正完成的信息，使移动体600移动到规定的地点。

[4.内部参数的校正方法]

在本实施方式中，大小为已知的标记606由照相机100拍摄，利用通过拍摄而得到的图像计算照相机100的内部参数，从而校正照相机100的内部参数。关于标记606，大小为已知，由在平面上的互不相同的方向即第一方向以及第二方向上，以规定的间隔反复的图案构成。因此，若知道拍摄的图像中包括的标记606的至少三个特征点、以及与该至少三个特征点对应的、标记606中的三点之间的相对位置关系，则能够计算拍摄了图像的照相机100的内部参数。

也就是说，标记606具有多个第一特征点。校正部102a，获得示出多个第一特征点的相对位置关系的信息，利用该信息、以及对包括由进行校正的摄像装置的照相机100拍摄的标记606的图像进行图像处理而得到的多个第二特征点，从而构成该摄像装置的内部参数。

例如，如图9c示出，假设从包括由照相机100拍摄的标记606的图像中提取四个特征点p1至p4。在此情况下，四个特征点p1至p4是，例如，与外形为正方形的标记606的四个角的点p1至p4对应的点，因此，若将p1至p2的第一方向、p1至p3的第二方向、以及与第一方向以及第二方向正交的第三方向设为轴，则能够图9d那样求出与特征点p1至p4对应的点p1至p4的三维坐标。并且，根据摄像图像能够求出摄像图像上的特征点p1至p4的二维坐标，因此，如图9d示出，能够将特征点p1至p4的三维坐标与二维坐标建立对应。利用该建立了对应的结果、和以后示出的式1或式2，从而能够求出照相机100的内部参数。

在照相机的透镜没有失真时，或者，在该失真为可以忽视的程度小时，成立式1的关系。

(数式1)

在此，s是，示出三维空间的尺度的参数。

(数式2)

示出图像上的点的二维坐标。

(数式3)

fx以及fy是，示出照相机的焦点距离的参数，cx以及cy是，示出照相机的图像中心的参数。它们，示出照相机的内部参数。

(数式4)

r11、r12、r13、r21、r22、r23、r31、r32、以及r33是，示出三维空间中的照相机的朝向的参数，t1、t2、t3是，示出三维空间中的照相机的位置的参数。它们，示出照相机的外部参数。

(数式5)

示出图像上的点的三维坐标。

(数式6)

在此，x″以及y″是，如下述的式3那样求出的。

(数式7)

x’＝x/z

y’＝y/z

x”＝x’(1+k1r²+k2r⁴+k3r⁶)+2p1x’y’+p2(r²+2x’²)

y”＝y’(1+k1r²+k2r⁴+k3r⁶)+p1(r²+2y’²)+2p2x’y’

wherer2＝x’²+y’²

在此，k1、k2、k3、p1、p2是，示出透镜的失真的参数。具体而言，k1、k2、k3是，半径方向的失真系数，p1、p2是，圆周方向的失真系数。这些示出透镜的失真的参数也是，内部参数。

[5.效果等]

如上所述，在本实施方式中，摄像系统1000，校正配置在规定的位置的摄像装置10的参数。摄像系统1000具备，移动控制部202c、摄像控制部202d、以及校正部102a。移动控制部202c，使移动体600移动到摄像装置10的拍摄区域a1内。移动体600，具有用于校正的标记606。摄像控制部202d，使摄像装置10拍摄标记606。校正部102a，利用包括由摄像装置10拍摄而得到的标记606的图像，校正摄像装置10的内部参数。

据此，利用移动体600将标记606移动到摄像装置10的拍摄区域a1内，使摄像装置10拍摄标记606，来校正摄像装置10的内部参数，因此，即使不是由人将标记606接近摄像装置10，也能够校正摄像装置10的内部参数。据此，能够容易进行配置在规定的位置的摄像装置10的内部参数的校正。

因此，例如，即使在高处设置摄像装置10的情况下，也能够容易使摄像装置10拍摄标记606，能够容易进行摄像装置10的内部参数的校正。并且，人不需要确认摄像装置10是否拍摄了标记606，因此，能够提高内部参数的校正所需要的工作速度。

并且，在本实施方式中，移动控制部202c，以摄像装置10具有的图像传感器104整体中拍摄标记606的方式，使移动体600移动。

因此，能够有效地进行摄像装置10的内部参数的校正。

并且，在本实施方式中，移动控制部202c，利用对由摄像装置10拍摄的图像进行图像处理而得到的结果，以由摄像装置10拍摄的图像整体中包括标记606的方式，使移动体600移动。

因此，能够容易且有效地进行摄像装置10的内部参数的校正。

并且，在本实施方式中，摄像控制部202d，以摄像装置10被设定为预先决定的焦点距离、以及预先决定的光圈的至少一方的状态，使摄像装置10进行拍摄。

因此，能够有效地进行摄像装置10的内部参数的校正。

并且，在本实施方式中，标记606具有，多个第一特征点。校正部102a，获得示出多个第一特征点的相对位置关系的信息。而且，校正部102a，利用该信息、以及对包括由摄像装置10拍摄的标记606的摄像图像进行图像处理而得到的多个第二特征点，校正摄像装置10的内部参数。

因此，能够有效地进行摄像装置10的内部参数的校正。

并且，在本实施方式中，摄像系统1000具备，多台照相机100、状况感测部160、以及活动检测部202a。

多台照相机100，从互不相同的位置拍摄在规定的空间内至少一部分重叠的区域的影像。

状况感测部160，感测多台照相机100的每一个以及所述的规定的空间的至少一方的状况，将感测的状况作为摄像状况信息输出。

活动检测部202a，根据该摄像状况信息，检测规定的活动的发生，在检测出所述规定的活动的发生的情况下，判断是否执行校正。并且，在判断为执行校正的情况下，将示出要执行的所述校正的校正信息输出。

据此，根据拍摄中的照相机100的状况或进行拍摄的地点的状况(活动)，判断是否需要校正的执行、或是否是适于校正的执行的定时。而且，示出要执行的该校正的信息被提供，从而能够进行对象以及定时为适当的校正的执行。而且，在拍摄中也能够确保用于将各个照相机100的实际的位置等反映到照相机参数的更新的机会。利用如此更新的照相机参数，从而能够维持适当地执行三维空间重构的状态，其结果为，能够提高三维空间识别的精度以及可用性的稳定性。

并且，摄像系统1000也可以还包括，用于执行多台照相机100的校正的校正指示部202b。而且，校正信息示出，多台照相机100之中的、执行校正的照相机100。输出的校正信息输入到校正指示部202b，校正指示部202b，使该校正信息示出的照相机100执行校正。

据此，例如，即使是位于人不能立刻接近的位置的照相机100，也能够迅速进行基于校正信息的校正。因此，维持适当地执行三维空间重的状态，其结果为，能够提高三维空间识别的精度以及可用性的稳定性。

并且，校正信息也可以还示出，检测出发生的规定的活动的内容。而且，在执行校正信息示出的校正的照相机100为两台以上的情况下，校正指示部202b，根据校正信息所示的规定的活动的内容，决定执行校正的照相机100的顺序，按照决定的顺序执行两台以上的照相机100的校正。

根据规定的空间的状况，会有一并执行，从而能够迅速执行精度高的校正的情况。如此按照成为执行校正的理由的活动决定执行校正的照相机100的顺序，从而按照适于适当地执行三维空间重构的状态的维持的顺序执行照相机100的校正。而且，该“顺序”也包括，多台照相机100并行执行校正的情况。

并且，也可以是，状况感测部160，包括多台照相机100分别具备的图像传感器104，状况感测部160输出的摄像状况信息包括，图像传感器104输出的影像。在此情况下，活动检测部202a，提取该影像中包括的特征点，在提取的特征点的数量为规定的个数以上的情况下，也可以检测规定的活动的发生，判断为执行校正。

在利用包括多个特征点的影像执行的校正中，能够容易获得更高精度(可靠度)的照相机参数。也就是说，这样的情况是适于校正的执行的定时。利用通过在该定时执行的校正而得到的照相机参数，从而能够以更高的精度执行三维空间重构，三维空间识别的精度以及可用性的稳定性提高。

并且，也可以是，状况感测部160，包括多台照相机100分别具备的图像传感器104，状况感测部160输出的摄像状况信息包括，图像传感器104输出的影像。而且，在此情况下，活动检测部202a，判断该影像是否包括规定的对象的图像。在没有包括规定的对象的图像的情况下，也可以检测规定的活动的发生，判断为执行校正。

在此，规定的对象，示出照相机100拍摄的场面的重要性，例如，是监视区域的人、以及球赛的比赛中的选手或球。关于没有包括这样的对象的图像的影像数据，自由视点影像的生成中利用的可能性低，因此，设为校正的执行的对象，从而能够提高从用户看的三维空间识别的精度以及可用性的稳定性提高。

并且，状况感测部160也可以包括，多台照相机100分别具备的图像传感器104、感测多台照相机100各自的位置的变化以及姿势的变化的运动传感器105或125、以及收集规定的空间内的声音的收音器107或147之中的至少一个。而且，状况感测部160输出的摄像状况信息也可以是，图像传感器104、运动传感器105或125、以及收音器107或147之中的至少一个分别输出的信息。在此情况下，活动检测部202a也可以，在摄像状况信息示出超过第一阈值的变化的情况下检测规定的活动的发生，在摄像状况信息示出超过比第一阈值大的第二阈值的变化的情况下判断为执行校正。

根据从图像传感器104等输出的信息的变化，能够掌握因各个照相机100的移动等、使各个照相机100的拍摄区域发生变化，而照相机参数不反映照相机100的实际的状态的可能性高的变化。但是，若在该变化的程度小的情况下执行校正，则导致能够利用影像数据的时间的削减，也会成为给三维空间重构带来不良影响的可能性。于是，按照各个照相机100的状况或摄像地点的状况的变化的程度判断是否执行校正。据此，在给三维空间重构的适当的执行带来影响的变化的情况下执行校正，另一方面，在与状况的变化相比校正的执行本身的给三维空间重构带来的影响大的情况下不执行校正。因此，维持适当地执行三维空间重构的状态，其结果为，三维空间识别的精度以及可用性的稳定性提高。

并且，状况感测部160，包括检测多台照相机100各自的规定的工作的工作检测部126，状况感测部160输出的摄像状况信息也可以是，工作检测部126输出的、发生的规定的工作的信息。在此情况下，活动检测部202a也可以，根据作为摄像状况信息示出的发生的规定的工作的信息检测规定的活动的发生。

据此，按照基于照相机100或支架120的工作的照相机100的状态的变化更新照相机参数，维持适当地执行三维空间重构的状态，其结果为，三维空间识别的精度以及可用性的稳定性提高。

并且，活动检测部202a也可以，针对多台照相机100的每一个，在上次的校正的执行后经过规定的时间的情况下检测规定的活动的发生，判断为执行校正。据此，以规定的频度以上执行各个照相机的校正。例如，对于积蓄低于判断为执行校正的阈值的变化的照相机，也执行校正来确保照相机参数的更新的机会。

并且，摄像系统1000也可以，还具备用于向用户提示信息的用户接口500。而且，也可以经由用户接口500将校正信息提示给用户。

据此，摄像系统1000的用户能够知道，例如，预定执行校正的照相机100、或执行中的照相机100。并且，用户也可以，根据执行该提示的校正信息所示的校正的理由(规定的活动的内容)，决定预定执行校正的照相机100间的校正的执行顺序。

[6.变形例]

[6-1.变形例1]

在所述实施方式中，校正部102a是，照相机100所具备的构成要素，但是，不仅限于此，也可以是控制装置200所具备的构成要素。也就是说，在此情况下，控制装置200也可以，根据从照相机100接收的摄像图像，进行照相机100的内部参数的校正。

[6-2.变形例2]

在所述实施方式中，利用拍摄标记606而得到的特征点，进行内部参数的校正，但是，不仅限于此，也可以利用照相机100的拍摄区域a1内的规定的物体的特征点进行内部参数的校正。

(实施方式2)

[1.校正]

在所述实施方式1中，以一张摄像图像整体中包括标记606的方式，使移动体600移动，但是，不仅限于此，在不同的多个定时，以照相机100的摄像图像整体中包括标记606的方式，使移动体600移动。而且，对于实施方式2的摄像系统1000的结构，与实施方式1同样，因此，赋予相同的符号，省略说明。在实施方式2的摄像系统1000中，与实施方式1的摄像系统1000相比，控制装置200的控制以及处理的内容不同，因此，以下，说明不同的处理以及控制。

也就是说，移动控制部202c也可以，利用对由摄像装置10拍摄的图像进行图像处理而得到的结果，假设为生成在不同的多个定时由摄像装置10拍摄而得到的多张摄像图像重叠而得到的重叠图像时的该重叠图像整体中包括标记606的方式，使移动体600移动。具体而言，移动控制部202c也可以，利用对由摄像装置10拍摄的图像进行图像处理而得到的结果，以在不同的多个定时由照相机100拍摄的多个图像，在将该多个图像分别分割为多个区域时的多个区域之中的互不相同的区域，包括标记606的方式使移动体600移动。在此情况下，移动控制部202c，在不同的多个定时，以多个区域的全体包括标记606的方式使移动体600移动。

并且，移动控制部202c也可以，利用对由摄像装置10拍摄的图像进行图像处理而得到的结果，使移动体600移动到该多个图像中包括的标记606被拍摄为规定的清晰度以上的清晰度的位置。也就是说，移动控制部202c也可以，使移动体600移动到该多个图像中包括的标记606以对焦的状态而被拍摄的位置。

[2.工作]

接着，对于本实施方式的摄像系统1000的校正处理，进行说明。

图10是示出实施方式2的校正处理的一个例子的流程图。图11a至图11c是用于说明实施方式2的校正处理的细节的图。也就是说，也可以代替利用实施方式1的图8、9a至9c说明的校正处理，而进行以下说明的s51至s58的校正处理。

对于步骤s51、s52，分别与实施方式1的步骤s41、s42同样，因此，省略说明。

接着，移动控制部202c，利用由照相机100拍摄的图像，判断该图像中包括的标记606是否为规定的清晰度以上(s53)。也就是说，移动控制部202c，对该图像进行图像处理，从而计算该图像中出现的标记606的清晰度。而且，移动控制部202c，判断计算出的、标记606的清晰度是否为规定的清晰度以上。

移动控制部202c，在判断为该多个图像中包括的标记606为规定的清晰度以上的情况下(s53的“是”)，进入以后的步骤s54。

另一方面，移动控制部202c，在判断为由照相机100拍摄的图像中包括的标记606低于规定的清晰度的情况下(s53的“否”)，使移动体600向照相机100的进深方向移动(s58)。例如，如图11a示出，移动控制部202c，在此情况下，判断为没有由照相机100对焦于标记606，使移动体600以规定的距离向与摄像装置10a的光轴平行的方向的进深方向移动。进深方向是，例如，x轴方向正侧的方向。而且，移动控制部202c也可以，使移动体600向x轴方向负侧移动。如此，移动控制部202c，使移动体600沿着摄像装置10a的光轴移动，从而使移动体600接近由摄像装置10a的照相机100对焦的位置。

若步骤s58结束，则返回到步骤s52。也就是说，控制装置200，直到由照相机100拍摄的图像中以对焦的状态拍摄标记606为止，反复进行步骤s52、s53、s58的处理。

经过这些处理，控制装置200，在判断为如图11b示出、由照相机100拍摄的图像中以对焦的状态拍摄标记606的情况下，进入步骤s54，使移动体600移动。具体而言，移动控制部202c，以在不同的多个定时由摄像装置10a的照相机100拍摄的多个图像，在将该多个图像分别分割为多个区域时的多个区域之中的互不相同的区域，包括标记606的方式使移动体600移动。

而且，摄像控制部202d，在使移动体600移动的期间，使摄像装置10a的照相机100进行拍摄(s55)。

移动控制部202c，针对分割的多个区域的所有的区域的每一个，判断在该区域整体中是否拍摄了标记(s56)。

移动控制部202c，在针对分割的多个区域的所有的区域的每一个，判断为在该区域整体中拍摄了标记的情况下(s56的“是”)，使摄像装置10a的照相机100的校正部102a利用在该区域整体中拍摄标记而得到的多个拍摄图像进行照相机100的内部参数的校正(s57)。

另一方面，移动控制部202c，在针对分割的多个区域的所有的区域的每一个，没有判断为在该区域整体中拍摄了标记的情况下(s56的“否”)，返回到步骤s54。也就是说，控制装置200，针对分割的多个区域的所有的区域的每一个，直到在该区域整体中拍摄标记为止，反复进行步骤s54至s56的处理。

例如，如图11c示出，考虑将在不同的多个定时拍摄的多个摄像图像i1至i6的每一个，分割为第一区域r1、第二区域r2、第三区域r3、以及第四区域r4的四个区域的情况。在此情况下，移动控制部202c，首先，以在第一区域r1整体中拍摄标记606的方式，使移动体600向y轴方向负侧移动之后，使移动体600向z轴方向正侧移动。此时，控制部202，直到在分割的第一区域r1、第二区域r2、第三区域r3、以及第四区域r4的全部、该区域整体中拍摄标记606为止，反复进行步骤s54至s56的处理，因此，照相机100，定期进行拍摄。

而且，移动控制部202c也可以控制成，在对摄像图像i2进行图像处理，从而判断为标记606被拍摄在右端的情况下，变更移动体600的行进方向。也就是说，在此情况下，移动控制部202c，若拍摄摄像图像i2，则使移动体600向z轴方向正侧移动。

若摄像图像i3那样在第一区域r1整体中拍摄标记606，移动控制部202c，则使移动体600向y轴方向正侧移动。接着，若摄像图像i4那样在第二区域r2整体中拍摄标记606，移动控制部202c，则使移动体600向z轴方向负侧移动。接着，若摄像图像i5那样在第三区域整体中拍摄标记606，移动控制部202c，则使移动体600向y轴方向负侧移动。据此，移动体600，在从x轴方向负侧看时，以在左旋转方向的飞行路径w1上盘旋的方式移动。

[3.效果等]

如上所述，在本实施方式中，移动控制部202c，利用对由摄像装置10拍摄的图像进行图像处理而得到的结果，假设为生成在不同的多个定时由摄像装置10拍摄而得到的多个摄像图像相互重叠而得到的重叠图像时的该重叠图像整体中包括标记606的方式，使移动体600移动。

因此，能够有效地进行摄像装置的内部参数的校正。

并且，在本实施方式中，移动控制部202c，利用对由摄像装置10拍摄的图像进行图像处理而得到的结果，使移动体600移动到在不同的多个定时由摄像装置10拍摄而得到的多个摄像图像中包括的标记606被拍摄为规定的清晰度以上的清晰度的位置。

如此，利用以对焦的状态拍摄了标记606的摄像图像进行内部参数的校正，因此，能够高精度地提取特征点的二维坐标、以及三维坐标。因此，能够高精度地进行摄像装置的内部参数的校正。

[4.变形例]

[4-1.变形例1]

所述实施方式1以及2的移动体600也可以是，还具备拍摄周围的照相机607的结构。例如，如图12示出，移动体600a具备，拍摄标记606的正面侧的朝向的照相机607。在此情况下，如图12的(a)示出，移动体600a接近摄像装置10a，据此，在由照相机607拍摄的摄像图像i21中，出现成为进行校正的对象的摄像装置10a。照相机607相对于移动体主体而配置的位置是预先固定的，因此，对该摄像图像i21进行规定的图像处理，从而能够确定，若移动体600a向哪个方向移动，则如图12的(b)的摄像图像i12所示由摄像装置10a的照相机100在全体出现标记606。通过规定的图像处理，根据摄影图像i21中的摄像装置10a的大小、形状等能够估计该摄像装置10a的位置以及朝向。利用该移动体600a的照相机607的移动控制，也可以由移动体600a进行，也可以由控制装置200进行。而且，也可以将示出照相机607与标记606之间的位置关系的信息通知给摄像装置10a的校正部102a。

[4-2.变形例2]

在所述实施方式1以及2中，移动体600，以悬挂与移动体主体分开的标记606的状态移动，但是，不仅限于此，也可以是移动体主体本身具有标记的形状或图案的结构。

并且，如图13示出，也可以是具备液晶显示器、有机el(electroluminescence)显示器等的显示装置以作为标记606a的移动体600b。也就是说，标记606a是，显示在显示装置的形状或图案。并且，如图13的(a)示出，在由摄像装置10a的照相机拍摄的摄像图像中包括的标记606a倾斜而显示为梯形的情况下，也可以校正显示在显示装置的标记606a的形状。具体而言，如图13的(b)示出，也可以以由摄像装置10a的照相机拍摄的摄像图像中包括的标记606a的形状成为长方形或正方形的方式，使显示在显示装置的标记606a的形状变形为梯形等的形状。如此，调整显示在显示装置的标记606a的形状，从而能够以由摄像装置10a的照相机100拍摄的摄像图像整体中包括标记606a的方式，使摄像装置10a的照相机100拍摄标记606a。

在此情况下，在显示装置不显示标记的情况下，也可以使该显示装置显示广告的影像、比赛影像等。进而，也可以将显示在显示装置的广告的影像、比赛影像等作为标记利用。

[4-3.变形例3]

所述实施方式1以及2的移动体600也可以是，具有照相机100的维修功能的结构。例如，移动体600也可以，设置透镜清洁器，从而擦去照相机100的透镜的污垢。并且，移动体600也可以具有交换照相机100的部件、确定故障的部位、修理确定的故障部位等的功能。

(实施方式3)

对于实施方式1以及2中说明的校正处理，也可以如下执行。

图14是示出实施方式3的校正处理的一个例子的流程图。

在本实施方式的校正处理中，首先，控制装置200的移动控制部202c，使具有标记606的移动体600移动到成为校正的对象的摄像装置10a至10n的任意的照相机100的拍摄区域a1内(s61)。

接着，控制装置200的摄像控制部202d，使照相机100拍摄标记606(s62)。

摄像装置10a的照相机100的校正部102a，利用该图像校正照相机100的内部参数(s63)。

据此，利用移动体600使标记606移动到照相机100的拍摄区域a1内，使照相机100拍摄标记606来校正照相机100的内部参数，因此，不是由人将标记606拿去照相机100之前也能够校正照相机100的内部参数。据此，能够容易进行配置在规定的位置的照相机100的内部参数的校正。

(实施方式4)

说明所述各个实施方式所示的图像处理方法以及装置的结构的其他的应用例以及利用它的系统。该系统，能够适用于智能化和对象空间的广域化进展的影像系统，例如，能够适用于(1)安装在店铺或工厂的安全照相机、或警察的车载照相机等的监视系统、(2)利用个人所有的照相机或各个车载照相机、或道路所具备的照相机等的交通信息系统、(3)利用无人机等的可远程操作或自动控制的装置的环境调查或分发系统、以及(4)利用娱乐设施或运动场等的设置照相机、无人机等的移动照相机、或个人所有的照相机等的影像等的内容收发系统等。

图15是示出本实施方式的影像信息处理系统ex100的结构的图。在本实施方式中，说明防止死角的发生的例子、以及禁止拍摄特定的区域的例子。

图15示出的影像信息处理系统ex100包括，影像信息处理装置ex101、多台照相机ex102、以及影像接收装置ex103。而且，影像接收装置ex103，并不需要包括在影像信息处理系统ex100中。

影像信息处理装置ex101具备，保存部ex111、以及分析部ex112。n个照相机ex102分别具有，拍摄影像的功能、以及将拍摄的影像数据发送到影像信息处理装置ex101的功能。并且，也会有照相机ex102，具有显示拍摄中的影像的功能的情况。而且，照相机ex102，也可以将拍摄的影像信号利用hevc或h.264那样的编码方式编码后发送到影像信息处理装置ex101，也可以将没有编码的影像数据发送到影像信息处理装置ex101。

在此，各个照相机ex102是，监视照相机等的固定照相机、搭载在无人飞行型遥控以及汽车等的移动照相机、或用户所持有的用户照相机。

移动照相机，接收从影像信息处理装置ex101发送的指示信号，按照接收的指示信号，变更移动照相机本身的位置或拍摄方向。

并且，在拍摄开始前，多台照相机ex102的时刻，利用服务器或基准照相机的时刻信息等而被校准。并且，多台照相机ex102的空间位置，利用成为拍摄对象的空间的对象的拍摄方法或与基准照相机的相对位置而被校准。

信息处理装置ex101包括的保存部ex111，保存从n个照相机ex102发送的影像数据。

分析部ex112，根据保存部ex111保存的影像数据检测死角，将示出用于防止死角的发生的向移动照相机的指示的指示信号发送到移动照相机。移动照相机根据指示信号进行移动，持续进行拍摄。

分析部ex112，例如，利用sfm(structurefrommotion)进行死角检测。sfm是，根据从不同位置拍摄的多个影像恢复被摄体的三维形状的方法，作为同时估计被摄体形状以及照相机位置的形状恢复技术而广泛地周知。例如，分析部ex112，利用sfm，根据保存部ex111保存的影像数据恢复设施内或运动场内的三维形状，将不能恢复的区域作为死角检测。

而且，分析部ex112也可以，在照相机ex102的位置以及拍摄方向为固定，位置以及拍摄方向的信息为已知的情况下，利用这些已知的信息进行sfm。并且，在由移动照相机具备的gps以及角度传感器等能够获得移动照相机的位置以及拍摄方向的情况下，移动照相机也可以，将该移动照相机的位置以及拍摄方向的信息发送到分析部ex112，分析部ex112，利用发送的位置以及拍摄方向的信息进行sfm。

而且，死角检测的方法，不仅限于所述的利用sfm的方法。例如，分析部ex112也可以，利用激光测距仪等的深度传感器的信息，从而掌握作为拍摄对象的对象的空间距离。并且，分析部ex112也可以，将照相机位置、拍摄方向以及变焦倍率等的信息，按照空间内的预先设定的标记或特定的对象是否包括在图像中来检测，在包括的情况下也可以按照其尺寸等来检测。如此，分析部ex112，利用能够检测各个照相机的拍摄区域的任意的方法，进行死角的检测。并且，分析部ex112也可以，相对于多个拍摄对象，将彼此的位置关系等的信息从影像数据或近距离传感器等获得，根据获得的位置关系确定死角发生的可能性高的区域。

在此，死角，不仅包括想要拍摄的区域中影像不存在的部分，也包括与其他的部分相比画质低的部分、以及没有获得预先决定的画质的部分等。按照该系统的结构或目的适当地设定该检测对象的部分即可。例如，也可以针对拍摄的空间中的特定的被摄体，将要求的画质设定为高。并且，反而，针对拍摄空间中的特定的区域，也可以将要求的画质设定为低，也可以设定为即使没有拍摄影像也不判断为死角。

而且，所述画质包括，影像中的成为拍摄对象的被摄体所占的面积(例如像素数)、或是否与成为拍摄对象的被摄体对焦那样的关于影像的各种各样的信息，以那些信息或其组合为基准能够判断是否为死角即可。

而且，在所述说明中，对实际死角的区域的检测进行了说明，但是，为了防止死角的发生而需要检测的区域，不仅限于实际死角的区域。例如，在多个拍摄对象存在、至少其一部分移动的情况下，会有因某拍摄对象与照相机之间进入其他的拍摄对象而产生新的死角的可能性。对此，分析部ex112也可以，例如，根据拍摄的影像数据等检测多个拍摄对象的运动，根据检测出的多个拍摄对象的运动和照相机ex102的位置信息，估计会有成为新的死角的可能性的区域。在此情况下，影像信息处理装置ex101也可以，以拍摄会有成为死角的可能性的区域的方式向移动照相机发送指示信号，防止死角的发生。

而且，在存在多个移动照相机的情况下，影像信息处理装置ex101，为了拍摄死角、或会有成为死角的可能性的区域，而需要选择发送指示信号的移动照相机。并且，在移动照相机以及死角、或会成为死角的可能性的区域分别存在多个的情况下，影像信息处理装置ex101需要，针对多个移动照相机的每一个，决定拍摄哪个死角、或会成为死角的可能性的区域。例如，影像信息处理装置ex101，根据死角、或会成为死角的可能性的区域与各个移动照相机拍摄中的区域的位置，选择与死角、或会成为死角的区域最近的移动照相机。并且，影像信息处理装置ex101也可以，在针对各个移动照相机，不能获得该移动照相机正在拍摄的影像数据的情况下，判断是否发生新的死角，即使不能获得正在拍摄的影像数据也选择判断为不发生死角的移动照相机。

根据以上的结构，影像信息处理装置ex101，检测死角，以防止死角的方式向移动照相机发送指示信号，从而能够防止死角的发生。

(变形例1)

而且，在所述说明中，说明了向移动照相机发送指示移动的指示信号的例子，但是，指示信号也可以是，用于向用户照相机的用户指示移动的信号。例如，用户照相机，根据指示信号，显示用于向用户指示变更照相机的方向的指示图像。而且，用户照相机也可以，作为用户的移动的指示，显示地图上示出移动路径的指示图像。并且，用户照相机也可以，为了提高获得的图像的质量，而显示拍摄方向、角度、视角、画质、以及拍摄区域的移动等的详细的拍摄的指示，进而，若在影像信息处理装置ex101侧能够控制，影像信息处理装置ex101也可以，自动控制关于这样的拍摄的照相机ex102的特征量。

在此，用户照相机是，例如，运动场内的观众或设施内的警卫员具有的智能手机、平板型终端、可穿戴终端、或hmd(headmounteddisplay)。

并且，显示指示图像的显示终端，并不需要与拍摄影像数据的用户照相机相同。例如，针对预先与用户照相机对应的显示终端，由用户照相机发送指示信号或指示图像，该显示终端显示指示图像。并且，也可以在影像信息处理装置ex101预先登记，与用户照相机对应的显示终端的信息。在此情况下，影像信息处理装置ex101也可以，向与用户照相机对应的显示终端直接发送指示信号，从而使显示终端显示指示图像。

(变形例2)

分析部ex112也可以，例如，利用sfm，从保存部ex111保存的影像数据恢复设施内或运动场内的三维形状从而生成自由视点影像(三维重构数据)。该自由视点影像，由保存部ex111保存。影像信息处理装置ex101，将与从影像接收装置ex103发送的视野信息(以及/或，视点信息)对应的影像数据从保存部ex111读出，发送到影像接收装置ex103。而且，影像接收装置ex103也可以是，多台照相机之一。

(变形例3)

影像信息处理装置ex101也可以，检测禁止拍摄区域。在此情况下，分析部ex112分析拍摄图像，在移动照相机拍摄禁止拍摄区域的情况下向移动照相机发送禁止拍摄信号。移动照相机在接收禁止拍摄信号的期间停止拍摄。

分析部ex112，例如，将利用sfm恢复的三维的虚拟空间、与拍摄影像匹配，从而判断空间内预先设定的移动照相机是否正在拍摄禁止拍摄区域。或者，分析部ex112，将配置在空间内的标记或具有特征的对象为契机，判断移动照相机是否正在拍摄禁止拍摄区域。禁止拍摄区域是，例如，设施内或运动场内的厕所等。

并且，在用户照相机拍摄禁止拍摄区域的情况下，用户照相机也可以，在以无线或有线连接的显示器等显示信息，或者，从扬声器或耳机输出声音或语音，从而向用户通知现在的地点是禁止拍摄地点。

例如，作为所述消息，显示现在照相机朝向的方向是禁止拍摄的情况。或者，在显示的地图上示出禁止拍摄区域和现在的拍摄区域。并且，拍摄的重新开始是，例如，若禁止拍摄信号没有被输出，则自动进行的。或者，也可以在禁止拍摄信号没有被输出、且用户进行重新开始拍摄的操作的情况下，重新开始拍摄。并且，在拍摄的停止和重新开始在短期间内产生多次的情况下，也可以再次进行校准。或者，也可以进行用于促使用户确认现在位置或移动的通知。

并且，在警察等的特别的业务的情况下，也可以利用为了记录而使这样的功能禁用的密码或指纹认证等。进而，即使在这样的情况下，在禁止拍摄区域的影像被显示或保存在外部的情况下，也可以自动进行马赛克等的图像处理。

根据以上的结构，影像信息处理装置ex101，进行禁止拍摄的判断，以停止拍摄的方式向用户通知，从而能够将某区域设定为禁止拍摄。

(变形例4)

为了从影像构筑三维的虚拟空间，而需要收集多个视点的影像，因此，影像信息处理系统ex100，针对传输了拍摄影像的用户设定激励。例如，影像信息处理装置ex101，针对传输了影像的用户，以免费或优惠价格进行影像分发、或赋予在线或离线的店或游戏内能够使用的金钱性价值、或游戏等的虚拟空间中的社会地位等的非金钱性价值的积分。并且，影像信息处理装置ex101，向传输了要求多等的具有价值的视野(以及/或，视点)的拍摄影像的用户赋予特别高的积分。

(变形例5)

影像信息处理装置ex101也可以，根据分析部ex112的分析结果，向用户照相机发送附加信息。在此情况下，用户照相机向拍摄影像重叠附加信息，显示在画面。附加信息是，例如，在拍摄运动场的比赛的情况下，选手名或身高等的选手的信息，与影像内的各个选手对应而显示该选手的名字或脸部照片等。而且，影像信息处理装置ex101也可以，根据影像数据的一部分或全部的区域，通过经由互联网的检索，提取附加信息。并且，照相机ex102也可以，通过以bluetooth(注册商标)为首的近距离无线通信、或从运动场等的照明以可视光通信，接受这样的附加信息，将接受的附加信息，与影像数据映射。并且，照相机ex102，也可以根据与照相机ex102有线或无线连接的存储部保持的表、即示出由可视光通信技术得到的信息与附加信息的对应关系的表等的一定规则进行该映射，也可以利用根据互联网检索而最近似准确的组合的结果进行该映射。

并且，在监视系统中，针对设施内的警卫员具有的用户照相机，例如，重叠危险人物的信息，从而能够试图监视系统的高精度化。

(变形例6)

分析部ex112也可以，将自由视点影像与用户照相机的拍摄影像匹配，从而判断用户照相机正在拍摄设施内或运动场内的哪个区域。而且，拍摄区域的判断方法，不仅限于此，也可以利用所述的各个实施方式中说明的各种各样的拍摄区域的判断方法或其他的拍摄区域的判断方法。

影像信息处理装置ex101，根据分析部ex112的分析结果，向用户照相机发送过去影像。用户照相机，将拍摄影像与过去影像重叠，或者，将拍摄影像置换为过去影像，显示在画面。

例如，在中场时间中，作为过去影像显示前半部分的精彩场面。据此，用能够户，在中场时间中，享受前半部分的精彩场面以作为自己看的方向的影像。而且，过去影像，不仅限于前半部分的精彩场面，也可以是在该运动场进行的过去的比赛的精彩场面等。并且，影像信息处理装置ex101分发过去影像的定时，不仅限于中场时间中，例如，也可以是比赛结束后，也可以是比赛中。尤其，在比赛中的情况下也可以，根据分析部ex112的分析结果，影像信息处理装置ex101也可以分发用户看漏的认为重要的场景。并且，影像信息处理装置ex101，在从用户接受要求的情况下也可以分发过去影像，或者，也可以在过去影像的分发前分发允许分发的消息。

(变形例7)

影像信息处理装置ex101也可以，根据分析部ex112的分析结果，向用户照相机发送广告信息。用户照相机，将拍摄影像与广告信息重叠，显示在画面。

例如，紧在变形例6示出的、中场时间中或比赛结束后的过去影像分发之前分发广告信息。据此，分发商能够从广告主获得广告费，能够向用户以廉价或免费提供影像分发服务。并且，影像信息处理装置ex101，也可以紧在广告信息的分发前分发广告分配允许的消息，也可以在用户视听广告的情况下以免费提供服务，也可以与不视听广告的情况相比以廉价提供服务。

并且，若用户根据广告单击“立刻订购”等，则由该系统或根据某种位置信息掌握用户的位置的工作人员或会场的自动的发送系统将订购的饮料提供到座位。关于结帐，也可以是向工作人员亲手交给的，也可以是根据预先设定在移动终端的应用软件等的信用卡信息进行的。并且，也可以是，广告包括向电子商务网站的链接，成为能够进行通常的自己家发送等的网上购物的状态。

(变形例8)

影像接收装置ex103也可以是，照相机ex102(用户照相机)之一。在此情况下，分析部ex112，将自由视点影像与用户照相机的拍摄影像匹配，从而判断用户照相机正在拍摄设施内或运动场内的哪个区域。而且，拍摄区域的判断方法，不仅限于此。

例如，若用户，向显示在画面的箭头方向进行滑动操作，则用户照相机生成示出使视点向其方向移动的视点信息。影像信息处理装置ex101，将拍摄了从分析部ex112判断的用户照相机的拍摄区域按照视点信息移动的区域的影像数据从保存部ex111读出，开始该影像数据的向用户照相机的发送。而且，用户照相机不显示拍摄影像，而显示从影像信息处理装置ex101分发的影像。

据此，设施内或运动场内的用户，通过画面滑动那样的简单的工作，能够视听从喜欢的视点的影像。例如从棒球场的三垒侧观看比赛的观众，能够视听从一垒侧的视点的影像。并且，在监视系统中，设施内的警卫员能够通过画面滑动那样的简单的工作，将自己想要确认的视点或作为从中心的中断的应该注视的影像等，适当地改变视点来视听，因此，能够试图监视系统的高精度化。

并且，向设施内或运动场内的用户的影像的分发是，例如，在用户照相机与拍摄对象之间存在障碍物，存在看不到的区域的情况等也有效的。在此情况下，用户照相机，也可以将用户照相机的拍摄区域之中的包括障碍物的一部分的区域的影像，从拍摄影像切换为来自影像信息处理装置ex101的分发影像来显示，也可以将画面整体从拍摄影像切换为分发影像来显示。并且，用户照相机也可以，将拍摄影像与分发影像合成，显示透过障碍物看到视听对象那样的影像。根据该结构，即使在因障碍物的影响而从用户的位置不能看到拍摄对象的情况下，也能够视听从影像信息处理装置ex101分发的影像，因此，能够减轻障碍物的影响。

并且，在作为因障碍物而不能看到的区域的影像显示分发影像的情况下，也可以进行与对应于所述的画面滑动那样的用户的输入处理的显示的切换控制不同的显示的切换控制。例如，在根据用户照相机的移动以及拍摄方向的信息、和预先得到的障碍物的位置信息判断为拍摄区域包括障碍物的情况下，也可以自动地进行从拍摄影像向分发影像的显示的切换。并且，在通过拍摄影像数据的分析判断为映出不是拍摄对象的障碍物的情况下，也可以自动地进行从拍摄影像向分发影像的显示的切换。并且，在拍摄影像中包括的障碍物的面积(例如像素数)超过规定的阈值的情况下，或者，在障碍物的面积相对于拍摄对象的面积的比例超过规定的比例的情况下，也可以自动地进行从拍摄影像向分发影像的显示的切换。

而且，也可以按照用户的输入处理，进行从拍摄影像向分发影像的显示的切换以及从分发影像向拍摄影像的显示的切换。

(变形例9)

也可以根据各个照相机ex102拍摄的影像数据的重要度指示将影像数据传输到影像信息处理装置ex101的速度。

在此情况下，分析部ex112，判断保存部ex111保存的影像数据、或拍摄该影像数据的照相机ex102的重要度。在此，重要度的判断是，例如，根据影像中包括的人的数量或移动物体的数量、影像数据的画质等的信息、或它们的组合进行的。

并且，影像数据的重要度的判断也可以是，根据拍摄了影像数据的照相机ex102的位置或影像数据拍摄的区域进行的。例如，在对象的照相机ex102附近存在拍摄中的多个其他的照相机ex102的情况下，降低对象照相机ex102拍摄的影像数据的重要度。并且，即使对象的照相机ex102的位置远离其他的照相机ex102，也在存在拍摄相同的区域的多个其他的照相机ex102的情况下，降低对象的照相机ex102拍摄的影像数据的重要度。并且，影像数据的重要度的判断也可以是，根据影像分发服务中的要求的多少进行。而且，重要度的判断方法，不仅限于所述的方法以及它们的组合，与监视系统或影像分发系统的结构或目的对应的方法即可。

并且，重要度的判断也可以不基于拍摄的影像数据。例如，也可以将向影像信息处理装置ex101以外的终端发送影像数据的照相机ex102的重要度设定为高。反而，也可以将向影像信息处理装置ex101以外的终端发送影像数据的照相机ex102的重要度设定为低。据此，例如，在需要传输影像数据的多个服务共享通信频带的情况下，与各个服务的目的或特性对应的通信频带的控制的自由度提高。据此，能够防止因不能获得需要的影像数据而导致的各个服务的质量的劣化。

并且，分析部ex112也可以，利用自由视点影像和照相机ex102的拍摄影像，判断影像数据的重要度。

影像信息处理装置ex101，根据分析部ex112进行的重要度的判断结果，向照相机ex102发送通信速度指示信号。影像信息处理装置ex101，例如，向拍摄重要度高的影像的照相机ex102指示高的通信速度。并且，影像信息处理装置ex101，不仅进行速度的控制，针对重要的信息，也可以发送指示为了降低基于欠缺的缺点而发送多次的方式的信号。据此，能够有效地进行设施内或运动场内整体的通信。而且，照相机ex102与影像信息处理装置ex101的通信，也可以是有线通信，也可以是无线通信。并且，影像信息处理装置ex101也可以，控制有线通信以及无线通信的任意的一方。

照相机ex102，以基于通信速度指示信号的通信速度，将拍摄影像数据发送到影像信息处理装置ex101。而且，照相机ex102也可以，在规定的次数失败重发的情况下，停止该拍摄影像数据的重发，开始下一个拍摄影像数据的传输。据此，能够有效地进行设施内或运动场内整体的通信，能够实现分析部ex112的处理的高速化。

并且，照相机ex102，在分别被分配的通信速度不是为了传输拍摄的影像数据而充分的频带的情况下，也可以将拍摄的影像数据，变换为以被分配的通信速度能够发送的比特率的影像数据，发送变换后的影像数据，也可以中止影像数据的传输。

并且，在如上所述为了防止死角的发生而使用影像数据的情况下，会有为了填充死角而需要拍摄的影像数据中包括的拍摄区域之中的一部分的区域的可能性。在此情况下，照相机ex102也可以，至少，从影像数据，提取为了防止死角的发生而需要的区域来生成提取影像数据，将生成的提取影像数据发送到影像信息处理装置ex101。根据该结构，能够以更少的通信频带实现死角的发生的抑制。

并且，例如，在进行附加信息的重叠显示或影像分发的情况下，照相机ex102，需要向影像信息处理装置ex101发送照相机ex102的位置信息以及拍摄方向的信息。在此情况下，仅被分配为了传输影像数据而不充分的频带的照相机ex102，也可以发送照相机ex102检测出的位置信息以及拍摄方向的信息。并且，在影像信息处理装置ex101估计照相机ex102的位置信息以及拍摄方向的信息的情况下，照相机ex102也可以，将拍摄的影像数据，变换为位置信息以及拍摄方向的信息的估计所需要的分辨率，将变换后的影像数据发送到影像信息处理装置ex101。根据该结构，也能够向仅被分配少的通信频带的照相机ex102，提供附加信息的重叠显示或影像分发的服务。并且，影像信息处理装置ex101能够，从更多的照相机ex102获得拍摄区域的信息，因此，例如在以检测关注的区域等的目的，利用拍摄区域的信息的情况下也有效的。

而且，关于所述的与被分配的通信频带对应的影像数据的传输处理的切换，也可以根据通知的通信频带由照相机ex102进行，也可以影像信息处理装置ex101决定各个照相机ex102的工作，将示出决定的工作的控制信号通知给各个照相机ex102。据此，能够按照工作的切换的判断所需要的计算量、照相机ex102的处理能力、以及需要的通信频带等，适当地进行处理的分担。

(变形例10)

分析部ex112也可以，根据从影像接收装置ex103发送的视野信息(以及/或，视点信息)，判断影像数据的重要度。例如，分析部ex112，将包括视野信息(以及/或，视点信息)示出的许多区域的拍摄影像数据的重要度设定为高。并且，分析部ex112也可以，考虑影像中包括的人的数量、或移动物体的数量，判断影像数据的重要度。而且，重要度的判断方法，不仅限于此。

而且，本实施方式中说明的通信控制方法，并不需要用于根据多个影像数据进行三维形状的重构的系统。例如，在存在多台照相机ex102的环境下，若将影像数据有选择地或以传输速率具有差距的状态以有线通信以及/或无线通信发送的情况下，则本实施方式中说明的通信控制方法是有效的。

(变形例11)

在影像分发系统中，影像信息处理装置ex101也可以，将示出拍摄场景整体的概观影像发送到影像接收装置ex103。

具体而言，影像信息处理装置ex101，在接收从影像接收装置ex103发送的分发要求的情况下，从保存部ex111读出设施内或运动场内整体的概观影像，将该概观影像发送到影像接收装置ex103。关于该概观影像，也可以更新间隔长(也可以低帧率)，并且，也可以画质低。收看者，在影像接收装置ex103的画面的概观影像中，触摸想要看的部分。据此，影像接收装置ex103，将与触摸的部分对应的视野信息(以及/或，视点信息)发送到影像信息处理装置ex101。

影像信息处理装置ex101，将与视野信息(以及/或，视点信息)对应的影像数据从保存部ex111读出，将该影像数据发送到影像接收装置ex103。

并且，分析部ex112，对视野信息(以及/或，视点信息)所示的区域优先进行三维形状的恢复(三维重构)，从而生成自由视点影像。分析部ex112，将设施内或运动场内整体的三维形状，以示出概观的程度的精度恢复。据此，影像信息处理装置ex101能够，有效地进行三维形状的恢复。其结果为，能够实现收看者想要看的区域的自由视点影像的高帧率化、以及高画质。

(变形例12)

而且，影像信息处理装置ex101也可以，例如，将根据设计图等事前生成的设施或运动场的三维形状恢复数据作为事前影像预先保存。而且，事前影像不仅限于此，也可以是将从深度传感器得到的空间的凹凸、和根据过去或校准时的图像或影像数据导出的图片按每个对象映射的虚拟空间数据。

例如，在运动场进行足球的情况下，分析部ex112也可以，限定为选手以及球，进行三维形状的恢复，合成得到的恢复数据和事前影像，从而生成自由视点影像。或者，分析部ex112也可以，针对选手以及球优先进行三维形状的恢复。据此，影像信息处理装置ex101，能够有效地进行三维形状的恢复。其结果为，能够实现与收看者关注的选手以及球有关的自由视点影像的高帧率化以及高画质化。并且，在监视系统中，分析部ex112也可以，限定为人物以及移动物体，或优先它们，进行三维形状的恢复。

(变形例13)

各个装置的时刻也可以，根据服务器的基准时刻等，在拍摄开始时被校准。分析部ex112，利用多台照相机ex102拍摄的多个拍摄影像数据之中的、按照时刻设定的精度预先设定的时间范围内所属的时刻拍摄的多个影像数据，进行三维形状的恢复。对于该时刻的检测，例如，利用将拍摄影像数据存放到保存部ex111的时刻。而且，时刻的检测方法，不仅限于此。据此，影像信息处理装置ex101能够，有效地进行三维形状的恢复，因此，能够实现自由视点影像的高帧率化以及高画质化。

或者，分析部ex112也可以，利用保存部ex111保存的多个影像数据之中的高画质数据，或者，优先利用高画质数据，从而进行三维形状的恢复。

(变形例14)

分析部ex112也可以，利用照相机属性信息，进行三维形状的恢复。例如，分析部ex112也可以，利用照相机属性信息，由视体积交叉法或多视点立体法等的方法生成三维影像。在此情况下，照相机ex102，将拍摄影像数据和照相机属性信息发送到影像信息处理装置ex101。照相机属性信息是，例如，拍摄位置、拍摄角度、拍摄时刻、或变焦倍率等。

据此，影像信息处理装置ex101，能够有效地进行三维形状的恢复，因此，能够实现自由视点影像的高帧率化以及高画质化。

具体而言，照相机ex102，定义设施内或运动场内的三维坐标，将照相机ex102从哪个角度、以哪些程度的变焦在哪个时间拍摄哪个坐标的信息与影像一起作为照相机属性信息发送到影像信息处理装置ex101。并且，在照相机ex102的启动时，设施内或运动场内的通信网上的时钟与照相机内的时钟同步，生成时间信息。

并且，在照相机ex102的启动时或任意的定时，使照相机ex102朝向设施内或运动场内的特定的地点，从而获得照相机ex102的位置以及角度信息。图16是示出在照相机ex102的启动时显示在照相机ex102的画面上的通知的一个例子的图。用户根据该通知，将显示在画面中央的“+”与位于运动场北侧的广告中的足球中心的“+”一致，触摸照相机ex102的显示器，据此，照相机ex102，获得照相机ex102至广告的矢量信息，确定照相机位置以及角度的基准。然后，根据照相机ex102的动作信息确定时时刻刻的照相机坐标以及角度。当然，不仅限于该显示，也可以采用利用箭头等在拍摄期间中也指示坐标、角度、或拍摄区域的移动速度等的显示。

关于照相机ex102的坐标的确定，也可以利用gps、wi-fi(注册商标)、3g、lte(longtermevolution)、以及5g(无线lan)的电波进行，也可以利用信标(bluetooth(注册商标)、超声波)等的近距离无线进行。并且，也可以利用拍摄影像数据达到设施内或运动场内的哪个基站的信息。

(变形例15)

也可以将该系统作为在智能手机等的移动终端上工作的应用提供。

对于向所述系统的登入，也可以利用各种sns等的帐号。而且，也可以利用应用专用的帐号、或功能被限制的客人帐号。利用这样的帐号，从而能够评价喜欢的影像或喜欢的帐号等。并且，对与拍摄中或视听中的影像数据类似的影像数据、与拍摄中或视听中影像数据的视点类似的视点的影像数据等优先分配频带，从而能够提高这些影像数据的分辨率。据此，能够更高精度地进行从这些视点的三维形状的恢复。

并且，用户能够，由该应用，选择喜欢的图像影像，关注对方，从而比其他的用户优先观看选择出的图像，或者，以对方的认可等为条件由文本聊天等建立关联。如此，能够生成新的社区。

如此，用户彼此在社区内建立关联，据此拍摄本身、并且拍摄的图像的共享等成为活泼化，能够促使更高精度的三维形状的恢复。

并且，按照社区内的关联的设定，用户，能够将其他的人拍摄的图像或影像编辑，或者，将其他的人的图像与自己的图像拼贴，来制作新的图像或影像。据此，新的图像或影像由该社区内的人共享等，能够实现新的影像作品的共享。并且，在该编辑中插入cg的人物等，从而能够在增强现实(augmentedreality)的游戏等中也利用影像作品。

并且，根据该系统，能够依次输出三维模型数据，因此，能够根据进球场景等的具有特征的场景的三维模型数据，由设施具有的3d打印机等输出立体对象。据此，在比赛后，能够将该比赛中的场景的对象作为钥匙圈那样的礼品出售，或者，分发给参加的用户。当然，也可以作为通常的照片，打印从最佳的视点的图像。

(变形例16)

利用所述系统，例如，能够根据警察的车载照相机、以及警察官的可穿戴照相机的影像等，将地区整体的大概的状态，由与该系统连接的中心管理。

在一般的巡逻时，例如按每数分钟进行静止图像的收发。并且，中心，根据基于利用过去的犯罪数据等分析的结果的犯罪地图确定犯罪发生的可能性高的地区，或者，保持与如此确定的犯罪发生概率有关的地区数据。在确定的犯罪发生概率高的地区，也可以提高图像的收发的频度，或者，将图像变更为运动图像。并且，在案件发生时，也可以利用运动图像、或利用sfm等的三维重构数据。并且，中心或各个终端，同时利用深度传感器或温度传感器等的其他的传感器的信息校正图像或虚拟空间，据此，警察官能够更准确地掌握状况。

并且，中心，利用三维重构数据，从而能够向多个终端反馈其对象的信息。据此，具有各个终端的每个人能够追踪对象。

并且，最近，以建造物或环境的调查、或体育等的具有临场感的拍摄等为目的，进行由四轴飞行器、无人机等的能够飞行的装置的从空中的拍摄。这样的由自主移动装置的拍摄，容易产生图像摇晃的问题，但是，sfm能够由位置以及倾斜校正其摇晃来进行三维化。据此，能够实现画质的提高、以及空间的恢复精度的提高。

并且，在一些国家必须设置拍摄车外的车载照相机。即使这样的车载照相机，也利用根据多个图像模型化的三维数据，从而能够更高精度地掌握目的地的方向的天气及路面的状态、以及堵塞程度等。

(变形例17)

所述系统，例如，也能够用于利用多台照相机进行建筑物或设备的测距或建模的系统。

在此，例如，在利用一台无人机从高空拍摄建筑物，进行建筑物的测距或建模的情况下存在的问题是，因在测距中运动物体进入照相机而测距的精度降低。并且，存在不能进行运动物体的测距以及建模的问题。

另一方面，如上所述，利用多台照相机(固定照相机、智能手机、可穿戴照相机以及无人机等)，从而与运动物体的有无无关而能够以稳定的精度实现建筑物的测距以及建模。并且，能够实现运动物体的测距以及建模。

具体而言，例如，在建筑施工现场中，在工作员的安全帽等安装照相机。据此，能够在进行工作员的工作的同时，进行建筑物的测距。并且，也能够用于工作的效率化以及失误防止。并且，能够利用安装在工作员的照相机拍摄的影像进行建筑物的建模。并且，位于远处的管理员能够，观看建模后的建筑物来确认进展程度。

并且，该系统，能够用于工厂或发电站的机器等、不能停止的设备的检查。并且，该系统，能够用于检查桥或水库的开闭、或游园地的乘坐物的工作等是否有异常的情况。

并且，由该系统，监视道路的堵塞程度或交通量，从而能够生成示出各个时间段的道路的堵塞程度或交通量的地图。

(实施方式5)

通过将用于实现在所述各个实施方式所示的图像处理方法的结构的程序记录在存储介质中，能够容易地在独立的计算机系统中实施在所述各个实施方式所示的处理。存储介质只要能够记录程序即可，可以是磁盘、光盘、光磁盘、ic卡、半导体存储器等。

而且，在此说明在所述各个实施方式所示的图像处理方法的应用例及采用了该方法的系统。该系统的特征是，具有利用图像处理方法的装置。系统中的其他的结构是，能够根据情况适当地变更的。

图17是示出实现内容分发服务的内容提供系统ex200的整体构成的图。将通信服务的提供区域划分为期望的大小，在各个小区(cell)内分别设置作为固定无线站的基站ex206、ex207、ex208、ex209、ex210。

在该内容供给系统ex200中，计算机ex211、pda(personaldigitalassistant)ex212、照相机ex213、智能手机ex214、游戏机ex215等的各个设备，经由互联网服务提供商ex202以及通信网ex204、以及基站ex206至ex210连接到互联网ex201。

但是，内容提供系统ex200不仅限于图17所示的结构，也可以将任意要素进行组合并连接。并且，不经由作为固定无线电站的基站ex206至ex210，各个设备也可以直接与电话线、有线电视、或光通信等的通信网ex204直接连接。并且，各个设备也可以经由近距离无线等直接相互连接。

照相机ex213是数字视频摄像机等能够进行运动图像拍摄的设备，照相机ex216是数字摄像机等能够进行静止图像拍摄、运动图像拍摄的设备。并且，智能手机ex214可以是gsm(注册商标)(globalsystemformobilecommunications)方式、cdma(codedivisionmultipleaccess)方式、w－cdma(wideband－codedivisionmultipleaccess)方式、lte(longtermevolution)方式、或者hspa(highspeedpacketaccess)或利用高频频带的通信方式等所对应的智能手机，或者是phs(personalhandyphonesystem)等任意一种设备。

在内容提供系统ex200中，摄像机ex213等通过基站ex209、通信网ex204与流播放服务器ex203连接，从而能够进行实况分发等。在实况分发中，针对用户使用摄像机ex213拍摄的内容(例如音乐现场的影像等)，进行编码处理，并发送给流播放服务器ex203。另一方面，流播放服务器ex203将被发送的内容数据向有请求的客户端进行流分发。作为客户端有这样的设备，即：能够对所述被编码处理后的数据进行解码的计算机ex211、pdaex212、照相机ex213、智能手机ex214、游戏机ex215等。接收到被分发的数据的各个设备，对所接收的数据进行解码处理并再生该数据。

另外，被拍摄的数据的编码处理可以由照相机ex213进行，也可以由进行数据的发送处理的流播放服务器ex203进行，还可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以由流播放服务器ex203进行，还可以相互分担进行。并且，不仅限于照相机ex213，也可以将利用照相机ex216拍摄的静止图像及/或动态图像数据通过计算机ex211发送给流播放服务器ex203。这种情况时的编码处理可以由照相机ex216、计算机ex211及流播放服务器ex203的任意一方进行，也可以相互分担进行。进而，对于被解码的图像的显示，也可以与系统连接的多个设备联动显示相同图像，也可以由具有大的显示器的装置显示全体的图像，智能手机ex214等中也可以放大显示图像的一部分的区域。

并且，这些编码处理以及解码处理通常在计算机ex211以及各个设备具有的lsiex500中执行。lsiex500可以是单片，也可以由多个芯片个构成。而且，也可以将运动图像编码用的软件或者运动图像解码用的软件装配在计算机ex211等可以读取的任意某种记录介质(cd－rom、软盘、硬盘等)中，并使用该软件进行编码处理或者解码处理。另外，在智能手机ex214带相机的情况下，也可以发送利用该相机获得的运动图像数据。此时的运动图像数据是由智能手机ex214具有的lsiex500进行编码处理后的数据。

并且，也可以是，流播放服务器ex203是多个服务器或者多个计算机，对数据进行分散来处理、记录、并分发。

如上所述，在内容提供系统ex200中，客户端能够接收被编码后的数据并进行再生。这样，在内容提供系统ex200中，客户端能够实时地接收用户发送的信息并进行解码及再生，即使是不具有特殊的权利及设备的用户也能够实现个人广播。

另外，并不仅限于内容提供系统ex200的例子，如图18所示，也能够在数字广播用系统ex300中适用所述各个实施方式。具体而言，在广播电台ex301中影像数据与音乐数据等多路复用的多路复用数据经由电波被通信或传输到或卫星ex302。该影像数据是利用在所述各个实施方式中说明的运动图像编方法编码后的数据。接收到它的广播卫星ex302发出广播用的电波，能够接收卫星广播的家庭的天线ex304接收该电波。电视机(接收机)ex400或者机顶盒(stb)ex317等装置对接收到的比特流进行解码并进行再生。

并且，也可以在阅读器/记录器318中安装所述各个实施方式所示的运动图像解码装置或运动图像编码装置，该阅读器/记录器ex318读取dvd、bd等记录介质ex315或sd等的存储器ex316所记录的多路复用数据并进行解码、或将影像信号编码在记录介质ex315或存储器ex316，还根据情况，与音乐信号多路复用并写入。在这种情况下，被再生的影像信号被显示在监视器ex319上，并能够利用记录了多路复用数据的记录介质ex315或存储器ex316在其他装置以及系统中再生影像信号。并且，也可以在与有线电视用线缆ex303或者卫星/地面波广播的天线ex304连接的机顶盒ex317内安装运动图像解码装置，并在电视机的监视器ex319上进行显示。此时，也可以不装配在机顶盒内，而在电视机内装配运动图像解码装置。

图19是示出智能手机ex214的一个例子的图。并且，图20是示出智能手机ex214的结构例的框图。智能手机ex214具备，用于与基站ex210之间收发电波的天线ex450、能够拍摄影像、静止图像的相机部ex465、显示相机部ex465拍摄的影像、天线ex450接收的影像等被解码的数据的液晶显示器等的显示器ex458。智能手机ex214还具备，作为触摸屏等的操作部ex466、作为用于输出声音的扬声器等的声音输出部ex457、作为用于输入声音的收音器等的声音输入部ex456、能够保存拍摄的影像、静止图像、录音的声音、或接收的影像、图像、邮件等的编码后的数据或解码后的数据的存储器部ex467、或者作为与图18中示例的存储器ex316、或作为与确定用户、以网络为首的认证与各种数据的访问的simex468的接口部的插槽部ex464。

在智能手机ex214中，相对于总括控制显示器ex458以及操作部ex466等的主控制部ex460，电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、lcd(liquidcrystaldisplay)控制部ex459、调制/解调部ex452、多路复用/分离部ex453、声音信号处理部ex454、插槽部ex464、存储器部ex467，经由总线ex470相互连接。

电源电路部ex461，若通过用户的操作而话终以及电源键成为接通状态，则从电池组向各个部提供电力，从而使智能手机ex214成为能够工作的状态。

智能手机ex214，根据具有cpu、rom、ram等的主控制部ex460的控制，将声音通话模式时由声音输入部ex456收音的声音信号通过声音信号处理部ex454变换为数字声音信号，将它通过调制/解调部ex452进行扩普处理，由发送/接收部ex451进行数模变换处理以及频率变换处理后经由天线ex450发送。并且，智能手机ex214，将声音通话模式时经由天线ex450接收的接收数据放大执行频率变换处理以及模数变换处理，由调制/解调部ex452进行逆扩普处理，由声音信号处理部ex454变换为模拟声音信号后，将它从声音输出部ex457输出。

进而，在数据通信模式时发送电子邮件的情况下，由主体部操作部ex466等的操作输入的电子邮件的文本数据，经由操作输入控制部ex462发送到主控制部ex460。主控制部ex460，将文本数据由调制/解调部ex452进行扩普处理，由发送/接收部ex451执行数模变换处理以及频率变换处理后，经由天线ex450发送到基站ex210。在接收电子邮件的情况下，针对接收的数据进行与它大致相反的处理，输出到显示器ex458。

在数据通信模式时发送影像、静止图像、或影像以及声音的情况下，影像信号处理部ex455，将从相机部ex465提供的影像信号通过所述各个实施方式所示的运动图像编码方法进行压缩编码，将编码后的影像数据发送到多路复用/分离部ex453。并且，声音信号处理部ex454，将影像、静止图像等由相机部ex465拍摄中由声音输入部ex456收音的声音信号编码，将编码后的声音数据发送到多路复用/分离部ex453。

多路复用/分离部ex453，将从影像信号处理部ex455提供的编码后的影像数据和从声音信号处理部ex454提供的编码后的影像数据以规定的方式多路复用，将据此得到的多路复用数据由调制/解调部(调制/解调电路部)ex452进行扩普处理，由发送/接收部ex451执行数模变换处理以及频率变换处理后，经由天线ex450发送。

在数据通信模式时接收与主页等链接的运动图像文件的数据的情况下，或者，在接收添加了影像以及或声音的电子邮件的情况下，为了将经由天线ex450接收的多路复用数据解码，多路复用/分离部ex453，将多路复用数据分离，从而分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据提供到影像信号处理部ex455，并且，将编码后的声音数据提供到声音信号处理部ex454。影像信号处理部ex455，将由与所述各个实施方式所示的运动图像编码方法对应的运动图像解码方法解码来解码为影像信号，经由lcd控制部ex459从显示器ex458显示，例如，显示与主页链接的运动图像文件中包括的影像、静止图像。并且，声音信号处理部ex454，将声音信号解码，从声音输出部ex457输出声音。

并且，对于所述智能手机ex214等的终端，可以考虑，除了与电视机ex400同样，具有编码器/解码器的双方的收发型终端以外，编码器的发送终端、解码器的接收终端的三种安装形式。进而，说明了，在数字广播用系统ex300中，接收、发送影像数据与音乐数据等多路复用的多路复用数据，但是，也可以是声音数据以外与影像关联的文字数据等多路复用的数据，也可以不是多路复用数据而是影像数据本身。

并且，本发明不仅限于所述实施方式，能够在不脱离本发明的范围的情况下进行各种变形或者修改。

而且，在所述各个实施方式中，各个构成要素也可以，由专用的硬件构成，或者执行适于各个构成要素的软件程序来实现。各个构成要素也可以，cpu或处理器等的程序执行部，读出并执行由硬盘或半导体存储器等的记录介质记录的软件程序来实现。在此，实现所述各个实施方式的摄像系统等的软件是，如下程序。

也就是说，该程序，使计算机，执行校正照相机的参数的摄像系统的校正方法，即执行使具有用于校正的标记的移动体移动到所述照相机的拍摄区域内，使所述照相机拍摄所述标记，利用包括由所述照相机拍摄而得到的所述标记的图像，校正所述照相机的内部参数的校正方法。

以上，对于本发明的一个或多个形态涉及的摄像系统以及校正方法，根据实施方式进行了说明，但是，本发明，不仅限于该实施方式。只要不脱离本发明的范围，对本实施方式实施本领域技术人员想到的各种变形的形态，或组合不同的实施方式的构成要素来构成的形态，也可以包含在本发明的一个或多个形态的范围内。

工业实用性

本公开，有用于能够容易进行配置在规定的位置的摄像装置的内部参数的校正的摄像系统等。

符号说明

10、10a至10n摄像装置

100照相机

101存储部

102控制部

102a校正部

103光学系统

104图像传感器

105、125运动传感器

106、126工作检测部

107、147收音器

120支架

200控制装置

201存储部

202控制部

202a活动检测部

202b校正指示部

202c移动控制部

202d摄像控制部

203计时器

302a模型生成部

402a视点决定部

402b绘制部

402c场景分析部

402d追踪部

500用户接口

600、600a、600b移动体

601存储部

602控制部

603转子单元

604通信部

605检测部

606、606a标记

607照相机

1000摄像系统

3000三维空间重构装置

4000三维空间识别装置

5000用户设备

a1拍摄区域