信息处理装置、信息处理方法、程序和成像系统与流程

该技术涉及信息处理装置，信息处理方法，程序和成像系统，并且使得可以高效率地校准成像设备。

背景技术：

到目前为止，已经存在获得特殊视频效果并且通过使用多个成像设备获取被摄体的运动信息的情况。例如，在将多个成像设备布置在被摄体周围的同时执行成像；因此，执行提供看起来好像成像设备以超高速移动的效果等的所谓的子弹时间视频的产生，收集被摄体的运动数据的运动捕获等。在如此使用多个成像设备的情况下，校准成像设备以便提高托盘时间视频的稳定性，运动捕获的数据精度等，并且获取指示成像设备的焦距、镜头失真、安装位置、姿态等的参数。

此外，在成像设备的校准中，例如，如专利文献1中所示，捕获多个图像，在所述多个图像之间，校准板和成像设备之间的相对位置关系不同的。

引文列表

专利文献

专利文献1：jp2014-070978a

技术实现要素：

技术问题

同时，为了增强校准的精度以便提高托盘时间视频的稳定性，运动捕获的数据精度等，需要在要成像的空间中的大区域中移动校准板。此外，实时地从捕获图像检测校准板的处理施加了大的计算负荷，因此在后处理中执行校准板的检测。因此，在后处理中注意到校准板的移动区域小的情况下，需要再次执行成像，并且不能高效率地执行校准。

因此，该技术的目标是提供一种能够高效率地执行校准的信息处理装置、信息处理方法、程序和成像系统。

问题的解决方案

该技术的第一方面是一种信息处理装置，包括：数据处理单元，被配置为计算预定的成像设备的捕获图像中的校准指标在三维空间中的位置和姿态，并基于所述三维空间中的位置和姿态计算与预定的成像设备不同的成像设备的捕获图像中的校准指标的位置和姿态，并且针对每个成像设备呈现移动校准指标的成像情况。

在该技术中，数据处理单元获取预定的成像设备和与预定的成像设备不同的其他成像设备的内部参数和外部参数。例如，数据处理单元对预定的成像设备和其他成像设备进行分组，使得成像设备在相邻的组之间重复；针对每个组捕获校准指标的静止图像；并且根据预定数量的静止图像计算内部参数和外部参数，其中校准指标的位置和姿态在所述预定数量的静止图像之间是不同的。此外，例如，数据处理单元使用保持在成像设备中的信息作为内部参数，并且使用关于成像设备的附接位置和姿态的附接信息作为外部参数。

数据处理单元使用所获取的内部参数和外部参数来计算预定的成像设备的捕获图像中的校准指标在三维空间中的位置和姿态。此外，数据处理单元基于所计算的三维空间中的位置和姿态，计算与预定的成像设备不同的另一成像设备的捕获图像中的校准指标的位置和姿态。

数据处理单元基于所计算的捕获图像中的校准指标的位置和姿态，针对每个成像设备呈现移动校准指标的成像情况，诸如空间覆盖情况和姿态覆盖情况。在空间覆盖情况下，可以在成像画面上区分校准指标所位于的区域和校准指标不位于的区域。在状态覆盖情况下，校准指标的姿态被分类为多个姿态类别，并且可以在成像画面上区分包括校准指标的姿态的姿态类别和不包括校准指标的姿态的姿态类别。

此外，数据处理单元将其中以大尺寸、小倾斜度和前方位置拍摄校准指标的成像设备设置为预定的成像设备。此外，数据处理单元为每个成像设备生成示出移动校准指标的成像情况的显示信息，并将该显示信息输出到相应的成像设备。

数据处理单元从每个成像设备获取其中示出校准指标的区域不同于示出已经成像的校准指标的区域的捕获图像和校准指标的姿态为例如相应姿态类别中的第一个的捕获图像，并使用所获取的捕获图像执行校准处理。

该技术的第二方面是一种信息处理方法，包括：计算预定的成像设备的捕获图像中的校准指标在三维空间中的位置和姿态，并基于所述三维空间中的位置和姿态计算与预定的成像设备不同的成像设备的捕获图像中的校准指标的位置和姿态；以及通过数据处理单元针对每个成像设备呈现移动校准指标的成像情况。

该技术的第三方面是用于使计算机执行多个成像设备的校准的程序，该程序使计算机执行：计算预定的成像设备的捕获图像中的校准指标在三维空间中的位置和姿态的功能；基于所述三维空间中的位置和姿态，计算与预定的成像设备不同的成像设备的捕获图像中的校准指标的位置和姿态的功能；以及通过数据处理单元针对每个成像设备呈现移动校准指标的成像情况的功能。

注意，本技术的程序例如是可以由存储介质或通信介质以计算机可读格式提供给能够执行各种程序和代码的通用计算机的程序，所述存储介质或通信介质为例如诸如光盘、磁盘或半导体存储器的存储介质，或者诸如网络的通信介质。通过以计算机可读格式提供这样的程序，在计算机上执行根据程序的处理。

该技术的第四方面是一种成像系统，包括：多个成像设备，被配置为从不同位置对期望的被摄体成像；以及信息处理装置，被配置为通过使用由所述多个成像设备获取的校准指标的捕获图像来校准所述多个成像设备。该信息处理装置包括数据处理单元，该数据处理单元被配置为计算预定的成像设备的捕获图像中的校准指标在三维空间中的位置和姿态，并基于所述三维空间中的位置和姿态计算与预定的成像设备不同的成像设备的捕获图像中的校准指标的位置和姿态，并且针对每个成像设备呈现移动校准指标的成像情况。

发明的有益效果

根据该技术，数据处理单元计算预定的成像设备的捕获图像中的校准指标在三维空间中的位置和姿态，并基于所述三维空间中的位置和姿态计算由与预定的成像设备不同的成像设备获取的捕获图像中的校准指标的位置和姿态，并且针对每个成像设备呈现移动校准指标的成像情况。因此，容易在大区域中的位置中并且以期望的倾斜度设置校准指标的同时执行成像，并且可以防止校准指标的重新成像；因此，可以高效地执行高精度校准处理。注意，本说明书中描述的效果仅是示例而非限制性的，并且还可以具有附加效果。

附图说明

图1是示出成像系统的配置的图。

图2是示出信息处理装置的配置的图。

图3是示出校准操作的流程图。

图4是示出简单参数获取处理的流程图。

图5是示出用于简单参数获取的成像操作显示的图。

图6是示出在计算简单参数的情况下校准板的位置和姿态的图。

图7是示出用于简单参数获取的成像操作显示中的指令显示的图。

图8是示出用于精细校准的成像处理的流程图。

图9是示出校准板、成像设备c1和作为待分析对象的另一成像设备c2的坐标系与外部参数之间的关系的图。

图10是示出校准板的坐标系的图。

图11是用于描述四个角点在由成像设备c2获取的捕获图像的什么位置的图。

图12是示出从校准板的坐标系和成像设备的坐标系之间的关系找到校准板相对于成像设备c1和c2的姿态的情况的图。

图13是示出空间覆盖状态的显示的图。

图14是示出姿态覆盖状态的显示的图。

图15是示出由成像设备20-1的显示单元21显示空间覆盖情况和姿态覆盖情况的情况的图。

具体实施方式

在下文中，描述了用于实现本技术的实施例。注意，描述按以下顺序给出。

1.成像系统的配置

2.信息处理装置的配置和操作

<1.成像系统的配置>

图1示出了使用本技术的信息处理装置的成像系统的配置。成像系统10包括多个成像设备(在以下描述中，示出了使用七个成像设备20-1至20-7的情况)和信息处理装置50。注意，尽管图1示出了成像设备20-1至20-7和信息处理装置50经由中继器30执行有线或无线通信的情况，但是成像设备20-1至20-7和信息处理装置50在不使用中继器30的情况下执行有线或无线通信的配置也是可能的。

成像设备20-1至20-7被布置在要成像的被摄体周围。此外，成像设备20-1至20-7基于从信息处理装置50提供的控制数据执行各种设置、成像操作的控制等。此外，成像设备20-1至20-7将示出设定状态、镜头特性等的信息数据，以及通过执行成像操作获得的静止图像、实时取景图像、移动图像等发送到信息处理装置50。

信息处理装置50控制成像设备20-1至20-7以获取捕获图像。此外，信息处理装置50执行成像设备20-1至20-7的校准处理。信息处理装置50在校准处理中获取成像设备20-1至20-7的简单参数。此外，信息处理装置50使用简单参数来计算校准指标(例如校准板60)在由从成像设备20-1至20-7中选择的预定的成像设备获取的捕获图像中在三维空间中的位置和姿态。此外，信息处理装置50基于所计算的三维空间中的位置和姿态，使用简单参数来计算校准板60在与预定的成像设备不同的成像设备的捕获图像中的位置和姿态。此外，基于位置和姿态的计算结果，信息处理装置50呈现针对每个成像设备的移动校准板60的成像情况。此外，信息处理装置50通过使用其中由成像设备20-1至20-7捕获移动校准板60的捕获图像来执行校准，从而生成具有比简单参数更高精度的参数。

<2.信息处理装置的配置和操作>

图2示出了信息处理装置的配置。信息处理装置50包括通信单元51、数据存储单元52、显示单元53、用户接口(i/f)单元54和数据处理单元55，并且这些单元经由例如总线56而连接。

通信单元51将由数据处理单元55生成的控制数据发送到成像设备20-1到20-7。此外，通信单元51使得从成像设备20-1至20-7接收的捕获图像的图像数据和信息数据存储在数据存储单元52中。

显示单元53显示各种菜单、关于校准的操纵、校准板60的成像情况等。

用户接口单元54包括键盘、触摸板、操纵开关等；并根据用户的操纵生成操纵信号，并将操纵信号输出到数据处理单元55。

数据处理单元55基于由用户接口单元54生成的操纵信号执行每个单元的操作以及与成像设备20-1至20-7的通信，并且根据用户的操纵执行成像设备20-1至20-7的校准处理。在校准处理中，数据处理单元55计算在预定的成像设备的捕获图像中的校准板在三维空间中的位置和姿态。此外，数据处理单元55基于所计算的三维空间中的位置和姿态，计算在与预定的成像设备不同的成像设备的捕获图像中的校准板的位置和姿态；并且针对每个成像设备通过显示单元53显示移动校准板的成像情况。

图3是示出校准操作的流程图。在步骤st1中，数据处理单元执行简单参数获取处理。简单参数具有足以可以确定校准板的位置和姿态的精度就足够了；在简单参数获取处理中，为了能够在短时间内获取简单参数，使用在改变校准板的位置和姿态时捕获的预定数量的静止图像来执行校准。

图4是示出简单参数获取处理的流程图。在简单参数获取处理中，为了缩短时间，使用在改变校准板的位置和姿态时捕获的预定数量的静止图像来计算简单参数。此外，为了能够在短时间内获取静止图像，将多个成像设备进行分组，并且组中的成像设备同时对校准板进行成像。

执行分组使得校准板同时出现，即使校准板倾斜预定量，校准板也可以由相同组的成像设备检测到，并且成像设备在相邻组之间重复。例如，在如图1所示布置的成像设备中，成像设备20-3和20-5被分类在与成像设备20-4相同的组中，其中成像设备20-3和20-5的镜头的光轴方向与位于中心的成像设备20-4在预定的角度差内。此外，位于组中的端侧的至少一个成像设备包括在相邻组中，使得可以从包括在多个组中的成像设备输出的静止图像计算组之间的位置关系。例如，成像设备20-1至20-3被分类在相同的组中，并且成像设备20-5至20-7被分类在相同的组中。通过这样执行分组，可以如下所述计算由一个成像设备成像的校准板以屏幕上的什么位置以及什么姿态在另一成像设备中进行成像。此外，可以通过少量的成像操纵来获取用于计算简单参数的静止图像。

在步骤st11中，数据处理单元执行用于简单参数获取的成像操纵显示。数据处理单元55使显示单元53执行用于简单参数获取的成像操纵显示，并且前进到步骤st12。

图5示出了用于简单参数获取的成像操纵。在用于简单参数获取的成像操纵显示中，如上所述对成像设备20-1至20-7进行分组，并且以组为基础提供成像按钮。此外，在成像按钮的显示hs-a至hs-d中的每一个中，分配给与成像按钮对应的成像设备组的相机id被关联地显示。注意，在图5中，图1中所示的成像设备20-1的相机id是“1”，并且成像设备20-2至20-7的相机id是“2”至“7”。此外，成像设备20-1至20-3被分配给操作按钮“a组”，成像设备20-3至20-5被分配给操作按钮“b组”，并且成像设备20-5至20-7被分配给操作按钮“c组”。注意，向操作按钮“d组”提供显示没有分配成像设备的显示“n/a”；此外，在用于简单参数获取的成像操纵显示中还提供用于利用全部成像设备执行成像的成像按钮“全部(all)”的显示hs-e。

在步骤st12中，数据处理单元确定成像是否完成。数据处理单元55确定用于计算简单参数的静止图像的成像是否完成；在成像未完成的情况下，过程返回到步骤st11；在成像完成的情况下，过程进入步骤st13。

例如，信息处理装置50的用户界面单元54被设置在显示单元53的画面上；例如，在数据处理单元55已经基于操纵信号确定已经对操作按钮“a组”执行了触摸操纵的情况下，数据处理单元55将控制数据发送到成像设备20-1、20-2和20-3，使得它们执行进行静止图像成像的操作，并使得所获取的静止图像被发送到信息处理装置50。此外，数据处理单元55管理各组执行的成像次数；在数据处理单元55已经从成像设备20-1至20-7中的每一个获取了预定数量的静止图像的情况下，数据处理单元55确定用于计算简单参数的静止图像的成像完成。

此外，在用于简单参数获取的成像操纵显示中，如果数据处理单元55显示数量预定的、要用于计算简单参数的静止图像的数量和所获取的静止图像的数量，则数据处理单元55可以容易地掌握每组中的成像情况。此外，当执行成像时，如果显示关于校准板的姿态和位置的指令，则可以获取适合于获取简单参数的静止图像。

数据处理单元55使用例如在“zhengyouzhang,“aflexiblenewtechniqueforcameracalibration,”dec.1998,technicalreportmsr-tr-98-71.”(“zhengyouzhang,“用于相机校准的柔性新技术”,1998年12月,技术报告msr-tr-98-71.”)的文献中公开的技术来计算简单参数。在这种情况下，获取四个或更多个静止图像，在这些静止图像之间校准板的位置和姿态不同并且其中出现整个校准板。例如，在将校准板设置在如图6所示的任何位置的位置中的同时，数据处理单元55指示每个组执行成像。注意，图6的(a)示出了校准板设置在成像设备前方的近处位置的情况，图6(b)示出了校准板设置在成像设备前方的远处位置的情况。此外，图6的(c)和(d)示出了校准板设置在相对于成像设备在不同方向上倾斜的位置的情况。在由相应组执行由指令指示的校准板的每个位置的成像的情况下，数据处理单元55确定用于计算简单参数的静止图像的成像结束。

图7示出了用于简单参数获取的成像操纵显示中的指令显示。在指令显示中，针对每个组指示对校准板进行成像的位置和姿态。例如，通过提供校准板设置指令显示hs-f来指示校准板的位置和姿态。此外，可以在校准板设置指令显示hs-f中提供示出数量预定的、在改变校准板的位置和姿态的同时要获取的静止图像的数量，以及当前图像在图像中的什么顺序的显示。此外，以组为基础显示成像按钮使得能够区分示出随着显示板的位置和姿态的改变的预定数量的静止图像的成像完成的显示(例如操纵按钮“a组”的显示hs-a)，示出当前情况是在预定数量的静止图像的成像过程中的显示(例如操纵按钮“b组”的显示hs-b)，以及示出预定数量的静止图像的成像还没有执行的显示(例如操纵按钮“c组到e组”的成像按钮的显示hs-c)。通过执行这样的显示，用户可以容易地获取用于计算简单参数的静止图像。

在步骤st13中，数据处理单元执行简单参数计算处理。数据处理单元55使用通过步骤st11和st12的处理获取的静止图像来执行简单参数计算处理。数据处理单元55通过使用上述技术等计算简单参数，并找到作为内部参数的镜头焦距、图像中心和镜头失真系数，以及作为外部参数的旋转分量和平移分量。

如果简单参数获取处理结束，则数据处理单元55从图3的步骤st1进入步骤st2，并执行用于精细校准的成像处理。图8是示出用于精细校准的成像处理的流程图。

在步骤st21中，数据处理单元使移动图像记录开始。数据处理单元55使成像设备20-1至20-7开始捕获移动图像，并使所生成的移动图像存储在成像设备中。此外，数据处理单元55从生成用于计算校准板的三维空间中的位置和姿态的捕获图像的预定的成像设备获取移动图像，并且前进到步骤st22。注意，预定的成像设备可以预先设置，或者可以由用户指定。

在步骤st22中，数据处理单元计算校准板的位置和姿态。数据处理单元55使用由预定的成像设备生成的移动图像来计算校准板的三维空间中的位置和姿态。此外，数据处理单元55基于所计算的校准板的三维空间中的位置和姿态，计算与预定的成像设备不同的成像设备的捕获图像中的校准指标的位置和姿态；并前进到步骤st23。

接下来，使用图9至图12描述由预定的成像设备成像的校准板在另一成像设备中的位置和姿态的计算。在预定的成像设备c1和与预定的成像设备c1不同的另一成像设备c2中，已经通过简单参数获取处理获取了外部参数和内部参数。注意，指示成像设备c1中的旋转分量的外部参数由参数rw->c1表示，指示平移分量的外部参数由参数tw->c1表示，并且内部参数由ac1表示。此外，指示成像设备c2中的旋转分量的外部参数由参数rw->c2表示，指示平移分量的外部参数由参数tw->c2表示，并且内部参数由ac2表示。

图9示出了校准板、成像设备c1和作为待分析对象的其他成像设备c2的坐标系与外部参数之间的关系。注意，世界坐标系由()w表示，成像设备c1的坐标系由()c1表示，成像设备c2的坐标系由()c2表示。此外，由成像设备c1获取的图像的图像坐标系由()i1表示，并且由成像设备c2获取的图像的图像坐标系由()i2表示。

在成像设备c1和成像设备c2中，公式(1)至(4)的关系关于外部参数和内部参数成立。

[数学式1]

在已知成像设备的内部参数的情况下，从其中点成像的图像上的二维坐标和多个点的三维坐标的集合的外部参数的估计被认为是透视n点(perspective-n-point)问题(pnp问题)的解决方法。通过该解决方法，可以从成像设备c1获取的捕获图像的校准板导出公式(5)。注意，坐标系()cb是校准板的坐标系，如图10所示。

[数学式2]

因此，基于公式(1)和公式(5)，由成像设备c1成像的校准板上的点可以基于公式(6)由世界坐标系表示，如图10所示。

[数学式3]

在步骤st23中，数据处理单元计算校准板在另一成像设备中出现的位置以及校准板相对于成像设备的姿态。根据对于校准板的四个角点(p1、p2、p3和p4)变得清楚的世界坐标系中的坐标值，数据处理单元55可以基于公式(7)计算四个角点在由成像设备c2获取的捕获图像的什么位置，如图11所示。注意，公式(7)是公式(3)和公式(6)被应用于公式(4)的式子。

[数学式4]

此外，数据处理单元55可以根据校准板的坐标系和成像设备的坐标系之间的关系找到校准板相对于成像设备c1和c2的姿态。图12中所示的校准板的坐标系统可以通过基于公式(3)和公式(6)的公式(8)变换为成像设备c2的坐标系。

[数学式5]

此外，校准板的坐标系中的x轴、y轴和z轴方向上的单位矢量由(ex，ey，ez)cb表示。注意，ex、ey和ez在公式(9)至(11)中示出。

[数学式6]

数据处理单元55可以通过在公式(5)的基础上将校准板的坐标系中的单位矢量变换为成像设备c1的坐标系中的单位矢量来计算校准板相对于成像设备c1的姿态。此外，数据处理单元55可以通过在公式(8)的基础上将校准板的坐标系中的单位矢量变换为成像设备c2的坐标系中的单位矢量来计算校准板相对于成像设备c2的姿态。

数据处理单元55使用所获取的简单参数来计算由成像设备c1获取的捕获图像中的校准板被以什么位置和什么姿态在另一成像设备的捕获图像中成像，并且前进到步骤st24。

在步骤st24中，数据处理单元显示空间覆盖状态和姿态覆盖状态。数据处理单元55累积所计算的校准板的位置，并在成像画面上显示使得能够在校准板所位于的区域和校准板未位于的区域之间进行区分的空间覆盖状态。此外，数据处理单元55将校准板的姿态分类为多个姿态类别。在分类结果的基础上，数据处理单元55在成像画面上显示使得能够在包括校准板的姿态的姿态类别和不包括校准指标的姿态的姿态类别之间进行区分的姿态覆盖情况，并前进到步骤st25。

图13示出了空间覆盖状态的显示。对于成像设备20-1至20-7中的每一个，数据处理单元55使用所计算的校准板的位置来示出校准板被成像的区域，作为与其他区域不同的显示。例如，在图13中，通过阴影线示出校准板未成像的区域。通过显示这样的空间覆盖情况，数据处理单元55清楚地显示未对校准板进行成像的用户区域。此外，数据处理单元55可以向成像设备20-1至20-7中的每一个发送示出空间覆盖情况的信息，并且可以针对成像设备20-1至20-7单独显示空间覆盖情况。通过数据处理单元55使得显示这样的空间覆盖情况，用户可以在参考空间覆盖情况的显示在更大的区域中移动校准板的同时捕获移动图像。

图14示出了姿态覆盖状态的显示。对于成像设备20-1至20-7中的每一个，数据处理单元55使用所计算的校准板的姿态来显示校准板被成像的姿态类别，作为与其他姿态类别不同的显示。例如，在姿态覆盖状态的显示中，如图14(b)所示，提供向上姿态状态和向下姿态状态、向右姿态状态和向左姿态状态、以及不生成倾斜的状态的类别作为校准板的姿态类别。此外，比较成像的校准板的倾斜度和针对每个类别各预先设置的阈值；在倾斜度大于阈值的情况下，确定捕获图像包括在相应类别中。例如，在成像的校准板的倾斜度大于向上姿态状态的阈值的情况下，捕获图像被视为向上姿态状态的类别。此外，如图14的(a)所示，在被视为对应姿态的校准板已被成像的情况下，姿态类别的框显示由例如实线示出，并且在校准板未以相应姿态成像的情况下，姿态类别的框显示由虚线示出。通过显示这种姿态覆盖情况，数据处理单元55清楚地示出了不对校准板进行成像的用户姿态。此外，数据处理单元55可以将示出姿态覆盖情况的信息发送到成像设备20-1至20-7中的每一个，并且可以针对成像设备20-1至20-7单独显示姿态覆盖情况。通过数据处理单元55使得显示这种姿态覆盖情况，用户可以在参考姿态覆盖情况的显示以各种姿态设置校准板的同时捕获移动图像。

此外，数据处理单元55使得关于在空间或姿态的覆盖情况下已经从未成像的状态变为已经成像的状态的框的信息被存储在数据存储单元52中。数据处理单元55使得例如其中示出校准板的区域与示出已经成像的校准板的区域不同的捕获图像和其中的捕获图像的帧编号，时间代码等。对于每个成像设备20-1至20-7，校准板的姿态是相应类别中的第一个存储在数据存储单元52中的姿态。

在步骤st25中，数据处理单元确定是否切换预定的成像设备。数据处理单元55根据校准板的成像状态确定是否切换预定的成像设备。数据处理单元55使用成像设备20-1至20-7和校准板在世界坐标系中的坐标值来检测其中以比预定的成像设备中的校准板更大的尺寸、更小的倾斜度以及更前方的位置拍摄校准板的成像设备。在数据处理单元55已经检测到其中以大尺寸、小倾斜度和前方位置拍摄校准板的成像设备的情况下，数据处理单元55确定切换预定的成像设备，并前进到步骤st26；在数据处理单元55未检测到这样的成像设备的情况下，数据处理单元55确定不切换预定的成像设备，并且前进到步骤st27。

在步骤st26中，数据处理单元切换预定的成像设备。数据处理单元55将其中以大尺寸、小倾斜度和前方位置拍摄校准板的成像设备设置为预定的成像设备，并且从新设置的预定的成像设备获取移动图像；并前进到步骤st27。

在步骤st27中，数据处理单元确定成像是否完成。数据处理单元55基于例如用户的操纵或空间或姿态的覆盖情况来确定是否完成成像。在已经检测到用户的成像结束操纵的情况下，数据处理单元55确定结束成像。此外，数据处理单元55可以基于空间或姿态的覆盖情况来确定是否完成成像。例如，在空间覆盖情况显示中、在每个成像设备中校准板被成像的区域的比率大于或等于预定值，以及在姿态覆盖情况显示中、在每个成像设备中校准板以预定的姿态成像的情况下，处理单元55确定结束成像。在已经确定结束成像的情况下，数据处理单元55进入步骤st28。此外，在数据处理单元55未确定结束成像的情况下，数据处理单元55返回到步骤st22；并且在改变校准板的位置和姿态的同时，重复执行移动图像的记录、校准板的位置和姿态的计算、以及空间覆盖情况和姿态覆盖情况的显示。

在步骤st28中，数据处理单元使移动图像记录结束。数据处理单元55控制成像设备20-1至20-7的操作以使移动图像记录结束。

通过执行这种用于精细校准的成像处理，数据处理单元55可以利用每个成像设备获取其中在大区域中移动校准板的位置并且以各种姿态设置校准板的移动图像。

如果用于精细校准的成像处理结束，则数据处理单元55从图3的步骤st2前进到步骤st3。

在步骤st3中，数据处理单元执行精细校准处理。数据处理单元55从成像设备20-1至20-7获取在空间和姿态的覆盖情况下已经从未被成像的状态改变为已经被成像的状态的捕获图像。在上述步骤st24的处理中，关于在空间和姿态的覆盖情况下从未被成像的状态变为已经被成像的状态的框的信息被存储在数据存储单元52中。因此，数据处理单元55从数据存储单元52读出该信息，并从成像设备获取由读出的信息所示的捕获图像。例如，数据处理单元55从成像设备20-1获取由关于成像设备20-1的读出的信息所示的捕获图像。类似地，数据处理单元55从成像设备20-2至20-7获取由关于成像设备20-2至20-7的读出的信息所示的捕获图像。此外，数据处理单元55使用从成像设备20-1至20-7获取的捕获图像来执行校准处理，并且获取比通过步骤st1的简单参数获取处理获取的参数更高精度的参数。

如果执行这样的处理，则用户可以通过显示空间覆盖情况和姿态覆盖情况来实时检查用于多个成像设备的精细校准处理的校准板的成像情况。因此，在精细校准处理中，校准板未被成像的位置和姿态变得清楚，并且可以防止再次执行对校准板进行成像的操作的必要性。因此，可以高效地执行校准。此外，可以防止校准处理所需的时间变化很大。此外，可以在期望的空间覆盖情况和期望的姿态覆盖情况下使用捕获图像来计算参数；因此，可以以比通过简单参数获取处理获取的参数更高的精度获取参数。

<3.信息处理装置的其他操作>

通过上述简单参数获取处理获取的参数用于呈现空间覆盖状态和姿态覆盖状态的处理，以便在通过校准处理以高精度计算参数的情况下不再执行对校准板成像的操作。也就是说，通过简单参数获取处理获取的参数具有足以使得可以通过空间覆盖状态和姿态覆盖状态的显示来确定校准板的成像状态的精度就足够了。因此，数据处理单元55可以使用预先在成像设备等中设置的参数等，以及从预定数量的静止图像计算的参数。

例如，在成像设备20-1至20-7中保持镜头焦距、镜头失真系数等的信息的情况下，数据处理单元55可以从成像设备20-1获取所保持的信息，并且可以使用所获取的信息作为简单参数。此外，在成像设备20-1至20-7被附接到装备等的情况下，成像设备20-1至20-7的旋转分量和平移分量是根据附接状态的分量。因此，数据处理单元55可以在成像设备20-1至20-7被附接时预先计算旋转分量和平移分量，并且可以使用示出根据附接位置和姿态的旋转分量和平移分量的附接信息作为简单参数。因此，如果将预先准备的信息用作简单参数，则不需要在简单参数获取处理中对校准板成像，并且可以以更好的效率执行校准处理。

此外，空间覆盖情况和姿态覆盖情况的显示不限于由信息处理装置50的显示单元53执行的情况，并且可以在成像设备20-1到20-7中设置的显示单元上进行显示。图15示出了由成像设备20-1的显示单元21显示空间覆盖情况和姿态覆盖情况的情况。因此，如果通过每个成像设备显示空间覆盖情况和姿态覆盖情况，则可以容易地在成像设备的安装位置中检查空间覆盖情况和姿态覆盖情况。

这里描述的一系列处理可以由硬件、软件或其组合来执行。在通过软件执行处理的情况下，可以通过将处理序列被记录在其中的程序安装在嵌入专用硬件中的计算机的存储器中来执行处理，或者可以通过将程序安装在可以执行各种处理的通用计算机来执行处理。

例如，程序可以预先记录在作为记录介质的硬盘、固态驱动器(ssd)或只读存储器(rom)上。或者，程序可以临时或永久地存储(记录)在可移除记录介质(诸如软盘、光盘只读存储器(cd-rom)、磁光盘(mo)盘、数字通用盘(dvd)、蓝光盘(注册商标)(bd)、磁盘或半导体存储卡)中(上)。这种可移除记录介质可以作为所谓的封装软件提供。

另外，程序不仅可以从可移除记录介质安装在计算机上，而且还可以经由诸如lan(局域网)或因特网的网络从下载站点无线地或有线地传送到计算机。在这样的计算机中，以上述方式传送的程序可以被接收并安装在诸如内置硬件的记录介质上。

注意，本说明书中描述的效果仅是示例，而不是限制性的；并且可以展示未描述的其他效果。本技术不被解释为限于本技术的上述实施例。本技术的实施例以示例的形式公开了本技术，并且显而易见的是，本领域技术人员可以在不脱离本技术的主旨的情况下对实施例进行修改或替换。换句话说，为了确定本技术的要点，应该考虑权利要求。

另外，本技术还可以如下配置。

(1)一种信息处理装置，包括：

数据处理单元，被配置为计算预定的成像设备的捕获图像中的校准指标在三维空间中的位置和姿态，并基于所述三维空间中的位置和姿态计算与预定的成像设备不同的成像设备的捕获图像中的校准指标的位置和姿态，并且针对每个成像设备呈现移动校准指标的成像情况。

(2)根据(1)所述的信息处理装置，

其中，作为校准指标的成像情况的呈现，数据处理单元在成像画面上显示使得能够在校准指标所位于的区域与校准指标不位于的区域之间区分的空间覆盖情况。

(3)根据(1)或(2)所述的信息处理装置，

其中，作为校准指标的成像情况的呈现，数据处理单元将校准指标的姿态分类为多个姿态类别，并在成像画面上显示使得能够在包括校准指标的姿态的姿态类别和不包括校准指标的姿态的姿态类别之间区分的姿态覆盖情况。

(4)根据(1)至(3)中任一项所述的信息处理装置，

其中，数据处理单元通过使用获取的预定的成像设备和不同的成像设备的内部参数和外部参数计算校准指标在所述三维空间中的位置和姿态以及与预定的成像设备不同的成像设备的捕获图像中的校准指标的位置和姿态。

(5)根据(4)所述的信息处理装置，

其中，数据处理单元通过预定的成像设备和与预定的成像设备不同的成像设备捕获校准指标的静止图像，并根据预定数量的静止图像计算内部参数和外部参数，其中校准指标的位置和姿态在所述预定数量的静止图像之间是不同的。

(6)根据(5)所述的信息处理装置，

其中，数据处理单元将预定的成像设备和与预定的成像设备不同的成像设备分组，并且针对每个组捕获校准指标的静止图像。

(7)根据(6)所述的信息处理装置，

其中，执行分组从而使得校准指标同时出现，即使校准指标倾斜达到预定量，也能够由相同组的成像设备检测到校准指标，并且成像设备在相邻组之间重复。

(8)根据(4)至(7)中任一项所述的信息处理装置，

其中，数据处理单元使用保持在成像设备中的信息作为内部参数，并使用关于成像设备的附接位置和姿态的附接信息作为外部参数。

(9)根据(1)至(8)中任一项所述的信息处理装置，

其中，数据处理单元从每个成像设备获取示出校准指标的区域与示出已经成像的校准指标的区域不同的捕获图像和校准指标的姿态在相应的姿态类别中是第一个的捕获图像，并使用所获取的捕获图像执行校准处理。

(10)根据(1)至(9)中任一项所述的信息处理装置，

其中，数据处理单元将以大尺寸、小倾斜度和前方位置拍摄校准指标的成像设备设置为预定的成像设备。

(11)根据(1)至(10)中任一项所述的信息处理装置，

其中，数据处理单元为每个成像设备生成示出移动校准指标的成像情况的显示信息，并将显示信息输出到相应的成像设备。

工业适用性

在该技术的信息处理装置、信息处理方法、程序和成像系统中，计算预定的成像设备的捕获图像中的校准指标在三维空间中的位置和姿态，并基于所述三维空间中的位置和姿态计算由与预定的成像设备不同的成像设备获取的捕获图像中的校准指标的位置和姿态，并且针对每个成像设备呈现移动校准指标的成像情况。因此，容易地在大区域中的位置中并且以期望的倾斜度设置校准指标的同时执行成像，并且可以防止校准指标的重新成像；因此，可以高效地执行高精度校准处理。因此，该技术适用于获得特殊视频效果等的成像系统等。

附图标记列表

10成像系统

20-1至20-7成像设备

30中继器

50信息处理装置

51通信单元

52数据存储单元

53显示单元

54用户界面(i/f)单元

55数据处理单元

56总线

60校准板