控制装置、控制方法和存储介质与流程

本发明涉及用于生成虚拟视点图像的系统。

背景技术：

近年来，使用通过利用安装于不同位置的不同照相机从多个视点进行同步摄像所获得的多个视点图像来生成虚拟视点内容的技术已引起关注。根据上述的使用多个视点图像来生成虚拟视点内容的技术，用户可以以与正常图像相比更高的现实感以各种角度观看足球或篮球的精彩场景。

基于多视点图像的虚拟视点内容的生成和浏览可以通过在图像处理器中收集多个照相机所拍摄到的图像、使用图像处理器进行包括3d模型生成和绘制的处理、并且将处理后的图像发送至用户终端来实现。

此外，专利文献1公开了用于将虚拟照相机设置成不面向并非视点的位置或者未被观看的方向的技术。

然而，在专利文献1所公开的技术中，在根据状况而改变的范围内可能无法指定视点。因此，在虚拟视点图像中的视点可设置范围根据照相机操作状态而改变的情况下，如果在可设置范围外指定视点，则可能无法生成期望的虚拟视点图像。

引文列表

专利文献

专利文献1：日本特开2007-195091

技术实现要素：

根据本发明的实施例，用于系统的控制装置基于通过使用多个照相机从多个方向进行摄像所获得的图像数据来生成虚拟视点图像。所述控制装置包括：接收单元，其被配置为接收用户所发出的用于指定与虚拟视点图像的生成相关联的虚拟视点的指示；获得单元，其被配置为获得限制信息，所述限制信息用于指定基于所述接收单元所接收到的指示的虚拟视点的指定受到限制的限制区域，其中所述限制区域根据与所述图像数据相关联的参数而改变；以及通知单元，其被配置为进行基于所述获得单元所获得的限制信息的通知。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出图像处理系统的结构的图。

图2是示出照相机适配器的功能结构的框图。

图3是示出图像处理器的结构的框图。

图4是示出前端服务器的功能结构的框图。

图5是示出前端服务器中所包括的数据输入控制器的结构的框图。

图6是示出数据库的功能结构的框图。

图7是示出后端服务器的功能结构的框图。

图8是示出虚拟照相机操作ui的功能结构的框图。

图9是示出最终用户终端的连接结构的图。

图10是示出最终用户终端的功能结构的框图

图11是整个工作流程的流程图。

图12是机器安装之前的工作流程的流程图。

图13是机器安装时的工作流程的流程图。

图14是摄像之前的工作流程的流程图。

图15是控制站所进行的摄像时进行确认的工作流程的流程图。

图16是虚拟照相机操作ui所进行的摄像时的用户工作流程的流程图。

图17是示出安装时的校准的整个处理的序列图

图18是摄像之前的前端服务器的操作的流程图。

图19是摄像之前的数据库的操作的流程图。

图20是摄像期间的数据库的操作的流程图。

图21是安装时的校准处理的流程图。

图22a是示出摄像开始处理的序列图。

图22b是示出摄像开始处理的序列图。

图23是示出生成3d模型信息的处理的序列图。

图24是生成3d模型信息的处理的流程图。

图25是生成3d模型信息的处理的流程图。

图26是示出注视点组的图。

图27是示出旁路传输控制的图。

图28是示出旁路控制的图。

图29是示出数据传输流程的图。

图30是传输数据缩减处理的流程图。

图31是文件生成处理的流程图。

图32是将文件写入数据库的处理的流程图。

图33是从数据库读取文件的处理的流程图。

图34a是示出拍摄图像的图。

图34b是示出拍摄图像的图。

图34c是示出拍摄图像的图。

图35a是前景和背景之间的分离的流程图。

图35b是前景和背景之间的分离的流程图。

图35c是前景和背景之间的分离的流程图。

图35d是前景和背景之间的分离的流程图。

图35e是前景和背景之间的分离的流程图。

图36是示出生成虚拟照相机图像的处理的序列图。

图37a是示出虚拟照相机的图。

图37b是示出虚拟照相机的图。

图38a是生成实时图像的处理的流程图。

图38b是生成实时图像的处理的流程图。

图39是生成重放图像的处理的流程图。

图40是虚拟照相机路径的选择的流程图。

图41是示出最终用户终端所显示的画面的图。

图42是应用程序管理单元所进行的手动操作的处理的流程图。

图43是应用程序管理单元所进行的自动操作的处理的流程图。

图44是绘制处理的流程图。

图45是生成前景图像的处理的流程图。

图46是示出通过在安装之后进行的工作流程所生成的设置列表的图。

图47是示出控制站所进行的改变设置信息的处理的序列图。

图48是前端服务器所进行的数据接收处理的流程图。

图49是示出照相机适配器的硬件结构的框图。

具体实施方式

将参考图1所示的系统结构的图来说明如下的系统，其中在该系统中，在体育馆和音乐厅中安装多个照相机和多个麦克风以拍摄图像并收集声音。图像处理系统100包括传感器系统110a～110z、图像计算服务器200、控制器300、交换集线器180和最终用户终端190。

控制器300包括控制站310和虚拟照相机操作用户界面(ui)330。控制站310经由网络310a～310c、网络180a和180b以及网络170a～170y对图像处理系统100中所包括的块进行操作状态的管理和参数设置的控制等。这里，网络可以是作为以太网(ethernet，注册商标)的基于ieee标准的gbe(千兆以太网)或10gbe、或者互连infiniband和工业以太网等的组合。可选地，网络不限于这些，并且可以采用其它类型的网络。

首先，将说明将传感器系统110a～110z的26组图像和声音从传感器系统110z发送至图像计算服务器200的操作。在本实施例的图像处理系统100中，传感器系统110a～110z通过菊花链彼此连接。

在本实施例中，除非另外说明，否则传感器系统110a～110z这26组系统彼此不区分并且被描述为传感器系统110。同样，除非另外说明，否则各个传感器系统110中所包括的装置不区分并且被描述为麦克风111、照相机112、照相机平台113、外部传感器114和照相机适配器120。注意，作为传感器系统的数量的26仅仅是示例，并且传感器系统的数量不限于此。此外，例如，多个传感器系统110可以不具有相同的结构，并且可以是不同类型的装置。注意，在本实施例中，除非另外说明，否则术语“图像”包括运动图像和静止图像的概念。具体地，本实施例的图像处理系统100能够处理静止图像和运动图像这两者。此外，尽管在本实施例中主要说明图像处理系统100所提供的虚拟视点内容包括虚拟视点图像和虚拟视点声音的情况，但本发明不限于此。例如，虚拟视点内容可以不包括声音。此外，例如，可以利用位于离虚拟视点最近的麦克风来收集虚拟视点内容中所包括的声音。此外，尽管在本实施例中为了简化描述而部分省略了声音的说明，但基本上同时处理图像和声音。

传感器系统110a～110z具有各自的照相机112a～112z。具体地，图像处理系统100包括用于从多个方向拍摄被摄体的图像的多个照相机112。尽管利用相同的附图标记来说明多个照相机112，但照相机112的性能和类型可以彼此不同。多个传感器系统110通过菊花链彼此连接。利用该连接形式，在由于拍摄图像的4k或8k所需的高分辨率和高帧频因而图像数据的量增大的情况下，可以实现减少连接线缆的数量和减少布线作业的效果。

注意，连接形式不限于此，并且可以采用星型网络结构，在该星型网络结构中，传感器系统110a～110z各自连接至交换集线器180并且经由交换集线器180进行数据发送和接收。

尽管所有的传感器系统110a～110z通过级联连接而连接使得在图1中配置成菊花链，但连接形式不限于此。例如，可以将多个传感器系统110分割成组，并且传感器系统110可以按通过该分割所获得的组为单位通过菊花链连接。然后，用作分割单位的终端的照相机适配器120可以连接至交换集线器180，使得将图像供给至图像计算服务器200。这种结构在体育馆中特别有效。这里假定体育馆具有多个楼层并且传感器系统110安装在各个楼层中。在这种情况下，可以针对各楼层或针对体育馆的各半周进行向图像计算服务器200的输入，因此即使在难以进行通过一个菊花链的所有传感器系统100的布线的场所，也可以简化传感器系统110的安装并且图像处理系统100可以是灵活的。

此外，图像计算服务器200所进行的图像处理的控制根据与通过菊花链连接并且进行向图像计算服务器200的图像输入的照相机适配器120的数量是1还是2以上有关的判断结果而改变。具体地，根据与是否将传感器系统110分割成多个组有关的判断结果来改变控制。在仅一个照相机适配器120进行图像输入的情况下，在通过菊花链连接进行图像传输期间生成体育馆全周的图像，因此图像计算服务器200获得体育馆全周的图像数据的定时同步。具体地，如果没有将传感器系统110分割成组，则实现了同步。

然而，在将多个照相机适配器120用于图像输入的情况下，在菊花链的不同通道(路径)中可能发生从拍摄图像起直到将该图像输入至图像计算服务器200为止的时间段的不同延迟。具体地，在将传感器系统110分割成组的情况下，图像计算服务器200获得体育馆全周的图像数据的定时可能不同步。因此，在图像计算服务器200中，在利用通过等待体育馆全周的图像数据进行同步的同步控制来检查大量图像数据的情况下，在稍后阶段要进行图像处理。

在本实施例中，传感器系统110a包括麦克风111a、照相机112a、照相机平台113a、外部传感器114a和照相机适配器120a。注意，结构不限于此，只要传感器系统110a包括至少一个照相机适配器120a以及一个照相机112a或一个麦克风111a即可。此外，例如，传感器系统110a可以包括一个照相机适配器120a和多个照相机112a，或者包括一个照相机112a和多个照相机适配器120a。具体地，图像处理系统100中所包括的多个照相机112和多个照相机适配器120具有比为n:m(n和m是不小于1的整数)的关系。此外，传感器系统110可以包括除麦克风111a、照相机112a、照相机平台113a和照相机适配器120a之外的装置。此外，照相机112和照相机适配器120可以彼此一体化。此外，前端服务器230可以具有照相机适配器120的功能的至少一部分。由于传感器系统110b～110z具有与传感器系统110a的结构相同的结构，因此省略了对传感器系统110b～110z的结构的说明。注意，结构不限于传感器系统110a的结构，并且不同的传感器系统110可以具有不同的结构。

麦克风111a所收集的声音和照相机112a所拍摄到的图像在经由菊花链170a被发送至传感器系统110b中所包括的照相机适配器120b之前，经过照相机适配器120a所进行的以下所述的图像处理。同样，除从传感器系统110a供给的图像和声音外，传感器系统110b还将所收集的声音和拍摄图像发送至传感器系统110c。

通过连续地进行上述操作，传感器系统110a～110z所获得的图像和声音在被发送至图像计算服务器200之前，从传感器系统110z经由网络180b发送至交换集线器180。

注意，尽管在本实施例中照相机112a～112z与照相机适配器120a～120z分离，但照相机112a～112z和照相机适配器120a～120z可以集成在同一壳体中。在这种情况下，麦克风111a～111z可以并入一体化的照相机112中或者从外部连接至照相机112。

接着，将说明图像计算服务器200的结构和操作。本实施例的图像计算服务器200处理从传感器系统110z获得的数据。图像计算服务器200包括前端服务器230、数据库250(以下还称为“db”)、后端服务器270和时间服务器290。

时间服务器290具有传送时刻和同步信号的功能，并且将时刻和同步信号经由交换集线器180传送至传感器系统110a～110z。接收到了时刻和同步信号的照相机适配器120a～120z基于该时刻和同步信号对照相机112a～112z进行发生器锁定(genlock(同步锁定))，以便进行图像帧同步。具体地，时间服务器290使多个照相机112的摄像定时同步。由此，图像处理系统100可以基于在相同定时拍摄到的多个图像来生成虚拟视点图像，因此可以抑制由摄像定时之间的差异引起的虚拟视点图像的质量下降。尽管在本实施例中时间服务器290管理多个照相机112的时刻同步，但本发明不限于此，并且各个照相机112或各个照相机适配器120可以进行时刻同步所用的处理。

前端服务器230使用从传感器系统110z获得的图像和声音来重建分段的传输包，并且在根据照相机的标识符、数据类型和帧编号将图像和声音写入数据库250之前对数据格式进行转换。

接着，后端服务器270从虚拟照相机操作ui330接收视点的指定，根据所接收到的视点从数据库250读取图像和声音数据，并且通过进行绘制处理来生成虚拟视点图像。

图像计算服务器200的结构不限于此。例如，可以使前端服务器230、数据库250和后端服务器270中的至少两个一体化。此外，前端服务器230、数据库250和后端服务器270中的至少一种可以以复数形式包括在图像计算服务器200中。除上述装置之外的装置可以包括在图像计算服务器200的任意位置中。此外，最终用户终端190或虚拟照相机操作ui330可以具有图像计算服务器200的至少一些功能。

将经过了绘制处理的图像从后端服务器270发送至最终用户终端190，使得操作最终用户终端190的用户可以进行与所指定的视点相对应的图像观看和声音收听。具体地，后端服务器270基于多个照相机112所拍摄到的图像(多个视点图像)和视点信息来生成虚拟视点内容。更具体地，后端服务器270基于多个照相机适配器120从多个照相机112所拍摄到的图像中提取的特定区域的图像数据以及通过用户操作指定的视点来生成虚拟视点内容。后端服务器270将所生成的虚拟视点内容供给至最终用户终端190。以下将详细说明照相机适配器120所进行的特定区域的提取。注意，在本实施例中虚拟视点内容是由图像计算服务器200生成的，并且特别地，将主要说明利用后端服务器270生成虚拟视点内容的情况。然而，虚拟视点内容可以由图像计算服务器200中所包括的除后端服务器270以外的装置生成，或者可以由控制器300或最终用户终端190生成。

本实施例的虚拟视点内容包括从虚拟视点对被摄体摄像的情况下获得的虚拟视点图像。换句话说，虚拟视点图像表示来自所指定的视点的视图。虚拟视点可以由用户指定，或者可以基于图像分析的结果等自动指定。具体地，虚拟视点图像的示例包括与用户任意指定的视点相对应的任意视点图像(自由视点图像)。虚拟视点图像的示例还包括与用户从多个候选中指定的视点相对应的图像和与装置自动指定的视点相对应的图像。尽管在本实施例中主要说明虚拟视点内容包括声音数据(音频数据)的情况作为示例，但声音数据可以不包括在虚拟视点内容中。此外，后端服务器270可以根据诸如h.264或hevc等的编码方法对虚拟视点图像进行压缩编码，之后使用mpeg-dash协议将虚拟视点图像发送至最终用户终端190。此外，可以将虚拟视点图像以未经压缩的状态发送至最终用户终端190。特别地，在使用智能电话或平板电脑作为最终用户终端190的情况下采用前者的使用压缩编码的方法，而在使用能够显示未压缩图像的显示器的情况下采用后者的无需压缩的方法。具体地，图像格式根据最终用户终端190的类型可改变。此外，图像的发送协议不限于mpeg-dash，还可以使用http实时流传输(hls)或其它发送方法。

如上所述，图像处理系统100具有视频收集域、数据存储域和视频生成域这三个功能域。视频收集域包括传感器系统110a～110z，数据存储域包括数据库250、前端服务器230和后端服务器270，并且视频生成域包括虚拟照相机操作ui330和最终用户终端190。结构不限于此，并且例如，虚拟照相机操作ui330可以直接从传感器系统110a～110z获得图像。然而，在本实施例中，代替用于直接从传感器系统110a～110z获得图像的方法，采用用于在中间部分配置数据存储功能的方法。具体地，前端服务器230将传感器系统110a～110z所生成的图像数据和声音数据以及该数据的元数据转换成数据库250的共同模式和共同数据类型。由此，即使传感器系统110a～110z的照相机112的类型改变为其它类型，该变化的差异也可被前端服务器230吸收并登记在数据库250中。因此，可以降低在照相机112的类型改变为其它类型的情况下虚拟照相机操作ui330不适当地操作的可能性。

此外，虚拟照相机操作ui330不直接访问数据库250，而是经由后端服务器270访问数据库250。后端服务器270进行与图像生成处理相关联的共同处理，并且虚拟照相机操作ui330处理与操作ui相关联的应用程序的差异部分。因此，可以关注虚拟照相机操作ui330的开发、ui操作装置的开发、以及用于操作要生成的虚拟视点图像的ui的功能要求的开发。此外，后端服务器270可以响应于从虚拟照相机操作ui330供给的请求来添加或删除与图像生成处理相关联的共同处理。这样，灵活地应对从虚拟照相机操作ui330供给的请求。

如上所述，在图像处理系统100中，后端服务器270基于通过用于从多个方向拍摄被摄体的图像的多个照相机112进行的摄像所获得的图像数据来生成虚拟视点图像。本实施例的图像处理系统100的结构不限于上述的物理结构，并且图像处理系统100可以是以逻辑方式配置的。此外，尽管在本实施例中说明了基于照相机112所拍摄到的图像来生成虚拟视点图像的技术，但例如，在代替拍摄图像而是基于通过计算机图形所生成的图像来生成虚拟视点图像的情况下，也可以采用本实施例。

接着，将说明图1的系统中的节点(照相机适配器120、前端服务器230、数据库250、后端服务器270、虚拟照相机操作ui330和最终用户终端190)的功能框图。

参考图2来说明本实施例中的照相机适配器120的功能块。注意，以下将参考图29来详细说明照相机适配器120的功能块之间的数据流。

照相机适配器120包括网络适配器06110、传输单元06120、图像处理器06130和外部装置控制器06140。网络适配器06110包括数据发送/接收单元06111和时刻控制器06112。

数据发送/接收单元06111通过菊花链170以及网络291和310a与其它的照相机适配器120、前端服务器230、时间服务器290和控制站310进行数据通信。例如，数据发送/接收单元06111将由前景/背景分离单元06131从照相机112所拍摄到的图像中分离出的前景图像和背景图像输出至例如其它的照相机适配器120其中之一。用作输出目的地的照相机适配器120是图像处理系统100内所包括的照相机适配器120中的、接下来按照根据数据路由处理器06122进行的处理所确定的预定顺序所要处理的照相机适配器120。各个照相机适配器120输出前景图像和背景图像，并且基于从多个视点拍摄到的前景图像和背景图像来生成虚拟视点图像。注意，照相机适配器120可以不输出背景图像，而是输出与拍摄图像分离的前景图像。

时刻控制器06112例如符合基于ieee1588标准的ordinaryclock(普通时钟)，具有用于存储发送至时间服务器290和从时间服务器290接收到的数据的时间戳的功能，并且执行与时间服务器290的时刻同步。代替ieee1588标准，时刻控制器06112可以根据诸如etheravb标准或独特协议等的其它标准来实现与时间服务器290的时刻同步。尽管在本实施例中使用网络接口卡(nic)作为网络适配器06110，但代替nic，可以使用其它类似的接口。此外，更新ieee1588作为诸如ieee1588-2002或ieee1588-2008等的标准，并且ieee1588-2008也被称为“精确时间协议版本2(ptpv2)”。

传输单元06120具有用于控制经由网络适配器06110向交换集线器180等的数据传输的功能，并且具有以下的功能单元。

数据压缩/解压缩单元06121具有用于使用预定压缩方法、预定压缩率和预定帧频对经由数据发送/接收单元06111发送和接收的数据进行压缩的功能、以及用于对压缩数据进行解压缩的功能。

数据路由处理器06122使用以下要说明的数据路由信息存储单元06125中所存储的数据来确定数据发送/接收单元06111所接收到的数据和图像处理器06130处理后的数据的路由目的地。数据路由处理器06122还具有将数据发送至所确定的路由目的地的功能。路由目的地优选地对应于照相机适配器120中的与照相机112中的如下照相机相对应的照相机适配器，其中由于照相机112之间的图像帧相关性高，因此该照相机在图像处理方面关注同一注视点。根据多个照相机适配器120的数据路由处理器06122所进行的确定来确定在图像处理系统100内以中继方式输出前景图像和背景图像的照相机适配器120的顺序。

时刻同步控制器06123符合ieee1588标准的精确时间协议(ptp)，并且具有用于进行同与时间服务器290的时刻同步相关联的处理的功能。代替ptp，时刻同步控制器06123可以使用其它类似协议来进行时刻同步。

图像/声音传输处理器06124具有用于生成用于将图像数据或声音数据经由数据发送/接收单元06111传送至其它的照相机适配器120或前端服务器230其中之一的消息的功能。该消息包括图像数据或声音数据以及图像数据或声音数据的元数据。本实施例的元数据包括拍摄图像或采样声音时所获得的时间码或者序列号、数据类型、以及照相机112或麦克风111的标识符。注意，可以利用数据压缩/解压缩单元06121对要发送的图像数据或要发送的声音数据进行压缩。此外，图像/声音传输处理器06124从其它的照相机适配器120其中之一经由数据发送/接收单元06111接收消息。之后，图像/声音传输处理器06124根据消息中所包括的数据类型来对按传输协议所规定的包大小碎片化的数据信息进行恢复，以便获得图像数据或声音数据。注意，在恢复数据之后数据处于压缩状态的情况下，数据压缩/解压缩单元06121进行解压缩处理。

数据路由信息存储单元06125具有存储用于确定数据发送/接收单元06111所发送或接收的数据的发送目的地的地址信息的功能。以下将说明路由方法。

图像处理器06130具有在照相机控制器06141的控制下对照相机112所拍摄到的图像数据和从其它的照相机适配器120其中之一供给的图像数据进行处理的功能，并且具有以下所述的功能单元。

前景/背景分离单元06131具有在照相机112所拍摄到的图像数据中将前景图像和背景图像彼此分离的功能。具体地，多个照相机适配器120各自作为图像处理装置工作，该图像处理装置从多个照相机112中的相应照相机拍摄到的图像中提取预定区域。例如，预定区域是作为对拍摄图像进行的对象检测的结果所获得的前景图像。前景/背景分离单元06131通过提取来在拍摄图像中将前景图像和背景图像彼此分离。注意，例如，对象对应于人物。对象可以是特定人物(选手、教练和/或裁判)，或者可以是具有预定图像图案的球或球门。可选地，可以将移动体检测为对象。在将包括诸如人物等的重要对象的前景图像和不包括这样的重要对象的背景区域彼此分离之后处理这两者的情况下，可以提高在图像处理系统100中生成的虚拟视点图像中的与对象相对应的部分的图像的质量。此外，利用各个照相机适配器120进行前景图像和背景图像之间的分离，使得可以分散包括多个照相机112的图像处理系统100中的负荷。注意，代替前景图像，例如预定区域可以是背景图像。

3d模型信息生成单元06132具有以下功能：使用前景/背景分离单元06131所分离出的前景图像和从其它的照相机适配器120其中之一供给的前景图像，根据例如立体照相机原理来生成与3d模型相关联的图像信息。

校准控制器06133具有以下功能：经由照相机控制器06141从照相机112获得校准所需的图像数据，并且将该图像数据发送至进行与校准相关联的计算处理的前端服务器230。本实施例的校准是用于使参数与各个照相机112相关联以实现匹配的处理。作为校准，例如进行用于进行控制使得所安装的照相机112的世界坐标系彼此一致的处理、以及用于抑制照相机112之间的颜色变化的颜色校正处理。注意，校准的具体处理内容不限于此。此外，尽管在本实施例中利用前端服务器230进行与校准相关联的计算处理，但进行计算处理的节点不限于前端服务器230。例如，可以利用诸如控制站310或照相机适配器120(包括其它的照相机适配器120)等的其它节点来进行计算处理。校准控制器06133具有根据预设参数在摄像期间对经由照相机控制器06141从照相机112供给的图像数据进行校准(动态校准)的功能。

外部装置控制器06140具有用于控制连接至照相机适配器120的装置的功能，并且具有以下所述的功能块。

照相机控制器06141连接至照相机112，并且具有用于进行照相机112的控制、拍摄图像的获得、同步信号的供给和时刻的设置的功能。照相机112的控制包括摄像参数(像素数、颜色深度、帧频和白平衡等的设置)的设置和参考、照相机112的状态(摄像中、停止中、同步和错误等的状态)的获得、摄像的开始和停止、以及焦点调整等。注意，尽管在本实施例中经由照相机112进行焦点调整，但在可拆卸镜头安装至照相机112的情况下，照相机适配器120可以连接至镜头以直接调整镜头。此外，照相机适配器120可以经由照相机112进行诸如变焦等的镜头调整。在使用时刻同步控制器06123与时间服务器290同步的时刻将摄像定时(控制时钟)供给至照相机112时，进行同步信号的供给。例如，通过供给时刻同步控制器06123与时间服务器290同步的时刻作为符合smpte12m的格式的时间码，来进行时刻设置。由此，指派了指派至从照相机112供给的图像数据的时间码。注意，时间码的格式不限于smpte12m，并且可以采用其它格式。此外，照相机控制器06141可以不将时间码指派至照相机112，而是可以将时间码指派至从照相机112供给的图像数据。

麦克风控制器06142连接至麦克风111，并且具有用于进行麦克风111的控制、声音收集的开始和停止以及所收集的声音数据的获得等的功能。麦克风111的控制包括增益控制和状态的获得等。与照相机控制器06141相同，麦克风控制器06142将声音采样的定时和时间码供给至麦克风111。作为表示声音采样的定时的时钟信息，将从时间服务器290供给的时间信息转换成例如48khz的字时钟并且供给至麦克风111。

照相机平台控制器06143连接至照相机平台113并且具有控制照相机平台113的功能。照相机平台113的控制的示例包括平摇/俯仰控制和状态获得。

传感器控制器06144连接至外部传感器114，并且具有用于获得外部传感器114所感测到的传感器信息的功能。如果例如使用陀螺仪传感器作为外部传感器114，则可以获得表示振荡的信息。使用传感器控制器06144所获得的与振荡有关的信息，图像处理器06130可以在前景/背景分离单元06131所进行的处理之前生成受照相机112的振荡影响较小的图像。在考虑到振荡信息按比原始8k大小小的大小提取8k照相机所获得的图像数据、并且进行与同目标照相机112相邻地所安装的照相机112的图像的定位的情况下，使用振荡信息。因此，即使建筑物的结构体振荡以不同的频率传递至照相机112，也可以通过照相机适配器120的该功能进行定位。结果，可以生成受图像处理影响较小的(电子防止的)图像数据，并且可以获得减轻针对图像计算服务器200中的多个照相机112所进行的定位的处理负荷的效果。注意，传感器系统110的传感器不限于外部传感器114，并且即使传感器并入照相机适配器120中，也可以获得相同的效果。

图3是示出照相机适配器120内所包括的图像处理器06130的功能框图。校准控制器06133对所输入的图像进行用于抑制照相机112之间的颜色变化的颜色校正处理，并且对所输入的图像进行用于通过减少照相机112的振动所引起的图像模糊来使图像稳定的模糊校正处理(电子振动控制处理)。

现在将说明前景/背景分离单元06131的功能块。前景分离单元05001进行用于通过将对照相机112所拍摄到的图像进行的定位之后所获得的图像数据与背景图像05002进行比较来分离前景图像的处理。

背景更新单元05003使用背景图像05002和照相机112所拍摄到的经过了定位的图像来生成新的背景图像，并且利用该新的背景图像来更新背景图像05002。

背景提取单元05004进行用于提取背景图像05002的一部分的控制。这里，将说明3d模型信息生成单元06132的功能。

3d模型处理器05005使用前景分离单元05001所分离出的前景图像和经由传输单元06120供给的其它照相机112其中之一所拍摄到的前景图像，根据例如立体照相机原理来连续地生成与3d模型相关联的图像信息。

不同照相机前景接收单元05006接收经由其它的照相机适配器120其中之一进行的前景/背景分离所获得的前景图像。

照相机参数接收单元05007接收各照相机特有的内部参数(包括焦距、图像中心和镜头失真的参数)以及表示各照相机的位置/取向的外部参数。这些参数是通过以下所述的校准处理获得的信息，并且由控制站310发送并设置到照相机适配器120。随后，3d模型处理器05005使用照相机参数接收单元05007和不同照相机前景接收单元05006来生成3d模型信息。

图4是示出前端服务器230的功能框图。控制器02110包括cpu和存储介质(诸如动态随机存取存储器(dram)、存储程序数据和各种数据的硬盘驱动器(hdd)、或者反向and(nand)存储器等)、以及诸如以太网(ethernet)等的硬件。然后，控制器02110控制前端服务器230中所包括的各种块和前端服务器230的整个系统。此外，控制器02110在包括校准操作、摄像前准备操作和摄像期间的操作等的操作模式之间进行切换。此外，控制器02110通过以太网从控制站310等接收控制指示，并且进行模式之间的切换以及数据的输入和输出。此外，控制器02110经由网络从控制站310获得体育馆cad数据(体育馆形状数据)，并且将该体育馆cad数据发送至cad数据存储单元02135和摄像数据文件生成单元02180。注意，本实施例中的体育馆cad数据(体育馆形状数据)是表示体育馆的形状的3d数据，并且cad方法不受限制，只要体育馆cad数据表示网格模型或其它3d形状即可。

数据输入控制器02120通过诸如以太网等的通信路径和交换集线器180经由网络连接至照相机适配器120。数据输入控制器02120通过网络从照相机适配器120获得前景图像、背景图像、被摄体的3d模型、声音数据和照相机校准拍摄图像数据。这里，前景图像对应于基于虚拟视点图像的生成所用的拍摄图像的前景区域的图像数据，并且背景图像对应于基于该拍摄图像的背景区域的图像数据。照相机适配器120根据对照相机112所拍摄到的图像进行的检测预定对象的处理的结果来指定前景区域和背景区域，并且生成前景图像和背景图像。例如，预定对象对应于人物。预定对象可以是特定人物(选手、教练和/或裁判)。预定对象的示例还可以包括诸如球或球门等的具有预定图像图案的对象。可选地，可以将移动体检测为预定对象。

数据输入控制器02120将所获得的前景图像和所获得的背景图像发送至数据同步单元02130，并且将照相机校准拍摄图像数据发送至校准单元02140。此外，数据输入控制器02120具有对所接收到的数据进行压缩和解压缩以及数据路由处理等的功能。此外，尽管控制器02110和数据输入控制器02120各自具有经由诸如以太网等的网络的通信功能，但控制器02110和数据输入控制器02120可以具有共同的通信功能。在这种情况下，从控制站310供给的控制命令的指示和体育馆cad数据可以由数据输入控制器02120接收到并且进一步发送至控制器02110。

数据同步单元02130将从照相机适配器120获得的数据临时存储在dram中，并且缓冲所获得的数据，直到获得所有的前景图像、背景图像、声音数据和3d模型数据为止。注意，以下将前景图像、背景图像、声音数据和3d模型数据统称为“摄像数据”。将包括路由信息、时间码信息(时间信息)和照相机标识符的元数据指派至摄像数据，并且数据同步单元02130基于该元数据来确认数据的属性。由此，数据同步单元02130判断为获得了同一时间点的数据，从而判断为获得了所有数据。这是因为，无法确保通过网络从各个照相机适配器120传送来的数据的网络包的接收顺序，并且需要缓冲该数据，直到获得文件生成所需的所有数据为止。在获得了所有数据的情况下，数据同步单元02130将前景图像和背景图像发送至图像处理器02150，将3d模型数据发送至3d模型结合单元02160，并且将声音数据发送至摄像数据文件生成单元02180。注意，要获得的数据是以下所述的摄像数据文件生成单元02180进行的文件生成所需的。此外，可以按不同的帧频拍摄背景图像和前景图像。例如，在背景图像的帧频为1fps的情况下，每一秒拍摄一个背景图像，因此可以判断为：在没有获得背景图像的时间段内，在不存在背景图像的状态下获得了所有的数据。此外，在预定时间段之后没有获得数据的情况下，数据同步单元02130将表示没有获得所有数据的信息发送至数据库250。在后级的数据库250存储数据时，将表示缺少数据的信息连同照相机编号和帧编号一起存储。因此，可以根据从虚拟照相机操作ui330向后端服务器270发出的视点指示来在绘制之前自动发送与是否要由数据库250中所收集的照相机112拍摄到的图像形成期望图像有关的判断的结果。结果，可以减轻虚拟照相机操作ui330的操作员的目视确认的负荷。

cad数据存储单元02135将从控制器02110接收到的表示体育馆的形状的3d数据存储在诸如dram、hdd或nand存储器等的存储介质中。然后，cad数据存储单元02135在接收到对体育馆形状数据的请求时，将所存储的体育馆形状数据发送至图像结合单元02170。

校准单元02140进行照相机校准操作，并且将通过校准获得的照相机参数发送至非摄像数据文件生成单元02185。同时，校准单元02140将照相机参数存储在其存储区域中，并且将与照相机参数有关的信息供给至以下所述的3d模型结合单元02160。

图像处理器02150对前景图像和背景图像进行照相机112的颜色和亮度值的调整、在输入raw图像数据的情况下的显像处理、以及照相机镜头的失真的校正。将经过了图像处理的前景图像和背景图像分别发送至摄像数据文件生成单元02180和图像结合单元02170。

3d模型结合单元02160使用校准单元02140所生成的照相机参数将从照相机适配器120同时获得的3d模型数据彼此结合。然后，3d模型结合单元02160使用所谓的visualhull方法生成整个体育馆的前景图像的3d模型数据。将所生成的3d模型发送至摄像数据文件生成单元02180。

图像结合单元02170从图像处理器02150获得背景图像，从cad数据存储单元02135获得体育馆的3d形状数据(体育馆形状数据)，并且指定与所获得的体育馆的3d形状数据的坐标相对应的背景图像的位置。在指定了各个背景图像中的与体育馆的3d形状数据的坐标相对应的位置的情况下，背景图像彼此结合，由此获得一个背景图像。注意，背景图像的3d形状数据的生成可以由后端服务器270进行。

摄像数据文件生成单元02180从数据同步单元02130获得声音数据，从图像处理器02150获得前景图像，从3d模型结合单元02160获取3d模型数据，并且从图像结合单元02170获得以3d形状结合的背景图像。然后，摄像数据文件生成单元02180将所获得的数据输出至db访问控制器02190。这里，摄像数据文件生成单元02180在输出数据之前，基于数据的时间信息来使数据彼此关联。注意，在输出数据之前，数据的一部分可以彼此关联。例如，摄像数据文件生成单元02180在输出前景图像和背景图像之前，基于前景图像的时间信息和背景图像的时间信息来使前景图像和背景图像彼此关联。此外，例如，摄像数据文件生成单元02180在输出前景图像、背景图像和3d模型数据之前，基于前景图像的时间信息、背景图像的时间信息和3d模型数据的时间信息来使前景图像、背景图像和3d模型数据彼此关联。注意，摄像数据文件生成单元02180可以在输出之前针对数据的各类型以数据为单位生成关联数据的文件，或者可以针对利用时间信息表示的时间点以数据为单位生成多个类型的数据的文件。在将这样关联的摄像数据从用作进行关联的图像处理设备的前端服务器230输出至数据库250的情况下，后端服务器270可以使用具有相同时间信息的前景图像和背景图像来生成虚拟视点图像。

在数据输入控制器02120所获得的前景图像和背景图像的帧频彼此不同的情况下，摄像数据文件生成单元02180难以在输出之前使同一时间点所获得的前景图像和背景图像彼此关联。因此，摄像数据文件生成单元02180在输出之前，使前景图像和具有与前景图像的时间信息存在基于预定规则的关系的时间信息的背景图像彼此关联。这里，具有与前景图像的时间信息存在基于预定规则的关系的时间信息的背景图像例如是指摄像数据文件生成单元02180所获得的背景图像中的、具有与前景图像的时间信息最相似的时间信息的背景图像。这样，通过基于预定规则使前景图像与背景图像相关联，即使前景图像和背景图像的帧频彼此不同，也可以使用在相似时间点拍摄到的前景图像和背景图像来生成虚拟视点图像。注意，用于关联前景图像和背景图像的方法不限于上述方法。例如，具有与前景图像的时间信息存在基于预定规则的关系的时间信息的背景图像可以是所获得的具有与前景图像的时间点之前的时间点相对应的时间信息的背景图像中的、具有与前景图像的时间信息最接近的时间信息的背景图像。根据该方法，可以在无需等待具有比前景图像的帧频低的帧频的背景图像的获得的情况下，以较少的延迟输出彼此关联的前景图像和背景图像。具有与前景图像的时间信息存在基于预定规则的关系的时间信息的背景图像可以是所获得的具有与前景图像的时间点之后的时间点相对应的时间信息的背景图像中的、具有与前景图像的时间信息最接近的时间信息的背景图像。

非摄像数据文件生成单元02185从校准单元02140获得照相机参数并从控制器02110获得体育馆的3d形状数据，并且在将照相机参数和3d形状数据转换成采用文件格式的照相机参数和3d形状数据之后，将这些照相机参数和3d形状数据发送至db访问控制器02190。注意，根据文件格式来各自对要输入至非摄像数据文件生成单元02185的照相机参数和体育馆形状数据进行转换。具体地，在接收到数据其中之一的情况下，非摄像数据文件生成单元02185独立地将该数据发送至db访问控制器02190。

db访问控制器02190连接至数据库250，使得通过infiniband进行高速通信。然后，db访问控制器02190将从摄像数据文件生成单元02180和非摄像数据文件生成单元02185供给的文件发送至数据库250。在本实施例中，摄像数据文件生成单元02180基于时间信息所关联的摄像数据经由db访问控制器02190被输出至用作经由网络连接至前端服务器230的存储装置的数据库250。注意，关联的摄像数据的输出的目的地不限于此。例如，前端服务器230可以将基于时间信息所关联的摄像数据输出至用作图像生成装置的后端服务器270，该图像生成装置生成虚拟视点图像并且经由网络连接至前端服务器230。此外，前端服务器230可以将摄像数据输出到数据库250和后端服务器270这两者。

尽管在本实施例中前端服务器230使前景图像和背景图像彼此关联，但本发明不限于此，并且数据库250可以进行关联。例如，数据库250从前端服务器230获得具有时间信息的前景图像和背景图像。然后，数据库250在将前景图像和背景图像输出至数据库250中所包括的存储单元之前，可以基于前景图像的时间信息和背景图像的时间信息使前景图像和背景图像彼此相关联。

图5是示出前端服务器230中所包括的数据输入控制器02120的功能框图。

数据输入控制器02120包括服务器网络适配器06210、服务器传输单元06220和服务器图像处理器06230。服务器网络适配器06210包括服务器数据接收单元06211，并且具有接收从照相机适配器120发送来的数据的功能。

服务器传输单元06220具有处理从服务器数据接收单元06211供给的数据的功能，并且包括以下所述的功能单元。服务器数据解压缩单元06221具有对压缩数据进行解压缩的功能。

服务器数据路由处理器06222根据以下所述的服务器数据路由信息存储单元06224中所存储的诸如地址等的路由信息来确定数据的传送目的地，并且传送从服务器数据接收单元06211供给的数据。

服务器图像/声音传输处理器06223经由服务器数据接收单元06211从照相机适配器120接收消息，并且根据该消息中所包括的数据类型将碎片化的数据恢复成图像数据或声音数据。注意，在恢复后的图像数据或恢复后的声音数据已被压缩的情况下，服务器数据解压缩单元06221进行解压缩处理。

服务器数据路由信息存储单元06224具有存储用于确定服务器数据接收单元06211所接收到的数据的发送目的地的地址信息的功能。以下将说明路由方法。

服务器图像处理器06230具有进行与从照相机适配器120供给的图像数据或声音数据相关联的处理的功能。该处理的内容包括转换成如下的适当格式的处理，其中采用该适当格式，根据图像数据的数据实体(前景图像、背景图像和3d模型信息)而指派了照相机编号、图像帧的摄像时刻、图像大小、图像格式和图像的坐标的属性信息。

图6是示出数据库250的功能框图。控制器02410包括cpu和存储介质(诸如动态随机存取存储器(dram)、存储程序数据和各种数据的硬盘驱动器(hdd)、或者反向and(nand)存储器等)、以及诸如以太网等的硬件。然后，控制器02410控制数据库250的各种功能块和数据库250的整个系统。

数据输入单元02420通过诸如infiniband等的高速通信从前端服务器230接收摄像数据或非摄像数据的文件。所接收到的文件被发送至高速缓存器02440。此外，数据输入单元02420读取所接收到的摄像数据的元数据，并且使用该元数据中所记录的时间记录信息、路由信息和与照相机标识符有关的信息来生成数据库表，以便访问所获得的数据。

数据输出单元02430确定高速缓存器02440、主存储器02450和辅助存储器02460中的、存储后端服务器270所请求的数据的存储器。然后，数据输出单元02430从存储目的地读取数据，并且通过诸如infiniband等的高速通信将所读取的数据发送至后端服务器270。

高速缓存器02440包括能够实现高速输入/输出吞吐量的诸如dram等的存储装置，并且将从数据输入单元02420供给的摄像数据和非摄像数据存储在存储装置中。保持所存储的数据直到达到预定量为止，并且每当数据量超过预定量时，从较旧数据起顺次向主存储器02450写入数据并且将新数据写入写有主存储器02450中已写入的数据的部分中。高速缓存器02440中所存储的一定量的数据对应于至少一帧的摄像数据。因此，在后端服务器270进行图像绘制处理时，可以将数据库250中的吞吐量抑制到最低限度，并且可以以较小的延迟连续地绘制新的图像帧。这里，为了实现上述目的，需要将背景图像包括在高速缓存的数据中。因此，对不包括背景图像的帧的摄像数据进行高速缓存，而无需更新高速缓存器中的背景图像。根据预先在系统中设置的高速缓存帧大小或者控制站310所发出的指示来确定能够高速缓存数据的dram的容量。注意，由于非摄像数据的输入/输出的频率低并且在比赛等之前不需要高速吞吐量，因此将非摄像数据立即复制在主存储器02450中。利用数据输出单元02430读取高速缓存的数据。

主存储器02450通过并行连接诸如ssd等的存储介质构成，并且能够同时进行从数据输入单元02420的大量数据的写入和利用数据输出单元02430的数据的读取，由此实现了高速处理。将高速缓存器02440中所存储的数据从高速缓存器02440中所存储的较旧数据起顺次写入主存储器02450。

辅助存储器02460包括hdd或磁带介质等。在辅助存储器02460中大容量比高速处理更重要，并且要求辅助存储器02460是适合比主存储器02450便宜的长期存储器的介质。在摄像完成之后，将主存储器02450中所存储的数据作为数据的备份写入辅助存储器02460。

图7是示出本实施例的后端服务器270的结构的图。后端服务器270包括数据接收单元03001、背景纹理添加单元03002、前景纹理确定单元03003、纹理边界颜色调整单元03004、虚拟视点前景图像生成单元03005和绘制单元03006。后端服务器270还包括虚拟视点声音生成单元03007、合成单元03008、图像输出单元03009、前景对象确定单元03010、请求列表生成单元03011、请求数据输出单元03012和绘制模式管理单元03014。

数据接收单元03001接收从数据库250和控制器300发送来的数据。此外，数据接收单元03001从数据库250接收表示体育馆的形状的3d数据(体育馆形状数据)、前景图像、背景图像、前景图像的3d模型(以下称为“前景3d模型”)和声音。

此外，数据接收单元03001接收从用作指定装置的控制器300所输出的虚拟照相机参数，该指定装置指定虚拟视点图像的生成的视点(虚拟视点)。虚拟照相机参数是表示虚拟视点的位置以及取向的数据，并且例如使用外部参数的矩阵和内部参数的矩阵。

注意，数据接收单元03001从控制器300获得的数据不限于虚拟照相机参数。从控制器300输出的信息例如可以包括表示视点的指定的状态的信息，诸如用于指定视点的方法、用于指定控制器300所操作的应用程序的信息、用于识别控制器300的信息、以及用于使用控制器300识别用户的信息等。此外，数据接收单元03001可以从最终用户终端190获得与从控制器300输出的上述信息相同的信息。此外，数据接收单元03001可以从诸如数据库250或控制器300等的外部装置获得与多个照相机112有关的信息。与多个照相机112有关的信息的示例包括与摄像的状态有关的信息，诸如与照相机112的数量有关的信息和与多个照相机112的操作状态有关的信息等。例如，照相机112的操作状态的示例包括照相机112的正常状态、故障状态、等待状态、启动准备状态和重启状态至少之一。这里，正常状态表示摄像可用的状态，故障状态表示摄像受限的状态，等待状态表示摄像停止的状态，启动准备状态表示进行用于开始摄像的处理的状态，并且重启状态表示进行预定初始设置的状态。

背景纹理添加单元03002将背景图像作为纹理添加到利用从背景网格模型管理单元03013获得的背景网格模型(体育馆形状数据)所表示的3d空间形状。由此，背景纹理添加单元03002生成具有纹理的背景网格模型。网格模型表示通过诸如cad数据等的面的集合表现3d空间形状的数据。纹理意味着为了表现对象的表面的纹理而要添加的图像。

前景纹理确定单元03003使用前景图像和前景3d模型组来确定前景3d模型的纹理信息。

纹理边界颜色调整单元03004根据前景3d模型的纹理信息和3d模型组来调整纹理的边界的颜色，并且针对各前景对象生成带颜色的前景3d模型组。

虚拟视点前景图像生成单元03005基于虚拟照相机参数进行透视变换，使得从虚拟视点观看前景图像组。绘制单元03006基于由绘制模式管理单元03014确定的虚拟视点图像的生成所使用的生成方法来绘制背景图像和前景图像，以生成全景虚拟视点图像。在本实施例中，使用包括基于模型的绘制(mbr)和基于图像的绘制(ibr)的两个绘制模式作为用于生成虚拟视点图像的方法。

在采用mbr的情况下，使用基于通过从多个方向对被摄体摄像所获得的多个拍摄图像而生成的3d模型来生成虚拟视点图像。具体地，mbr是使用通过诸如多视图立体视觉(mvs)等的3d形状恢复方法所获得的目标场景的3d形状(模型)来生成来自虚拟视点的场景的视图作为图像的技术。

ibr是通过使通过从多个视点拍摄目标场景所获得的输入图像组变形并合成来生成再现来自虚拟视点的视图的虚拟视点图像的技术。在本实施例中，基于至少一个拍摄图像来生成虚拟视点图像。拍摄图像的数量小于使用mbr生成3d模型所用的拍摄图像的数量。

在绘制模式是mbr的情况下，通过将背景网格模型和纹理边界颜色调整单元03004所生成的前景3d模型组彼此合成来生成全景模型。根据该全景模型生成虚拟视点图像。

在绘制模式是ibr的情况下，基于背景纹理模型来生成从虚拟视点观看的背景图像，并且将虚拟视点前景图像生成单元03005所生成的前景图像与背景图像合成，使得生成虚拟视点图像。

注意，绘制单元03006可以采用除mbr和ibr以外的绘制方法。此外，绘制模式管理单元03014所确定的用于生成虚拟视点图像的方法不限于绘制方法，并且绘制模式管理单元03014可以确定除用于生成虚拟视点图像的绘制以外的处理的方法。绘制模式管理单元03014确定作为虚拟视点图像的生成所使用的生成方法的绘制模式，并且存储该确定结果。

在本实施例中，绘制模式管理单元03014从多个绘制模式中确定要使用的绘制模式。基于数据接收单元03001所获得的信息来进行该确定。例如，在根据所获得的信息所指定的照相机的数量等于或小于阈值的情况下，绘制模式管理单元03014确定为ibr是虚拟视点图像的生成所要使用的生成方法。另一方面，在照相机的数量大于阈值的情况下，绘制模式管理单元03014确定为生成方法是mbr。这样，在照相机的数量大的情况下，使用mbr生成虚拟视点图像，由此实现大的视点指定可用范围。另一方面，在照相机的数量小的情况下，可以使用ibr，由此避免了由使用mbr所生成的3d模型的精度下降引起的虚拟视点图像的图像质量下降。此外，可以根据从进行摄像起直到输出图像为止的时间段内的容许处理延迟时间的长度来确定生成方法。在即使延迟时间长也优先自由度的情况下，使用mbr，而在需要缩短延迟时间的情况下，使用ibr。此外，例如，在数据接收单元03001获得表示控制器300或最终用户终端190能够指定视点高度的信息的情况下，将mbr确定为虚拟视点图像的生成所使用的生成方法。由此，可以避免由于生成方法是ibr因而不接受用户所发出的用于改变视点高度的请求的情况。这样，由于根据情况来从多个生成方法中确定用于生成虚拟视点图像的方法，因此可以通过适当确定的生成方法来生成虚拟视点图像。此外，由于可以根据请求来对多个绘制模式进行彼此切换，因此可以灵活地配置系统，并且本实施例可以应用于除体育馆以外的被摄体。

注意，绘制模式管理单元03014中所存储的绘制模式可以是系统中预设的方法。可选地，操作虚拟照相机操作ui330或最终用户终端190的用户可以任意设置绘制模式。

虚拟视点声音生成单元03007基于虚拟照相机参数来生成在虚拟视点中听到的声音(声音组)。合成单元03008通过将绘制单元03006所生成的图像组和虚拟视点声音生成单元03007所生成的声音彼此合成来生成虚拟视点内容。

图像输出单元03009将虚拟视点内容通过以太网输出至控制器300和最终用户终端190。注意，向外部的传输所用的方法不限于以太网，并且可以使用诸如sdi、显示端口和hdmi(注册商标)等的各种信号传输方法。注意，后端服务器270可以输出绘制单元03006所生成的并且不包括声音的虚拟视点图像。

前景对象确定单元03010使用虚拟照相机参数和表示前景3d模型中所包括的前景对象的空间中的位置的前景对象的位置信息来确定要显示的前景对象组，并且输出前景对象列表。具体地，前景对象确定单元03010进行用于将虚拟视点的图像信息映射到物理照相机112的处理。虚拟视点根据绘制模式管理单元03014所确定的绘制模式而具有不同的映射结果。因此，用于确定多个前景对象的控制器包括在前景对象确定单元03010中，并且与绘制模式组合进行控制。

请求列表生成单元03011生成请求列表，该请求列表用于请求数据库250发送与指定时间点的前景对象列表相对应的前景图像组和前景3d模型组、背景图像以及声音数据。关于前景对象，向数据库250请求考虑到虚拟视点所选择的数据。然而，关于背景图像和声音数据，请求与关注帧相关联的所有数据。在从启动后端服务器270起直到获得背景网格模型为止的时间段内生成背景网格模型请求列表。

请求数据输出单元03012基于所输入的请求列表向数据库250输出数据请求命令。背景网格模型管理单元03013存储从数据库250供给的背景网格模型。

注意，在本实施例中主要说明后端服务器270进行用于生成虚拟视点图像的方法的确定和虚拟视点图像的生成这两者的情况。具体地，后端服务器270输出虚拟视点图像作为与生成方法的确定结果相对应的数据。然而，本发明不限于此，并且前端服务器230可以基于与多个照相机112有关的信息和从指定与虚拟视点图像的生成相关联的视点的装置所输出的信息来确定虚拟视点图像的生成所要使用的生成方法。然后，前端服务器230可以将基于照相机112所进行的摄像的图像数据和表示所确定的生成方法的信息输出至诸如数据库250等的存储装置和诸如后端服务器270等的图像生成装置至少之一。在这种情况下，例如，后端服务器270基于由前端服务器230作为与生成方法的确定结果相对应的数据而输出的表示生成方法的信息，来生成虚拟视点图像。在前端服务器230确定生成方法的情况下，可以减少由数据库250或后端服务器270对采用除所确定的方法以外的方法的图像生成所用的数据进行的处理而引起的处理负荷。然而，在如本实施例所述、后端服务器270确定生成方法的情况下，数据库250可以存储符合多个生成方法的数据，因此可以生成与多个生成方法相对应的多个虚拟视点图像。

图8是示出虚拟照相机操作ui330的功能结构的框图。将参考图37a来说明虚拟照相机08001。虚拟照相机08001能够以与所安装的照相机112的视点不同的视点进行摄像。具体地，图像处理系统100所生成的虚拟视点图像对应于虚拟照相机08001所拍摄到的图像。在图37a中，安装在圆周上的多个传感器系统110具有各自的照相机112。例如，可以通过生成虚拟视点图像来生成看起来仿佛由安装在足球门附近的虚拟照相机08001拍摄图像的图像。通过对所安装的多个照相机112所拍摄的图像进行图像处理来生成作为虚拟照相机08001所拍摄到的图像的虚拟视点图像。在操作员(用户)操作虚拟照相机08001的位置的情况下，可以获得以任意视点拍摄到的图像。

虚拟照相机操作ui330包括虚拟照相机管理单元08130和操作ui单元08120。虚拟照相机管理单元08130和操作ui单元08120可以在同一装置中实现，或者可以分别在用作服务器的装置和用作客户端的装置中实现。在例如广播站中所使用的虚拟照相机操作ui330中，可以在转播车内的工作站中实现虚拟照相机管理单元08130和操作ui单元08120。此外，例如，可以通过在web服务器中实现虚拟照相机管理单元08130并且在最终用户终端190中实现操作ui单元08120来实现类似的功能。

虚拟照相机操作单元08101在接收到对虚拟照相机08001进行的操作(即，用户为了指定虚拟视点图像的生成所用的视点而发出的指示)时进行处理。例如，操作员的操作的内容包括位置的改变(移动)、取向的改变(转动)和变焦倍率的改变。操作员使用包括操纵杆、轻推转盘、触摸面板、键盘和鼠标的输入装置来操作虚拟照相机08001。预先确定输入装置的输入和虚拟照相机08001的操作之间的对应关系。例如，键盘的“w”键对应于使虚拟照相机08001向前移动1m的操作。此外，操作员可以在指定轨迹之后操作虚拟照相机08001。例如，操作员通过触摸触摸板使得在触摸板上绘制圆形来指定在以球门柱为中心的圆周上移动的虚拟照相机08001的轨迹。虚拟照相机08001沿着所指定的轨迹绕球门柱移动。在这种情况下，可以自动改变虚拟照相机08001的取向，使得虚拟照相机08001始终面向球门柱。可以将虚拟照相机操作单元08101用于实时图像和重放图像的生成。在要生成重放图像时，进行除指定照相机位置和取向外还指定时间的操作。在重放图像中，例如，可以在时间停止的情况下移动虚拟照相机08001。

虚拟照相机参数获得单元08102获得表示虚拟照相机08001的位置和取向的虚拟照相机参数。可以通过计算或者参考查找表等来求出虚拟照相机参数。作为虚拟照相机参数，例如使用外部参数矩阵和内部参数的矩阵。这里，虚拟照相机08001的位置和取向包括在外部参数中，并且变焦值包括在内部参数中。

虚拟照相机限制管理单元08103获得并管理用于指定限制区域的限制信息，在该限制区域中，基于虚拟照相机操作单元08101所接收的指示的视点的指定受到限制。限制信息表示与虚拟照相机08001的位置、取向和变焦值等相关联的限制。不同于照相机112，虚拟照相机08001可以在任意移动视点的情况下进行摄像。然而，没有必要是虚拟照相机08001可以不断地从各种视点生成图像的情况。例如，如果虚拟照相机08001面向存在未被任何照相机112拍摄的对象的方向，则可能无法拍摄该对象的图像。此外，如果虚拟照相机08001的变焦倍率增大，则由于分辨率的限制而导致图像质量劣化。因此，可以将维持特定标准的图像质量的范围中的变焦倍率设置为虚拟照相机限制。可以根据照相机112的配置预先获得虚拟照相机限制。此外，传输单元06120可以根据网络的负荷来减少传输数据量。数据量的减少动态地改变了与拍摄的图像相关联的参数，并且改变了可以生成图像的范围和维持图像质量的范围。虚拟照相机限制管理单元08103可以接收表示用于减少从传输单元06120输出的数据量的方法的信息，并且根据该信息来动态地更新虚拟照相机限制。由此，传输单元06120可以实现数据量的减少，同时将虚拟视点图像的图像质量保持于特定标准。

此外，虚拟照相机08001的限制不限于上述限制。在本实施例中，视点的指定受到限制的限制区域(不满足虚拟照相机限制的区域)至少根据图像处理系统100中包括的装置的操作状态或者与虚拟视点图像的生成所用的图像数据相关联的参数而改变。例如，限制区域基于在图像处理系统100中传输的图像数据的数据量的限制，根据用于将该数据量控制在预定范围内的参数而改变。该参数包括图像数据的帧频、分辨率、量化步长和摄像范围至少之一。在降低图像数据的分辨率以减少传输数据量的情况下，可以维持特定图像质量的变焦倍率的范围发生改变。在这种情况下，在虚拟照相机限制管理单元08103获得用于表示因参数而改变的限制区域的信息的情况下，虚拟照相机操作ui330可以进行控制，使得用户在与该参数的变化相对应的范围内指定视点。注意，参数的内容不限于上述内容。此外，尽管在本实施例中基于照相机112所拍摄到的多个图像之间的差异来生成数据量受到控制的图像数据，但本发明不限于此。图像数据可以是拍摄图像本身，或者可以是前景图像或背景图像。

此外，例如，限制区域根据图像处理系统100中所包括的装置的操作状态而改变。这里，图像处理系统100中所包括的装置包括照相机112和照相机适配器120至少之一，该照相机适配器120通过对照相机112所拍摄到的图像进行图像处理来生成图像数据。例如，装置的操作状态包括装置的正常状态、故障状态、启动准备状态和重启状态至少之一。例如，在照相机112其中之一处于故障状态或重启状态的情况下，可以不在照相机112附近的位置指定视点。在这种情况下，在虚拟照相机限制管理单元08103获得用于表示根据装置的操作状态而改变的限制区域的信息时，虚拟照相机操作ui330可以进行控制，使得用户在与装置的操作状态的变化相对应的范围内指定视点。注意，与限制区域的变化相关联的装置和操作状态不限于上述这些。

冲突判断单元08104判断虚拟照相机参数获得单元08102所获得的虚拟照相机参数是否满足虚拟照相机限制。在该判断为否定的情况下，取消操作员所进行的操作输入，并且对虚拟照相机08001进行控制以不从满足限制的位置移动或者虚拟照相机08001返回到满足限制的位置。

反馈输出单元08105将冲突判断单元08104所进行的判断的结果反馈回操作员。例如，在由于操作员所进行的操作而导致不满足虚拟照相机限制的情况下，冲突判断单元08104向操作员发送通知。假定尽管操作员进行向上移动虚拟照相机08001的操作、但移动的目的地并不满足虚拟照相机限制。在这种情况下，反馈输出单元08105将表示可能无法使虚拟照相机08001进一步向上移动的通知发送至操作员。可以通过声音、消息输出、画面的颜色变化或虚拟照相机操作单元08101的锁定等来进行该通知。此外，可以使虚拟照相机08001的位置自动返回到满足限制的位置，由此可以简化操作员所进行的操作。在通过图像显示进行反馈的情况下，反馈输出单元08105基于虚拟照相机限制管理单元08103所获得的限制信息来将基于与限制区域相对应的显示控制的图像显示在显示单元中。例如，反馈输出单元08105将表示与虚拟照相机操作单元08101所接收的指示相对应的视点处于限制区域内的图像显示在显示单元中。如此，操作员可以识别出所指定的视点包括在限制区域中，因此可以不生成期望的虚拟视点图像。因此，操作员可以在限制区域外的位置(满足限制的位置)中再次指定视点。具体地，在虚拟视点图像的生成中，可以在根据情况而改变的范围内指定视点。注意，由用作用于进行与限制区域相对应的显示控制的控制装置的虚拟照相机操作ui330在显示单元中所显示的内容不限于此。例如，可以显示表示限制区域的图像，诸如用预定颜色填充作为视点的指定目标的区域(诸如体育馆内部等)中的与限制区域相对应的部分的图像等。尽管在本实施例中显示单元是连接至虚拟照相机操作ui330的外部显示器，但本发明不限于此，并且显示单元可以并入虚拟照相机操作ui330中。

虚拟照相机路径管理单元08106管理与操作员所进行的操作相对应的虚拟照相机08001的路径(虚拟照相机路径08002)。虚拟照相机路径08002是表示虚拟照相机08001在各个帧中的位置和取向的信息行。将参考图37b来进行说明。例如，使用虚拟照相机参数作为表示虚拟照相机08001的位置和取向的信息。例如，帧频为60帧/秒的设置中的1秒的信息对应于60个虚拟照相机参数的行。虚拟照相机路径管理单元08106将冲突判断单元08104所判断出的虚拟照相机参数发送至后端服务器270。后端服务器270使用所接收到的虚拟照相机参数来生成虚拟视点图像和虚拟视点声音。此外，虚拟照相机路径管理单元08106具有在将虚拟照相机参数添加到虚拟照相机路径08002之后存储虚拟照相机参数的功能。在例如使用虚拟照相机操作ui330生成1小时的虚拟视点图像和虚拟视点声音的情况下，将1小时的虚拟照相机参数存储为虚拟照相机路径08002。通过存储虚拟照相机路径08002，可以通过稍后参考数据库250的辅助存储器02460中所存储的图像信息以及虚拟照相机路径08002来再次生成虚拟视点图像和虚拟视点声音。也就是说，其它用户可以再使用进行高级虚拟照相机操作的操作员所生成的虚拟照相机路径08002以及辅助存储器02460中所存储的图像信息。注意，与多个虚拟照相机路径相对应的可选择的多个场景可以存储在虚拟照相机管理单元08130中。在多个虚拟照相机路径存储在虚拟照相机管理单元08130中的情况下，还可以输入并存储包括与虚拟照相机路径相对应的场景的脚本、比赛的经过时间、场景前后的规定时间以及选手信息的元数据。虚拟照相机操作ui330将这些虚拟照相机路径作为虚拟照相机参数通知到后端服务器270。

最终用户终端190可以通过向后端服务器270请求用于选择虚拟照相机路径的选择信息，来从场景的名称、选手或比赛的经过时间中选择虚拟照相机路径。后端服务器270向最终用户终端190通知可选择的虚拟照相机路径的候选。最终用户通过操作最终用户终端190来从候选中选择期望的虚拟照相机路径。最终用户终端190向后端服务器270请求与所选择的虚拟照相机路径相对应的图像的生成，以交互地获得图像传送服务。

创作单元08107具有在操作员生成重放图像时进行编辑的功能。创作单元08107响应于用户操作，提取虚拟照相机路径管理单元08106中所存储的虚拟照相机路径08002的一部分作为重放图像所用的虚拟照相机路径08002的初始值。如上所述，虚拟照相机路径管理单元08106存储与虚拟照相机路径08002相关联的包括场景名称、选手、经过时间以及场景前后的规定时间的元数据。例如，提取场景名称为“球门场景”并且场景前后的规定时间总共为10秒的虚拟照相机路径08002。此外，创作单元08107在编辑后的照相机路径中设置再现速度。例如，在球飞向球门期间将慢速再现设置到虚拟照相机路径08002。注意，在图像被来自另一视点的另一图像替代的情况下、即在虚拟照相机路径08002改变的情况下，用户使用虚拟照相机操作单元08101来再次操作虚拟照相机08001。

虚拟照相机图像/声音输出单元08108输出从后端服务器270供给的虚拟照相机图像和声音。操作员在确认所输出的图像和所输出的声音的同时操作虚拟照相机08001。注意，根据反馈输出单元08105所进行的反馈的内容，虚拟照相机图像/声音输出单元08108使显示单元显示基于与限制区域相对应的显示控制的图像。在例如操作员所指定的视点的位置包括在限制区域中的情况下，虚拟照相机图像/声音输出单元08108可以显示具有在所指定的位置附近并且在限制区域外的特定位置作为视点的虚拟视点图像。由此，减轻了操作员在限制区域外再次指定视点的负担。

接着，将说明观看者(用户)所使用的最终用户终端190。图9是示出最终用户终端190的结构的图。

操作服务应用程序的最终用户终端190例如是个人计算机(pc)。注意，最终用户终端190不限于pc，并且可以是智能电话、平板终端或高清大型显示器。

最终用户终端190经由因特网9001连接至用于传送图像的后端服务器270。例如，最终用户终端190(pc)经由局域网(lan)线缆或无线lan连接至因特网9001。

此外，显示器9003和用户输入装置9002连接至最终用户终端190，该显示器9003用于显示观看者所观看的诸如体育广播图像等的虚拟视点图像，以及该用户输入装置9002用于接受观看者所进行的改变视点等的操作。显示器9003例如是液晶显示器，并且经由显示端口线缆连接至pc。用户输入装置9002是鼠标或键盘，并且经由通用串行总线(usb)线缆连接至pc。

现在将说明最终用户终端190的内部功能。图10是最终用户终端190的功能框图。

应用程序管理单元10001将操作系统单元10002所输入的用户输入信息转换成后端服务器270的后端服务器命令，以输出到操作系统单元10002。此外，应用程序管理单元10001将用于将操作系统单元10002所输入的图像绘制在预定显示区域中的图像绘制指示输出到操作系统单元10002。

操作系统单元10002例如是操作系统(os)，并且将从以下所述的用户输入单元10004供给的用户输入信息输出到应用程序管理单元10001。此外，操作系统单元10002将从以下所述的网络通信单元10003供给的图像和声音输出到应用程序管理单元10001，并且将从应用程序管理单元10001供给的后端服务器命令输出到网络通信单元10003。此外，操作系统单元10002将从应用程序管理单元10001供给的图像绘制命令输出到图像输出单元10005。

网络通信单元10003将从操作系统单元10002供给的后端服务器命令转换成经由lan线缆可以传输的lan通信信号，并且将该lan通信信号供给至后端服务器270。之后，网络通信单元10003将从后端服务器270供给的图像数据和声音数据供给至操作系统单元10002，使得可以处理该数据。

用户输入单元10004获得基于键盘输入(物理键盘或软键盘)或者按钮输入的用户输入信息、以及从用户输入装置经由usb线缆输入的用户输入信息，以输出到操作系统单元10002。

图像输出单元10005将基于从操作系统单元10002供给的图像显示指示的图像转换成图像信号，以输出到外部显示器或一体型显示器。

声音输出单元10006将基于操作系统单元10002所发出的声音输出指示的声音数据输出到外部扬声器或一体型扬声器。终端属性管理单元10007管理最终用户终端190的分辨率、图像编码编解码器类型和终端类型(诸如智能电话或大型显示器等)。

服务属性管理单元10008管理与向最终用户终端190提供的服务类型有关的信息。服务属性管理单元10008管理例如最终用户终端190中所安装的应用程序的类型和可用的图像传送服务。

计费管理单元10009进行由用户登记在图像传送服务中的结算状况以及与计费金额相对应的可接收图像传送场景的数量等的管理。

接着，将说明本实施例的工作流程。将说明在诸如体育馆或音乐厅等的设施中安装多个照相机112和多个麦克风111并进行摄像的情况下的工作流程。

图11是整个工作流程的流程图。除非另外说明，否则在控制器300的控制下实现以下所述的工作流程的处理。具体地，在控制器300控制图像处理系统100中所包括的其它装置(诸如后端服务器270和数据库250等)的情况下，实现对工作流程的控制。

在图11的处理开始之前，安装并操作图像处理系统100的操作员(用户)收集在安装之前所需的信息(先前信息)并进行计划。此外，假定操作员在图11的处理开始之前在目标设施中安装器材。

在步骤s1100中，控制器300的控制站310接受用户基于先前信息所输入的设置。以下将参考图12来详细说明步骤s1100的处理。接着，在步骤s1101中，图像处理系统100中所包括的装置根据用户操作基于控制器300所发出的命令来进行用于确认系统的操作的处理。以下将参考图13来详细说明步骤s1101的处理。

在步骤s1102中，虚拟照相机操作ui330在用于比赛等的摄像开始之前输出图像和声音。由此，用户可以在比赛等之前确认麦克风111所收集的声音和照相机112所拍摄到的图像。以下将参考图14来详细说明步骤s1102的处理。

在步骤s1103中，控制器300的控制站310使麦克风111收集声音并使照相机112拍摄图像。尽管该步骤中的摄像包括使用麦克风111的声音收集，但本发明不限于此并且可以仅拍摄图像。以下将参考图15和16来详细说明步骤s1103的处理。在要改变步骤s1101中所进行的设置的情况下或者在要终止摄像的情况下，处理进入步骤s1104。在步骤s1104中，在要改变步骤s1101中所进行的设置并且要继续摄像的情况下，处理进入步骤s1105，而在要终止摄像的情况下，处理进入步骤s1106。通常根据向控制器300的用户输入来进行步骤s1104中的判断。然而，本发明不限于该示例。在步骤s1105中，控制器300改变步骤s1101中所进行的设置。改变后的内容通常由在步骤s1104中获得的用户输入确定。在该步骤中的设置的改变中要停止摄像的情况下，摄像暂时停止并且在改变设置之后开始。此外，在无需停止摄像的情况下，与摄像并行地进行设置的改变。

在步骤s1106中，控制器300对多个照相机112所拍摄到的图像和多个麦克风111所收集的声音进行编辑。通常基于经由虚拟照相机操作ui330输入的用户操作来进行该编辑。

注意，可以并行地进行步骤s1106和步骤s1103的处理。例如，在实时地传送体育比赛或音乐会(例如，在比赛期间传送比赛的图像)的情况下，同时进行步骤s1103中的摄像和步骤s1106中的编辑。此外，在比赛之后要传送体育比赛的精彩图像的情况下，在步骤s1104中终止摄像之后进行编辑。

接着，将参考图12来详细说明步骤s1100的处理(安装预处理)。首先，在步骤s1200中，控制站310接受与同要拍摄的设施有关的信息(体育馆信息)相关联的用户输入。

该步骤中的体育馆信息表示体育馆的形状、声音、亮度、电源、传输环境和体育馆的3d模型数据。具体地，体育馆信息包括上述的体育馆形状数据。注意，在本实施例中说明要拍摄的设施是体育馆的情况。在这种情况下，假定生成在体育馆中举行的体育比赛的图像。注意，一些体育比赛是在室内举行的，因此摄像目标的设施不限于体育馆。此外，可以生成音乐厅中的音乐会的虚拟视点图像，并且可以生成体育馆中的室外音乐会的图像，因此摄像目标的事件不限于比赛。

在步骤s1201中，控制站310接受与装置信息相关联的用户输入。该步骤中的装置信息表示与摄像器材(诸如照相机、照相机平台、镜头和麦克风等)有关的信息、与信息装置(诸如lan、pc、服务器和线缆等)有关的信息、以及与转播车有关的信息。然而，未必输入了所有的信息。

在步骤s1202中，控制站310接受在步骤s1201中输入了装置信息的摄像器材中的照相机、照相机平台和麦克风的配置信息的输入。可以使用上述的体育馆的3d模型数据来输入该配置信息。

在步骤s1203中，控制站310接受与图像处理系统100的操作信息相关联的用户输入。该步骤中的操作信息表示摄像目标、摄像时间、摄像技巧和注视点。例如，在摄像目标是拍摄图像中的诸如选手等的前景图像的数量压倒性地大于比赛中的选手的数量的开幕式的情况下，可以将图像生成方法改变为适合于该情况的方法。此外，根据诸如田径赛或者使用场地的足球比赛等的比赛类型，可以进行多个照相机所拍摄的注视点的改变以及摄像技巧的限制条件的改变。利用控制站310管理、改变并指示由这些操作信息的组合配置成的设置信息表。以下将说明该控制。在如上所述进行步骤s1200～步骤s1203的处理之后，系统安装之前的工作流程完成。接着，将参考图13来详细说明步骤s1101的处理(安装时的处理)。在步骤s1300中，控制站310接受与所安装的器材的短缺和过剩相关联的用户输入。用户通过将在步骤s1201中输入的装置信息与要安装的器材进行比较来确认短缺和过剩，从而判断是否发生所安装的器材的短缺或过剩。在步骤s1301中，控制站310执行用于确认与步骤s1300中的短缺相对应的器材的安装的处理。也就是说，用户可以在步骤s1300的处理和步骤s1301的处理之间安装与短缺相对应的器材，并且控制站310确认了用户已安装了与短缺相对应的器材。

接着，在步骤s1302中，控制站310启动步骤s1301中安装的器材，并且在调整之前进行系统操作确认以判断所安装的器材是否正常工作。注意，在步骤s1302的处理中，用户可以进行系统操作确认，之后用户将该确认的结果输入在控制站310中。

如果在操作中发生器材的短缺和过剩或者错误，则将错误通知发送至控制站310(s1303)。使控制站310进入锁定状态、即不进入下一步骤，直到该错误解除为止。在错误状态解除的情况下，将正常通知发送至控制站310(s1304)，并且处理进入下一步骤。由此，可以在初始阶段检测到错误。在确认之后，在进行与照相机112相关联的处理的情况下，处理进入步骤s1305，而在进行与麦克风111相关联的处理的情况下，处理进入步骤s1308。

首先，将说明照相机112。在步骤s1305中，控制站310调整所安装的照相机112。该步骤中的照相机112的调整表示视角的调整和颜色的调整，并且对所安装的所有照相机112进行。步骤s1305中的调整可以根据用户操作来进行，或者可以通过自动调整功能来实现。

此外，在视角的调整中，并行地进行变焦、平摇、俯仰和调焦的调整，并且将这些调整的结果存储在控制站310中。在颜色的调整中，同时进行iris、iso/增益、白平衡、清晰度和快门速度的调整，并且将这些调整的结果存储在控制站310中。

在步骤s1306中，控制站310进行调整，使得所安装的所有照相机112都彼此同步。步骤s1306中的同步的调整可以根据用户操作来进行，或者可以通过自动调整功能来实现。在步骤s1307中，控制站310在照相机安装时进行校准。具体地，控制站310进行调整，使得所安装的所有照相机112的坐标都与世界坐标一致。以下将参考图17来详细说明校准。注意，还进行照相机112的控制命令以及同与时间服务器的同步相关联的网络路径的通信确认。然后，在调整之后在系统操作正常确认处理中进入等待状态(s1311)。

接着，将说明与麦克风111相关联的处理。在步骤s1308中，控制站310调整所安装的麦克风111。该步骤中的麦克风111的调整表示增益调整并且对所安装的所有麦克风111进行。步骤s1308中的麦克风111的调整可以根据用户操作来进行，或者可以通过自动调整功能来实现。

在步骤s1309中，控制站310进行控制，使得所安装的所有麦克风111彼此同步。具体地，控制站310确认同步时钟。步骤s1309中的同步的调整可以根据用户操作来进行，或者可以通过自动调整功能来实现。

在步骤s1310中，控制站310调整所安装的麦克风111中的安装在现场的麦克风111的位置。步骤s1310中的麦克风111的位置的调整可以根据用户操作来进行，或者可以通过自动调整功能来实现。注意，还进行麦克风111的控制命令以及与同时间服务器的同步相关联的网络路径的通信确认。

在步骤s1311中，控制站310在调整之后进行系统操作确认，以判断是否已适当地调整了照相机112a～112z和麦克风111a～111z。步骤s1311的处理可以响应于用户指示而执行。在判断为对照相机112和麦克风111正常进行了调整之后的系统操作的情况下，在步骤s1313中将表示正常操作的通知发送至控制站310。另一方面，在发生错误的情况下，将错误通知连同照相机112和麦克风111的类型和个体编号一起发送至控制站310(s1312)。控制站310根据发生错误的装置的类型和个体编号来发出再调整的指示。

接着，将参考图14来说明上述的步骤s1102的处理(摄像预处理)。在步骤s1400中，虚拟照相机操作ui330显示经过了后端服务器270所进行的处理的图像。控制器300的操作员(用户)可以通过确认虚拟照相机操作ui330的画面来确认后端服务器270所进行的处理的结果。

与步骤s1400的处理并行地，进行步骤s1401的处理。在步骤s1401中，虚拟照相机操作ui330输出后端服务器270处理后的声音。控制器300的操作员(用户)可以通过确认虚拟照相机操作ui330的声音的输出来确认后端服务器270所进行的处理的结果。

在步骤s1402中，将后端服务器270处理后的图像和声音彼此组合，并且虚拟照相机操作ui330输出将组合后的图像和声音转换成传送信号的结果。控制器300的操作员(用户)可以通过确认虚拟照相机操作ui330的传送信号的输出来确认后端服务器270已处理的图像和声音。

接着，将参考图15和16来详细说明上述步骤s1103的处理(摄像时的处理)。

在步骤s1103中，控制站310进行系统控制和确认操作，并且虚拟照相机操作ui330进行生成图像和声音的操作。参考图15来例示系统控制和确认操作，并且参考图16来例示生成图像和声音的操作。首先，将参考图15进行描述。在控制站310所进行的系统控制和确认操作中，同时独立地进行图像和声音的控制以及确认操作。

首先，将说明与图像相关联的操作。在步骤s1500中，虚拟照相机操作ui330显示后端服务器270所生成的虚拟视点图像。在步骤s1501中，虚拟照相机操作ui330接受与用户对步骤s1500中显示的图像进行的确认的结果相关联的输入。在步骤s1502中判断为要终止摄像的情况下，处理进入步骤s1508，否则处理返回到步骤s1500。具体地，在摄像期间，重复地进行步骤s1500和步骤s1501的处理。注意，例如，与是要终止还是继续摄像有关的判断可以由控制站310根据用户输入来进行。

接着，将说明与声音相关联的操作。在步骤s1503中，虚拟照相机操作ui330接受与麦克风111的选择结果相关联的用户操作。注意，在按预定顺序逐一选择麦克风111的情况下，不一定必须进行用户操作。在步骤s1504中，虚拟照相机操作ui330再现步骤s1503中选择的麦克风111的声音。在步骤s1505中，虚拟照相机操作ui330判断在步骤s1504中再现的声音中是否包括噪声。与是否包括噪声有关的判断可以由控制器300的操作员(用户)进行，可以通过声音分析处理自动进行，或者可以通过这两个方法进行。在用户判断有无噪声的情况下，虚拟照相机操作ui330接受与在步骤s1505中用户所进行的噪声判断的结果相关联的输入。在步骤s1505中检测到噪声的情况下，在步骤s1506中虚拟照相机操作ui330调整麦克风增益。步骤s1506中的麦克风增益的调整可以根据用户操作来进行，或者可以通过自动调整功能来实现。注意，在要根据用户操作进行麦克风增益的调整的情况下，在步骤s1506中，虚拟照相机操作ui330接受与麦克风增益的调整相关联的用户输入，并且根据该用户输入调整麦克风增益。此外，可以根据噪声状态停止所选择的麦克风111。在步骤s1507中判断为要终止声音收集的情况下，处理进入步骤s1508，否则处理返回到步骤s1503。也就是说，在声音收集期间，重复地进行步骤s1503～步骤s1506的处理。注意，例如，与是要终止还是继续声音收集有关的判断可以由控制站310根据用户输入来进行。

在步骤s1508中判断为要终止系统的情况下，处理进入步骤s1509，否则处理返回至步骤s1500和步骤s1503。步骤s1508的判断可以根据用户操作来执行。在步骤s1509中，利用控制站310收集图像处理系统100所获得的日志。接着，将参考图16来说明生成图像和声音的操作。在上述的虚拟照相机操作ui330所进行的生成图像和声音的操作中，并行地单独生成图像和声音。

首先，将说明与图像相关联的操作。在步骤s1600中，虚拟照相机操作ui330向后端服务器270发出用于生成虚拟视点图像的指示。在步骤s1600中，后端服务器270根据虚拟照相机操作ui330所发出的指示来生成虚拟视点图像。在步骤s1601中判断为要终止图像生成的情况下，处理进入步骤s1604，否则处理返回到步骤s1600。步骤s1601的判断可以根据用户操作来执行。

接着，将说明与声音相关联的操作。在步骤s1602中，虚拟照相机操作ui330向后端服务器270发出用于生成虚拟视点声音的指示。在步骤s1602中，后端服务器270根据虚拟照相机操作ui330所发出的指示来生成虚拟视点声音。在步骤s1603中判断为要终止声音生成的情况下，处理进入步骤s1604，否则处理返回到步骤s1602。注意，步骤s1603的判断可以与步骤s1601的判断相关联。

接着，将说明安装时的工作流程和摄像之前的工作流程。图像处理系统100可以控制在安装时进行校准的状态和通过改变操作模式来进行正常摄像的状态之间的切换。注意，在摄像期间可能需要特定照相机的校准，并且在这种情况下，进行摄像和校准这两个类型的操作。

将参考图17的流程图来说明安装时的校准处理。在图17中，尽管省略了对响应于在装置之间发送和接收的指示的数据接收完成通知和处理完成通知的说明，但响应于这些指示而返回某种响应。

在照相机112的安装完成时，用户指示控制站310执行安装时的校准。然后，控制站310指示前端服务器230和照相机适配器120开始校准(s04100)。

在接收到用于开始校准的指示时，前端服务器230判断为在该指示之后接收的图像数据是校准用数据，并且改变控制模式使得校准单元02140可用于处理(s04102a)。此外，在接收到用于开始校准的指示时，照相机适配器120进入用于在无需进行诸如前景/背景分离等的图像处理的情况下处理未压缩数据的控制模式(s04102b)。此外，照相机适配器120指示照相机112改变照相机模式(s04101)。在接收到该指示时，照相机112设置例如1fps的帧频。可选地，可以设置照相机112发送静止图像而不是运动图像的模式(s04102c)。此外，可以设置利用照相机适配器120控制帧频并且发送校准图像的模式。

控制站310指示照相机适配器120获得照相机112的变焦值和调焦值(s04103)，并且照相机适配器120将照相机112的变焦值和调焦值发送至控制站310(s04104)。

注意，尽管在图17中示出仅一个照相机适配器120和一个照相机112，但图像处理系统100中包括的所有照相机适配器120和所有照相机112都是单独控制的。因此，执行与照相机112的数量相对应的次数的步骤s04103和步骤s04104中的处理，并且在对所有照相机112进行的步骤s04103和步骤s04104中的处理完成时，控制站310接收到所有照相机112的变焦值和调焦值。

控制站310将在步骤s04104中接收到的所有照相机112的变焦值和调焦值发送至前端服务器230(s04105)。随后，控制站310向前端服务器230通知安装时的校准所用的摄像的摄像图案(s04106)。

这里，向摄像图案添加用于识别在用作图像特征点的标记等在地面移动的情况下在不同定时多次拍摄到的图像其中之一的图案名称(例如，图案1～10)的属性。具体地，前端服务器230判断为在步骤s04106之后接收到的校准所用的图像数据是在步骤s04106中接收到的摄像图案的拍摄图像。之后，控制站310指示照相机适配器120进行同步静止图像拍摄(s04107)，并且在所有的照相机112彼此同步的情况下，照相机适配器120指示照相机112进行静止图像拍摄(s04108)。之后，照相机112将拍摄图像发送至照相机适配器120(s04109)。

注意，在存在多组注视点的情况下，可以针各注视点组进行步骤s04106～步骤s04111的校准图像拍摄。

之后，控制站310指示照相机适配器120将在步骤s04107中指示拍摄的图像发送至前端服务器230(s04110)。此外，照相机适配器120将在步骤s04109中接收到的图像发送至被指定为发送目的地的前端服务器230(s04111)。

在步骤s04111中，在无需进行诸如前景/背景分离等的图像处理并且无需对拍摄图像进行压缩的情况下发送校准所用的图像。因此，在所有的照相机112以高分辨率拍摄图像的情况下或者在照相机112的数量大的情况下，由于传输频带的限制而导致可能无法同时发送所有的未压缩图像。结果，在工作流程中校准所需的时间段可能变长。在这种情况下，在步骤s04110的图像发送指示中向各个照相机适配器120依次发出用于发送与校准的图案属性相对应的未压缩图像的指示。此外，在这种情况下，需要拍摄与标记的图案属性相对应的更多数量的特征点，因此进行使用多个标记的校准所用的图像拍摄。在这种情况下，从负荷分散的角度，可以以异步方式进行图像拍摄和未压缩图像的传输。此外，在照相机适配器120中针对各个图案属性顺次累积在校准所用的图像拍摄中所获得的未压缩图像，并且与此并行地，响应于在步骤s04110中发出的图像传输指示来进行未压缩图像的传输。由此，可以实现缩短工作流程的处理时间和减少人为错误的效果。

在所有的照相机112中步骤s04111的处理完成时，前端服务器230处于已接收到所有的照相机112所拍摄到的图像的状态。

在如上所述存在多个摄像图案的情况下，针对多个图案重复地进行步骤s04106～步骤s04111的处理。

随后，在所有的校准用摄像完成的情况下，控制站310指示前端服务器230进行照相机参数估计处理(s04112)。

在接收到用于进行照相机参数估计处理的指示时，前端服务器230使用在步骤s04105中接收到的所有照相机112的变焦值和调焦值以及在步骤s04111中接收到的所有照相机112的拍摄图像来进行照相机参数估计处理(s04113)。以下将详细说明在步骤s04113中进行的照相机参数估计处理。在存在多个注视点的情况下，在步骤s04113中针对各注视点组进行照相机参数估计处理。

然后，前端服务器230将作为在步骤s04113中进行的照相机参数估计处理的结果所获得的所有照相机112的照相机参数发送至用于存储照相机参数的数据库250(s04114)。

此外，前端服务器230同样将所有照相机112的照相机参数发送至控制站310(s04115)。控制站310将与照相机112相对应的照相机参数发送至照相机适配器120(s04116)，并且照相机适配器120存储所接收到的相应照相机112的照相机参数(s04117)。

之后，控制站310确认校准结果(s04118)。作为确认方法，可以确认所获得的照相机参数的数值，可以确认在步骤s04114中进行的照相机参数估计处理中的计算处理，或者可以确认通过使用照相机参数的图像生成所生成的图像。然后，控制站310指示前端服务器230终止校准(s04119)。

在接收到用于终止校准的指示时，不同于步骤s04101中执行的校准开始处理，前端服务器230改变控制模式，使得判断为在该指示之后接收到的图像数据不是校准用数据(s04120)。根据上述处理，在安装校准处理中，获得所有照相机的照相机参数，并且将所获得的照相机参数存储在照相机适配器120和数据库250中。

此外，安装校准处理在照相机112的安装之后并且在摄像之前进行。如果照相机112没有移动，则无需再次进行该处理。然而，如果照相机112移动(例如，在比赛之前和之后要改变注视点的情况下)，则再次进行相同的处理。

此外，在摄像期间由于诸如球的碰撞等的事故而导致照相机112移动了预定阈值以上的情况下，可以使处于摄像状态的照相机112进入校准开始状态并且可以进行上述的安装校准。在这种情况下，系统维持正常摄像状态，并且将表示仅照相机112发送校准所用的图像的信息发送至前端服务器230。这样，无需使整个系统进入校准模式，并且可以继续进行摄像。此外，在该系统中的采用菊花链的传输中，如果将校准所用的未压缩图像发送至正常摄像中的图像数据的传输频带，则可能超过传输频带限制。在这种情况下，降低未压缩图像的传输优先级，或者在传输之前对未压缩图像进行分割。此外，在照相机适配器120之间的连接为10gbe等的情况下，使用全双工特征来在与正常摄像中的图像数据传输相反的方向上传输未压缩图像，由此可以确保频带。

此外，如果要改变多个注视点其中之一，则仅与一组注视点相对应的照相机112可以再次进行上述的安装校准处理。在这种情况下，目标注视点组的照相机112可以不进行正常摄像或虚拟视点图像的生成。因此，将表示正在进行校准处理的通知发送至控制站310，并且控制站310请求虚拟照相机操作ui330进行诸如视点操作的限制等的处理。在照相机参数估计处理不会影响生成虚拟视点图像的处理的情况下，前端服务器230进行照相机参数估计处理。

将参考图18的流程图来说明安装前工作流程的步骤s1200和安装工作流程的步骤s1305中的前端服务器230的操作。

在安装前工作流程的步骤s1200中，前端服务器230的控制器02110从控制站310接收用于切换为cad数据的输入模式的指示，并且进行向cad数据输入模式的切换(s02210)。

数据输入控制器02120从控制站310接收到体育馆cad数据(体育馆形状数据)(s02220)。数据输入控制器02120将所接收到的数据发送至非摄像数据文件生成单元02185和cad数据存储单元02135。cad数据存储单元02135将从数据输入控制器02120供给的体育馆形状数据存储在存储介质中(s02230)。

在安装工作流程的步骤s1305中，控制器02110从控制站310接收到用于切换到校准模式的指示，并且进行向校准模式的切换(s02240)。

数据输入控制器02120从照相机适配器120接收到校准拍摄图像，并且将该校准拍摄图像发送至校准单元02140(s02250)。

校准单元02140进行校准以获得照相机参数(s02260)。校准单元02140将所获得的照相机参数存储到存储区域中，并且将这些照相机参数经由非摄像数据文件生成单元02185和db访问控制器02190发送至数据库250(s02270)。

将参考图19的流程图来说明安装前工作流程的步骤s1200中的数据库250的操作。数据库250响应于控制器300所发出的指示来执行以下所述的图19和20的处理。

在安装前工作流程的步骤s1200中，数据输入单元02420从前端服务器230接收到体育馆cad数据(体育馆形状数据)，并且将该数据存储在高速缓存器02440中(s02510)。高速缓存器02440将所存储的体育馆cad数据移动到主存储器02450中以存储该数据(s02520)。

将参考图20的流程图来说明安装工作流程的步骤s1305中的数据库250的操作。

在安装工作流程的步骤s1305中，数据输入单元02420从前端服务器230接收到照相机参数，并且将这些照相机参数存储在高速缓存器02440中(s02610)。

高速缓存器02440将所存储的照相机参数移动到主存储器02450中以存储这些照相机参数(s02620)。控制器02410根据控制站310所发出的指示和高速缓存器02440的容量来设置帧数n(s02630)。

随后，将参考图21的流程图来说明前端服务器230的校准单元02140所进行的照相机参数估计处理。注意，校准单元02140根据控制站310所发出的指示来执行照相机参数估计处理。在该序列开始之前，所有照相机112的内部参数映射、体育馆数据、变焦值和调焦值以及所有照相机112的校准用拍摄图像已存储在校准单元02140中。

首先，校准单元02140指定照相机112其中之一(s04201)，之后指定变焦值中的相应变焦值和调焦值中的相应调焦值，以使用内部参数映射从所指定的变焦值和所指定的调焦值获得内部参数初始值(s04202)。重复地进行步骤s04201和步骤s04202的处理，直到在步骤s04202中获得所有照相机112的内部参数初始值为止(s04203)。

随后，校准单元02140再次指定照相机112中的另一照相机，然后指定校准用拍摄图像中的相应拍摄图像(s04204)，以检测该图像中的特征点(图像特征点)(s04205)。图像特征点的示例包括针对校准所提供的标记、预先在体育馆的地面中描绘的球场线、以及预先放置的对象的边缘部分(诸如足球球门或供替补球员用的长椅等)。

重复地进行步骤s04204和步骤s04205的处理，直到在步骤s04205中检测到所有照相机112的图像特征值为止(s04206)。

随后，校准单元02140进行步骤s04205中检测到的照相机112的校准用拍摄图像的图像特征点之间的匹配(s04207)。之后，校准单元02140判断该匹配中使用的特征点的数量是否等于或小于阈值(s04208)。步骤s04208中所使用的特征点的数量的阈值可以是预先设置的，或者可以根据摄像条件(诸如照相机112的数量或视野等)自动获得。具体地，使用外部参数的估计所用的最低需求值。

在步骤s04208中、所使用的特征点的数量不等于或小于阈值的情况下，校准单元02140对照相机112进行外部参数估计处理(s04209)。作为步骤s04209中的外部参数估计处理的结果，判断再投影误差是否等于或小于阈值(s04210)。步骤s04210中所使用的再投影误差的阈值可以是预先设置的，或者可以根据诸如照相机112的数量等的摄像条件自动获得，只要使用与要生成的虚拟视点图像的精度相对应的值即可。

在步骤s04210的判断中再投影误差不等于或小于阈值的情况下，校准单元02140判断为误差大，并且进行步骤s04205中的图像特征点的误检测的删除处理和步骤s04207中的图像特征点的误匹配的删除处理(s04211)。

作为步骤s04211中的误检测和误匹配的判断方法，校准单元02140可以自动删除再投影误差大的特征点，或者用户可以在观看再投影误差和图像的同时手动删除这样的特征点。

校准单元02140对步骤s04202中获得的内部参数初始值进行内部参数校正(s04212)。然后，重复地进行步骤s04208～步骤s04212的处理，直到在步骤s04208中使用的特征点的数量不等于或小于阈值的范围内、在步骤s04210中再投影误差变得等于或小于阈值为止。

在步骤s04208的判断中所使用的特征点的数量等于或小于阈值的情况下，校准单元02140判断为校准失败(s04213)。在校准失败的情况下，再次进行校准用摄像。将与校准是成功进行还是失败有关的判断结果发送至控制站310，并且利用控制站310整体管理包括失败之后进行的校准处理的对策。

在步骤s04210的判断中再投影误差等于或小于阈值的情况下，校准单元02140使用体育馆数据，在步骤s04209中所估计的外部参数坐标中进行从照相机坐标系向世界坐标系的刚体变换(s04214)。

作为体育馆数据，定义了诸如x、y和z轴的原点(例如，球场上的中心圆的中心点)等的用于进行刚体变换的坐标值、或者体育馆中的多个特征点(例如，球场线的交点)的坐标值。

注意，在不存在体育馆数据或者数据精度低的情况下，例如，可以手动输入刚体变换所用的世界坐标，或者可以将表示世界坐标的数据独立地指派至校准单元02140。

通过进行步骤s04214中的处理来获得校准用拍摄图像中的世界坐标，因此可以更新预先记录在体育馆数据中的体育馆内所包括的特征点的坐标，由此提高了精度。

根据上述处理，在照相机参数估计处理中，可以获得所有照相机112的照相机参数，并且可以将所获得的照相机参数存储在照相机适配器120和数据库250中。

注意，在使用多个照相机112的拍摄图像生成虚拟视点图像的系统中，在安装照相机112时，需要用于在安装照相机112时估计照相机112的位置和取向的校准处理(安装校准)。

在安装校准中，进行用于获得各个照相机112的照相机参数的处理。照相机参数包括各照相机特有的内部参数(包括焦距、图像中心和镜头失真的参数)以及表示各照相机的位置/取向的外部参数(转动矩阵和位置矢量等)。在安装校准处理完成时，获得了各个照相机112的照相机参数。

在照相机参数中，在确定了照相机112和镜头的情况下，内部参数根据变焦值和调焦值而改变。因此，在该系统中，在将照相机112安装在体育馆中之前使用照相机112和镜头来进行获得内部参数所需的摄像，由此获得内部参数。然后，设置成：在将照相机112安装在体育馆中时确定了变焦值和调焦值的情况下，可以自动获得内部参数。这在本实施例中表现出对内部参数进行映射，并且映射的结果被称为“内部参数映射”。

作为内部参数映射的格式，可以记录与变焦值和调焦值相对应的所记录的多个内部参数的格式，或者可以采用可计算内部参数值的运算式的格式。具体地，可以采用任何内部参数映射，只要根据变焦值和调焦值唯一地获得内部参数即可。

使用通过内部参数映射所获得的参数值作为内部参数的初始值。作为照相机参数估计处理的结果所获得的内部参数是在照相机112安装在体育馆中之后在使用为了校准所拍摄的图像的照相机参数估计处理中校正后的值。

此外，在本实施例中，安装相同类型的照相机112和相同类型的镜头，并且可以使用相同的内部参数，只要变焦值相同并且调焦值相同即可。

注意，本发明不限于此，并且在尽管变焦值相同并且调焦值相同、但内部参数存在个体差异的情况下(诸如使用多个类型的照相机112和多个类型的镜头等的情况下)，可以在不同的类型和不同的照相机112中包括不同的内部参数映射。

接着，将说明利用照相机112的摄像、利用麦克风111的声音收集、以及将通过摄像或声音收集所获得的数据经由照相机适配器120和前端服务器230累积在数据库250中的处理。

将参考图22a和22b来说明照相机112的摄像开始处理的序列。尽管在图22a和22b中示出不同的处理序列，但在这两个序列中可以获得相同的结果。照相机适配器120根据照相机112的规格来判断要进行图22a所示的处理还是图22b所示的处理。

首先，将说明图22a的处理。时间服务器290例如与gps2201进行时刻同步，并且设置时间服务器290所管理的时间点(06801)。注意，代替使用gps2201的方法，可以通过诸如网络时间协议(ntp)等的其它方法来设置时间点。

接着，照相机适配器120使用精确时间协议(ptp)与时间服务器290进行通信，校正照相机适配器120所管理的时间点，并且与时间服务器290进行时刻同步(06802)。

照相机适配器120开始向照相机112供给同步摄像信号(诸如genlock信号或三值同步信号等)和时间码信号(06803)。注意，所供给的信息不限于时间码，并且可以供给其它信息，只要该其它信息是用于识别摄像帧的标识符即可。

接着，照相机适配器120向照相机112发出用于开始摄像的指示(06804)。在接收到用于开始摄像的指示时，照相机112与genlock信号同步地进行摄像(06805)。

接着，照相机112将包括时间码信号的拍摄图像发送至照相机适配器120(06806)。与genlock信号同步地进行摄像，直到照相机112停止摄像为止。

照相机适配器120在摄像期间进行与时间服务器290的ptp时间点校正处理，以校正生成genlock信号的定时(06807)。在所需的校正量大的情况下，可以进行与预设变化量相对应的校正。

由此，可以实现连接至系统中的多个照相机适配器120的多个照相机112。

接着，将说明图22b的处理。与图22a的情况相同，在时间服务器290和gps2201之间以及在照相机适配器120和时间服务器290之间进行时刻同步处理(06851和06852)。随后，照相机适配器120发出用于开始摄像的指示(06853)。用于开始摄像的指示包括表示进行摄像的时间段的信息和用于指定帧数的信息。照相机112根据用于开始摄像的指示进行摄像(06854)。

接着，照相机112将与拍摄图像有关的数据发送至照相机适配器120(06855)。接收到图像数据的照相机适配器120将时间码分配至该图像数据的元数据(06856)。

照相机适配器120在摄像期间进行与时间服务器290的ptp时间点校正处理，以校正照相机112的摄像定时。在所需的校正量大的情况下，可以进行与预设变化量相对应的校正。例如，按短的定时(诸如每一帧等)重复地发出用于开始摄像的指示。

注意，尽管参考图22a和22b说明了摄像开始处理的序列，但麦克风111也进行与照相机112所进行的同步摄像相似的处理以进行同步声音收集。另一方面，随着照相机图像的分辨率的提高，在照相机112发送图像帧时，数据传输量可能超过网络传输频带的限制。在以下的实施例中将说明用于降低该可能性的方法。

首先，将参考图23来说明用于通过使多个照相机适配器120(120a、120b、120c和120d)彼此协调来生成3d模型信息的处理的序列。注意，处理顺序不限于图23所示的处理顺序。

本实施例的图像处理系统100包括26个照相机112和26个照相机适配器120。然而，在本实施例中，仅关注两个照相机112b和112c以及四个照相机适配器120a～120d。照相机112b连接至照相机适配器120b，并且照相机112c连接至照相机适配器120c。注意，省略了连接至照相机适配器120a的照相机112、连接至照相机适配器120d的照相机112、以及连接至各个照相机适配器120的麦克风111、照相机平台113和外部传感器114。此外，假定照相机适配器120a～120d完成了与时间服务器290的时间点同步并且处于摄像状态。照相机112b和112c分别将拍摄图像(1)和(2)发送至照相机适配器120b和120c(f06301和f06302)。照相机适配器120b和120c使各个校准控制器06133分别对所接收到的拍摄图像(1)和(2)进行校准处理(f06303和f06304)。在校准处理中，例如进行颜色校正和模糊校正等。尽管在本实施例中进行校准处理，但不一定必须进行校准处理。

接着，前景/背景分离单元06131对经过了校准处理的拍摄图像(1)和(2)进行前景/背景分离处理(f06305和f06306)。

随后，数据压缩/解压缩单元06121对彼此分离的前景图像和背景图像进行压缩(f06307和f06308)。注意，可以根据彼此分离的前景图像和背景图像的重要度来改变压缩率。根据情况可以不进行压缩。照相机适配器120中的特定照相机适配器至少对前景图像和背景图像中的背景图像进行压缩、使得前景图像的压缩率变得低于背景图像的压缩率，并且至少将压缩背景图像输出到照相机适配器120中的下一照相机适配器。在对前景图像和背景图像这两者进行压缩的情况下，包括重要摄像目标的前景图像经过无损压缩，并且不包括摄像目标的背景图像经过有损压缩。因此，可以有效地减少发送至下一照相机适配器120c或下一照相机适配器120d的数据量。在例如拍摄举行足球、橄榄球或棒球等的比赛的体育馆的场地的图像的情况下，背景图像占据该图像的大部分并且包括选手的前景图像的区域小。因此，可以显著减少传输数据量。

此外，照相机适配器120b或照相机适配器120c可以根据重要度来改变要输出到下一照相机适配器120c或下一照相机适配器120d的图像的帧频。例如，可以以高帧频输出包括重要摄像目标的前景图像，使得背景图像的输出帧频低于前景图像的输出帧频，并且可以以低帧频输出不包括摄像目标的背景图像。因此，可以减少传输至下一照相机适配器120c或下一照相机适配器120d的数据量。例如，可以根据照相机112的安装位置、摄像场所和/或照相机112的性能来针对各照相机适配器120改变压缩率或传输帧频。此外，可以使用图纸来预先确认体育馆的座位等的3d构造，因此照相机适配器120可以发送通过从背景图像中去除一部分座位所获得的图像。由此，在以下所述的绘制时，通过使用预先生成的体育馆3d构造来在聚焦于比赛中的选手的情况下进行图像绘制，由此可以实现减少整个系统中发送并存储的数据量的效果。

随后，照相机适配器120将压缩前景图像和压缩背景图像发送至相邻的照相机适配器120(f06310、f06311和f06312)。注意，尽管在本实施例中同时传送前景图像和背景图像，但也可以分别传送前景图像和背景图像。

随后，照相机适配器120b使用从照相机适配器120a供给的前景图像和通过前景/背景分离处理f06305分离出的前景图像来生成3d模型信息(f06313)。同样，照相机适配器120c生成3d模型信息(f06314)。

之后，照相机适配器120b将从照相机适配器120a供给的前景图像和背景图像传送至照相机适配器120c(f06315)。同样，照相机适配器120c还将前景图像和背景图像传送至照相机适配器120d。注意，尽管在本实施例中同时传送前景图像和背景图像，但可以分别传送前景图像和背景图像。

此外，照相机适配器120c将照相机适配器120a所生成的并且从照相机适配器120b供给的前景图像和背景图像传送至照相机适配器120d(f06317)。

随后，照相机适配器120a～120c分别将所生成的3d模型信息传送至接下来的照相机适配器120b～120d(f06318、f06319和f06320)。

此外，照相机适配器120b和120c分别将所接收的3d模型信息顺次传送至接下来的照相机适配器120c～120d(f06321和f06322)。

此外，照相机适配器120c将照相机适配器120a所生成的并且从照相机适配器120b供给的3d模型信息传送至照相机适配器120d(f06323)。

最后，将照相机适配器120a～120d所生成的前景图像、背景图像和3d模型信息通过经由网络连接的照相机适配器120顺次地传送至前端服务器230。

注意，在该序列图中省略了照相机适配器120a和照相机适配器120d要进行的校准处理、前景/背景分离处理、压缩处理和3d模型信息生成处理。然而，照相机适配器120a和120d实际上进行与照相机适配器120b和120c的操作相同的操作以生成前景图像、背景图像和3d模型信息。此外，尽管说明了在四个照相机适配器120之间进行的数据传送序列，但即使在照相机适配器120的数量增加的情况下也进行相同的处理。

如上所述，多个照相机适配器120中的除按预定顺序的最后一个照相机适配器120以外的照相机适配器120从相应照相机112所拍摄到的图像中提取预定区域。然后，照相机适配器120将基于该提取的结果的图像数据按上述预定顺序输出到接下来的照相机适配器120。另一方面，按预定顺序的最后一个照相机适配器120将基于该提取的结果的图像数据输出到图像计算服务器200。具体地，多个照相机适配器120通过菊花链彼此连接，并且利用预定的照相机适配器120将基于照相机适配器120所进行的从拍摄图像中提取预定区域的结果的图像数据输入至图像计算服务器200。通过采用这种数据传输方法，可以抑制在图像处理系统100中所包括的传感器系统110的数量改变的情况下发生的图像计算服务器200中的处理负荷的变化和网络的传输负荷的变化。此外，从照相机适配器120输出的图像数据可以是使用基于上述提取结果的图像数据以及基于按预定顺序的前一照相机适配器120所进行的预定区域的提取结果的图像数据而生成的数据。例如，由于输出了基于照相机适配器120所进行的提取的结果和前一照相机适配器120所进行的提取的结果之间的差异的图像数据，因此可以减少系统中的传输数据量。按上述顺序的最后一个照相机适配器120从其它照相机适配器120获得基于由其它照相机适配器120从其它照相机112所拍摄到的图像中所提取的预定区域的图像数据的提取图像数据。然后，最后一个照相机适配器120将该照相机适配器120自身所提取的预定区域的提取结果和与从其它照相机适配器120获得的提取图像数据相对应的图像数据输出到用于生成虚拟视点图像的图像计算服务器200。

此外，照相机适配器120将照相机112所拍摄到的图像中的前景部分和背景部分彼此分离，并且根据前景部分和背景部分的优先度来改变压缩率和传输帧频。因此，在与同照相机112所拍摄到的图像相对应的所有数据发送至前端服务器230的情况进行比较的情况下，可以减少传输量。此外，利用照相机适配器120顺次地生成3d模型生成所需的3d模型信息。因此，在与利用前端服务器230收集所有数据并且在前端服务器230中进行生成所有的3d模型信息的处理的情况进行比较的情况下，可以减少服务器的处理负荷，因此可以实时地进行3d模型生成。

接着，将参考图24来说明照相机适配器120所进行的顺次生成3d模型信息的处理中的、用于生成前景图像和背景图像并将前景图像和背景图像传送至下一照相机适配器120的处理的流程。

照相机适配器120从连接至照相机适配器120的照相机112获得拍摄图像(06501)。随后，进行用于将所获得的拍摄图像中的前景图像和背景图像分离的处理(06502)。注意，本实施例中的前景图像是基于对照相机112所拍摄到的图像中包括的预定对象的检测结果来确定的。例如，预定对象对应于人物。对象可以是特定人物(选手、教练和/或裁判)，或者可以是具有预定图像图案的球或球门。可选地，可以将移动体检测为对象。

之后，对分离后的前景图像和背景图像进行压缩处理。前景图像经受无损压缩，并且前景图像维持高图像质量。背景图像经受有损压缩，并且数据传输量减少(06503)。

随后，照相机适配器120将压缩前景图像和压缩背景图像传送至下一照相机适配器120(06504)。代替按每帧进行传送，可以在提取传送帧时传送背景图像。在例如拍摄图像的帧频为60fps的情况下，尽管按每帧传送前景图像，但在一秒内的背景图像的60帧中仅发送一帧。由此，实现了减少数据传输量的独特效果。

此外，照相机适配器120可以在将前景图像和背景图像发送至下一照相机适配器120之前指派元数据。例如，指派照相机适配器120和照相机112的标识符、帧内的前景图像的位置(xy坐标)、数据大小、帧编号和摄像时间点作为元数据。可选地，可以指派与用于识别目标点的注视点组有关的信息和用于指定前景图像和背景图像的数据类型信息。注意，所指派的数据的内容不限于这些，并且可以指派其它数据。

在照相机适配器120通过菊花链发送数据时，选择性地仅处理由与连接至照相机适配器120的照相机112的对应性高的照相机112所拍摄到的图像。由此，可以减少照相机适配器120的传输处理的负荷。此外，由于系统被配置成使得即使在菊花链传输中照相机适配器120其中之一故障、照相机适配器120之间的数据传输也不会停止，因此可以确保鲁棒性。

接着，将参考图25来说明特定照相机适配器120所进行的3d模型信息生成处理的流程中的在从相邻的照相机适配器120供给数据时所进行的处理的流程。

首先，特定照相机适配器120从相邻的照相机适配器120接收到数据(s06601)。照相机适配器120判断自身的传送模式是否是旁路控制模式(s06602)。以下将参考图28来说明该旁路控制。

在该判断为肯定的情况下，照相机适配器120将数据传送至下一个照相机适配器120(s06611)。另一方面，在该判断为为否定的情况下，照相机适配器120分析所接收到的数据的包(s06603)。

在作为分析的结果而判断为包是旁路传输控制的目标的情况下(步骤s06604中为“是”)，照相机适配器120将数据传送至下一照相机适配器120(s06610)。例如，旁路传输控制的目标的包是不用于3d模型信息的生成的图像数据、以下所述的控制消息、或者与时刻校正相关联的消息。以下将参考图27来说明旁路传输控制。

在判断为包不是旁路传输控制的目标的情况下，照相机适配器120判断数据类型(s06605)并且进行与数据类型相对应的处理。

在数据类型是要从控制站310发送至照相机适配器120自身的控制消息包的情况下，照相机适配器120分析控制消息并且基于该分析的结果来进行处理(s06606)。即使在控制消息的发送源不是控制站310而是另一节点的情况下，也进行相同的处理。此外，这也适用于不仅要向照相机适配器120自身而且还要向包括照相机适配器120的注视点组发送包的情况。照相机适配器120所进行的处理的示例包括对连接至照相机适配器120的麦克风111、照相机112和照相机平台113的控制以及对照相机适配器120自身的控制。照相机适配器120根据控制消息的内容，将控制的结果返回到发送源或指定节点。此外，在包是要发送至组的控制消息的情况下，将控制消息传送至下一照相机适配器120。

随后，在数据类型与时刻校正相关联的情况下，照相机适配器120进行时刻校正处理(s06607)。例如，照相机适配器120基于与时间服务器290的ptp处理来进行照相机适配器120的时刻校正。然后，基于校正后的时刻来校正供给至麦克风111和照相机112的字时钟。如果一旦在时刻的校正量大的情况下、字时钟的定时发生改变，则声音和图像质量受到该改变的影响，因此可以进行用于根据预设的变化量来逐渐校正时刻的处理。此外，照相机适配器120将所生成的3d模型信息和该3d模型信息的生成所使用的前景图像传送至下一照相机适配器120，使得将所生成的3d模型信息和前景图像进一步传送至前端服务器230。

在数据类型是前景图像或背景图像的情况下，照相机适配器120进行用于生成3d模型信息的处理(s06608)。

接着，将说明根据注视点组的控制。图26是示出注视点组的图。安装照相机112使得其光轴面向特定注视点06302其中之一。安装与相同注视组06301相对应的照相机112，使得这些照相机112面向相同的注视点06302。

图26是示出设置包括注视点a(06302a)和注视点b(06302b)的两个注视点06302并且安装九个照相机(112a～112i)的情况的图。四个照相机(112a、112c、112e和112g)面向相同的注视点a(06302a)并且属于注视点组a(06301a)。此外，其余五个照相机(112b、112d、112f、112h和112i)面向相同的注视点b(06302b)并且属于注视点组b(06301b)。

这里，将属于相同的注视点组06301并且彼此最近(连接跳转的数量最少)的一对照相机112表示为在逻辑上彼此相邻的照相机112。例如，照相机112a和照相机112b在物理上彼此相邻，但照相机112a和照相机112b属于不同的注视点组06301，因此照相机112a和照相机112b在逻辑上没有彼此相邻。照相机112c与照相机112a在逻辑上相邻。另一方面，照相机112h和照相机112i不仅在物理上彼此相邻，而且在逻辑上彼此相邻。

照相机适配器120根据与物理相邻的照相机112是否也是逻辑相邻的照相机112有关的判断的结果来进行不同的处理。以下将说明具体处理。

将参考图27来说明旁路传输控制。旁路传输控制是根据包括各个照相机适配器120的注视点组而使传输数据旁路的功能。省略了对构成外部装置控制器06140、图像处理器06130、传输单元06120和网络适配器06110的功能单元的说明。

在图像处理系统100中，可以改变照相机适配器120的数量的设置以及注视点组和照相机适配器120之间的对应关系的设置。假定：在图27中，照相机适配器120g、120h和120n属于注视点组a，并且照相机适配器120i属于注视点组b。

路线06450表示照相机适配器120g所生成的前景图像的传输路线，并且前景图像最终被发送至前端服务器230。在图27中，省略了背景图像、3d模型信息、控制消息、以及照相机适配器120h、120i和120n所生成的前景图像。

照相机适配器120h经由网络适配器06110h接收照相机适配器120g所生成的前景图像，并且传输单元06120h确定路由目的地。在判断为生成了所接收的前景图像的照相机适配器120g属于相同的注视点组(在本实施例中为组a)的情况下，传输单元06120h将所接收到的前景图像传送至图像处理器06130h。在图像处理器06130h基于照相机适配器120g所生成并发送的前景图像生成3d模型信息的情况下，将照相机适配器120g的前景图像传送至下一照相机适配器120i。

随后，照相机适配器120i从照相机适配器120h接收照相机适配器120g所生成的前景图像。在判断为照相机适配器120g所属的注视点组不同于照相机适配器120i所属的注视点组的情况下，照相机适配器120i的传输单元06120i不将前景图像传送至图像处理器06130i而是将前景图像传送至下一照相机适配器120。

之后，照相机适配器120n经由网络适配器06110n接收照相机适配器120g所生成的前景图像，并且传输单元06120n确定路由目的地。传输单元06120n判断为照相机适配器120n属于照相机适配器120g所属的注视点组。然而，在图像处理器06130n判断为对于3d模型信息的生成而言不需要照相机适配器120g的前景图像的情况下，将该前景图像通过菊花链的网络原样传送至下一照相机适配器120。

这样，照相机适配器120的传输单元06120判断对于作为图像处理器06130所进行的图像处理的3d模型信息的生成而言是否需要所接收到的数据。在判断为该图像处理不需要所接收到的数据的情况下，即在判断为所接收到的数据与自身的照相机适配器120的相关性低的情况下，该数据不是被传送至图像处理器06130而是被传送至下一照相机适配器120。具体地，在通过菊花链170的数据传输中，选择各个照相机适配器120所需的数据，并且进行用于顺次生成3d模型信息的处理。因此，可以减少与在从照相机适配器120接收到数据起直到传送该数据为止的时间段内的数据传送相关联的处理负荷和处理时间。

接着，将参考图28来详细说明照相机适配器120b所进行的旁路控制。省略了对构成外部装置控制器06140、图像处理器06130、传输单元06120和网络适配器06110的功能单元的说明。

旁路控制是如下的功能：照相机适配器120b将从照相机适配器120c供给的数据在无需传输单元06120的数据路由处理器06122所进行的路由控制的情况下，传送至下一照相机适配器120a。

例如，在照相机112b处于摄像停止状态、校准状态或错误处理状态的情况下，照相机适配器120b针对网络适配器06110启动旁路控制。在传输单元06120或图像处理器06130发生故障的情况下，旁路控制也被启动。此外，网络适配器06110可以检测传输单元06120的状态，并且可以主动地转变为旁路控制模式。注意，检测传输单元06120或图像处理器06130的错误状态或停止状态的子cpu可以包括在照相机适配器120b中，并且可以添加用于在子cpu进行错误检测的情况下使网络适配器06110进入旁路控制模式的处理。由此，可以独立地控制功能块的故障状态以及旁路控制。

此外，在照相机112从校准状态转变为摄像状态的情况下或者在传输单元06120等从操作故障恢复的情况下，照相机适配器120可以从旁路控制模式转变为正常通信状态。

利用该旁路控制功能，照相机适配器120可以高速地进行数据传输，并且即使在由于发生了意外故障而可能无法进行与数据路由相关联的判断的情况下，也可以将数据传送至下一照相机适配器120a。

在该系统中，前景图像、背景图像和3d模型信息经由通过菊花链连接的多个照相机适配器120传输并被供给至前端服务器230。这里，在对拍摄图像中的前景区域的数量大幅增加的事件(诸如所有选手全部在一起的开幕式等)进行摄像的情况下，要传输的前景图像的数据量与对正常比赛进行摄像的情况相比增大。因此，以下将说明用于控制通过菊花链要传输的数据量使得不超过传输频带的方法。

将参考图29和30来说明在1照相机适配器120中从传输单元06120输出数据的处理的流程。图29是示出照相机适配器120a～120c之间的数据流的图。照相机适配器120a连接至照相机适配器120b，并且照相机适配器120b连接至照相机适配器120c。此外，照相机112b连接至照相机适配器120b，并且照相机适配器120c连接至前端服务器230。现在将说明照相机适配器120b的传输单元06120所进行的数据输出处理的流程。

将摄像数据06720从照相机112b供给至照相机适配器120b的传输单元06120，并且将经过了图像处理的输入数据06721和输入数据06722从照相机适配器120a供给至照相机适配器120b的传输单元06120。此外，传输单元06120对输入数据进行各种处理(诸如向图像处理器06130的输出、压缩、帧频的设置和打包等)，并且将该数据输出到网络适配器06110。

接着，将参考图30来说明传输单元06120所进行的输出处理的流程。传输单元06120执行用于获得作为对从图像处理器06130供给的输入数据06721和摄像数据06720的图像处理的结果的数据量的步骤(s06701)。

随后，传输单元06120执行用于获得从照相机适配器120a供给的输入数据06722的量的步骤(s06702)。之后，传输单元06120执行用于根据输入数据的类型来获得要输出到照相机适配器120c的数据量的步骤(s06703)。

之后，传输单元06120比较输出数据量和预定的传输频带限制量，以判断是否可以进行传输。具体地，传输单元06120判断要输出到网络适配器06110的数据量是否超过预先指定的输出数据量的阈值(s06704)。注意，可以针对各数据类型(诸如前景图像、背景图像、全景帧数据和3d模型信息等)设置阈值。此外，在利用传输单元06120对数据进行压缩的情况下，基于传输单元06120所进行的数据压缩的结果来获得要输出的数据量。注意，优选考虑到打包所使用的头部信息以及纠错信息的开销来设置输出数据量的阈值。

在判断为输出数据量没有超过阈值的情况下，传输单元06120进行正常传送以将输入数据输出到网络适配器06110(s06712)。另一方面，在判断为输出数据量超过阈值的情况下(步骤s6704中为“是”)，在输入至传输单元06120的数据是图像数据时，传输单元06120获得输出数据量过剩时的策略(s06705)。然后，传输单元06120根据所获得的策略来选择以下所述的多个处理(s06707～s06711)至少之一(s06706)，并且执行所选择的处理。注意，传输单元06120可以对除图像数据以外的与时刻校正相关联的数据和与控制消息相关联的数据进行正常传送。此外，可以根据消息的类型或优先度来放弃消息。可以通过减少输出数据量来抑制数据传送的溢出。

作为传输单元06120所执行的处理，传输单元06120在将图像数据输出到网络适配器06110之前降低图像数据的帧频(s06707)。在省略一些帧的情况下进行传输，由此减少数据量。然而，在跟随快速移动的对象时，在与以高帧频输出进行比较的情况下，图像质量可能劣化，因此根据目标摄像场景来进行与是否要采用该方法有关的判断。

作为另一处理，传输单元06120在降低图像数据的分辨率之后将图像数据输出到网络适配器06110(s06708)。该处理影响输出图像的图像质量，因此根据最终用户终端的类型来设置策略。例如，设置与适当的分辨率转换相关联的策略，使得在要将图像数据输出到智能电话的情况下，分辨率大幅降低，由此减少数据量，而在要将图像数据输出到高分辨率显示器等的情况下，分辨率略微降低。

作为另一处理，传输单元06120在提高图像数据的压缩率之后将图像数据输出到网络适配器06110(s06709)。这里，根据诸如无损压缩或有损压缩等的恢复性能请求(即，图像质量请求)来减少输入图像数据的量。

作为又一处理，传输单元06120停止从图像处理器06130输出摄像数据06720(s06710)。这里，停止经过了图像处理的图像数据的输出，由此减少数据量。在配备有足够数量的照相机112的情况下，必然是如下情况：对于虚拟视点图像的生成而言需要包括在同一注视点组中的所有照相机112。例如，在可以预先确定出在例如拍摄体育馆的整个场地时、即使减少照相机112的数量也不会发生盲角的情况下，采用该控制。具体地，只要在后续步骤中不会发生图像的失败，可以通过选择不进行图像数据传输的照相机来确保传输频带。

作为进一步的处理，传输单元06120停止从图像处理器06130的输入数据06721的输出，或者仅停止从一些照相机适配器120的图像的输出(s06711)。另外，如果可以使用从其它照相机适配器120供给的图像来生成3d模型信息，则可以停止从其它照相机适配器120的前景图像或背景图像的输出，并且仅对3d模型信息进行输出控制，由此减少了数据量。

将与用于减少输出数据的量的方法有关的信息经由前端服务器230发送至后端服务器270、虚拟照相机操作ui330和控制站310(s06713)。在本实施例中，流程发生分支，由此进行帧频的控制处理、分辨率的控制处理、压缩率的控制处理或数据停止的控制处理。然而，本发明不限于此。通过组合多个控制操作，更有效地执行数据量的减少。此外，在步骤s06713中进行该控制处理的通知。通过该通知，如果在虚拟照相机操作ui330中作为例如提高压缩率的结果在图像质量方面没有获得足够的分辨率，则可以限制变焦操作。此外，同样在传输频带限制量过剩处理之后，在适当的情况下检查输出数据量的过剩，并且如果数据量变得稳定，则可以将传输处理的策略返回到原始设置值。

这样，通过进行与该状态相对应的传输控制处理以解决菊花链的传输频带的过剩，可以有效地实现满足传输频带限制的传输。

接着，将参考图31的流程图来说明摄像时工作流程的步骤s1500和步骤s1600中的前端服务器230的操作。

控制器02110从控制站310接收到用于切换为摄像模式的指示，并且进行向摄像模式的切换(s02300)。在摄像开始时，数据输入控制器02120开始从照相机适配器120接收摄像数据(s02310)。

摄像数据由数据同步单元02130缓冲，直到获得文件的生成所需的所有摄像数据为止(s02320)。尽管在流程图中没有清楚地示出，但在本实施例中进行与是否实现了指派给摄像数据的时间信息的一致有关的判断以及与是否提供了预定数量的照相机有关的判断。此外，根据照相机112的状态(诸如正在进行校准的状态或者正在进行错误处理的状态等)，可以不发送图像数据。在这种情况下，在稍后阶段的向数据库250的传送(s02370)中通知缺少具有预定照相机编号的图像。这里，可以采用用于针对图像数据的到达等待了预定时间段的方法，以进行与是否提供了预定数量的照相机有关的判断。然而，在本实施例中，在照相机适配器120通过菊花链发送数据时，指派表示是否存在与照相机编号相对应的图像数据的判断结果的信息，以抑制该系统所进行的一系列处理的延迟。由此，可以利用前端服务器230的控制器02110立即进行判断。此外，可以获得如下效果：不需要等待拍摄图像的到达的时间段。

在利用数据同步单元02130缓冲文件的生成所需的数据之后，进行各种转换处理(s02330)，这些转换处理包括对raw图像数据进行显像的处理、镜头失真的校正、照相机所拍摄到的图像(诸如前景图像和背景图像等)的颜色和亮度值的调整。

如果利用数据同步单元02130缓冲的数据包括背景图像，则进行用于结合背景图像的处理(s02340)，否则进行用于结合3d模型(s02350)的处理(s02335)。

在步骤s02330中，图像结合单元02170获得图像处理器02150进行处理后的背景图像。根据在步骤s02230中存储在cad数据存储单元02135中的体育馆形状数据的坐标来结合背景图像，并且将结合后的背景图像供给至摄像数据文件生成单元02180(s02340)。

从数据同步单元02130获得3d模型的3d模型结合单元02160使用3d模型数据和照相机参数来生成前景图像的3d模型(s02350)。

接收到通过直到步骤s02350的处理为止的处理所生成的摄像数据的摄像数据文件生成单元02180根据文件格式来对摄像数据进行转换并打包该摄像数据。之后，摄像数据文件生成单元02180将所生成的文件发送至db访问控制器02190(s02360)。db访问控制器02190将在步骤s02360中从摄像数据文件生成单元02180供给的摄像数据文件发送至数据库250(s02370)。

接着，将参考图32的流程图来特别说明在摄像时工作流程的步骤s1500和步骤s1600的虚拟视点图像的生成中进行的数据库250的操作中所包括的数据写入操作。

前端服务器230将摄像数据供给至数据库250的数据输入单元02420。数据输入单元02420提取作为元数据与所供给的摄像数据相关联的时间信息或时间码信息，并且检测到在时间点t1获得了所供给的摄像数据(s02810)。

数据输入单元02420将时间点t1获得的所供给的摄像数据发送至高速缓存器02440，并且高速缓存器02440高速缓存在时间点t1获得的摄像数据(s02820)。

数据输入单元02420判断比时间点t1提前了n帧的所获得的摄像数据(即，时间点t1-n处的摄像数据)是否已被高速缓存(s02825)，并且在该判断为肯定的情况下，处理进入步骤s02830，否则处理终止。注意，“n”根据帧频而改变。这里，“t1-n”可以是比时间点t1提前了帧单位时间的n倍的时间点，或者可以是比时间点t1的帧提前了n个帧的时间码。

在高速缓存在时间点t1获得的摄像数据时，高速缓存器02440将已高速缓存的在时间点t1-n获得的摄像数据传送至主存储器02450，并且主存储器02450记录从高速缓存器02440发送来的在时间点t1-n获得的摄像数据(s02830)。如此，根据可高速访问的高速缓存器02440的容量限制来将预定时间点之前的帧顺次地存储在主存储器02450中。例如，在高速缓存器02440具有环形缓冲器配置的情况下实现该操作。

接着，将参考图33的流程图来特别说明在摄像时工作流程的步骤s1500和步骤s1600的虚拟视点图像的生成中进行的数据库250的操作中所包括的数据读取操作。

后端服务器270请求数据输出单元02430发送与时间点t的时间码相对应的数据(s02910)。数据输出单元02430判断与时间点t相对应的数据已存储在高速缓存器02440还是主存储器02450中，以确定数据读取的来源(s02920)。例如，在与上述的图32的情况相同、在时间点t1将摄像数据供给至数据输入单元02420的情况下，如果时间点t在时间点t1-n之前，则从主存储器02450读取数据(s02930)。如果时间点t在时间点t1-n和时间点t1之间，则从高速缓存器02440读取数据(s02940)。在时间点t晚于时间点t1的情况下，数据输出单元02430向后端服务器270进行错误通知(s02950)。

接着，将参考图35a～35e的流程图来说明照相机适配器120中所包括的图像处理器06130的处理流程。

在图35a的处理之前，校准控制器06133对输入图像进行用于抑制照相机112之间的颜色变化的颜色校正处理，并且对输入图像进行用于通过减少由照相机112的振动引起的图像模糊来使图像稳定的模糊校正处理(电子振动控制处理)。在颜色校正处理中，进行用于根据从前端服务器230等供给的参数来向输入图像的像素值加上偏移值的处理。在模糊校正处理中，基于从诸如并入照相机112中的加速度传感器或陀螺仪传感器等的传感器输出的数据来估计图像的模糊量。可以通过根据所估计的模糊量来进行图像位置的移位以及使图像转动的处理来抑制帧图像之间的模糊。注意，可以使用其它方法作为模糊校正方法。例如，可以采用如下的方法：用于进行用以通过将图像与从时间上彼此连接的多个帧图像进行比较来估计并校正该图像的偏移量的图像处理的方法、或者诸如镜头移位法或传感器移位法等的在照相机内实现的方法。

背景更新单元05003使用输入图像和存储器中所存储的背景图像来进行更新背景图像05002的处理。在图34a中示出背景图像的示例。对各个像素进行更新处理。将参考图35a来说明该处理流程。

首先，在步骤s05001中，背景更新单元05003获得输入图像的像素和背景图像内的相应位置中的像素之间的差。在步骤s05002中，判断这些差是否小于阈值k。在差小于阈值k的情况下(步骤s05002中为“是”)，判断为像素与背景图像相对应。在步骤s05003中，背景更新单元05003通过将输入图像的像素值和背景图像的像素值按特定比率混合来计算值。在步骤s05004中，背景更新单元05003使用通过提取背景图像中的像素值所获得的值来进行更新。

将参考图34b来说明在作为背景图像的图34a所示的图中包括人物的示例。在这种情况下，在聚焦与人物相对应的像素时，相对于背景的像素值之间的差变大，并且在步骤s05002中差变得等于或大于阈值k。在这种情况下，由于像素值的变化大，因此判断为包括除背景以外的对象，并且不更新背景图像05002(步骤s05002中为“否”)。在背景更新处理中可以采用各种其它方法。

接着，背景提取单元05004读取背景图像05002的一部分，并且将背景图像05002的该部分发送至传输单元06120。在安装多个照相机112、使得在体育馆等中要拍摄诸如足球比赛等的比赛的图像时可以无盲角地对整个场地进行摄像的情况下，照相机112的背景信息的大部分彼此重叠。由于背景信息大，因此可以在从传输频带限制方面删除重叠部分之后传输图像，使得可以减少传输量。将参考图35d来说明该处理的流程。在步骤s05010中，背景提取单元05004例如如利用图34c中的虚线包围的部分区域3401所示设置背景图像的中央部分。具体地，部分区域3401表示照相机112自身所发送的背景区域，并且背景区域中的其它部分由其它的照相机112发送。在步骤s05011中，背景提取单元05004读取背景图像中的所设置的部分区域3401。在步骤s05012中，背景提取单元05004将部分区域3401输出到传输单元06120。所输出的背景图像被收集在图像计算服务器200中并且用作背景模型的纹理。根据预定参数值来设置照相机适配器120中提取背景图像05002的位置，使得不会发生背景模型的纹理信息的缺失。通常，设置必需的最低限度的提取区域，由此减少传输数据量。因此，可以高效地减少背景信息的大的传输量，并且系统可以应对高分辨率。

接着，前景分离单元05001进行检测前景区域(包括诸如人物等的对象的区域)的处理。将参考图35b来说明针对各像素执行的前景区域检测处理的流程。将利用背景差信息的方法用于前景的检测。在步骤s05005中，前景分离单元05001获得新输入的图像的像素和背景图像05002中的相应位置的像素之间的差。然后，在步骤s05006中判断这些差是否大于阈值l。这里在假定例如在图34b中示出新输入的图像的情况下，在图34a的背景图像05002上，包括人物的区域中的像素存在大的差。在这些差大于阈值l的情况下，在步骤s05007中将这些像素设置为前景。用于使用背景差信息来检测前景的方法具有独创性的操作，使得以更高的精度检测前景。此外，在前景检测中可以采用包括使用特征值的方法或使用机器学习的方法的各种方法。

前景分离单元05001对所输入的图像的各个像素执行以上参考图35b所述的处理，之后进行将前景区域确定为要输出的块的处理。将参考图35c来说明该处理的流程。在步骤s05008中，在检测到前景区域的图像中，将通过多个像素彼此连结构成的前景区域确定为一个前景图像。作为检测包括彼此连结的像素的区域的处理，例如，使用区域生长法。由于区域生长法是一般算法，因此省略了对该方法的详细说明。在步骤s05008中收集前景区域作为前景图像之后，在步骤s05009中顺次地读取前景图像并将这些前景图像输出至传输单元06120。

接着，3d模型信息生成单元06132使用前景图像来生成3d模型信息。在照相机适配器120从相邻的照相机112接收到前景图像时，将该前景图像经由传输单元06120提供给不同照相机前景接收单元05006。将参考图35e来说明在输入前景图像时3d模型处理器05005所执行的处理的流程。这里，在图像计算服务器200收集照相机112的拍摄图像数据、开始图像处理并且生成虚拟视点图像的情况下，由于计算量大而可能导致图像生成所需的时间段增加。特别地，3d模型生成中的计算量可能显著增加。因此，在图35e中，将说明用于在通过使照相机适配器120彼此连接的菊花链传输数据期间顺次地生成3d模型信息以减少图像计算服务器200所进行的处理量的方法。

首先，在步骤s05013中，3d模型信息生成单元06132接收其它照相机112其中之一所拍摄到的前景图像。随后，3d模型信息生成单元06132判断拍摄到所接收的前景图像的照相机112是否属于目标照相机112的注视点组、并且该照相机112是否与目标照相机112相邻。在步骤s05014中判断为肯定的情况下，处理进入步骤s05015。另一方面，在判断为否定的情况下，判断为其它照相机112的前景图像不与目标照相机112相关联并且处理终止、即不进行处理。此外，尽管在步骤s05014中判断照相机112是否与目标照相机112相邻，但用于判断照相机112之间的关系的方法不限于此。例如，3d模型信息生成单元06132可以预先获得并设置关联的照相机112的照相机编号，并且仅在传输关联的照相机112的图像数据的情况下才通过获得图像数据来进行处理。同样在这种情况下，可以获得相同的效果。

在步骤s05015中，3d模型信息生成单元06132获得前景图像的深度信息。具体地，3d模型信息生成单元06132将从前景分离单元05001供给的前景图像与其它照相机112其中之一的前景图像相关联，之后根据关联像素的坐标值以及照相机参数来获得前景图像中所包括的像素的深度信息。这里，作为用于使图像彼此关联的方法，例如采用块匹配方法。通常使用块匹配方法，因此省略了对该方法的详细说明。作为关联方法，可以采用各种方法，诸如通过将特征点检测、特征值计算和匹配处理等彼此组合来提高性能的方法等。

在步骤s05016中，3d模型信息生成单元06132获得前景图像的3d模型信息。具体地，根据在步骤s05015中获得的深度信息和照相机参数接收单元05007中所存储的照相机参数来获得前景图像中所包括的像素的世界坐标值。然后，将世界坐标值和像素值用作集合，由此设置被配置为点组的3d模型的一个点数据。如上所述，可以获得与从前景分离单元05001供给的前景图像中所获得的3d模型的一部分的点组有关的信息和与从其它照相机112的前景图像中所获得的3d模型的一部分的点组有关的信息。在步骤s05017中，3d模型信息生成单元06132将照相机编号和帧编号作为元数据添加到所获得的3d模型信息(例如，时间码和绝对时间可以用作元数据)，并且将该3d模型信息发送至传输单元06120。

这样，即使在照相机适配器120通过菊花链彼此连接并且设置多个注视点的情况下，在通过菊花链传输数据的同时也根据照相机112之间的相关性进行图像处理，由此顺次地生成3d模型信息。结果，高效地实现了高速处理。

根据本实施例，尽管上述处理由在照相机适配器120中实现的诸如fpga或asic等的硬件执行，但这些处理也可以通过例如使用cpu、gpu或dsp的软件处理来执行。此外，尽管在本实施例中照相机适配器120执行3d模型信息的生成，但从照相机112收集所有前景图像的图像计算服务器200也可以生成3d模型信息。

接着，将说明后端服务器270所进行的、用于基于数据库250中所存储的数据来进行实时图像生成和重放图像生成并且使最终用户终端190显示所生成的图像的处理。注意，本实施例的后端服务器270生成虚拟视点内容作为实时图像或重放图像。在本实施例中，使用多个照相机112所拍摄到的图像作为多个视点图像来生成虚拟视点内容。具体地，后端服务器270例如基于根据用户操作指定的视点信息来生成虚拟视点内容。尽管在本实施例中说明虚拟视点内容包括声音数据(音频数据)的情况作为示例，但也可以不包括声音数据。

在用户通过操作虚拟照相机操作ui330指定视点的情况下，可能不存在生成与所指定的视点的位置(虚拟照相机的位置)相对应的图像所用的要由照相机112拍摄的图像，图像的分辨率可能不足，或者图像的质量可能低。在这种情况下，如果在图像生成的阶段之前不能判断出不满足用于向用户提供图像的条件，则操作性可能劣化。以下将说明用于降低该可能性的方法。

图36是在从操作员(用户)对输入装置进行操作起直到显示虚拟视点图像为止的时间段内虚拟照相机操作ui330、后端服务器270和数据库250所进行的处理的流程。

首先，操作员操作输入装置以操作虚拟照相机(s03300)。

输入装置的示例包括操纵杆、轻推转盘、触摸面板、键盘和鼠标。

虚拟照相机操作ui330获得表示虚拟照相机的输入位置和输入取向的虚拟照相机参数(s03301)。

虚拟照相机参数包括表示虚拟照相机的位置和取向的外部参数以及表示虚拟照相机的变焦倍率的内部参数。

虚拟照相机操作ui330将所获得的虚拟照相机参数发送至后端服务器270。

在接收到虚拟照相机参数时，后端服务器270请求数据库250发送前景3d模型组(s03303)。数据库250响应于该请求将包括前景对象的位置信息的前景3d模型组发送至后端服务器270(s03304)。

后端服务器270基于虚拟照相机参数以及前景3d模型中所包括的前景对象的位置信息来几何地获得虚拟照相机的视野中所包括的前景对象组(s03305)。

后端服务器270请求数据库250发送所获得的前景对象组的前景图像、前景3d模型、背景图像和声音数据组(s03306)。数据库250响应于该请求将数据发送至后端服务器270(s03307)。

后端服务器270根据所接收到的前景图像和所接收到的前景3d模型以及所接收到的背景图像来生成虚拟视点的前景图像和背景图像，并且通过合成这些图像来生成虚拟视点的全景图像。

此外，后端服务器270根据声音数据组将与虚拟照相机的位置相对应的声音数据合成，以通过将声音数据与虚拟视点的全景图像整合来生成虚拟视点的图像和声音(s03308)。

后端服务器270将所生成的虚拟视点的图像和声音发送至虚拟照相机操作ui330(s03309)。虚拟照相机操作ui330通过显示所接收到的图像来实现虚拟照相机所拍摄到的图像的显示。

图38a是在虚拟照相机操作ui330生成实时图像时进行的处理的过程的流程图。

在步骤s08201中，虚拟照相机操作ui330获得与操作员为了操作虚拟照相机08001而输入至输入装置的操作有关的信息。在步骤s08202中，虚拟照相机操作单元08101判断操作员的操作是否与虚拟照相机08001的移动或转动相对应。针对每一帧进行移动或转动。在该判断为肯定的情况下，处理进入步骤s08203。否则，处理进入步骤s08205。这里，对移动操作、转动操作和轨迹选择操作进行不同的处理。因此，可以通过简单的操作来彼此切换在时间停止时转动视点位置的图像表现和连续移动的图像表现。

在步骤s08203中，进行参考图38b要说明的一帧的处理。在步骤s08204中，虚拟照相机操作ui330判断操作员是否输入了终止操作。在该判断为肯定的情况下，处理终止，否则处理返回至步骤s08201。在步骤s08205中，虚拟照相机操作单元08101判断操作员是否输入了用于选择轨迹(虚拟照相机路径)的操作。例如，可以利用多个帧的与虚拟照相机08001的操作有关的信息行来表示轨迹。在判断为输入了用于选择轨迹的操作的情况下，处理进入步骤s08206。否则，处理返回至步骤s08201。

在步骤s08206中，虚拟照相机操作ui330根据所选择的轨迹来获得下一帧的操作。在步骤s08207中，进行参考图38b要说明的一帧的处理。在步骤s08208中，判断是否对所选择的轨迹的所有帧进行了处理。在该判断为肯定的情况下，处理进入步骤s08204，否则处理返回到步骤s08206。图38b是在步骤s08203和步骤s08206中进行的一帧的处理的流程图。

在步骤s08209中，虚拟照相机参数获得单元08102获得位置和取向改变之后的虚拟照相机参数。在步骤s08210中，冲突判断单元08104进行冲突判断。在发生冲突的情况下、即在不满足虚拟照相机限制的情况下，处理进入步骤s08214。在没有发生冲突的情况下、即在满足虚拟照相机限制的情况下，处理进入步骤s08211。

这样，虚拟照相机操作ui330进行冲突判断。然后，根据该判断的结果来进行用于使操作单元锁定的处理或者用于通过显示不同颜色的消息来生成警报的处理，由此可以提高对操作员的即时反馈。结果，提高了操作性。

在步骤s08211中，虚拟照相机路径管理单元08106将虚拟照相机参数发送至后端服务器270。在步骤s08212中，虚拟照相机图像/声音输出单元08108输出从后端服务器270供给的图像。

在步骤s08214中，校正虚拟照相机08001的位置和取向，使得满足虚拟照相机限制。例如，取消用户所进行的最新的操作输入，并且使虚拟照相机参数再次进入前一帧的状态。由此，在例如输入轨迹之后发生冲突的情况下，操作员可以交互地校正从发生冲突的部分起的操作输入而无需从头开始进行操作输入，因此提高了操作性。

在步骤s08215中，反馈输出单元08105向操作员通知表示不满足虚拟照相机限制的信息。通过声音、消息或用于使虚拟照相机操作ui330锁定的方法来进行该通知。然而，通知方法不限于这些。

图39是在虚拟照相机操作ui330生成重放图像时进行的处理的过程的流程图。

在步骤s08301中，虚拟照相机路径管理单元08106获得实时图像的虚拟照相机路径08002。在步骤s08302中，虚拟照相机路径管理单元08106接受操作员为了选择实时图像的虚拟照相机路径08002的起点和终点所进行的操作。例如，选择了球门场景前后的10秒的虚拟照相机路径08002。在实时图像具有60帧/秒的情况下，在10秒的虚拟照相机路径08002中包括600个虚拟照相机参数。由此，要管理的不同的虚拟照相机参数信息与不同的帧相关联。

在步骤s08303中，将所选择的10秒的虚拟照相机路径08002存储为重放图像中的虚拟照相机路径08002的初始值。此外，在步骤s08307～步骤s08309的处理中，在编辑虚拟照相机路径08002的情况下，将编辑结果存储为更新。

在步骤s08304中，虚拟照相机操作ui330判断操作员输入的操作是否是再现操作。在该判断为肯定的情况下，处理进入步骤s08305，否则处理进入步骤s08307。

在步骤s08305中，接受与再现范围的选择相关联的操作员输入。在步骤s08306中，再现操作员所选择的范围中的图像和声音。具体地，虚拟照相机路径管理单元08106将所选择的范围中的虚拟照相机路径08002发送至后端服务器270。也就是说，虚拟照相机路径管理单元08106顺次发送虚拟照相机路径08002中所包括的虚拟照相机参数。虚拟照相机图像/声音输出单元08108输出从后端服务器270供给的虚拟视点图像和虚拟视点声音。在步骤s08307中，虚拟照相机操作ui330判断操作员所输入的操作是否是编辑操作。在该判断为肯定的情况下，处理进入步骤s08308，否则处理进入步骤s08310。

在步骤s08308中，虚拟照相机操作ui330将操作员所选择的范围指定为编辑范围。在步骤s08309中，通过与在步骤s08306中进行的处理相同的处理来再现所选择的编辑范围中的图像和声音。然而，在使用虚拟照相机操作单元08101来操作虚拟照相机08001的情况下，反映该操作的结果。具体地，可以编辑重放图像以成为与实时图像不同的视点的图像。此外，可以编辑重放图像，由此进行慢速再现并停止再现。例如，可以进行编辑使得停止时间并移动视点。

在步骤s08310中，虚拟照相机操作ui330判断操作员所输入的操作是否是终止操作。在该判断为肯定的情况下，处理进入步骤s08311，否则处理进入步骤s08304。

在步骤s08311中，将已编辑的虚拟照相机路径08002发送至后端服务器270。

图40是从虚拟照相机操作ui330生成的多个虚拟照相机图像中选择用户期望的虚拟照相机图像并查看所选择的虚拟照相机图像的处理的过程的流程图。例如，用户使用最终用户终端190查看该虚拟照相机图像。注意，虚拟照相机路径08002可以存储在图像计算服务器200或者与图像计算服务器200不同的网络服务器(未示出)中。

在步骤s08401中，最终用户终端190获得虚拟照相机路径08002的列表。可以向虚拟照相机路径08002添加缩略图和用户的评价等。在步骤s08401中，最终用户终端190显示虚拟照相机路径08002的列表。

在步骤s08402中，最终用户终端190获得与用户从列表中选择的虚拟照相机路径08002相关联的指定信息。

在步骤s08403中，最终用户终端190将用户选择的虚拟照相机路径08002发送至后端服务器270。后端服务器270根据所接收到的虚拟照相机路径08002生成虚拟视点图像和虚拟视点声音，以发送至最终用户终端190。

在步骤s08404中，最终用户终端190输出从后端服务器270供给的虚拟视点图像和虚拟视点声音。

这样，由于存储了虚拟照相机路径08002的列表并且之后可以使用虚拟照相机路径08002再现图像，因此无需连续地存储虚拟视点图像，因而可以降低存储装置的成本。此外，在请求了与优先度高的虚拟照相机路径08002相对应的图像生成的情况下，稍后可以进行优先度低的虚拟照相机路径08002的图像生成。此外，如果在web服务器中公开虚拟照相机路径08002，则可以向连接至web的最终用户提供或共享虚拟视点图像，因此可以提高用户的可维护性。

将说明最终用户终端190中所显示的画面。图41是示出最终用户终端190所显示的显示画面41001的图(插图的作者：vectoropenstock，使用许可：http://creativecommons.org/licenses/by/2.1/jp/legalcode)。

最终用户终端190将从后端服务器270供给的图像顺次显示在要显示图像的区域41002中，使得观看者(用户)可以观看诸如足球比赛等的虚拟视点图像。观看者根据所显示的图像来操作用户输入装置以改变图像的视点。如果例如用户向左移动鼠标，则显示所显示的图像中视点指向左的图像。如果用户向上移动鼠标，则显示观看所显示的图像的上方向的图像。

在不同于图像显示区域41002的区域中可以布置手动操作和自动操作可以彼此切换的图形用户界面(gui)按钮41003和41004。在操作按钮41003或按钮41004时，观看者可以判断是在观看之前改变视点还是按预设视点进行观看。

例如，最终用户终端190将表示用户手动操作的视点的切换结果的视点操作信息顺次上传到图像计算服务器200或web服务器(未示出)。之后，操作另一最终用户终端190的用户可以获得该视点操作信息，并且可以查看与该视点操作信息相对应的虚拟视点图像。此外，用户可以例如通过对所上传的视点操作信息进行评级来查看与流行的视点操作信息相对应的所选图像，并且甚至不熟悉该操作的用户也可以容易地使用该服务。

接着，将说明自观看者选择手动操作起手动操作的应用程序管理单元10001的操作。图42是应用程序管理单元10001所进行的手动操作处理的流程图。

应用程序管理单元10001判断用户是否进行了输入(s10010)。

在该判断为肯定的情况下(步骤s10010中为“是”)，应用程序管理单元10001将用户输入信息转换成后端服务器命令，使得后端服务器270可以识别用户输入信息(s10011)。

另一方面，在该判断为否定的情况下(步骤s10010中为“否”)，处理进入步骤s10013。

随后，应用程序管理单元10001经由操作系统单元10002和网络通信单元10003发送后端服务器命令(s10012)。在后端服务器270基于用户输入信息生成视点改变的图像之后，应用程序管理单元10001经由网络通信单元10003和操作系统单元10002从后端服务器270接收图像(s10013)。然后，应用程序管理单元10001将所接收到的图像显示在预定图像显示区域41002中(s10014)。通过进行上述处理，通过手动操作改变图像的视点。

接着，将说明在观看者(用户)选择自动操作时的应用程序管理单元10001的操作。图43是应用程序管理单元10001所进行的自动操作处理的流程图。

在检测到自动操作所用的输入信息的情况下(s10020)，应用程序管理单元10001读取自动操作所用的输入信息(s10021)。

应用程序管理单元10001将所读取的自动操作所用的输入信息转换成后端服务器270可识别的后端服务器命令(s10022)。

随后，应用程序管理单元10001经由操作系统单元10002和网络通信单元10003发送后端服务器命令(s10023)。

在后端服务器270基于用户输入信息生成视点改变的图像之后，应用程序管理单元10001经由网络通信单元10003和操作系统单元10002从后端服务器270接收图像(s10024)。最后，应用程序管理单元10001将所接收到的图像显示在预定图像显示区域中(s10025)。只要存在自动操作所用的输入信息就重复地进行上述处理，使得图像的视点由于自动操作而改变。

图44是后端服务器270所进行的生成一帧的虚拟视点图像的处理的流程图。

数据接收单元03001从控制器300接收虚拟照相机参数(s03100)。如上所述，虚拟照相机参数表示虚拟视点的位置和取向等。

前景对象确定单元03010基于所接收到的虚拟照相机参数和前景对象的位置来确定虚拟视点图像的生成所需的前景对象(s03101)。在从虚拟视点观看的情况下视野中所包括的前景对象是3d几何地获得的。请求列表生成单元03011生成所确定的前景对象的前景图像、前景3d模型组、背景图像和声音数据组的请求列表，并且请求数据输出单元03012向数据库250发送请求(s03102)。请求列表包括针对数据库250要请求的数据的内容。

数据接收单元03001从数据库250接收所请求的信息(s03103)。数据接收单元03001判断从数据库250供给的信息是否包括表示错误的信息(s03104)。

这里，表示错误的信息的示例包括图像传输量溢出、图像拍摄失败和图像在数据库250中的存储失败。该错误信息存储在数据库250中。

在步骤s03104中包括表示错误的信息的情况下，数据接收单元03001判断为不能进行虚拟视点图像的生成并且终止处理而不输出数据。在步骤s03104中判断为不包括表示错误的信息的情况下，后端服务器270进行虚拟视点的背景图像的生成、前景图像的生成和与该视点相对应的声音的生成。背景纹理添加单元03002根据在系统启动之后获得的并且存储在背景网格模型管理单元03013中的背景网格模型、以及数据库250所获得的背景图像，来生成具有纹理的背景网格模型(s03105)。

此外，后端服务器270根据绘制模式生成前景图像(s03106)。此外，后端服务器270通过合成声音数据组来生成声音，仿佛复制了虚拟视点的声音那样(s03107)。在声音数据组的合成中，基于虚拟视点和音频数据的获得位置来控制各个声音数据的大小。

绘制单元03006通过在从虚拟视点观看的视野内裁切在步骤s03105中生成的具有纹理的背景网格模型、并且与前景图像合成，来生成虚拟视点的全景图像(s03108)。

合成单元03008将虚拟视点声音生成(s03107)中所生成的虚拟声音和所绘制的虚拟视点的全景图像进行整合(s03109)，以生成一帧的虚拟视点内容。

图像输出单元03009将所生成的一帧的虚拟视点内容输出到外部控制器300和外部最终用户终端190(s03110)。

接着，将说明为了增加该系统可应用的使用例而进行的用于应对针对虚拟视点图像生成的各种请求的灵活的控制判断。

图45是前景图像的生成的流程图。这里，将说明在虚拟视点图像生成中选择多个绘制算法其中之一使得应对与图像输出目的地相对应的请求的策略的示例。

首先，后端服务器270的绘制模式管理单元03014确定绘制方法。用于确定绘制方法的要求由控制站310设置到后端服务器270。绘制模式管理单元03014根据这些要求来确定绘制方法。绘制模式管理单元03014确认在后端服务器270基于利用照相机平台113的摄像所进行的虚拟视点图像生成中是否进行用于优先高速操作的请求(s03200)。用于优先考虑高速操作的请求等同于几乎没有延迟的图像生成请求。在步骤s03200中该判断为肯定的情况下，ibr作为绘制是有效的(s03201)。随后，判断是否进行用于优先与虚拟视点图像生成相关联的视点的指定自由度的请求(s03202)。在步骤s03202中该判断为肯定的情况下，mbr作为绘制是有效的(s03203)。随后，判断是否进行用于在虚拟视点图像生成中优先计算处理的轻量化的请求(s03204)。例如，在系统以低成本配置、同时使用少量计算机资源时，进行用于优先计算处理轻量化的请求。在步骤s03204中该判断为肯定的情况下，ibr作为绘制是有效的(s03205)。之后，绘制模式管理单元03014判断虚拟视点图像生成所要使用的照相机112的数量是否等于或大于阈值(s03206)。在步骤s03206中该判断是肯定的情况下，mbr作为绘制是有效的(s03207)。

后端服务器270根据绘制模式管理单元03014所管理的模式信息来判断绘制方法是mbr还是ibr(s03208)。注意，在不进行步骤s03201、s03203、s03205和s03207的任何处理的情况下，使用在系统启动时预先确定的默认绘制方法。

在步骤s03208中判断为绘制方法是基于模型的绘制(mbr)的情况下，前景纹理确定单元03003基于前景3d模型和前景图像组来确定前景的纹理(s03209)。之后，前景纹理边界颜色调整单元03004在所确定的前景纹理的边界中进行颜色匹配(s03210)。从多个前景图像组中提取前景3d模型的纹理，因此进行颜色匹配以解决由前景图像的摄像状态的差异所引起的纹理中的颜色差异。

在步骤s03208中判断为绘制方法是ibr的情况下，虚拟视点前景图像生成单元03005基于虚拟照相机参数和前景图像组来对前景图像进行诸如透视变换等的几何转换，使得生成虚拟视点的前景图像(s03211)。

注意，用户可以在系统操作期间任意改变绘制方法，或者系统可以根据虚拟视点的状态改变绘制方法。此外，可以在系统操作期间改变候选的绘制方法。

因此，与虚拟视点的生成相关联的绘制算法不仅可以在启动时设置，而且可以根据情况而改变，因此可以处理各种请求。具体地，即使在请求与不同的图像输出目的地相对应的元素(例如，参数的优先度)的情况下，也可以灵活地应对该请求。注意，尽管在本实施例中使用ibr和mbr其中之一作为绘制方法，但本发明不限于此，并且可以采用使用这两个方法的混合方法。在采用混合方法的情况下，绘制模式管理单元03014根据数据接收单元03001所获得的信息来确定通过对虚拟视点图像进行分割而获得的分割区域的生成所要使用的多个方法。具体地，可以基于mbr来生成一帧的虚拟视点图像的一部分，并且可以基于ibr来生成其它部分。例如，光泽无纹理且具有非凹面的对象可以通过使用ibr来避免3d模型的精度下降，并且靠近虚拟视点的对象可以通过使用mbr来避免图像的平面化。此外，要清楚地显示画面中心附近的对象，因此通过mbr生成图像，并且可以通过利用ibr生成图像来减少位于端部的对象的处理负荷。这样，可以详细地控制与虚拟视点图像的生成相关联的处理负荷和虚拟视点图像的图像质量。

此外，尽管可以针对不同的比赛来设置(包括注视点、摄像技巧和传输控制的设置的)适合系统的不同设置，但如果每当举行比赛时操作员都手动进行系统的设置，则操作员的负担可能增加，因而需要设置的简化。因此，图像处理系统100自动更新要经过设置改变的装置的设置，由此提供如下机制，该机制用于减轻进行用以生成虚拟视点图像的系统的设置的操作员的负担。以下将说明该机制。

图46是在上述的安装后工作流程中生成的并且与在摄像前工作流程中对系统内所包括的装置设置的操作相关联的信息列表的表。控制站310根据用户所进行的输入操作来获得与多个照相机112要摄像的比赛有关的信息。注意，用于获得比赛信息的方法不限于此，并且例如控制站310可以从其它装置获得比赛信息。然后，控制站310将所获得的比赛信息和图像处理系统100的设置信息彼此相关联地存储为信息列表。以下将与操作相关联的信息列表称为“设置列表”。在控制站310作为用于根据所存储的设置列表进行系统的设置处理的控制装置工作的情况下，减少了进行系统设置的操作员的负担。

控制站310所获得的比赛信息例如包括作为摄像目标的比赛的类型和开始时刻至少之一。然而，比赛信息不限于此，并且与比赛相关联的其它信息也可以是比赛信息。

摄像编号46101表示与要摄像的各比赛相对应的场景，并且估计时刻46103表示各比赛的估计开始时刻和估计结束时刻。在各场景的开始时刻之前，控制站310将与设置列表相对应的改变请求发送至这些装置。

比赛名称46102表示比赛类型的名称。注视点(坐标指定)46104包括照相机112a～112z的注视点的数量、注视点的坐标位置以及与注视点相对应的照相机编号。根据注视点的位置来确定各个照相机112的摄像方向。例如，如果比赛的类型是足球，则将场地的中央和球门前的区域等设置为注视点。摄像技巧46105表示在虚拟照相机操作ui330和后端服务器270操作虚拟视点并且生成图像时的照相机路径的范围。基于摄像技巧46105来确定与虚拟视点图像的生成相关联的视点的指定可用范围。

校准文件46106存储参考图17所述的安装时校准中所获得的并且与同虚拟视点图像的生成相关联的多个照相机112的定位有关的照相机参数的值，并且校准文件46106是针对各注视点而生成的。

图像生成算法46107表示以下判断的结果的设置：使用ibr、mbr还是ibr和mbr的混合方法作为与基于拍摄图像的虚拟视点图像的生成相关联的绘制方法。绘制方法由控制站310设置到后端服务器270。例如，如下的比赛信息和设置信息彼此相关联，该比赛信息表示对应于摄像编号3的、与等于或小于阈值的选手数量相对应的比赛的类型(诸如铅球或跳高等)，以及该设置信息表示用于使用基于多个拍摄图像所生成的3d模型来生成虚拟视点图像的mbr方法。因此，与少量选手相对应的比赛的虚拟视点图像中的视点的指定自由度变高。另一方面，如果在对应于摄像编号1的、与大于阈值的选手数量相对应的比赛(诸如开幕式等)中通过mbr方法来生成虚拟视点图像，则处理负荷变大，因此关联了ibr方法，该ibr方法用于使用比采用mbr方法的3d模型生成中所使用的拍摄图像的数量少的拍摄图像来以较少的处理负荷生成虚拟视点图像。

前景/背景传输46108表示从拍摄图像分离出的前景图像(fg)和背景图像(bg)的压缩率和帧频(单位为fps)的设置。注意，基于从虚拟视点图像的生成所用的拍摄图像中提取的前景区域来生成前景图像，并且在图像处理系统100中传输该前景图像。同样，基于从拍摄图像中提取的背景区域来生成并传输背景图像。图47是在控制站310所进行的摄像前工作流程中将与设置列表中的摄像编号2相对应的信息设置到系统中所包括的装置的情况下的操作序列。

在系统操作开始之后，控制站310确认用作使用所存储的设置列表所指定的摄像目标的比赛的估计开始时刻(f47101)。之后，在到达估计开始时刻的预定时间段之前的时间点的情况下，控制站310开始与摄像编号2相对应的设置处理(f47102)。上述的预定时间段长于基于由控制站310所获得的比赛信息而进行的设置处理所需的时间段，并且根据用作摄像目标的比赛的类型而变化。这样，在比赛开始的预定时间段之前的时间点自动开始设置处理的情况下，可以在无需操作员的用于开始设置的指示而开始比赛时，完成设置。注意，在用户发出用于开始设置的指示的情况下，无论比赛的开始时刻如何，控制站310都可以开始设置处理。

例如，控制站310所进行的设置处理包括用于设置与生成虚拟视点图像的装置所进行的图像处理相关联的参数的处理、以及用于设置与照相机112所进行的摄像相关联的参数的处理。例如，与图像处理相关联的参数指定要用于根据基于摄像的图像数据来生成虚拟视点图像的生成方法。此外，与摄像相关联的参数的示例包括照相机的摄像方向和变焦倍率。注意，设置处理的内容不限于此，并且可以是用于启动图像处理系统100中所包括的装置的处理。

首先，控制站310进行注视点设置(f47103)。之后，将用于设置各照相机的注视点的坐标的请求发送至照相机适配器120(f47104)。这里，根据注视点来对照相机112进行分组，并且将相同坐标的注视点设置到注视点组中所包括的照相机112。接收到用于设置各照相机的虚拟视点坐标的请求的照相机适配器120发送包括用于设置平摇/俯仰(pt)的指示以及向照相机112和镜头的诸如镜头低角度等的设置的指示的照相机平台pt指示请求(f47105)。针对传感器系统110的数量重复地进行f47104和f47105的处理。此外，控制站310将与各照相机的注视点组有关的信息设置到前端服务器230和数据库250(f47106)。

接着，控制站310设置通过校准所获得的值(f47107)。具体地，将与校准文件有关的信息设置到所有的传感器系统110。控制站310将校准设置请求发送至照相机适配器120(f47108)。接收到该请求的照相机适配器120对照相机112、镜头和照相机平台113进行摄像参数、调焦和变焦的设置(f47109)。此外，控制站310还将校准设置请求发送至前端服务器230(f47110)。

随后，控制站310进行摄像技巧的设置(f47111)。然后，控制站310将基于注视点的照相机组、照相机112的摄像范围和虚拟照相机路径的范围的设置请求发送至后端服务器270(f47112)。后端服务器270需要与摄像技巧有关的信息以将来自虚拟照相机操作ui330的虚拟照相机08001的视点路径映射到物理照相机112，使得绘制图像。后端服务器270将虚拟照相机尝试请求发送至虚拟照相机操作ui330，以确认虚拟照相机的可移动范围(f47113)。之后，后端服务器270从虚拟照相机操作ui330接收虚拟照相机操作通知(f47114)。这里，后端服务器270判断为不存在与根据所接收到的虚拟照相机操作通知的视点位置相对应的有效图像(f47115)。然后，后端服务器270将错误通知发送至虚拟照相机操作ui330(f47116)。虚拟照相机操作ui330根据错误通知判断为可能无法进一步移动视点，将虚拟照相机操作到另一视点，并且向后端服务器270发送通知(f47117)。后端服务器270判断为存在与对应于该通知的视点相对应的有效图像(f47118)，并且将相应的图像响应发送至虚拟照相机操作ui330(f47119)。

接着，控制站310进行图像生成算法的设置(f47120)。然后，控制站310确定算法方法(即，ibr、mbr和混合)其中之一，并且向后端服务器270通知所确定的算法方法(f47121)。

之后，控制站310进行与用于传输前景图像和背景图像的方法相关联的设置(f47122)。控制站310根据设置列表来对照相机适配器120进行前景图像(fg)和背景图像(bg)的压缩率以及帧频(每一秒的帧数：fps)的设置。在图47中，将用于将fg的压缩率设置为1/3压缩并将fg的帧频设置为60fps的指示、以及表示不发送bg的信息供给至照相机适配器120(f47123)。在这种情况下，由于不从照相机适配器120发送背景图像，因此后端服务器270在绘制时可能没有获得背景的纹理。因此，控制站310将用于使用背景3d模型的指示、即用于基于体育馆形状的线框来生成背景图像的指示发送至后端服务器270(f47124)。

在进行上述处理的状态下，连续地进行摄像，直到比赛的结束时刻为止。注意，可以延长比赛时间，因此操作员可以最终确定摄像的停止。

在摄像终止之后，控制站310在下一场景的估计开始时刻之前新进行系统开始处理。具体地，控制站310确认摄像编号为3的场景的估计开始时刻(f47125)，并且对系统中包括的装置进行与摄像编号3相对应的设置(f47126)。之后，根据设置列表来重复地进行上述处理。

这样，由于控制站310自动进行装置的设置，因此操作员仅进行系统开始操作和系统确认操作，因而可以简化与复杂的摄像控制相关联的操作员的操作。

图48是前端服务器230所进行的、针对通过菊花链的通道从照相机适配器120供给的照相机同步图像帧m的接收控制的流程图。在针对每半周以不同的方式配置菊花链的情况下、或者在跨多个楼层提供菊花链的情况下，在前端服务器230等待所有照相机112的图像数据的接收时，可能难以实现延迟小的虚拟视点图像的生成。以下将说明用于降低该可能性的方法。

首先，前端服务器230针对菊花链的各照相机通道接收图像数据包(s48100)。然后，顺次地存储照相机同步图像帧m(s48101)。接着，判断注视点组的数量是否为1(s48102)。在步骤s48102中该判断为否定的情况下、即在多个注视点组的情况下，将照相机图像帧分类到多个注视点组(s48103)。之后，前端服务器230判断注视点组至少之一是否完成了照相机112中的图像帧m的接收(s48104)。在该判断为肯定的情况下，利用图像处理器02150、3d模型结合单元02160、图像结合单元02170和摄像数据文件生成单元02180针对各注视点组进行图像处理(s48105)。随后，前端服务器230判断是否已对所有的注视点组进行了图像处理。在该判断为否定的情况下(步骤s48106中为“否”)，前端服务器230判断是否发生了用于等待图像帧的超时(s48107)。根据一帧的单位时间，阈值可以是固定的。在步骤s48107中判断为肯定的情况下，前端服务器230检测丢失的图像帧，利用表示该丢失的信息来标记发生丢失的照相机112的目标帧(s48108)，并且将图像数据写入数据库250中。由此，后端服务器270识别出图像帧的丢失，并且这对于绘制处理是有效的。具体地，在利用后端服务器270进行虚拟照相机操作ui330所指定的虚拟照相机和真实照相机112的映射的情况下，后端服务器270可以立即确定发生了丢失的照相机112的图像。因此，在所生成的虚拟视点图像有可能失败的情况下，可以在无需操作员的目视的情况下对图像输出自动进行校正处理等。

接着，将详细说明根据本实施例的装置的硬件结构。如上所述，在本实施例中，主要示出照相机适配器120实现诸如fpga和/或asic等的硬件并且硬件执行上述各种处理的情况。这同样适用于传感器系统110内所包括的各种装置、前端服务器230、数据库250、后端服务器270和控制器300。然而，至少一些装置可以使用cpu、gpu或dsp等来通过软件处理执行本实施例的处理。

图49是示出用于通过软件处理实现图2所示的功能结构的照相机适配器120的硬件结构的框图。注意，前端服务器230、数据库250、后端服务器270、控制站310、虚拟照相机操作ui330和最终用户终端190可以是图49的硬件结构。照相机适配器120包括cpu1201、rom1202、ram1203、辅助存储装置1204、显示单元1205、操作单元1206、通信单元1207和总线1208。

cpu1201使用rom1202和ram1203中所存储的计算机程序和数据来控制整个照相机适配器120。rom1202存储无需改变的程序和参数。ram1203暂时存储从辅助存储设备1204供给的程序和数据以及经由通信单元1207从外部供给的数据。辅助存储装置1204例如由硬盘驱动器构成，并且存储诸如静止图像和运动图像等的内容数据。

显示单元1205由液晶显示器等构成，并且显示用户为了操作照相机适配器120所使用的图形用户界面(gui)。操作单元1206例如由键盘或鼠标等构成，并且响应于用户操作来向cpu1201提供各种指示。通信单元1207与诸如照相机112和前端服务器230等的外部装置进行通信。在照相机适配器120例如以有线方式连接至外部装置的情况下，lan线缆等连接至通信单元1207。注意，在照相机适配器120具有与外部装置实现无线通信的功能的情况下，通信单元1207具有天线。总线1208用于连接照相机适配器120的各部分以传输信息。

注意，照相机适配器120所进行的处理的一部分可以由fpga进行，并且该处理的其它部分可以通过使用cpu的软件处理来实现。此外，图49所示的照相机适配器120的组件可以由单个电子电路或多个电子电路配置成。例如，照相机适配器120可以包括作为cpu1201工作的多个电子电路。在多个电子电路并行地进行作为cpu1201的处理的情况下，可以提高照相机适配器120的处理速度。

此外，尽管本实施例的显示单元1205和操作单元1206包括在照相机适配器120中，但照相机适配器120可以不包括显示单元1205和操作单元1206至少之一。显示单元1205和操作单元1206至少之一可以作为独立装置布置在照相机适配器120的外部，并且cpu1201可以作为用于控制显示单元1205的显示控制器和用于控制操作单元1206的操作控制器起作用。图像处理系统100中所包括的其它装置以相同的方式起作用。此外，例如，前端服务器230、数据库250和后端服务器270可以不包括显示单元1205，但控制站310、虚拟照相机操作ui330和最终用户终端190可以包括显示单元1205。此外，在本实施例中主要说明了图像处理系统100安装在诸如体育馆或音乐厅等的设施中的情况作为示例。其它设施的示例包括游乐场、操场、赛马场、赛车场、游泳池，溜冰场、滑雪场和带现场音乐的俱乐部。此外，在各种设施中举行的活动可以是室内活动或户外活动。此外，本实施例中的设施可以暂时(仅在有限时间内)开放。

根据上述实施例，无论系统中所包括的装置的规模(诸如照相机112的数量等)、拍摄图像的输出分辨率和输出帧频如何，都可以容易地生成虚拟视点图像。尽管以上已经说明了本发明的实施例，但本发明不限于前述实施例，并且可以在权利要求书中阐述的本发明的范围内进行各种修改和改变。

根据上述实施例，在生成虚拟视点图像时，可以在根据情况而改变的范围中指定视点。

其它实施例

还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(asic))的系统或设备的计算机和通过下面的方法来实现本发明的各实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算机系统的存储器、光盘(诸如致密盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)^tm等)、闪速存储装置和存储卡等中的一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2016年5月25日提交的日本专利申请2016-104433的优先权，在此通过引用包含其全部内容。