信息处理设备、信息处理系统、信息处理方法和存储介质与流程

1.本公开涉及生成虚拟视点视频的技术。


背景技术：

2.通过在不同位置处安装多个摄像装置(照相机)、从多个视点进行同步摄像、以及使用通过摄像获得的多视点视频来生成虚拟视点视频的技术已经引起关注。日本特开2008-015756作为这样的技术，已经公开了通过布置多个照相机以围绕对象并使用由多个照相机拍摄的对象的图像来生成与所指定的视点(虚拟视点)相对应的虚拟视点视频的技术。
3.此外，在已进行从多个视点的摄像的比赛项目(诸如足球等)还由诸如广播照相机等的物理照相机(在下文中，称为真实照相机)拍摄的情况下，可以对将虚拟视点视频和由真实照相机拍摄的真实照相机视频组合的电视进行转播，并在因特网中分发该组合。日本特开2020-42665已经公开了通过提供被配置为将虚拟视点视频的位置、姿势和视角与真实照相机的位置、姿势和视角匹配的单元来在虚拟视点视频和真实照相机视频之间无缝切换的技术。


技术实现要素：

4.然而，利用日本特开2020-42665的技术，无法在虚拟视点视频中再现移动(例如，诸如真实照相机的照相机抖动等)。如上所述，在切换真实照相机视频和虚拟视点视频的情况下，存在这样的问题：因为没有反映真实照相机的移动，所以真实照相机视频和虚拟视点视频之间的差异变得更可能被用户识别。
5.因此，考虑到上述问题，本公开的目的是提供在切换真实照相机视频和虚拟视点视频的情况下减少用户的不协调感的技术。
6.本公开的一个实施例是信息处理设备，包括：一个或多于一个存储器，其存储有指示；以及一个或多于一个处理器，其执行所述指示以：获得摄像信息以及表示摄像装置的特定移动的移动信息，所述摄像信息包括表示所述摄像装置的位置和姿势的信息；以及在切换由所述摄像装置获得的所拍摄的图像和基于多个图像而生成的虚拟视点视频的情况下，基于所获得的摄像信息和移动信息，生成表示用于生成所述虚拟视点视频的虚拟视点的位置和从所述虚拟视点起的观看方向的视点信息。
7.参考附图，从以下说明书示例性实施例中，本公开的其他特征将变得显而易见。
附图说明
8.图1是示出操作根据第一实施例的系统的操作者的类型的图；
9.图2是示出根据第一实施例的系统的配置的框图；
10.图3是示出根据第一实施例的虚拟照相机控制装置700的硬件配置的框图；
11.图4是示出根据第一实施例的虚拟照相机控制装置700的软件配置的框图；
12.图5是根据第一实施例的逐项列出的照相机参数；
13.图6示出根据第一实施例的从真实照相机视频切换到虚拟视点视频的流程；
14.图7示出根据第一实施例的从虚拟视点视频切换到真实照相机视频的流程；
15.图8示出根据第一实施例的照相机路径的类型；
16.图9a和图9b各自是根据第一实施例的从真实照相机视频切换到虚拟视点视频时的照相机移动调度的示例；
17.图10a和图10b各自是根据第一实施例的从虚拟视点视频切换到真实照相机视频时的照相机移动调度的示例；
18.图11是根据第一实施例的照相机移动调度生成处理的流程图；
19.图12a和图12b共同表示根据第一实施例的照相机路径输出处理的流程图；以及
20.图13是示出根据第二实施例的系统的配置的框图。
具体实施例
21.在下文中，参考附图来说明实施例。以下实施例中示出的配置仅仅是示例性的，并且本公开的思想不限于示意性示出的配置。
22.[第一实施例]
[0023]
《系统配置》
[0024]
对本实施例中的信息处理系统进行说明。本实施例中的信息处理系统具有通过在以下项之间进行切换来输出的功能：用于实际进行摄像的摄像装置(在下文中，称为真实照相机)(例如，诸如广播照相机等)的所拍摄的视频(在下文中，也称为真实照相机视频)和与虚拟视点相对应的虚拟视点视频。虚拟视点是由用户指定的视点。此外，在以下说明中，为了便于说明，通过使用虚拟地布置在虚拟视点的位置处的照相机(在下文中，称为虚拟照相机)来给出说明。也就是说，虚拟视点的位置和从虚拟视点起的观看方向与虚拟照相机的位置和姿势相对应。此外，从虚拟视点起的视野(视场)与虚拟照相机的视角相对应。
[0025]
此外，本实施例中的虚拟视点视频也被称为自由视点视频，但是虚拟视点视频不限于与由用户自由地(任意地)指定的视点相对应的视频，并且例如与用户从多个候选中选择的视点相对应的图像等也包括在虚拟视点视频中。此外，在本实施例中，主要说明通过用户操作进行虚拟视点的指定的情况，但是也可以基于图像分析的结果等来自动进行虚拟视点的指定。此外，在本实施例中，主要说明虚拟视点视频是运动图像的情况。可以说虚拟视点视频是由虚拟照相机拍摄的视频。
[0026]
图1是示出根据本实施例的信息处理系统上的操作者的类型的图。操作本系统的操作者包括至少三个类型的操作者，即操作真实照相机的真实照相机操作者、操作虚拟照相机的虚拟照相机操作者、以及操作真实照相机视频和虚拟视点视频之间的切换操作的视频切换操作者。可以存在多个操作者，或者一个操作者可以进行不同类型的操作者的角色。此外，操作者不需要是人，并且例如可以是程序化的软件。
[0027]
图2是示出根据本实施例的信息处理系统的配置的框图。本系统具有时间源100、真实照相机200、延迟装置300、切换装置400、照相机组500、虚拟视点视频生成装置600和虚拟照相机控制装置700。
[0028]
时间源100将时间信息(在下文中，描述为“时间码”)输出到真实照相机200和照相
机组500。真实照相机200和照相机组500基于该时间码在相同定时进行摄像，并将在相同定时拍摄的视频输出到外部。
[0029]
真实照相机200是诸如安装在比赛场地的旁边等处的广播工作站中的手持式照相机等，并且真实照相机200的位置、姿势和视角由真实照相机操作者控制。真实照相机200将所拍摄的视频(在下文中，描述为“真实照相机视频”)和时间码输出到延迟装置300。真实照相机200包含具有接收单元的诸如gps传感器、陀螺仪传感器和加速度传感器等的测量装置(传感器)，或者诸如附接到真实照相机200的外部等的测量装置。真实照相机200向延迟装置300输出传感器信息和摄像信息以及真实照相机视频，其中该摄像信息包括表示真实照相机的位置、姿势和视角(变焦值)的信息(在下文中，这些信息一起被描述为“真实照相机参数”)。在图2中，对存在一个真实照相机的示例进行说明，但是系统也可以具有多个真实照相机。此外，真实照相机的类型不限于手持式照相机。例如，真实照相机可以是由云台(pan head)控制的照相机、在由线(wire)等保持的状态下被控制的照相机、以及非移动型照相机。
[0030]
延迟装置300将从真实照相机200输出的真实照相机视频和真实照相机参数保存在内置存储器或外部附接的存储器中。然后，延迟装置300将保存的真实照相机视频在延迟预先设置的预定时间之后输出到切换装置400。延迟装置300用在切换装置400中，以用于调整切换真实照相机视频和虚拟视点视频的定时。通常，具有与真实照相机视频的时间码相同的时间码的虚拟视点视频需要时间用于处理以生成虚拟视点视频，因此，将发生几帧至几十秒的延迟。延迟装置300具有吸收处理延迟的作用。此外，延迟装置300在预先设置的预定定时将保存的真实照相机参数和与真实照相机参数相对应的时间码输出到虚拟照相机控制装置700。
[0031]
向切换装置400输入由延迟装置300传输的真实照相机视频以及由虚拟视点视频生成装置600传输的虚拟视点视频。切换装置400接收由视频切换操作者设置的切换控制信息，并且基于接收到的切换控制信息来输出真实照相机视频和虚拟视点视频中的一个。这里，通过延迟装置300，在相同的定时将以相同的时间码拍摄的真实照相机视频和虚拟视点视频输入到切换装置400。因此，在切换装置400中，仅通过切换要输出的视频来切换相同时间码的视频。图2示出延迟装置300和切换装置400是分开的方面，但是该方面可以是切换装置400包含延迟装置300。在这种情况下，在输入了由虚拟视点视频生成装置600传输的附加有时间码的虚拟视点视频的切换装置400中，进行相同时间码的视频之间的切换。
[0032]
照相机组包括被安装以围绕比赛场地等的多个摄像装置。在本实施例中，假设照相机组500中包括的摄像装置(照相机)是与真实照相机200不同的照相机。由照相机组500获得的所拍摄的图像用于生成虚拟视点视频。由照相机组500拍摄的各视频被输出至虚拟视点视频生成装置600。真实照相机200可以是包括在照相机组500中的照相机。
[0033]
虚拟视点视频生成装置600根据多视点视频创建三维模型，并且通过根据虚拟视点的位置和从虚拟视点起的观看方向映射纹理来生成虚拟视点视频。这里，假设已经测量和获得了与照相机组500的各个照相机的位置、姿势和视角有关的信息，并且基于该信息和多视点视频创建了三维模型。然后，虚拟视点视频生成装置600将基于三维模型生成的虚拟视点视频输出到切换装置400。
[0034]
虚拟照相机控制装置700基于由虚拟照相机操作者输入的操作信息来生成表示虚
拟照相机的移动路径的虚拟照相机路径。虚拟照相机路径是不仅表示虚拟照相机的位置的移动路径而且表示虚拟照相机的姿势、视角等的变化的信息，并且也被称为虚拟视点信息。本实施例中的虚拟照相机路径包括与虚拟照相机的位置、姿势和视角有关的信息以及时间码。在以下说明中，存在虚拟照相机路径被简单地描述为照相机路径的情况。
[0035]
虚拟照相机控制装置700将所生成的虚拟照相机路径输出到虚拟视点视频生成装置600。虚拟照相机控制装置700针对各个帧输出所生成的虚拟照相机路径，或者一次输出与几到几千帧相对应的多个照相机路径。此时，虚拟照相机控制装置700基于由延迟装置300传输并保存在虚拟照相机控制装置700内的存储器中的真实照相机参数和时间码，在虚拟照相机路径中反映真实照相机的照相机抖动等的移动。这是本实施例的重要特征，并且稍后将对其进行详细描述。虚拟照相机控制装置700也可以直接输入来自真实照相机200的真实照相机参数和时间码。
[0036]
《虚拟照相机控制装置的配置》
[0037]
在下文中，通过使用图3和图4说明根据本实施例的虚拟照相机控制装置700的配置。图3是示出虚拟照相机控制装置700的硬件配置的框图。
[0038]
虚拟照相机控制装置700具有cpu 7001、rom 7002、ram 7003、辅助存储单元7004、显示单元7005、操作单元7006、通信i/f 7007和总线7008。
[0039]
cpu 7001通过使用存储在rom 7002或ram 7003中的计算机程序和数据控制整个虚拟照相机控制装置700来实现图4所示的虚拟照相机控制装置700的各个功能模块。虚拟照相机控制装置700还可以具有与cpu 7001不同的一个或多于一个专用硬件，并且专用硬件可以进行cpu 7001的处理的至少一部分。存在asic(专用集成电路)、fpga(现场可编程门阵列)和dsp(数字信号处理器)等作为专用硬件的示例。在rom 7002中存储有不需要改变的程序等。在ram 7003中临时存储从辅助存储单元7004提供的程序及数据以及从外部经由通信i/f 7007供给的数据等。辅助存储单元7004例如包括硬盘驱动器等，并且在辅助存储单元7004中存储诸如图像数据和语音数据等的各种数据。
[0040]
显示单元7005包括例如液晶显示器和led等，并且在其上显示供用户操作虚拟照相机控制装置700的gui(图形用户界面)等。操作单元7006包括例如键盘、鼠标、操纵杆和触摸面板等，并且在接收到用户的操作时将各种指示输入到cpu 7001。通信i/f 7007用于虚拟照相机控制装置700与虚拟照相机控制装置700外部的装置之间的通信。例如，在虚拟照相机控制装置700通过有线与外部装置连接的情况下，通信线缆连接到通信i/f 7007。在虚拟照相机控制装置700具有与外部装置进行无线通信的功能的情况下，通信i/f 7007具有天线。总线7008连接虚拟照相机控制装置700的单元中的各个并传输信息。
[0041]
在本实施例中，假设显示单元7005和操作单元7006存在于虚拟照相机控制装置700内部，但是显示单元7005和操作单元7006中的至少一个也可以作为其他装置存在于虚拟照相机控制装置700外部。在这种情况下，cpu 7001也可以作为被配置为控制显示单元7005的显示控制单元来操作或者作为被配置为控制操作单元7006的操作控制单元来操作。
[0042]
根据本实施例的信息处理系统的虚拟照相机控制装置700之外的装置的硬件配置与虚拟照相机控制装置700的配置相同。
[0043]
图4是示出虚拟照相机控制装置700的功能配置的框图。虚拟照相机控制装置700具有真实照相机参数输入单元7011、操作输入单元7012、照相机移动调度(schedule)生成
单元7013、虚拟照相机控制单元7014和照相机路径生成单元7015。照相机路径生成单元也被称为视点信息生成单元。
[0044]
真实照相机参数输入单元7011将从虚拟照相机控制装置700外部输入的真实照相机参数和时间码输出到照相机移动调度生成单元7013、虚拟照相机控制单元7014和照相机路径生成单元7015。操作输入单元7012将从虚拟照相机控制装置700的外部输入的与虚拟照相机操作者有关的操作信息输出到虚拟照相机控制单元7014和照相机路径生成单元7015。此外，操作输入单元7012将从虚拟照相机控制装置700的外部输入的与视频切换操作者有关的切换控制信息输出到照相机路径生成单元7015。照相机移动调度生成单元7013基于真实照相机参数来生成照相机移动调度，并将生成的照相机移动调度输出到照相机路径生成单元7015。稍后将描述照相机移动调度。
[0045]
虚拟照相机控制单元7014基于操作信息和真实照相机参数来生成用于自动操作模式的照相机路径，并将生成的照相机路径输出到照相机路径生成单元7015。自动操作模式是用于使虚拟视点视频的构图逐渐接近真实照相机视频的构图的模式。也就是说，在自动操作模式下，进行控制使得虚拟照相机的位置与真实照相机的位置之间的差异变得更小。类似地，在自动操作模式下，进行控制使得虚拟照相机的姿势与真实照相机的姿势之间的差异变得更小。类似地，在自动操作模式下，进行控制使得虚拟照相机的视角与真实照相机的视角之间的差异变得更小。
[0046]
如上所述，在自动操作模式下，虚拟照相机的位置、姿势和视角被改变以逐渐变得接近真实照相机的位置、姿势和视角。由此，与来自虚拟照相机的视图相对应的虚拟视点视频的构图和与来自真实照相机的视图相对应的真实照相机视频的构图改变，使得两者的构图变得彼此接近。照相机路径生成单元7015基于输入的各种信息来生成照相机路径，并将所生成的照相机路径输出到虚拟视点视频生成装置600。
[0047]
《移动信息的示例》
[0048]
图5示出逐项列出的真实照相机参数。除了诸如真实照相机的位置、姿势和变焦值等的各个参数之外，真实照相机参数还包括与真实照相机200有关的移动信息的参数。移动信息是：(1)与真实照相机的振动和转动有关的信息，诸如真实照相机200的振动量和转动量等，(2)与真实照相机的移动有关的信息，诸如真实照相机200的移动方向、移动速度和移动量等，以及(3)与变焦移动有关的信息，诸如变焦值、移动方向和移动速度等。
[0049]
真实照相机200的振动量是在真实照相机200的壳体的预定位置被取为原点的三维正交坐标系中对于各个方向(x方向、y方向和z方向)的每预定时间的变化量。该信息例如从真实照相机200的加速度传感器获得。
[0050]
真实照相机200的转动量是在x轴、y轴或z轴被取为中心轴的情况下的每预定时间的变化量。该信息例如是从真实照相机200的陀螺仪传感器获得的。
[0051]
真实照相机200的移动量是真实照相机200的壳体移动的变化量。可以使用通过将先前描述的振动量和转动量等在预定时间中相加并平滑化而获得的值作为该变化量。可替代地，还可以通过使用gps传感器来测量真实照相机200的移动量。
[0052]
变焦的值(所谓的变焦值)是真实照相机200的焦距值。变焦的移动方向是指广角方向或远摄方向。变焦的移动速度是在预定时间期间焦距的变化量。该信息是例如从包含在镜头中的传感器获得的。
[0053]
移动信息可以不包括上述所有信息，例如，移动信息的配置可以是包括(1)至(3)中至少任意信息的配置。此外，移动信息可以包括上述信息之外的信息。
[0054]
本实施例中的移动信息是表示真实照相机200的振动、照相机抖动、未对准和变焦偏差等的信息。然而，真实照相机200是能够控制位置、姿势和视角的照相机，并且通过该控制的真实照相机的移动和由上述移动信息表示的移动可以是不同的。因此，假设由移动信息表示的真实照相机的移动是满足例如以下条件的特定移动。也就是说，由移动信息表示的移动可以是在不控制真实照相机的位置、姿势和变焦等的同时观察到的真实照相机的移动。此外，由移动信息表示的移动可以是在预定时间期间位置、姿势和变焦的变化量小于阈值的移动。
[0055]
《视频切换的流程》
[0056]
图6和图7各自示出根据本实施例的视频切换的概要。首先，通过使用图6，说明从真实照相机视频切换到虚拟视点视频的流程。
[0057]
切换指示定时t101是视频切换操作者向切换装置400输入切换控制信息的定时。此外，切换执行定时t102是已经接收到切换指示的切换装置400实际进行从真实照相机视频切换到虚拟视点视频的定时。可以在接收到视频切换操作者的切换指示时立即进行从真实照相机视频切换到虚拟视点视频，或者可以在从接收到切换指示起经过预先确定的预定时间之后进行从真实照相机视频切换到虚拟视点视频。图6示出立即进行切换的示例。
[0058]
真实照相机视频f101至f107各自是从延迟装置300输入到切换装置400的针对各个帧的真实照相机视频。
[0059]
虚拟视点视频f201至f207各自是从虚拟视点视频生成装置600输入到切换装置400的针对各个帧的虚拟视点视频。
[0060]
输出视频f301至f307各自是由切换装置400选择性地输出的作为真实照相机视频和虚拟视点视频中的一个的视频。在图6中，选择真实照相机视频f101-f102作为输出视频f301至f302。此外，由切换执行所触发，在切换执行定时t102及之后，选择虚拟视点视频f203至f207作为输出视频f303-f307。
[0061]
在图6中，虚拟照相机的照相机路径p101至p107各自示出从虚拟照相机控制装置700输出到虚拟视点视频生成装置600的照相机路径的类型。
[0062]
这里，对虚拟照相机路径的类型进行说明。图8示出虚拟照相机路径的类型。在本实施例中，假设利用四个照相机路径，即第一照相机路径至第四照相机路径。在本说明书中，这些照相机路径在图8等中被描述为照相机路径1至4，并且这些照相机路径在图6和图7中被表示为(1)至(4)。
[0063]
照相机路径1是表示真实照相机操作者的操作的虚拟照相机路径。在采用该照相机路径1的情况下的虚拟视点视频的构图与真实照相机视频的构图相同。照相机路径2是表示根据照相机移动调度的操作被添加到的、虚拟照相机操作者的操作的虚拟照相机路径。照相机路径3是表示虚拟照相机操作者的操作的虚拟照相机路径。照相机路径4是表示根据照相机移动调度的操作被添加到的、自动操作模式的操作的虚拟照相机路径。
[0064]
图6中的符号p101至p107各自示出该示例中的虚拟照相机路径的转变。首先，由切换执行所触发，虚拟照相机路径从照相机路径1(p102)切换到照相机路径2(p103)。该切换定时是输出视频从真实照相机视频(输出视频f302)切换到虚拟视点视频(输出视频f303)
的定时，但是真实照相机视频和虚拟视点视频具有相同的构图，并且因此，看起来没有变化。在切换执行定时t102之后，虚拟视点视频是基于照相机路径2的视频。如前所述，照相机路径2表示添加有通过照相机移动调度进行的操作的虚拟照相机操作者的操作，并且因此，由真实照相机操作者进行的与照相机的振动、移动和变焦操作等有关的移动信息被接管。在这之后，诸如照相机抖动等的振动逐渐缓和。照相机移动调度表示该缓和的方式作为调度，并且其中针对各个帧预先确定振动量等。在振动收敛的情况下，即在照相机移动调度结束的情况下，照相机路径2(p105)切换到照相机路径3(p106)。这意味着操作变成仅由虚拟照相机操作者进行的操作。
[0065]
接下来，通过使用图7，说明从虚拟视点视频切换到真实照相机视频的流程。
[0066]
切换指示定时t201是视频切换操作者将切换控制信息输入到切换装置400的定时。此外，切换执行定时t202是已经接收到切换指示的切换装置400实际进行从虚拟视点视频切换到真实照相机视频的定时。通常，虚拟视点视频的构图和真实照相机视频的构图是不同的。因此，为了实现平滑的切换，需要暂时在虚拟视点视频中使虚拟视点视频的构图逐渐接近真实照相机视频的构图，并且最终使两者彼此匹配。因此，切换指示定时t201和切换执行定时t202是不同的。具体地，切换执行定时t202相对于切换指示定时t201延迟。
[0067]
真实照相机视频f401至f407各自是从延迟装置300输入到切换装置400的针对各个帧的真实照相机视频。
[0068]
虚拟视点视频f501至f507各自是从虚拟视点视频生成装置600输入到切换装置400的针对各个帧的虚拟视点视频。
[0069]
输出视频f601至f607各自是由切换装置400选择性地输出的作为真实照相机视频和虚拟视点视频中的一个的视频。在图7中，选择虚拟视点视频f501至f505作为输出视频f601至f605。此外，由切换执行所触发，在从切换执行定时t202起经过一定量的时间之后，选择真实照相机视频f406至f407作为输出视频f606至f607。
[0070]
图7中的符号p201至p207各自示出虚拟照相机控制装置700向虚拟视点视频生成装置600输出的虚拟照相机路径的转变。首先，由切换指示定时t201处的切换指示所触发，虚拟照相机路径从照相机路径3(p202)切换到照相机路径4(p203)。如前所述，照相机路径4表示自动操作模式的操作，并且通过该切换，虚拟视点视频的构图在此后变得逐渐接近真实照相机视频的构图。此外，还向照相机路径4添加由照相机移动调度表示的操作信息。因此，诸如在真实照相机视频中发生的照相机抖动等的移动信息被逐渐添加到用于生成虚拟视点视频的信息。
[0071]
接下来，由在切换执行定时t202处的切换执行所触发，虚拟照相机路径从照相机路径4(p205)切换到照相机路径1(p206)。该切换定时是输出视频从虚拟视点视频(输出视频f605)切换到真实照相机视频(输出视频f606)的定时，但是真实照相机视频和虚拟视点视频具有相同的构图，并且因此，看起来没有变化。此外，在该定时处，根据照相机移动调度，添加到用于生成虚拟视点视频的信息的移动信息和与真实照相机视频有关的移动信息相同。因此，看起来不会出现不协调感。此后，虚拟视点视频的构图是基于照相机路径1的视频，即构图与真实照相机视频的构图相同。
[0072]
切换时的虚拟视点视频的构图和真实照相机视频的构图不需要彼此完全匹配。例如，可以控制切换时的虚拟视点视频的构图以满足预定基准。预定基准可以是例如虚拟视
点视频中所包括的对象的大小与真实照相机视频中所包括的相同对象的大小之间的差异小于阈值。此外，预定基准可以是虚拟照相机和真实照相机之间的位置差异、姿势差异和视角差异小于阈值。
[0073]
《照相机移动调度的示例》
[0074]
图9a和图9b各自示出在从真实照相机视频切换到虚拟视点视频时使用的照相机移动调度的示例。具体地，图9a示出虚拟视点视频上的振动(或转动)量在时间方向上改变(减小)的方式。在图9a和图9b中，仅以简化的方式描述xyz正交坐标中的一个方向。
[0075]
当从切换装置400输出真实照相机视频的同时(图6中的f301至f302)，通过在各个帧周期获得真实照相机参数来更新照相机移动调度。因此，紧接在响应于切换执行定时t102处的切换执行而切换到虚拟视点视频(图6中的f303)之后，在虚拟视点视频上再现与紧接在前的真实照相机200的振动量的值基本相同的值以及与真实照相机200的转动量的值基本相同的值。在切换到虚拟视点视频之后，停止对照相机移动调度的更新，并且在这之后，根据照相机移动调度，将针对各个帧的振动量和转动量的操作添加到虚拟照相机操作者的操作。振动量和转动量中的各个以预定系数逐渐减小(图6中的f303-f305)。然后，在照相机移动调度完成的时间点处，即在振动和转动收敛的时间点处，操作切换到仅由虚拟照相机操作者进行的操作(图6中的f306、p106)。为了提供在照相机视频中稍微保留通常振动量的恒定状态，还可以采用始终留有最小恒定振动量的照相机移动调度。
[0076]
图9b示出照相机移动调度的另一示例，并且示出虚拟视点视频上的视点移动速度(或变焦移动速度)在时间方向上改变(减小)的方式。照相机移动调度的操作与图9a中的操作相同。
[0077]
图10a和图10b各自示出在从虚拟视点视频切换到真实照相机视频时使用的照相机移动调度的示例。具体地，图10a示出虚拟视点视频上的振动量(或转动量)在时间方向上改变(增大)的方式。在图10a和图10b中，仅以简化的方式描述xyz正交坐标中的一个方向。
[0078]
通过在各个帧周期获得真实照相机参数来更新照相机移动调度，直到在切换指示定时t201处输入切换指示为止(图7中的f601至f602)。照相机移动调度的波形形状是与从真实照相机视频切换到虚拟视点视频时的波形形状(参照图9a和图9b)相反的形状。
[0079]
在这之后，在进行切换的切换执行定时t202处(图7中的f603及随后)，根据照相机移动调度，再现虚拟视点视频上的振动量和转动量，以便逐渐变得接近真实照相机200的振动量和转动量。在这之后，在振动量和转动量变得与真实照相机200的振动量和转动量基本相同的时间点处，视频切换到真实照相机视频(图7中的f606)。
[0080]
图10b示出照相机移动调度的另一示例，并且示出虚拟视点视频上的视点移动速度(或变焦移动速度)在时间方向上改变(增大)的方式。照相机移动调度的操作与图10a中的操作相同。
[0081]
《照相机移动调度的生成流程》
[0082]
图11是示出根据本实施例的照相机移动调度的生成处理的流程的流程图。
[0083]
在步骤s1101处，照相机移动调度生成单元7013获得由真实照相机参数输入单元7011传输的真实照相机参数。在下文中，“步骤s
‑”
缩写为“s
‑”
。
[0084]
在s1102处，照相机移动调度生成单元7013生成与虚拟照相机的振动量和转动量有关的调度信息。
[0085]
在s1103处，照相机移动调度生成单元7013生成与虚拟照相机的移动速度有关的调度信息。
[0086]
在s1104处，照相机移动调度生成单元7013生成与虚拟照相机的变焦移动速度有关的调度信息。
[0087]
可以改变s1102至s1104处的生成顺序，或者还可以并行进行各个步骤。
[0088]
在s1105处，照相机移动调度生成单元7013将在s1102至s1104处生成的调度信息输出到照相机路径生成单元7015。
[0089]
s1101至s1105处的处理针对各个帧周期进行。在这之后，在s1106处，除非cpu 7001判断为存在结束指示，否则再次从s1101重复该处理。
[0090]
《照相机路径的输出流程》
[0091]
图12a和图12b表示示出根据本实施例的照相机路径输出处理的流程的流程图。
[0092]
在s1201处，照相机路径生成单元7015获得操作信息。在s1202处，照相机路径生成单元7015获得真实照相机参数。在s1203处，照相机路径生成单元7015获得照相机移动调度信息。在s1204处，照相机路径生成单元7015获得自动操作照相机路径。可以改变s1201至s1204的顺序，或者也可以并行进行s1201至s1204。
[0093]
在s1205处，照相机路径生成单元7015判断当前正由切换装置400输出的视频是否是真实照相机视频。在该步骤处的判断结果为肯定的情况下，处理前进到s1206，另一方面，在判断结果为否定的情况下(即，当前正由切换装置400输出的视频是虚拟视点视频的情况下)，处理前进到s1211。
[0094]
在s1206处，照相机路径生成单元7015判断是否正在进行从真实照相机视频切换到虚拟视点视频(参见图6中的t102)。在该步骤处的判断结果为肯定的情况下，处理前进到s1208，另一方面，在判断结果为否定的情况下，处理前进到s1207。
[0095]
在没有进行从真实照相机视频切换到虚拟视点视频的情况下，在s1207处，照相机路径生成单元7015将照相机路径1输出到虚拟视点视频生成装置600。
[0096]
在已经进行了从真实照相机视频切换到虚拟视点视频的情况下，在s1208处，照相机路径生成单元7015判断是否正在进行根据照相机移动调度的调度。在该步骤处的判断结果为肯定的情况下，处理前进到s1209，另一方面，在判断结果为否定的情况下，处理前进到s1210。
[0097]
在s1209处，照相机路径生成单元7015将照相机路径2输出到虚拟视点视频生成装置600。
[0098]
在s1210处，照相机路径生成单元7015将照相机路径3输出到虚拟视点视频生成装置600。
[0099]
在s1211处，照相机路径生成单元7015判断是否给出了从虚拟视点视频切换到真实照相机视频的指示(参见图7中的t201)。在该步骤处的判断结果为肯定的情况下，处理前进到s1213，另一方面，在判断结果为否定的情况下，处理前进到s1212。
[0100]
在s1212处，照相机路径生成单元7015将照相机路径3输出到虚拟视点视频生成装置600。
[0101]
在给出切换指示的情况下(s1211为是)，在s1213处，照相机路径生成单元7015判断是否正在进行根据照相机移动调度的调度。在该步骤处的判断结果为肯定的情况下，处
理前进到s1214，另一方面，在判断结果为否定的情况下，处理前进到s1215。
[0102]
在s1214处，照相机路径生成单元7015将照相机路径4输出到虚拟视点视频生成装置600。
[0103]
在s1215处，照相机路径生成单元7015将照相机路径1输出到虚拟视点视频生成装置600。
[0104]
除非在s1216处特别给出结束指示，否则照相机路径生成单元7015在各个帧周期进行s1201至s1215处的处理。
[0105]
此外，在紧接在s1206处判断为进行了切换之后的情况下，照相机路径生成单元7015停止在s1203处获得用于从真实照相机视频切换到虚拟视点视频的照相机移动调度信息。可替代地，照相机路径生成单元7015获得照相机移动调度信息，但是不进行照相机移动调度的更新。类似地，在紧接在s1211处判断为给出了切换指示之后的情况下，照相机路径生成单元7015停止在s1203处获得用于从虚拟视点视频切换到真实照相机视频的照相机移动调度信息。
[0106]
通过本实施例，可以减轻在真实照相机和虚拟照相机之间切换之后的不协调感，并且可以向观看者提供现场表演感更高的视频体验。在本实施例中假设真实照相机200和照相机组500是现实中存在的照相机，但是，也可以用模拟照相机的信息处理设备(具体地，计算机)来代替照相机。
[0107]
[第二实施例]
[0108]
在第一实施例中，通过使用来自包含在真实照相机200中或设置在真实照相机200外部的测量装置(诸如陀螺仪和加速度传感器等)的信息来生成真实照相机参数。与此相反，在本实施例中，信息处理系统单独具有与真实照相机200分开的单元，该单元被配置为对真实照相机参数的一部分进行估计。
[0109]
《系统配置》
[0110]
图13是示出根据本实施例的信息处理系统的配置的框图。本系统具有时间源100、真实照相机200、延迟装置300、切换装置400、照相机组500、虚拟视点视频生成装置600、虚拟照相机控制装置700和图像分析装置800。图像分析装置800之外的组件与第一实施例的组件相同，并且本实施例的真实照相机200不必具有被配置为生成真实照相机参数的测量单元。
[0111]
向图像分析装置800输入由延迟装置300传输的真实照相机视频。图像分析装置800基于输入的真实照相机视频来导出与真实照相机200有关的移动信息，并将所导出的移动信息输出到虚拟照相机控制装置700。还可以将图像分析装置800与虚拟照相机控制装置700集成。
[0112]
从图像分析装置800输出的移动信息是第一实施例中描述的全部或部分信息。图像分析装置800具有累积与帧的数量相对应的真实照相机视频的缓冲器，通过分析帧之间的视频差异来导出移动信息，并将所导出的移动信息在各个帧周期输出到虚拟照相机控制装置700。帧之间的视频差异是基于例如视频内的像素值的帧之间的移动量和移动方向，或者视频内的对象的帧之间的位置的移动量和移动方向等导出的。此外，在导出移动差异时，通过将位置在真实空间中不改变的场地线和结构等作为特征点来导出视频内的特征点的移动量和移动方向。也可以使用其他方法作为移动差异的导出方法。
[0113]
如上所述，通过本实施例，即使在真实照相机200无法输出移动信息的情况下，通过基于视频分析获得移动信息，也可以获得与第一实施例的效果相同的效果。
[0114]
[第三实施例]
[0115]
在第一实施例中，通过真实照相机200输出真实照相机参数并且所输出的真实照相机参数经由延迟装置300被输入到虚拟照相机控制装置700中，在虚拟视点视频上再现真实照相机视频的移动。与此相反，在本实施例中，真实照相机200输出移动信息之外的信息，并且输出信息被输入到虚拟照相机控制装置700。作为移动信息之外的信息，例如包括真实照相机200的镜头畸变值和表示真实照相机200的聚焦状态的信息中的至少一个或多于一个。
[0116]
镜头畸变值由镜头类型和焦距唯一地确定。因此，由根据本实施例的真实照相机200输出的真实照相机参数包括镜头畸变信息以及变焦值。在向虚拟视点视频生成装置600输出虚拟照相机路径时，虚拟照相机控制装置700还输出镜头畸变信息。然后，虚拟视点视频生成装置600在虚拟视点视频上再现由镜头畸变信息表示的镜头畸变程度。
[0117]
聚焦状态例如是表示真实照相机视频上的聚焦程度的信息。具体地，预先设置聚焦程度的值，使得该值落入预定范围内，并且在真实照相机参数中包括设置值。例如，将失焦状态设置为0，将处于聚焦的状态设置为10，并且在整数值1至9之间级进地表示聚焦状态。在将照相机路径输出至虚拟视点视频生成装置600时，虚拟照相机控制装置700还输出与聚焦状态有关的信息。虚拟视点视频生成装置600基于与聚焦状态有关的信息，通过对虚拟视点视频进行诸如模糊等的图像处理来再现如真实照相机视频中那样的模糊程度。
[0118]
关于镜头畸变值，虚拟照相机控制装置700还可以预先具有存储针对各个镜头焦距的畸变值的表，并且通过使用该表找到与真实照相机参数内的焦距信息所表示的焦距相关联的畸变值。
[0119]
通过本实施例，可以在虚拟视点视频中再现与真实照相机的镜头畸变程度、模糊程度等相同的镜头畸变程度和模糊程度等。
[0120]
也可以适当地组合前述实施例的内容。
[0121]
[其他实施例]
[0122]
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并进行程序的方法。
[0123]
根据本公开，可以在进行真实照相机视频和虚拟视点视频之间的切换时减轻用户的不协调感。
[0124]
虽然已经参考示例性实施例描述了本公开，但是应当理解，本公开不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释，以便涵盖所有这样的修改和等效结构和功能。