专利名称：内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统的制作方法
技术领域：
本发明涉及内容传输设备、内容传输方法、内容再现设备、内容再现时间方法、程序及内容分发系统。具体是，本发明涉及内容再现设备的用户可以用来以任意图像帧观看内容的内容传输设备、内容传输方法、内容再现设备、内容再现时间方法、程序、及内容分发系统。
背景技术：
在现有技术中，在以通过电视广播或互联网提供的视频点播服务为代表的视频内容分发服务中，观看者可仅以通过广播侧形成的图像帧观看视频内容。应注意，在使用诸如DVD (数字通用盘)或BD (蓝光盘)的封装介质的一些视频内容(所谓的多角度内容)分段中，记录通过从多个不同视点(角度)对作为成像对象的运动赛事或音乐会成像获得的多个视频(参考例如PTL I)。当再现备用于多角度的视频内容时，观看者可选择并观看多个视频中的一个。然而，即使在视频内容备用于多角度的情况中，也不一定能够观察任意图像帧的视频，即在从任意视点成像的状态的视频。引用列表[专利文献]专利文献I日本公开专利申请N0.2009-13594
发明内容
技术问题另外，关于视频内容，要求呈现这样的观看形式:不仅可以选择预先准备的广播图像帧视频或多角度视频，而且可以观看符合每个观看者的喜好的从任意视点成像的视频。尤其是，诸如如下的要求，例如，在现在正在屏幕上显示的场景(成像对象)的右侧观看现在未显示在屏幕上的场景，或者从侧面观看现在屏幕上显示的场景(成像对象)。考虑上述情况提出本发明，本发明使得可以从任意视点成像的状态观看视频。解决问题的技术方案根据本发明第一方面，提供一种内容传输设备，包括:保存部，被配置为保存由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像；生成部,被配置为生成VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息；提供部，被配置为将生成的VRT提供到内容再现设备；广播部，被配置为广播构成保存的多视点视频内容的单个或多个视点视频；以及分发部，被配置为通过网络分发构成保存的多视点视频内容的单个或多个视点视频。生成部可以生成还包括代表构成视频内容的每个视点视频和与该视点视频相邻地成像的相邻视点视频之间的关系的视点串类型的VRT。视点串类型可以是全景型、剧场型、平行型和分离型中的一种。广播部或分发部还可以用作提供部。根据本发明第一方面，还提供一种内容传输设备的内容传输方法，所述内容传输设备将由通过相互不同的多个视频摄像机同时成像的多个视点视频构成的视点视频内容提供到内容再现设备，该方法包括:通过所述内容传输设备执行的生成步骤，生成VRT(观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息；提供步骤，将生成的VRT提供到内容再现设备；广播步骤，广播构成保存的多视点视频内容的单个或多个视点视频；以及分发步骤，通过网络分发构成保存的多视点视频内容的单个或多个视点视频。根据本发明第二方面的程序，其使得计算机用作如下部件:保存部，被配置为保存由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像；生成部，被配置为生成VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息；提供部，被配置为将生成的VRT提供到内容再现设备；广播部，被配置为广播构成保存的多视点视频内容的单个或多个视点视频；以及分发部，被配置为通过网络分发构成保存的视频内容的单个或多个视点视频。在本发明第一方面，生成包括构成多视点视频内容的每个视点视频的获取目的地信息的VRT，并将该生成的VRT提供到内容再现设备。广播构成保存的多视点视频内容的多个视点视频，并通过网络分发构成保存的多视点视频内容的多个视点视频。根据本发明第二方面，提供一种内容再现设备，其再现由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像，该内容再现设备包括:获取部，被配置为获取VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息；输入部，被配置为输入来自用户的视点移动操作；接收部，被配置为基于VRT从构成多视点视频内容的多个视点视频接收与输入的视点移动操作对应的多个视点视频；以及生成部，被配置为基于接收的多个视点视频生成与视点移动操作对应的视频。获取的VRT还可以包括:构成多视点视频内容的视点视频和与该视点视频相邻地成像的相邻视点视频的每个的视点串类型。视点串类型可以是全景型、剧场型、平行型和分离型中的一种。当接收的多个视点视频的视点串类型是全景型或平行型时，生成部可以连接接收的多个视点视频并切出预定区域，以生成与视点移动操作对应的视频，而当接收的多个视点视频的视点串类型是剧场型时，通过使用接收的多个视点视频的内插法生成与视点移动操作对应的视频。接收部可从广播信号接收、或可以通过通信网络从内容传输设备获取构成多视点视频内容的多个视点视频中的、与输入的视点移动操作对应的多个视点视频。输入部可以包括与相邻视点视频的视点串类型对应的视点移动按钮，所述相邻视点视频被包括在获取的VRT中并与构成多视点视频内容的每个视点视频相邻地成像。根据本发明第二方面，提供一种内容再现设备的内容再现方法，所述内容再现设备再现由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像，该内容再现方法包括:通过所述内容再现设备执行的获取步骤，获取VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息；输入步骤，输入来自用户的视点移动操作；接收步骤，基于VRT从构成多视点视频内容的多个视点视频接收与输入的视点移动操作对应的多个视点视频；以及生成步骤，基于接收的多个视点视频生成与视点移动操作对应的视频。根据本发明第二方面，提供一种使得用于再现由通过相互不同的多个视频摄像机同时成像的多个视点视频构成的多视点视频内容的计算机用作如下部件的程序:获取部，被配置为获取VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息；输入部，被配置为输入来自用户的视点移动操作；接收部，被配置为基于VRT从构成多视点视频内容的多个视点视频接收与输入的视点移动操作对应的多个视点视频；以及生成部，被配置为基于接收的多个视点视频生成与视点移动操作对应的视频。在本发明第二方面，获取包括构成多视点视频内容的每个视点视频的获取目的地信息的VRT，并输入来自用户的视点移动操作。基于VRT从构成多视点视频内容的多个视点视频接收对应于输入的视点移动操作的多个视点视频。然后，基于接收的多个视点视频生成与视点移动操作对应的视频。根据本发明第三方面，提供一种包括内容传输设备和内容再现设备的内容分发系统。所述内容传输设备包括:保存部，被配置为保存由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像；生成部，被配置为生成VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地彳目息；提供部，被配置为将生成的VRT提供到内容再现设备；广播部，被配置为广播构成保存的多视点视频内容的单个或多个视点视频；以及分发部，被配置为通过网络分发构成保存的多视点视频内容的单个或多个视点视频。所述内容再现设备包括:获取部，被配置为获取VRT ；输入部，被配置为输入来自用户的视点移动操作；接收部，被配置为基于VRT从构成多视点视频内容的多个视点视频接收与输入的视点移动操作对应的多个视点视频；以及生成部，被配置为基于接收的多个视点视频生成与视点移动操作对应的视频。在本发明第三方面，内容传输设备生成包括构成多视点视频内容的视点视频的获取目的地信息的VRT，并将生成的VRT提供给内容再现设备。另外，所述内容传输设备广播构成保存的多视点视频内容的多个视点视频，并通过网络分发构成保存的多视点视频内容的多个视点视频。同时，内容再现设备获取VRT并从用户接收输入到其的视点移动操作。另夕卜，内容再现设备基于VRT从构成多视点视频内容的多个视点视频接收对应于输入的视点移动操作的多个视点视频。然后，内容再现设备基于接收的多个视点视频生成与视点移动操作对应的视频。[发明的有益效果]根据本发明第一方面，可以将能够观看的在从任意视点成像的状态的视频内容提供到接收侧。根据本发明第二方面，可以观看在从任意视点成像的状态的视频。根据本发明第三方面，观看者可以观看在从由观看者任意确定的视点成像的状态的视频。
图1示出观看关系类型=I (全景型)；图2示出这样的状态，其中在水平方向连接构成全景型的视频内容的多个多视点视频；图3示出观看关系类型=2 (剧场型)；图4示出观看关系类型=3 (平行型)；图5示出观看关系类型=4 (分离型)；图6为示出应用本发明的多视点视频内容观看系统的配置的实例的框图；图7示出在如下的情况中的VRT的传输时序，其中以视频内容的全周期制备多视点视频；图8示出在如下的情况中的VRT的传输时序，其中以视频内容的全周期的部分制备多视点视频；图9示出用于获取VRT的参考信息的实例；图10示出参考信息的描述实例；图11示出VRT的实例；图12示出VRT的描述实例；图13是示出接收设备的配置实例的框图；图14为示出多视点视频接收处理的流程图；图15示出视点移动按钮的实例；图16示出响应于视点移动按钮的操作出现的屏幕图像转换；以及图17是示出计算机的配置实例的框图。
具体实施例方式在下文中，将参考附图详细描述用于进行本发明的最佳模式(下文称为实施例)。〈1.实施例 >[多视点视频内容观看系统概述]描述作为本发明实施例的多视点视频内容观看系统的概述。所述多视点视频内容观看系统使得可以由从多个不同摄像机位置成像的多个视点视频构成一条视频内容。另夕卜，多视点视频内容观看系统使得在接收侧可以从视点视频切出任意范围，或连接或内插多个视点视频，从而可以观看在从任意视点成像的状态的视频。构成多视点视频内容的多个视点视频在分辨率或编码格式方面不一定彼此相同。应注意，多视点视频内容可由在整个时段上的多个视点视频构成、或者可以由仅在其时段的部分内的多个视点视频构成。由多个视点视频构成的多视点视频内容被保存在传输端上，并且在构成多视点视频内容的视点视频中，将表示多视点视频内容并且例如从前方对图像拍摄对象成像的一个视点视频确定为默认(输入)视频。通过相互不同的传输路径(在电视广播中的广播流中和在网络分发的互联网流中)广播或分发各个视点视频。将构成多视点视频内容的多个视点视频的关系分类为四种不同的视点串类型，即，观看关系类型=1 (全景型)、观看关系类型=2 (剧场型)、观看关系类型=3 (平行型)、以及观看关系类型=4 (分离型)。图1示出在对由观看关系类型=1 (节目)的视点串构成的多视点视频内容成像时的情况。在该情况中，通过在相同的摄像机点设置多个视频摄像机并通过视频摄像机同时在彼此不同的方向成像，而获得多视点视频内容。在图1的情况中，将360度的全范围均分为八个区域，并从相同的摄像机位置CO到C7同时成像所述区域。通过成像，获得观看关系类型=1 (全景型)的视点视频VO到V7的视点串。应注意，当由全景型视点串类型构成视频内容时，不一定需要准备360度全周的视点串。例如，多视点视频内容可由以相同摄像机位置为圆心的180度半周的视点串构成。另外，还可以任意确定将用于成像的视频摄像机的数目。如果使用较少数目的视频摄像机以增加每个视频摄像机的图像拍摄视角，则在接收侧可以减少用于将两个视点相互连接的处理的执行频率。相反，如果使用较多数目的视频摄像机以减小每个视频摄像机的图像拍摄视角，则可以抑制在内插视频中很可能出现的诸如变形的图像质量下降。图2示出其中在水平方向将构成视频内容的全景型的视点串VO到V7相互连接的状态。在接收侧，不仅可以选择性地观看视点串VO到V7之一，还可以指定在两个视点串V2和V3之间跨越的图像巾贞，并观看该图像帧中的视频。例如，如果指定如图所示的仅占用视点视频V4的观看图像帧，则仅接收并解码视点视频V4。另一方面，如果指定跨越在视点视频V2和V3之间的观看图像帧，则接收并解码视点视频V2和V3，并切出观看图像帧。图3示出在成像由观看关系类型=2 (剧场型)的视点串构成的多视点视频内容时的情况。在该情况中，通过在围绕图像拍摄对象的圆上提供多个摄像机位置(视点)并从摄像机位置同时对图像拍摄对象成像，获得多视点视频内容。在该图的情况中，通过在围绕图像拍摄对象的圆上提供九个摄像机位置CO到CS，并分别从摄像机位置CO到CS同时对图像拍摄对象成像，获得剧场型的视点串VO到V8。在接收侧，不仅可以观看从相同圆上的彼此不同的摄像机位置CO到CS成像的视点串VO到V8之一，还可以内插视频并观看内插视频，该视频具有通过从相同圆的不同于摄像机位置CO到CS的任意位置成像获得的状态。例如，为了观看处于从摄像机位置C2与摄像机位置C4之间成像的状态的视频，对视点视频V2和V4进行接收和解码，并通过使用解码的视点视频V2和V4的内插处理生成期望的视频。图4示出在对由观看关系类型=3 (平行型)的视点串构成的多视点视频内容成像时的情况。在该情况中，通过在与图像拍摄对象相对的直线上提供多个摄像机位置(视点)并从摄像机位置同时对图像拍摄对象成像，使得成像方向可以彼此平行，获得多视点视频内容。在该图的情况中，通过在直线上提供五个摄像机位置CO到C4，并分别从摄像机位置CO到C4同时对图像拍摄对象成像，获得平行型视点串VO到V4。在接收侧，不仅可以观看从相同直线上的彼此不同的摄像机位置CO到C4成像的视点串VO到V4之一，还可以内插视频并观看内插视频,该视频处于通过从与摄像机位置CO到C4线性不同的任意位置成像获得的状态。例如，为了观看处于从摄像机位置Cl与摄像机位置C2之间成像的状态的视频，对视点视频Vl和V2进行接收和解码，并通过使用解码的视点视频Vl和V2的内插处理生成期望的视频。图5示出在成像由观看关系类型=4 (分离型)的视点串构成的多视点视频内容时的情況。在该情况中，通过与其它摄像机位置分离地且不规则地提供的摄像机位置对图像拍摄对象成像，获得多视点视频内容。在该图的情况中，在五个摄像机位置CO、Cl、C2、ClO和C20中，摄像机位置CO、Cl和C2被置于相同圆上,而摄像机位置ClO被置于摄像机位置CO上方，并且摄像机位置C20被不规则且分离地设置。从而，从摄像机位置ClO和C20成像的视点串VlO和V20的视点串类型变为分离的。应注意，可以配置一条多视点视频内容，使得以混合方式包括不同视点串类型的多个视点串。[多视点视频内容观看系统的配置实例]现在，描述作为本发明实施例的多视点视频内容观看系统的配置实例。图6示出根据本发明实施例的多视点视频内容观看系统的配置实例。该多视点视频内容观看系统10由传输设备20、以及通过互联网11与该传输设备20连接的接收设备30-1到30-n构成。在下面的描述中，在不需要单独区分接收设备30_1到30-n的情况中，将其每个仅称为接收设备30。传输装置20包括内容保存部21、VRT生成部22、广播部23、及传输部24。内容保存部21保存由多个视点视频构成的多视点视频内容。VRT生成部22生成在接收侧接收视点视频所需的VRT (观看关系表)，并将VRT输出到广播部23或传输部24。VRT包括诸如如下的信息:构成多视点视频内容的多个视点视频的每个的视点串类型、以及获取目的地URL (广播流或互联网流的URL)。应注意，下面參考图7到12描述VRT的细目。广播部23读取构成多视点视频内容并被保存在内容保存部21中的多个视点视频的预定ー个(例如，默认(输入)视点视频等)，并广播预定视点视频作为广播流。换句话说，广播部23通过广播网络12广播预定视点视频作为电视节目。另外，广播部23将生成的VRT置于广播信号的预定位置并广播该广播信号。传输部24读取构成多视点视频内容并被保存在内容保存部21中的视点视频的预定的ー个(从诸如默认(输入)视点视频之外的视点视频的代表摄像机位置成像的ー个)，并通过互联网11分发该预定视点视频作为互联网流。另外，根据来自接收设备30-1的请求，传输部24通过互联网11将生成的VRT传输到请求源的接收设备30-1。应注意，可以通过广播网络12将构成多视点视频内容的全部视点视频广播为广播流。相反，可以通过互联网11将构成多视点视频内容的全部视点视频分发为互联网流。或者构成多视点视频内容的视点视频的ー些或全部可以在被记录在诸如BD (蓝光盘)的存储介质上的状态下被提供到接收侧。[VRT]图7示出在其中由多个视点视频构成在全时段内的多视点视频内容的情况中的VRT的传输时序。在该情况中，对视频内容准备ー个VRT。需要仅在开始广播视频内容之前将该VRT提供到接收侧。特别是，可以在电视广播信号的EIT (事件信息表)或PMT (节目地图表)中描述VRT或包括VRT的获取目的地的參考信息。应注意，在将通过互联网11分发构成多视点视频内容的全部视点视频的情况中，可以向接收侧发出VRT和包括VRT的获取目的地的參考信息的通知作为将在再现视频内容之前获取的元文件(meta file)的类型，诸如CAD或ERI (输入源信息)。图8示出在其中由多视点视频(即多个视点视频)构成在部分时段内的视频内容的情况中的VRT的传输时序。在该情况中，对其中由多个视点视频构成多视点视频的两个时段(下文称为多视点分段)的每个准备VRT。可以在开始多视点分段的开始时序前将每个VRT提供到接收侧。特别是，可以在电视广播信号的PMT中描述对应于该分段的包括VRT的获取目的地的參考信息。应注意，在将要通过互联网11分发构成多视点视频内容的全部视点视频的情况中，可以向接收侧发出VRT和包括VRT的获取目的地的參考信息的通知作为将在再现视频内容之前获取的元文件的类型(例如CAD或ERI )。图9示出提供到接收侧的包括VRT的获取目的地的參考信息的实例，以及图10示出对參考信息的具体描述的实例。提供等于一条视频内容的多视点分段的数目的多个多视点。例如，在图8的情况中，描述两个多视点。在多视点中，提供三个要素:@startNPT、OendNPT和Oinfo。在OstartNPT中，在NPT (正常播放时间)中描述多视点分段的开始时间位置。在OendNPT中，在NPT中描述多视点分段的结束时间位置。在Oinfo中，描述指示对应的VRT的获取目的地的URL。现在，图11示出VRT的实例，以及图12示出对应于在图5所示的情况中成像的视频内容的VRT的描述实例。 VieW_objeCt要素是与构成多视点视频内容的每个视点视频相关的信息，描述等于视点数目的多个View_object要素。在View_object中,提供七个特征:id、name(名称)、cut (到切)、format (格式)、resolution_h、resolution_v 以及 location (位置)。在View_object的id特征中，描述多视点视频中的视点的识别信息。在名称特征中，描述视点视频的名称。在剪切特征中，描述从视点视频切出的部分是否被允许或禁止。在格式特征中，描述视点视频的编码格式。在resolution_h特征中，描述在水平方向中的视点视频的分辨率。在resolution_v特征中，描述在垂直方向中的视点视频的分辨率。在◎location中，描述视点视频的URL的获取目的地。另夕卜，在View_object要素中，将neighbor_view要素描述为子要素，所述neighbor_view要素指示在与成像对应于View_object的视点视频的摄像机位置相邻的摄像机位置成像的视点视频相关的信息。在neighbor_view要素中,提供四个特征:id特征、类型特征、方向特征、以及距离特征。在neighbor_view要素的id特征中，描述在与成像对应于母要素的View_object要素的视点视频之处的摄像机位置相邻的摄像机位置成像的视点视频(下文称为相邻视点视频)的识别信息。在类型特征中，描述相邻视点之间的视点串类型。在方向特征中，描述成像相邻视点视频的摄像机位置关于成像对应于View_object要素的多视点视频的摄像机位置的方向。在距离特征中，描述成像相邻视点视频的摄像机位置关于成像对应于View_object要素的多视点视频的摄像机位置的距离或角度。[接收设备30的配置实例]图13示出接收设备30的配置实例。接收设备30包括操作输入部31、控制部32、调谐器33、多路分解部(DEMUX) 34、视频解码器35_1和35_2、音频解码器36_1和36_2、视频处理部37、音频处理部38、通信接ロ(I/F) 39、VRT分析部40、流接收部41_1和41_2、以及冋步控制部42。操作输入部31例如由远程控制器和对应的接收部(二者都未示出)构成，并接收用户的操作，且然后将接收的操作的通知发出到控制部32。特别是，操作输入部31接收用户的选择视频内容、指定视频内容的图像帧的位置或尺寸、或指定视点(摄像机位置)的操作，并对控制部32通知该接收的操作。控制部32根据利用操作输入部31输入的用户的操作控制接收设备30的部件。调谐器33从通过广播网络12广播的电视广播信号接收默认(输入)视点视频的广播信号(广播流)，并将接收的广播信号输出到多路分解部34。流接收部41-1和41-2相应地通过通信I/F39和互联网11从传输设备20接收多视点视频的流数据(互联网流)，并将接收的流数据输出到多路分解部34。多路分解部34从自调谐器33输入的广播信号多路分解在PMT、EIT等中包括的VRT或用于获取VRT的參考信息，并将VRT或參考信息提供到VRT分析部40。另外，多路分解部34从自调谐器33输入的广播信号和自流接收部41输入的流数据多路分解视频编码数据和音频编码数据。应注意，假设多路分解部34可以同时处理至少两个系统的流数据。多路分解的视频编码数据被输入到视频解码器35-1或35-2，并且多路分解的音频编码数据被输入到音频解码器36-1或36-2。视频解码器35-1和35-2解码输入到其中的视频编码数据，并将通过解码获得的不同视点的视频的视频信号输出到视频处理部37。音频解码器36-1和36-2解码输入到其中的音频编码数据，并将通过解码获得的不同视点的音频信号输出到音频处理部37。视频处理部37通过连接从视频解码器35-1和35-2输入的两个视频信号(对应于彼此相邻的摄像机位置处的两个视点视频)，并切出连接的信号的预定区域，内插对应于任意视点的视频，或重叠用作用户界面的操作按钮的视频等，来生成将呈现给用户的视频信号。然后，视频处理部37将生成的视频信号输出给在随后阶段中的监视器(未示出)。音频处理部38通过合成从音频解码器36-1和36-2输入的两个音频信号(对应于在彼此相邻的摄像机位置处的两个视点视频)，生成将呈现给用户的音频信号。然后，音频处理部38将生成的音频信号输出给在随后阶段中的监视器(未示出)。通信I/F 39通过互联网11与传输设备20连接。VRT分析部40当从多路分解部34向其提供用于获取VRT的參考信息时，根据參考信息通过通信I/F39和互联网11从传输设备20获取VRT。另外，VRT分析部40分析从多路分解部34向其提供的、或通过VRT分析部40自身获取的VRT，并将分析结果输出到控制部32。同步控制部42控制视频解码器35-1和35-2、音频解码器36_1和36_2、视频处理部37、音频处理部38以及流接收部41-1和41-2，从而使其彼此同歩。[操作描述]图14为示出通过接收设备30的多视点视频接收处理的流程图。假设接收设备30已经接收正通过广播网络12广播为电视节目的视频内容的默认视点视频。
在步骤SI，VRT分析部40接收VRT的參考信息和从多路分解部34提供到其的VRT，或通过VRT分析部40自身获取VRT的參考信息和VRT，分析VRT，并将分析结果输出到控制部32。在步骤S2，控制部32确定正接收的视频内容的行进位置是多视点分段。如果确定正接收的视频内容的行进位置不是多视点分段，则处理前进到步骤S3。在步骤S3，如果在正接收的视频内容的图像上显示视点移动按钮，则视频处理部37在控制部32的控制下将视点移动按钮置于非显示状态中。如果未显示视点移动按钮，则视频处理部37不进行操作。然后，处理返回到步骤S2，从而重复在开始于步骤S2的处理。如果在步骤S2确定正接收的视频内容的行进位置是多视点分段，则处理前进到步骤S4。在步骤S4，如果在正接收的视频内容的图像上未显示视点移动按钮，则视频处理部37在控制部32的控制下使得显示视点移动按钮。如果显示视点移动按钮，则维持显示。这里，描述在视频内容的视频上显示的视点移动按钮。图15示出12个不同视点移动按钮的实例。应注意，通过參考VRT，并基于在正接收的视点视频的VieW_objeCt要素中包括的neighbor_view要素的类型特征和方向特征,确定将显示哪个视点移动按钮。在视点串类型是全景型、剧场型或平行型的情况中，响应于对相应的视点移动按钮的下压时间或下压次数，确定视点移动量。再參考图14，在步骤S5，控制部32基于来自操作输入部31的输入确定用户是否操作视点移动按钮。如果视点移动按钮未被操作，则处理返回到步骤S2，从而重复在开始于步骤S2的处理。如果在步骤S5确定视点移动按钮被操作，则处理前进到步骤S6。在步骤S6，控制部32基于操作的视点移动按钮确定到移动目的地的视点视频的视点串类型是否是分离的。如果视点串类型是分离的，则处理前进到步骤S7。在步骤S7，控制部32控制相关部件以接收和解码移动目的地的视点视频，并将视频信号输出到随后阶段。然后，处理返回到步骤S2，从而重复在开始于步骤S2的处理。如果在步骤S6确定到移动目的地的视点视频的视点串类型不是分离的，则处理前进到步骤S8。在步骤S8，控制部32基于视点移动按钮的下压时间或下压次数计算视点的移动量，以确定移动目的地的视点位置。在步骤S9，控制部32基于VRT确定在移动目的地的视点位置是否存在实际成像的视点视频，从而确定移动目的地的视点位置是否需要内插。如果确定在移动目的地的视点位置存在实际成像的视点视频，并且然后确定移动目的地的视点位置不需要内插，则处理前进到步骤S10。在步骤S10，控制部32控制相关部件以接收和解码对应于移动目的地的视点位置的视点视频，并将视频信号输出到随后阶段。然后，处理返回到步骤S2，从而重复在开始于步骤S2的处理。如果在步骤S9确定在移动目的地的视点位置不存在实际成像的视点视频，并且从而确定移动目的地的视点位置需要内插，则处理前进到步骤S11。在步骤S11，控制部32控制相关部件以接收和解码在跨过移动目的地的视点位置定位的实际摄像机位置成像的两个多视点视频，并将两个视频信号输出到视频处理部37。在步骤S12，视频处理部37基于输入到其的两个视频信号的视点串类型和视点位置，生成具有在成像位置成像的状态的视频，并将获得的视频信号输出到后续阶段以被显示。特别是，例如，如果两个视频信号的视点串类型是全景型或平行型，则在水平方向将两个视频信号彼此连接，并切出对应于视点位置的图像帧。另ー方面，例如，如果两个视频信号的视点串类型是剧场型，则基于两个视频信号通过内插处理生成对应于视点位置的视频。应注意，尽管可使用任何技术用于内插处理，例如，可以应用本发明申请人的日本专利申请2010-274808中提出的技术。然后，处理返回到步骤S2，从而重复在开始于步骤S2的处理。对多视点视频接收处理的描述在此结束。图16示出在多视点视频接收处理中响应于用户对视点移动按钮的操作的屏幕图像转换的实例。例如，如果当正接收该图中A所示的默认(输入)多视点视频时视频内容的行进位置到达多视点分段，则如该图中B所示在默认(输入)多视点视频上显示视点移动按钮。在该图的B的情况中，视点串类型是剧场型，并显示通过其可以将视点位置移动到左侧和右侧的视点移动按钮。如果用户在该图的B的屏幕显示上操作左侧视点移动按钮，则屏幕的视频被改变为这样的状态，其中视点位置已经在同心圆上向左移动。在经过改变的屏幕显示上，显示视点移动按钮，其中视点串类型是剧场型并且可以将视点位置移动到右侧，即，其可以恢复该图的B的屏幕显示。相反，如果用户在该图的B的屏幕显示上操作右侧视点移动按钮，则屏幕的视频被改变为这样的状态，其中视点位置已经在同心圆上向右移动。在经过改变的屏幕上，显示视点移动按钮，其中视点串类型是剧场型并且可以将视点位置移动到左侧，即，其可以恢复该图的B的屏幕显示。然后，如果从多视点分段移开视频内容的行进位置，则如该图E所示擦除视点移动按钮的显示图像。通过上述多视点视频内容观看系统，例如可以实施下面的场景。场景I在行驶于Kenya的savannah上的四轮驱动车辆上方,成像360度全周并作为全景型视点串类型的多视点视频广播。该节目的观看者可将该视频改变至任意方向的视频等，并发现周围中存在的野生动物。场景2通过在沿露天看台圆周设置的中心路径以固定距离设置的视频摄像机，将在LasVegas中的Amphitheater中进行的展出成像为多视点视频，其视点串类型是剧场型。然后，广播成像的多视点视频。该节目的观看者可以以其中观看者从中心路径的任意位置观看舞台的状态观看视频。另外，尽管上述系列处理可以通过硬件执行，其还可以通过软件执行。在通过软件执行系列处理的情况中，从程序记录介质将构成软件的程序安装到结合到专用硬件的计算机中、或例如可通过安装各种程序而执行各种功能的通用计算机等中。图17为示出根据程序执行上述系列处理系列的计算机的配置实例的框图。在计算机100中，CPU (中央处理单元)10UR0M (只读存储器)102以及RAM (随机存取存储器)103通过总线104相互连接。另外，输入/输出接ロ 105还连接到总线104。输入/输出接ロ 105与以下各部连接:输入部106，其包括键盘、鼠标、传声器等；输出部107，其包括显示单元、扬声器等；存储部108，其包括硬盘、非易失性存储器等；通信部109，其包括网络接ロ等；以及驱动器110，用于驱动可移动介质111，所述可移动介质111诸如为磁盘、光盘、磁光盘、半导体存储器
坐寸o在以如上所述的方式配置的计算机100中，CPU 101通过输入/输出接ロ 105和总线104将例如存储在存储部108中的程序装载到RAM 103中，并执行程序以进行上述系列处理。应注意，通过计算机执行的程序可以是以本发明中所述的顺序的时间序列进行处理的程序，或者可以是并行或以诸如在调用程序时的时序的需要时序进行处理的程序。另外，可通过一台计算机处理程序，或可以通过多台计算机的分发处理处理程序。另外，可将程序传输到远程计算机并通过远程计算机执行。另外，在本发明中，术语系统表示由多个设备构成的整体设备。应注意，本发明的实施例不限于上述实施例，在不偏离本发明主g的情况下可以进行各种修改。附图标记列表10多视点视频内容观看系统，11互联网，12广播网络，20传输设备，21内容保存部，22 VRT生成部，23广播部，24传输部，30接收设备，31操作输入部，32控制部，33调谐器，34多路分解部，35视频解码器，36音频解码器，37视频处理部，38音频处理部，39通信I/F，40 VRT分析部，41流接收部，42同步控制部
权利要求
1.一种内容传输设备,包括: 保存部，被配置为保存由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像； 生成部，被配置为生成VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息； 提供部，被配置为将生成的VRT提供到内容再现设备； 广播部，被配置为广播构成保存的多视点视频内容的单个或多个视点视频；以及 分发部，被配置为通过网络分发构成保存的多视点视频内容的单个或多个视点视频。
2.根据权利要求1所述的内容传输设备，其中 所述生成部生成还包括代表构成视频内容的每个视点视频和与该视点视频相邻地成像的相邻视点视频之间的关系的视点串类型的VRT。
3.根据权利要求2所述的内容传输设备，其中 所述视点串类型是全景型、剧场型、平行型和分离型中的一种。
4.根据权利要求2所述的内容传输设备，其中 所述广播部或分发部还用作提供部。
5.一种内容传输设备的内容传输方法，所述内容传输设备将由通过相互不同的多个视频摄像机同时成像的多个视点视频构成的视点视频内容提供到内容再现设备，该方法包括: 通过所述内容传输设备执行的 生成步骤，生成VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息； 提供步骤，将生成的VRT提供到内容再现设备； 广播步骤，广播构成保存的多视点视频内容的单个或多个视点视频；以及 分发步骤，通过网络分发构成保存的多视点视频内容的单个或多个视点视频。
6.一种用于使得计算机用作如下部件的程序: 保存部，被配置为保存由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像； 生成部，被配置为生成VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息； 提供部，被配置为将生成的VRT提供到内容再现设备； 广播部，被配置为广播构成保存的多视点视频内容的单个或多个视点视频；以及 分发部，被配置为通过网络分发构成保存的视频内容的单个或多个视点视频。
7.一种内容再现设备，再现由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像，该内容再现设备包括: 获取部，被配置为获取VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息； 输入部，被配置为输入来自用户的视点移动操作； 接收部，被配置为基于VRT从构成多视点视频内容的多个视点视频接收与输入的视点移动操作对应的多个视点视频；以及生成部，被配置为基于接收的多个视点视频生成与视点移动操作对应的视频。
8.根据权利要求7所述的内容再现设备，其中 获取的VRT还包括代表构成视频内容的每个视点视频和与该视点视频相邻地成像的相邻视点视频的之间的关系的视点串类型。
9.根据权利要求8所述的内容再现设备，其中 所述视点串类型是全景型、剧场型、平行型和分离型中的一种。
10.根据权利要求9所述的内容再现设备，其中 当接收的多个视点视频的视点串类型是全景型或平行型时，生成部连接接收的多个视点视频并切出预定区域，以生成与视点移动操作对应的视频， 而当接收的多个视点视频的视点串类型是剧场型时，通过使用接收的多个视点视频的内插法生成与视点移动操作对应的视频。
11.根据权利要求8所述的内容再现设备，其中 接收部从广播信号接收、或通过通信网络从内容传输设备获取构成多视点视频内容的多个视点视频中的、与输入的视点移动操作对应的多个视点视频。
12.根据权利要求8所述的内容再现设备，其中 输入部包括与相邻视点视频的视点串类型对应的视点移动按钮，所述相邻视点视频被包括在获取的VRT中并与构成多视点视频内容的每个视点视频相邻地成像。
13.一种内容再现设备的内容再现方法，所述内容再现设备再现由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像，该内容再现方法包括: 通过所述内容再现设备执行的 获取步骤，获取VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息； 输入步骤，输入来自用户的视点移动操作； 接收步骤，基于VRT从构成多视点视频内容的多个视点视频接收与输入的视点移动操作对应的多个视点视频；以及 生成步骤，基于接收的多个视点视频生成与视点移动操作对应的视频。
14.一种使得用于再现由通过相互不同的多个视频摄像机同时成像的多个视点视频构成的多视点视频内容的计算机用作如下部件的程序: 获取部，被配置为获取VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息； 输入部，被配置为输入来自用户的视点移动操作； 接收部，被配置为基于VRT从构成多视点视频内容的多个视点视频接收与输入的视点移动操作对应的多个视点视频；以及 生成部，被配置为基于接收的多个视点视频生成与视点移动操作对应的视频。
15.—种内容分发系统,包括内容传输设备和内容再现设备，其中 内容传输设备包括: 保存部，被配置为保存由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像；生成部，被配置为生成VRT (观看关系表)，该VRT包括构成多视点视频内容的每个视点视频的获取目的地信息； 提供部，被配 置为将生成的VRT提供到内容再现设备； 广播部，被配置为广播构成保存的多视点视频内容的单个或多个视点视频；以及 分发部，被配置为通过网络分发构成保存的多视点视频内容的单个或多个视点视频； 所述内容再现设备包括: 获取部，被配置为获取VRT ； 输入部，被配置为输入来自用户的视点移动操作； 接收部，被配置为基于VRT从构成多视点视频内容的多个视点视频接收与输入的视点移动操作对应的多个视点视频；以及 生成部，被配置为基于接收的多个视点视频生成与视点移动操作对应的视频。
全文摘要
提供观看者可以用来观看在任意视点成像的状态的视频的内容传输设备、内容传输方法、内容再现设备、内容再现时间方法、程序、及内容分发系统。本发明的内容传输设备包括保存部，被配置为保存由多个视点视频构成的多视点视频内容，所述多个视点视频通过相互不同的多个视频摄像机同时成像；生成部，被配置为生成VRT(观看关系表)，VRT包括构成多视点视频内容的每个视点视频的获取目的地信息；提供部，被配置为将生成的VRT提供到内容再现设备；广播部，被配置为广播构成保存的多视点视频内容的单个或多个视点视频；以及分发部，被配置为通过网络分发构成保存的多视点视频内容的单个或多个视点视频。本发明可用于使用广播和互联网的内容分发系统。
文档编号H04N21/434GK103119957SQ20118004598
公开日2013年5月22日 申请日期2011年9月22日 优先权日2010年10月1日
发明者北里直久 申请人:索尼公司