信息处理装置、其控制方法和计算机程序与流程

文档序号:18399417发布日期:2019-08-09 23:43阅读:131来源:国知局
本发明涉及信息处理装置、其控制方法和计算机程序,特别涉及用于发送图像数据的技术。
背景技术
::近些年,提供了向用户实时分发使用全向摄像装置拍摄的全向视频数据的分发系统。专利文献1公开了通过利用http流技术分发360度全向视频数据的系统。同时,诸如http/2等的协议指定了供服务器主动向客户端推送数据的过程。众所周知,通过将这些过程应用于http流,使得即便服务器未接收到针对各个单独段的请求,服务器也将客户端使流再现所需的段推送到客户端,能够降低可能在开始再现前发生的延迟。现有技术文献专利文献专利文献1:日本特开2016-105593号公报技术实现要素:技术问题当发送全向视频数据时,服务器能够将全向视频数据投影(展开)到二维平面上,以生成将要分发的段。存在多种用于将全向视频数据投影到二维平面上的方法。一些类型的客户端可能不支持将要进行的、以显示使用特定投影方法投影的全向视频数据的显示处理。因此,存在如下问题:即使当服务器将全向视频数据推送到客户端时,客户端也不能再现全向视频数据。另外,一些类型的客户端可能不支持将要进行的、以将使用特定投影方法由服务器投影的全向视频数据转换为使用其他投影方法投影的全向视频数据的处理。另外,在该情况下,该客户端不能显示使用期望的投影方法投影的全向视频数据。即使客户端能够将使用特定投影方法由服务器投影的全向视频数据转换为使用其他投影方法投影的全向视频数据,该转换处理也会对客户端产生负荷。还想到的是,即便期望客户端接收未被投影(展开)的全向视频数据,服务器也会向客户端发送已经使用特定投影方法投影的全向视频数据。在发送除了全向视频数据以外的视频数据的情况下,也可能发生该问题。例如,还存在多种用于投影(展开)使用鱼眼镜头拍摄的视频数据和使用超广角镜头拍摄的视频数据的方法。此外,在部分全向视频数据的情况下会发生类似的问题,其中,部分全向视频数据是已经去除了一些区域的视频数据的全向视频数据。由于存在多种投影方法,所以还可以说存在多种显示方法。鉴于上述问题作出了本发明,本发明的目的是提供如下技术:当存在多种用于投影图像数据的方法时,向客户端提供在形式上适于客户端的图像数据。用于解决技术问题的手段为了实现上述目的,根据本发明的信息处理装置设置有以下构造。即,一种从服务器装置接收图像数据的信息处理装置,其特征在于,所述信息处理装置包括:生成部,其用于生成推送指令,该推送指令包括与能够应用于投影对象图像的多种投影方法的一种或更多种投影方法有关的标识信息;发送部,其用于向所述服务器装置发送由所述生成部生成的推送指令;以及接收部,其用于接收响应于由所述发送部发送的推送指令而从所述服务器装置推送的图像数据,该图像数据是通过使用基于包括在推送指令中的标识信息而决定的投影方法,对投影对象图像进行投影而生成的。本发明的有益效果本发明使得当存在多种用于投影图像数据的方法时,能够向客户端提供在形式上适于客户端的图像数据。通过结合附图的以下描述,本发明的其它特征和优点将变得明显。注意,遍及附图,相同的附图标记表示相同或相似的组件。附图说明包含在说明书中且构成说明书的一部分的附图示出了本发明的实施例,并且与实施例的描述一起用来例示本发明的原理。图1a、图1b、图1c、图1d例示了全向视频数据投影方法的示例。图2是系统构造图。图3是示出客户端的硬件构造的示例的框图。图4是示出客户端的功能构造的示例的框图。图5是示出服务器的硬件构造的示例的框图。图6是示出服务器的功能构造的示例的框图。图7示出了推送指令的示例。图8是示出符合mpeg-dash的mpd文件中的注释(notation)的示例的图。图9是推送响应的示例。图10a、图10b是示出客户端的操作的流程图。图11a、图11b、图11c是示出服务器的操作的流程图。图12是示出序列的序列图。具体实施方式以下参照附图详细描述本发明的实施例的通信装置和通信系统。注意,以下实施例不限制与权利要求书的范围有关的本发明,并且并非必须的是,对于本发明而言以下实施例所述的特征的所有组合均是必要的。(全向视频数据)图1a至图1d是示出全向视频数据的示例和该全向视频数据的投影方法的图。如由图1a中的1001所示,全向视频数据是拍摄以原点o(1003)为中心的范围(方位角至360°,仰角θ=-90°至90°)的视频数据。可以将全向视频数据不同地称作例如全方位视频数据、虚拟现实(vr)视频数据、360°视频数据等。然而,无论称作什么,本实施例的构造均是可应用的。另外,本实施例的构造不仅可应用于全向视频数据,而且还可应用于任意类型的如下视频数据:针对该视频数据,存在多种投影方法。尽管本实施例描述了将视频(移动图像)分配成在三维空间中的所有方向上均包括图像的全向图像数据的示例,但是代替地,可以分配静止图像。也就是,尽管在本实施例的描述中使用了表达“全向视频数据”,但是“全向视频数据”可以是视频(移动图像)或静止图像。另外,尽管在本实施例中使用了术语“投影方法”,但是可以将“投影方法”称作例如“展开方法”或“表达方法”。可供根据本实施例的构造应用的视频数据的范围不限于由1001所示的、由方位角至360°和仰角θ=-90°至90°指定的视频数据的范围。例如,根据本实施例的构造可应用于由方位角至360°和仰角θ=0°至90°指定的半球,或者由任意方位角和任意仰角指定的成像后的数据(imageddata)。根据本实施例的构造还可应用于诸如针对右眼用数据、左眼用数据或立体用数据等的全向视频数据。当将要分配拍摄图像的全向视频数据时,进行投影处理,以在二维平面上展开全向视频数据。存在多种用于将全向视频数据投影到二维平面上的方法。图1b中的1005示出了将全向视频数据1004投影到圆柱体上并进而在二维平面上展开的等距矩形投影方法(equirectangularprojectionmethod)。图1c中的1007示出了将全向视频数据1004投影到矩形长方体1006上并进而将长方体1006在二维平面上展开的投影方法(cube(立方体))。图1d中的1009示出了将全向视频数据投影到棱锥1008上并进而在二维平面上展开上的投影方法。以这种方法,全向图像的展开方法可以包括将全向图像投影到圆柱体、多面体、圆锥体等上并进而在二维平面上展开的方法。无论采用哪种全向视频数据投影方法,本实施例均是可应用的。也就是,根据本实施例的构造可应用于除了图1a至图1d所示的全向投影方法以外的全向投影方法,诸如鱼眼投影方法、圆锥投影方法和正多面体投影方法等。当将要再现全向视频数据时,对展开在二维平面上的全向视频图像进行渲染处理。对已经被施行了投影处理的全向视频数据施行编码处理。在本实施例中,hevc、avc、vp8、vp9和其它类型的编码方法也是可应用的。hevc是highefficiencyvideocoding(高效视频编码)的缩写,avc是advancedvideocoding(高级视频编码)的缩写。本实施例中的全向视频数据可以分割成多个图块(tile)。尽管将全向视频数据分割成图块和编码的方法包括将各个图块单独编码的方法,以及采用图块编码以编码全向视频数据的方法,但是无论采用哪种编码方法,本实施例均是可应用的。在本实施例中,如下编码方法也是可应用的:作为可伸缩编码方法的lhevc、svc和mvc,其它类型的可伸缩编码方法,以及层级编码方法。lhevc是layeredhevc(分层hevc)的缩写,svc是scalablevideocoding(可伸缩视频编码)的缩写,mvc是multiviewvideocoding(多视点视频编码)。当将要采用层级编码时,即使层数是两层以上,本实施例也是可应用的。另外,可以组合地应用层级的生成和图块的分隔。例如,可以不将作为低画质层的基础层分隔成图块,而是以包括全向视频数据的整个区域的方法编码,可以将作为高画质层的增强层分隔成图块。将被施行了编码处理的全向视频数据存储在移动图像容器中。在本实施例中,isobmff、hevcfileformat、mpeg2-ts、commonmediaapplicationformat、webm和其它类型的移动图像容器格式是可应用的。“isobmff”中的“bmff”是basemediafileformat(基础媒体文件格式)的缩写。当将要把全向视频数据存储在移动图像容器格式中时,对全向视频数据施行将全向视频数据分割成多个移动图像文件的分段化(segmentation)。在本实施例中,已经将存储在服务器中的视频数据分成多个文件。然而,该分段化不是必要的,并且视频数据可以存储在单个文件中。如果视频数据存储在单个文件中,则客户端通过指定该文件中的特定范围(字节范围)来获取段(segment)。另外,可以将投影到二维平面的全向视频数据分割成多个区域,并且可以对区域分别施行编码、分别存储在移动图像容器中和分别分割成段。注意,段是通过在空间上或时间上分割视频数据而生成的视频数据单元。在本实施例中,可以基于单个全向视频数据生成多个不同的比特流,以便支持多种投影方法、视角、分辨率和关注区域的组合。如果是这样,则服务器102保持通过对各个比特流施行分段化而生成的段。尽管在本实施例中描述了采用http/2作为通信协议的示例,但是通信协议不限于http/2。例如,可以采用诸如spdy(speedy(迅速)、quic(quicudpinternetconnections(快速udp网络连接))或websocket等的通信协议。在本实施例中,可以采用具有推送通信功能的任意通信协议。本实施例描述了采用mpeg-dash中规定的mpd(mediapresentationdescription(媒体呈现描述))作为清单文件的示例。注意,在本实施例中,不仅可以采用mpeg-dash中的mpd,而且还可以采用使用播放列表注释(playlistnotation)的其它协议,诸如httplivestreaming和smoothstreaming等。另外,例如,在视频数据存储在单个文件中的情况下,播放列表注释是非必须的。(通信系统)图2是示出根据本实施例的通信系统的构造的示例的图。作为根据本实施例的客户端装置的客户端101是接收从服务器102推送的全向移动图像的信息处理装置。客户端101是具有显示功能的通信装置,诸如dtv(digitaltv(数字tv))、hmd(headmountdisplay(头戴式显示器))、智能电话或平板电脑等。客户端101可以是安装在智能电话、平板电脑或pc中的网络浏览器或其它应用程序。可选地,客户端101可以是包括投影装置的投影仪。可选地,客户端101可以是包括多个投影装置的多投影仪。注意,即使客户端101是诸如代理装置或cdn(contentsdelivernetwork(内容分发网络))等的中间装置,本实施例也是可应用的。作为根据本实施例的服务器装置的服务器102是想客户端101推送全向移动图像的信息处理装置。服务器102是数字照相机、数字视频照相机、网络照相机、投影仪、移动电话、智能电话、pc(personalcomputer(个人计算机))、服务器装置等,并且用作作为视频数据源的服务器装置。在本实施例中,服务器102是使用单个pc而实现的。然而,服务器102可以通过将分散的服务器设置在云上而实现。网络103是供客户端101和服务器102使用以彼此进行通信的通信网络。客户端101和服务器102连接到网络103。本实施例不受网络103的形态的限制。例如,使用lan(localareanetwork(局域网))、wan(wideareanetwork(广域网))、用于公共移动通信的lte(longtermevolution(长期演进))或其组合,来连接网络103。lan是localareanetwork的缩写,wan是wideareanetwork的缩写。lte是longtermevolution的缩写。例如,使用符合ethernet(注册商标)的有线lan或符合ieee(instituteofelectricalandelectronicsengineers(电气和电子工程师协会))802.11系列的无线lan,作为lan。例如,使用因特网作为wan。注意,客户端101和服务器102可以彼此直接连接,而不用网络103介于其间。例如,可以使用无线自组织网络,使得客户端101和服务器102彼此通信。(客户端)图3是示出客户端101的硬件构造的示例的框图。在图3中,控制单元201是全面控制客户端101的操作的中央处理单元(cpu),并且经由系统总线211控制构成单元(202、205、206、208和209)。存储单元202是存储和管理各种数据的存储装置。存储单元202例如由诸如硬盘或ssd(solidstatedrive(固态驱动器))等的存储装置、ram(rewritablememory(可重写存储器))、rom(read-onlymemory(只读存储器))等构成。显示单元205在控制单元201的控制下进行各种显示。显示单元205例如由液晶面板、有机el显示器等构成。操作单元206接受用户操作。操作单元206例如由触摸面板、键盘、指点设备等构成。解码单元208对视频数据进行解码处理。本实施例描述了解码单元208是使用专用逻辑电路而实现的示例。然而,解码单元208可以通过控制单元201基于计算机程序控制客户端101整体而实现。通信单元209控制无线lan接口210,以控制各种通信处理。210代表无线lan接口。在本实施例中,经由无线lan接口进行无线lan通信。然而,本发明不限于这种方法,并且可以经由有线lan接口或公共移动通信接口进行通信。另外,本实施例不限于这些通信方法,并且可以使用诸如bluetooth(注册商标)等的其它无线通信方法进行通信。在本实施例中,显示视频数据的显示单元205包括在作为客户端101的构成元件的一个硬件中。然而,外部显示装置可以经由接口连接到客户端101。例如,即使显示单元205是设置有经由hdmi(注册商标)等连接到显示单元205的显示器、电视机等的显示功能的装置,本实施例也是可应用的。图4是示出客户端101的功能构造的示例的框图。注意,在本实施例中,下述功能块的功能是通过控制单元201的cpu(未示出)执行存储在存储单元202的存储器(未示出)中的软件程序(计算机程序)而实现的。各个功能块的部分或全部可以作为硬件而实现。在图4中,通信控制单元301使用通信单元209控制通信。显示控制单元302使用显示单元205显示已经被施行了通过渲染处理单元314进行的渲染处理的全向视频数据。显示控制单元302显示用于接受用户操作的ui(userinterface(用户界面))。显示单元205向用户显示提供与是否观看全向视频数据有关的选项、提供对话或提供其它消息的按钮。操作控制单元303控制操作单元206,以接受用户操作。存储控制单元304控制存储单元202,以存储或删除诸如被处理过的数据、视频数据等的数据。tcp/ip通信控制单元305使用通信单元209,以控制与服务器102的根据tcp/ip(transmissioncontrolprotocol/internetprotocol(传输控制协议/因特网互联协议))方法的通信。尽管本实施例描述了采用tcp/ip通信的示例,但是协议不限于tcp/ip,并且可以采用udp(userdatagramprotocol(用户数据报协议))。段分析单元306解码作为从服务器102获取的多个视频数据的段。播放列表分析单元307分析写在从服务器102获取的mpd文件中的播放列表。用于在预定时间点访问特定的段的url(uniformresourcelocator(统一资源定位符))写在播放列表中。另外,诸如指示段是否是全向视频数据的识别符、应用于特定段的投影方法、段的视角等的信息可以写在mpd文件中。尽管在本实施例中与段有关的信息写在播放列表中并给予用户,但是本实施例不限于该方法。例如,该参数可以通过分析诸如html文件或javascript文件而获取。http/2通信处理单元308进行http/2(hypertexttransferprotocolversion2(超文本传输协议版本2))中规定的针对客户端的通信处理。http/2通信处理单元308向服务器通知推送指令。推送指令是使客户端和服务器进行与服务器的推送行为有关的协商的已知过程。推送策略的细节写在accept-push-policyheaderfield(https://tools.ietf.org/html/draft-ruellan-http-accept-push-policy-02)中。客户端101名称为“accept-push-policy”的头字段将发送到服务器102。客户端对头字段设定针对客户端而言优选的服务器行为,并且发送头字段。响应于从客户端接收的推送策略,服务器将由服务器选择的服务器行为设定成名称为“push-policy”的头字段。在本实施例中,客户端101使用名称为“accept-push-policy”的头字段作为用于请求推送策略的http请求。然而,头字段的名称不限于该名称。另外,“accept-push-policy”可以包括一个或多个推送策略。再现控制单元309使用解码单元208对所接收的段进行解码处理。能力获取单元310获取与客户端101的处理能力有关的信息。客户端101的处理能力包括例如客户端101能够执行渲染处理的全向视频数据投影方法、允许在显示单元205上显示的视角、与诸如画面大小等的显示处理有关的信息等。由能力获取单元310获取的能力信息不限于以上示出的这些,并且可以包括使全向视频数据再现所需的其它获取信息。关注区域获取单元312获取全向视频数据中的将要通过客户端101观看的关注区域。关注区域获取单元312可以使用极坐标获取关注区域,或者可以获得在已经进行了对二维平面的投影处理之后的区域在二维平面上的坐标。可选地,可以将由服务器102推荐的关注区域确定为将要由客户端101获取的关注区域。由服务器102推荐的区域可以是由服务器选择的区域,或者可以是供许多用户观看的区域。推送指令生成单元313生成客户端101向服务器102提供的推送指令的内容。稍后将参照图7描述由推送指令生成单元313生成的用于请求全向视频数据的推送指令的示例。渲染处理单元314基于投影方法对所获取的段进行渲染处理,以恢复全向视频数据。推送响应分析单元315分析推送响应,并且获取指示从服务器102推送的段是否是全向视频数据的信息。另外,推送响应分析单元315分析推送响应,并且获取区域信息和与对应于将要从服务器102推送的段有关的投影方法的信息。(服务器)图5是示出服务器102的硬件构造的示例的框图。在图5中,控制单元401是全面控制服务器102的操作的中央处理单元(cpu),并且经由系统总线411控制构成单元(402和405至409)。存储单元402是存储和管理各种数据的存储装置。存储单元402例如由诸如硬盘或ssd等的存储装置、ram、rom等构成。显示单元405在控制单元401的控制下进行各种显示。显示单元405例如由液晶面板、有机el显示器等构成。操作单元406接受用户操作。操作单元406例如由触摸面板、键盘、指点设备等构成。摄像单元407是拍摄视频数据的摄像装置。摄像单元407例如使用ccd(chargecoupleddevice(电荷耦合器件))传感器等而实现。编码单元408对视频数据进行编码处理。本实施例描述了编码单元408是使用专用逻辑电路而实现的示例。然而,编码单元408可以通过控制单元401基于计算机程序控制服务器102整体而实现。通信单元409控制有线lan接口410,以控制各种通信处理。410代表有线lan接口。本实施例描述了通信控制单元控制有线lan接口的示例。然而,本发明不限于这种方法,并且可以经由无线lan接口或公共移动通信接口进行通信。另外,本发明不限于这些通信方法,并且可以使用诸如bluetooth(注册商标)等的其它通信方法进行通信。另外,尽管本实施例描述了服务器102拍摄视频数据的示例,但是服务器102可以从其它装置获取全向视频数据。另外,尽管本实施例描述了使用由单个服务器装置获取的视频数据的示例,但是本发明不限于这种方法,并且服务器102可以基于从多个装置获取的视频数据生成视频数据。可选地,服务器102可以从其它装置获取基于从多个装置获取的视频数据而生成的视频数据。尽管在本实施例中服务器102包括编码单元408,但是服务器102可以从其它装置获取编码数据。图6是示出服务器102的功能构造的示例的框图。在图6中,通信控制单元501使用通信单元409控制通信。显示控制单元502可以使用显示单元405显示用于接受用户操作的ui。操作控制单元503控制操作单元406,以接受用户操作。tcp/ip通信控制单元505使用通信单元409,以控制与客户端101的tcp/ip通信。尽管本实施例描述了采用tcp/ip通信的示例,但是本发明不限于这种方法,并且可以采用udp和udp。http/2通信单元506进行作为http/2中规定的服务器的通信处理。http/2通信单元506将由推送响应生成单元512生成的推送响应添加到http,并且发送http响应。当向客户端发送推送响应时,http/2通信单元506使用名称为“push-policy”的头字段。服务器102将“push-policy”头添加到对http请求的响应,http请求包括从客户端101接收的“accept-push-policy”头字段。服务器102将对客户端101的推送响应写入“push-policy”头字段。在本实施例中,“push-policy”头字段用于将推送响应添加到http响应。然而,本发明不限于这种方法,并且可以使用其它头,或者可以在响应主体中包括推送响应。段生成单元507通过由投影处理单元510进行的投影处理而得到的全向视频数据,生成将要向客户端101发送的段。对于对单个全向视频数据进行投影处理而得到视频数据,段生成单元507可以生成具有多种不同比特率和分辨率的段。另外,对于使用不同投影处理方法分别投影的多个视频数据中的各个视频数据,段生成单元507可以生成段。注意,由服务器102发送的段可以是由其它装置生成的段。播放列表生成单元508生成供客户端使用以获取视频数据的播放列表。用于在特定时间点访问特定段的url写在播放列表中。另外,指示使特定段投影所采用的摄像方法的信息、指示段的视角的信息等写在播放列表中。尽管在本实施例中与各个层有关的段信息写在播放列表中,但是本发明不限于这种方法。该信息可以写在html文件或javascript文件中。注意,由服务器102发送的播放列表可以由其它装置生成。推送指令分析单元509分析附加到从客户端接收的请求的推送指令的内容。从客户端接收的推送指令包括针对客户端能够处理的全向视频数据的投影方法、客户端的视角、客户端的画面区域等。注意,推送指令分析单元509还分析在dashwithserverpushandwebsockets(23009-6)等中规定的推送指令。投影处理单元510进行用于将由摄像单元407拍摄的视频数据投影到二维平面上的处理。注意,服务器102可以对全向视频数据应用多种投影处理方法,以生成单独的视频数据。另外,服务器102可以使用已经被施行了由其它装置进行的投影处理的视频数据。片段选择单元511基于从客户端101接收的推送指令,选择将要推送的初始化片段和媒体片段。尽管本实施例描述了选择初始化片段和媒体片段的示例,但是可以仅选择初始化段。推送响应生成单元512生成对从客户端接收的推送指令的响应。推送响应生成单元512响应于从客户端接收的推送指令,描述与将要从服务器102推送的段有关的信息。稍后将参照图9描述推送响应的具体示例。(推送指令)图7是示出由客户端101生成的推送指令的示例的图。注意,该实施例所示的推送指令是示例,并且推送指令的内容、语法和注释不限于示例中的那些。901代表包括针对全向视频数据的推送请求的推送指令的示例。使用该指令,客户端101能够指示服务器102推送全向视频数据。“urn:mpeg:dash:fdh:201x:push-fast-start”是指示该推送指令通过由mpeg-dash方案指示的版本所支持的识别符。该识别符指示推送指令附加于mpd请求。注意,识别符并非必须以这种方法表示。“format=“vr””是指示服务器102推送全向视频数据的推送指令。注意,指示服务器102推送全向视频数据的推送指令并非必须使用“format”或“vr”来表示。例如,可以使用“media=“vr””或“format=“omnidirectional””来指定该指令。注意,指示右眼用数据、左眼用数据或立体用数据的识别符可以写在针对全向视频数据的推送请求中。在该情况下,指定“format=“vr,stereoscopic””的指令是指示服务器102推送立体用数据的推送指令。注释“format=“vr,right,left””表示用于推送右眼用数据和左眼用数据两者的推送指令。用于推送全向视频数据的推送指令可以使用诸如如下的各种标准规范中规定的标识符、识别符和参数表示:-omnidirectionalmediaapplicationformat(23000-20);和-dashwithserverpushandwebsockets(23009-6)。902代表指定全向视频数据投影方法的推送指令的示例。通过指定投影方法,客户端101能够指示服务器102应用客户端能够处理的投影方法。结果,客户端101能够提高其可能从服务器102接收到客户端101能够再现的全向视频数据的段的可能性。可以指定多种投影方法,或者可以仅指定一种投影方法。“projection_type=“cube,equirectangular””是指定客户端所支持的全向视频数据投影方法的识别符。该示例示出了客户端支持立方体投影方法和等距矩形投影方法。注意,指定客户端所支持的全向视频数据投影方法的识别符并非必须以这种方法表示。例如,识别符并非必须表示为“projection_type”,并且可以以其它方法表示,例如通过使用“projection”或“mapping”表示。另外,客户端所支持的全向视频数据投影方法并非必须表示为诸如“cube”或“equirectangular”等的投影方法的特定名称。例如,可以预先定义分别与投影方法对应的数字,诸如“equirectangular:0”、“cube:1”和“pyramid:2”等,并且可以向服务器102通知该数字。也就是,可以将投影方法指定为“projection_type=“0,1””等。尽管在本实施例中指定了投影方法,但是可以额外指定投影后的图形的区域。例如,如果在长方体上进行投影,则可以添加指示长方体的面的信息。将该信息表示为例如“projection_type=“cube,front””。在这种情况下,客户端对指示服务器推送投影到长方体的正面上的段作出请求。尽管在本实施例中指定了“front”,但是可以对长方体的六个面分别分配值或识别符,并且可以指定该值或识别符。例如,如果对“front”分配“0”或“f”,则可以将区域表示为例如“projection_type=“cube,0””或“projection_type=“cube,f””。注意,可以使用在诸如如下的各种标准规范中规定的标识符、识别符、参数等来表示投影方法的类型和用于指定针对各个投影方法的不同区域的方法:-omnidirectionalmediaapplicationformat(23000-20);和-dashwithserverpushandwebsockets(23009-6)。903代表指定全向视频数据的关注区域的推送指令的示例。通过指定关注区域,客户端能够提高其可能接收到用户所期望的关注区域的段的可能性。“vr_view=“180,90””是由180°的方位角和90°的仰角指定的关注区域的推送指令。尽管在本实施例中发送方位角和仰角以该顺序排列的推送指令,但是角度并非必须以该顺序排列。在这种情况下,从由服务器规定的原点(0°)起至180°的方位角和从由服务器规定的原点(0°)起至90°的仰角指定关注区域。尽管对由903代表的示例给予了两个值,即方位角和仰角,但是并非必须以这种方法指定关注区域,并且可以设置四个值,即方位角的起点、方位角的终点、仰角的起点和仰角的终点。例如,可以将关注区域表示为“vr_view=30,180,-20,90”。该注释表明如下推送指令:请求由30°至180°的方位角和-20°至90°的仰角指定的全向视频数据。注意,以上注释不是能够用于提供四个值的仅有注释。另外,尽管在本实施例中设置了两个值,即方位角和仰角,但是本发明不限于这种方法,并且可以设置方位角或仰角中的任一值。如果将要仅设置方位角,则可以使用例如注释“vr_view=h_fov=180”指定从由服务器规定的原点(0°)起的方位角,或者可以使用例如注释“vr_view=h_fov,-30,180”指定方位角的起点和方位角的终点。注意,使用vr_view,h_fov等的注释不限于这种方法。如果将要仅设置仰角,则可以使用例如注释“vr_view=v_fov=90”指定从由服务器规定的原点(0°)起的仰角,或者可以使用例如注释“vr_view=v_fov,-20,90”指定仰角的起点和方位角的终点。注意,使用vr_view,v_fov等的注释不限于这种方法。另外,尽管在本实施例中使用方位角和仰角的组合来指定关注区域,但是并非必须以这种方法指定关注区域,并且可以通过从绕着x旋转轴线、y旋转轴线和z旋转轴线(偏转、俯仰和滚转)旋转的角度中选择一个或多个参数来指定关注区域。从绕x,y和z旋转轴(偏转、俯仰和翻滚)的旋转角度。例如,可以通过“vr_view=yaw=90,pitch=90,roll=90”指定关注区域。可选地,可以使用像素在画面中的相对坐标来指定关注区域。例如,可以使用注释“vr_view=0,0,640,480”。在这种情况下,当全向视频数据被投影到二维平面上时,作出推送指令,以请求例如包括从左上坐标点开始的640×480像素的区域的段。另外,可以使用在诸如如下的各种标准规范中规定的且指定全向视频数据的区域的标识符、识别符、参数等来表示关注区域:-omnidirectionalmediaapplicationformat(23000-20);和-dashwithserverpushandwebsockets(23009-6)。另外,尽管在本实施例中客户端101指定方位角和仰角,但是客户端可以发出推送指令,使得客户端101能够获取由服务器推荐的区域。例如,可以使用注释“vr_view=optimalviewpoint”。结果,能够指示服务器发送服务器期望将要通过客户端观看的关注区域。注意,可以指定多个关注区域。904代表针对全向视频数据的推送请求和指定全向视频数据投影方法的推送指令的组合的示例。在904中,通过“format=“vr””作出针对全向视频数据的推送请求,通过“projection_type=“cube,equirectangular””指定投影方法。905代表请求全向视频数据的推送指令和指定全向视频数据的关注区域的推送指令的组合的示例。在905中,通过“format=“vr””作出全向视频数据的推送请求,通过“vr_view=“180,90””指定由180°的方位角和90°的仰角限定的关注区域。906代表包括指定全向视频数据投影方法的推送指令和指定全向视频数据的关注区域的推送指令的示例。在906中,通过“projection_type=“cube,equirectangular””指定投影方法,通过“vr_view=“180,90””指定由180°的方位角和90°的仰角限定的关注区域。注意,可以针对各个投影方法指定全向视频数据的关注区域。例如,可以使用注释“projection_type=“cube,equirectangular”;vr_view=“cube,front,equirectangular,360,180””。在这种情况下,关于投影到长方体上的段,作出指令,使得将要推送位于正面的段,并且使得通过等距矩形投影方法投影的段包括由360°的方位角和180的仰角指定的整个区域。另外,可以针对某一投影方法指定关注区域,并且可以不针对其它投影方法指定关注区域。例如,可以使用注释“projection_type=“cube,equirectangular”;vr_view=“cube,front,equirectangular””。在这种情况下,关于投影到长方体上的段,向客户端101通知如下事实:将要推送位于正面的段的事实,以及将要推送包括由180的段角(segmentangle)限定的、通过等距矩形投影方法投影的整个区域的段的事实。907代表包括针对全向视频数据投影方法的推送请求的推送指令、指定全向视频数据投影方法的推送指令以及指定全向视频数据的关注区域的推送指令的组合的示例。如904至907所示,通过组合多个推送指令,能够进一步提高客户端可能接收到适于客户端的全向视频数据的段的可能性。908代表请求服务器102不推送全向视频数据而发送二维全向视频数据段的推送指令的示例。因而,能够向服务器102明确地通知客户端不支持全向视频数据再现的事实。“format=“2d””是请求服务器102不推送全向视频数据并发送二维视频数据段的推送指令。注意,以上注释不是请求服务器102不推送全向视频数据并推送二维视频数据的仅有注释。可以使用在诸如如下的各种标准规范中规定的标识符、识别符、参数来表示对发送二维视频数据段作出请求的指令:-omnidirectionalmediaapplicationformat(23000-20);和-dashwithserverpushandwebsockets(23009-6)。注意,如果全向视频数据是通过将多个移动图像拼接在一起而生成的,则二维视频数据段可以是未拼接在一起的多条运动数据中的任意一条。(mpd文件)图8是示出服务器102向客户端101发送的mpd文件的示例的图。基于从服务器102接收的段的url和mpd文件的内容,客户端101确定所接收的段是否是全向视频数据。客户端101还基于已经从服务器102接收的段的url和mpd文件的内容,确定投影方法和关注区域。1101代表示出了该段是全向视频数据的mpd文件的示例。在1102中,supplementalproperty被给予“schemeiduri”,因而客户端101能够理解在adaptationset中指定的段是全向视频数据。1103代表mpd文件的另一示例。该示例示出了已经使用cube投影方法处理的、包括在所给定的adaptationset中的段,并且该示例包括由180°的方位角和120°的仰角限定的范围内的视频数据(1104)。这里介绍的mpd文件中的注释是示例,并且mpd文件中的注释不限于这些示例。基于已经推送的段的url和mpd文件,客户端101确定所推送的段的投影处理方法、已经被处理过的段所利用的投影方法。(推送响应)图9示出了由服务器102生成的推送响应的示例。注意,在实施例所示的推送响应是示例,并且推送响应的内容、语法和注释不限于示例中的那些。1201代表向客户端101通知全向视频数据的传输的推送响应的示例。利用该推送响应,能够向客户端101通知将要向客户端101推送的段是全向视频数据的事实。“urn:mpeg:dash:fdh:201x:push-fast-start”是指示该推送响应由相关mpeg-dash方案指示的版本所支持的识别符。该识别符指示分配给该识别符的mpd响应被分配给推送响应。“format=“vr””是向客户端101通知将要推送全向视频数据的事实的推送响应。注意,并非必须使用以上注释表示向客户端101通知全向视频数据的推送传输的推送响应。注意,指示右眼用数据、左眼用数据或立体用数据的识别符可以写在针对全向视频数据的推送请求中。在该情况下,指定“format=“vr,stereoscopic”的响应用于推送立体用数据的推送响应。注释“format=“vr,right,left””表示用于推送右眼用数据和左眼用数据两者的推送响应。用于推送全向视频数据的推送响应可以使用诸如如下的各种标准规范中规定的标识符、识别符和参数表示:-omnidirectionalmediaapplicationformat(23000-20);和-dashwithserverpushandwebsockets(23009-6)。在接收到诸如由1201所示的推送指令时,服务器102可以推送使用一种投影方法生成的多个段,或者使用多种投影方法生成的多个段。另外,服务器102可以推送包括特定关注区域的段,或者选择并推送包括全向视频数据的整个区域的段的组合。1202代表向客户端101通知全向视频数据投影方法的推送响应的示例。通过被通知投影方法,客户端能够在不分析mpd的情况下辨别与被推送的段对应的投影方法。结果,能够缩短使视频数据再现之前所需的时间。“projection_type=“cube,equirectangular””是指示与从服务器102推送的段对应的全向视频数据投影方法的识别符。该示例示出了将要推送使用立方体投影方法和等距矩形投影方法生成的段。注意,指定从服务器102推送的全向视频数据的投影方法的识别符并非必须以这种方法表示。另外,将要从服务器102推送的全向视频数据的投影方法并非必须表示为诸如“cube”或“equirectangular”等的投影方法的特定名称。例如,可以预先定义分别与投影方法对应的数字,诸如“equirectangular:0”、“cube:1”和“pyramid:2”等,并且可以向服务器102通知该数字。也就是,可以将投影方法指定为“projection_type=“0,1””等。尽管在本实施例中指定了投影方法,但是可以额外指定投影后的图形的区域。例如,如果在长方体上进行投影,则可以添加指示长方体的面的信息。将该信息表示为例如“projection_type=“cube,front””。在这种情况下,该信息意味着将要推送被投影到长方体的正面上的区段。尽管在本实施例中指定了“front”,但是可以对长方体的六个面分别分配值或识别符,并且可以指定该值或识别符。例如,如果对“front”分配“0”或“f”,则可以将该区域表示为例如“projection_type=“cube,0””或“projection_type=“cube,f””。注意,可以使用在诸如如下的各种标准规范中规定的且指示全向视频数据投影方法和区域的识别符、参数等来表示投影方法的类型和用于辨别各个投影方法的不同区域的方法,并且注意,表示全向视频数据投影方法和区域:-omnidirectionalmediaapplicationformat(23000-20);和-dashwithserverpushandwebsockets(23009-6)。在接收到诸如由1202所示的推送指令时,服务器102可以推送包括特定关注区域的段,或者选择并推送包括全向视频数据的整个区域的段的组合。1203代表指示全向视频数据的将要被推送的区域的推送响应的示例。“vr_view=“=180,90””是推送由180°的方位角和90°的仰角指定的关注区域的推送响应。尽管在本实施例中发送方位角和仰角以该顺序排列的推送指令,但是角度并非必须以该顺序排列。在这种情况下,从由服务器102规定的原点(0°)起至180°的方位角和从由服务器102规定的原点(0°)起至90°的仰角指定关注区域。尽管在本实施例中设置了两个值,即方位角和仰角,但是并非必须以这种方法指定关注区域,并且可以设置四个值,即方位角的起点、方位角的终点、仰角的起点和仰角的终点,来指定关注区域。例如,可以将关注区域表示为“vr_view=30,180,-20,90”。该注释表明如下推送响应:推送由30°至180°的方位角和-20°至90°的仰角指定的全向视频数据。注意,该注释不是能够用于提供四个值的仅有注释。另外,尽管在本实施例中设置了两个值,即方位角和仰角,但是本发明不限于这种方法,并且可以设置方位角或仰角中的任一值。如果将要仅设置方位角,则可以使用例如注释“vr_view=h_fov=180”指定从由服务器规定的原点(0°)起的方位角,或者可以使用注释“vr_view=h_fov,-30,180”指定方位角的起点和方位角的终点。注意,使用vr_view,h_fov等的注释不限于这种方法。如果将要仅设置仰角,则可以使用例如注释“vr_view=v_fov=90”指定从由服务器规定的原点(0°)起的仰角,或者可以使用注释“vr_view=v_fov,-20,90”指定仰角的起点和方位角的终点。注意,使用vr_view,v_fov等的注释不限于这种方法。另外,尽管在本实施例中使用方位角和仰角的组合来指定关注区域,但是并非必须以这种方法指定关注区域,并且可以通过从绕着x旋转轴线、y旋转轴线和z旋转轴线(偏转、俯仰和滚转)中选择一个或多个参数来指定关注区域。例如,可以通过“vr_view=yaw=90,pitch=90,roll=90”指定关注区域。可选地,可以使用像素在画面中的相对坐标来指定关注区域。例如,可以使用注释“vr_view=0,0,640,480”。在这种情况下,当全向视频数据被投影到二维平面上时,作出推送指令,以请求例如包括从左上坐标点开始的640×480像素的区域的段。另外,可以使用在诸如如下的各种标准规范中规定的且指定全向视频数据的区域的参数来指定关注区域:-omnidirectionalmediaapplicationformat(23000-20);和-dashwithserverpushandwebsockets(23009-6)。在接收到诸如由1203所示的推送指令时,服务器102可以推送使用一种投影方法生成的多个段,或者使用多种投影方法生成的多个段。1204代表推送全向视频数据的推送响应和向客户端101通知全向视频数据的投影方法的推送响应的组合的示例。1205代表推送全向视频数据的推送响应和指定全向视频数据的关注区域的推送响应的组合的示例。1206代表向客户端101通知将要推送的全向视频数据的投影方法的推送响应和向客户端101通知全向视频的关注区域的推送响应的组合的示例。注意,可以针对各个投影方法指定全向视频数据的关注区域。例如,可以使用注释“projection_type=“cube,equirectangular”;vr_view=“cube,front,equirectangular,360,180””。在这种情况下,关于投影到长方体上的段,向客户端101通知如下事实:将要推送位于正面的段的事实,以及将要推送包括由360°的方位角和180的仰角限定的、通过等距矩形投影方法投影的整个区域的段的事实。另外,可以针对某一投影方法指定关注区域,并且可以不针对其它投影方法指定关注区域。例如,可以使用注释“projection_type=“cube,equirectangular”;vr_view=“cube,front,equirectangular””。在这种情况下,关于投影到长方体上的段,向客户端101通知如下事实:将要推送位于正面的段的事实,以及将要推送包括由180的段角限定的、通过等距矩形投影方法投影的整个区域的段的事实。1207代表向客户端101通知将要推送全向视频数据的推送响应、向客户端101通知将要推送的全向视频数据的投影方法的推送响应以及向客户端101通知将要推送的全向视频数据的关注区域的推送响应的组合的示例。尽管本实施例描述了作为推送响应发送“urn:mpeg:dash:fdh:201x:push-fast-start”的示例,但是本发明不限于这种方法,并且作为推送响应可以发送其它信息。例如,推送响应中可以包括将要推送的段的url列表,或者可以包括作为将要推送的多个段的模板的url模板。1208代表向客户端101通知将不推送全向视频数据而将要推送二维视频数据段的事实的推送响应的示例。因而,能够向客户端101明确地通知不支持全向视频数据再现的事实。“format=“2d””代表推送响应通知客户端101将不推送全向视频数据而将推送二维视频数据段的事实。注意,以上注释不是用于通知客户端101将不推送全向视频数据而将推送二维视频数据的仅有注释。可以使用在诸如如下的各种标准规范中规定的标识符、标识符和参数来表示对发送二维视频数据段作出请求的推送指令:-omnidirectionalmediaapplicationformat(23000-20);和-dashwithserverpushandwebsockets(23009-6)。(客户端的操作)接下来,将描述具有上述构造的根据本实施例的客户端101和服务器102的操作。首先,将参照图10a和图10b详细描述客户端101的操作。图10a和图10b是示出由客户端101进行的操作过程的流程图。通过客户端101的控制单元201根据计算机程序控制整个装置,来执行图10a和图10b中的各个步骤。客户端101的能力获取单元310确定客户端101是否能够再现全向视频数据(s601)。客户端101可以确定客户端101是否能够再现全向视频数据,或者确定是否有必要响应于用户操作来再现全向视频数据。如果客户端101能够再现全向视频数据(在s601中为“是”),则客户端101进行到s602,如果客户端101不能再现全向视频数据(在s601中为“否”),则客户端101进行到s618。在s602中,客户端101的能力获取单元310获取能够由客户端101处理的全向视频数据投影方法。在这里,能力获取单元310可以选择能够由客户端处理的多种投影方法中的至少一种或所有。如下所述,在s606中,客户端101向服务器102通知所选择的投影方法。如果选择了多种投影方法并向服务器102通知它们,则更可能的是,服务器102可能推送能够由客户端处理的投影方法生成的段。接下来,客户端101的能力获取单元310获取与客户端101的显示能力有关的信息(s603)。将要由能力获取单元310获取的显示能力包括但不限于例如客户端101能够在显示单元205上显示数据的视角和客户端101的画面的分辨率。接下来,客户端101的关注区域获取单元312获取客户端101的关注区域(s604)。接下来,客户端101的推送指令生成单元313生成用于获取全向视频数据的推送指令(s605)。推送指令的内容如上参照图7所述。使用在s602、s603和s604中获取的一些信息或所有信息生成推送指令。如果将要使用在s602、s603和s604中获取的一些信息,则能够省略用于获取将不使用的信息的步骤。例如,如果将要仅向服务器102通知能够处理的全向视频数据投影方法,则能够省略s603和s604。另外,由推送指令生成单元313生成的推送指令可以是请求全向视频数据的推送指令。如果是这样,则能够省略s602至s604中的处理。尽管在本实施例中由推送指令生成单元313生成的推送指令包括与全向视频数据的获取有关的多条信息,但是信息不限于此。例如,推送指令可以通过组合诸如指定视频数据/音频数据的推送指令、指定期望比特率的推送指令等的多个推送指令而生成。接下来,客户端101的http/2通信处理单元308发送附加了由推送指令生成单元313生成的推送指令的mpd请求(s606)。接下来,客户端101的http/2通信处理单元308接收mpd响应(s607)。接下来,客户端101的http/2通信处理单元308确定服务器102是否支持推送传输(s608)。如果来自服务器的mpd响应包括“push-policy”头字段,则http/2通信处理单元308确定出服务器102支持推送传输。如果从服务器102接收的推送响应包括“push-none”,或者包括指示服务器102不支持推送传输的内容,则推送响应分析单元315确定出服务器102不支持推送传输。另外,如果来自服务器的mpd响应中不包括“push-policy”头,则http/2通信处理单元308确定出服务器不支持推送传输。如果服务器102支持推送传输(在s608中为“是”),则客户端101进行到s609,否则(在s608中为“否”)客户端101进行到s615。在s609中,客户端101的推送响应分析单元315分析来自服务器102的推送响应,并且确定是否将要推送能够由客户端101再现的段(s609)。如果客户端101能够进行与对应于将要从服务器102推送的段的投影方法相对应的渲染处理,则推送响应分析单元315确定出客户端101能够使段再现。例如,在客户端能够处理cube投影方法的情况下,如果来自服务器的推送响应包括cube,则推送响应分析单元315确定出将要推送能够再现的段。注意,即使推送响应不包括投影方法,推送响应分析单元315也可以基于写在mpd文件中的投影方法确定与将要推送的段对应的投影方法,从而确定是否能够使段再现。如果将要推送能够再现的段(在s609中为“是”),则客户端101进行到s610,否则(在s609中为“否”),客户端101进行到s615。在s610中,客户端101的http/2通信处理单元308接收从服务器102推送的初始化段和媒体段。接下来,客户端101的渲染处理单元314对所接收的段文件进行渲染处理(s612)。在这里,渲染处理单元314基于已经推送和接收的段的url以及该段的写在mpd文件中的投影处理方法,确定全向视频数据投影方法,并且基于该方法进行渲染处理。接下来,客户端101的再现控制单元309使用显示控制单元302在显示单元205上显示全向视频数据(s613)。然后,客户端101结束处理。如果s608中的确定结果为否,或者s609中的确定结果为否,则在s615中,客户端开始获取客户端101能够再现的初始化段和媒体段。然后,客户端101进行到s612。另一方面,如果s601中的确定结果为否,则在s618中,客户端101的推送指令生成单元313不推送全向视频数据,并且生成请求推送二维视频数据的推送指令。然后,客户端101进行到s606。被进行以转移到s606的处理如上所述。如上所述,客户端101是从服务器102接收如下图像数据的信息处理装置:针对该图像数据,存在多种用于投影全向移动图像等的方法。客户端101生成作为推送图像数据的指令的推送指令、将推送指令发送到服务器102并响应于推送指令接收与从服务器102推送的图像数据相关的段。在这里,客户端101生成包括与能够由客户端101处理的投影方法有关的信息的推送指令。因此,服务器102能够将已经使用能够由客户端101处理的投影方法在二维平面上展开的图像数据分割成段,并且将该段发送到客户端101,客户端101能够接收和再现该段。如果客户端101不能再现全向图像,则客户端101生成作为推送与二维图像的图像数据相关的段的指令的推送指令(s618),并且将推送指令发送到服务器102。因此,客户端101能够根据客户端101的能力接收和再现客户端101能够再现的图像数据。另外,客户端101生成包括指示图像数据中的关注区域的信息的推送指令,并且将推送指令发送到服务器102。因此,客户端101能够接收和再现与从服务器102推送的关注区域相关的段。(服务器的操作)接下来,以下参照图11a至图11c详细描述服务器102的操作。图11a至图11c是示出由服务器102进行的操作过程的流程图。通过服务器102的控制单元401根据计算机程序控制整个装置,来执行图11a至图11c中的各个步骤。服务器102的http/2通信单元506从客户端101接收mpd请求(s701)。服务器102的推送指令分析单元509确定推送指令是否附加到mpd请求(s702)。如果mpd请求中包括“accept-push-policy”头字段,则推送指令分析单元509确定出附加了一个或多个推送指令。如果mpd请求中不包括“accept-push-policy”头字段,则推送指令分析单元509确定出无推送指令附加。如果附加了推送指令(在s702中为“是”),则服务器102进行到s703,如果未附加,则服务器102进行到s730。在s703中,服务器102的推送指令分析单元509确定推送指令是否包括与全向视频数据有关的推送指令。如果推送指令包括如下推送指令,则推送指令分析单元509确定出存在与全向视频数据有关的推送指令:-请求全向视频数据的推送指令;-指定全向视频数据投影方法的推送指令;和/或-指定全向视频数据中的关注区域的推送指令。如果存在与全向视频数据有关的推送指令(在s703中为“是”),则服务器102进行到s704,并且如果不存在与全向视频数据有关的推送指令(在s703中为“否”),则服务器102进行到s726。在s704中,服务器102的推送指令分析单元509确定推送指令是否包括指定全向视频数据投影方法的推送指令。如果包括该推送指令(在s704中为“是”),则服务器102进行到s705,如果不包括(在s704中为“否”),则服务器102进行到s716。在s705中,服务器102的段选择单元511确定是否保持根据由推送指令指定的投影方法生成的段。注意,如果段选择单元支持由客户端指定的投影方法中的至少一种,则在s705中,段选择单元可以确定出结果为“是”。如果保持了根据指定的投影方法生成的段(在s705中为“是”),则服务器102进行到s706,如果未保持(在s705中为“否”),则服务器102进行到s726。在s706中,服务器102的推送指令分析单元509确定推送指令是否包括指定全向视频数据中的关注区域的推送指令。如果推送指令包括指定关注区域的推送指令(在s706中为“是”),则服务器102进行到s707,如果不包括(在s706中为“否”),则服务器102进行到s712。在s707中,服务器102的段选择单元511确定是否保持了根据所指定的投影方法覆盖所指定的区域的段。如果保持了该段(在s707中为“是”),则服务器102进行到s708,如果未保持(在s707中为“否”),则服务器102进行到s712。在s708中,服务器102的段选择单元511选择根据所指定的投影方法覆盖所指定的关注区域的段。然后,服务器102的推送响应生成单元512生成推送响应(s709)。推送响应生成单元512生成包括区域和与由段选择单元511选择的段对应的投影方法。服务器102的http/2通信单元506发送附加有由推送响应生成单元512生成的推送响应的mpd响应(s710)。注意,可以生成并发送仅包括由服务器102选择的投影方法的mpd文件。因而,客户端101处理仅包括客户端101能够再现的段的mpd文件。结果,当客户端101分析mpd文件时,能够减轻处理负荷。接下来,服务器102的http/2通信单元506推送由段选择单元511选择的段(s711)。然后,服务器102结束处理。另一方面,在s707中为“否”的情况下,在s712中,服务器102的段选择单元511选择根据所指定的投影方法覆盖全向视频数据的整个区域的段。接下来,服务器102的推送响应生成单元512生成推送响应(s713)。推送响应生成单元512生成包括与由段选择单元511选择的段对应的投影方法的推送响应。注意,推送响应生成单元512可以在推送响应中包括与由段选择单元511选择的段对应的区域。然后,服务器102进行到s710。在s704中为“否”的情况下,在s716中,服务器102的推送指令分析单元509确定推送指令是否包括指定全向视频数据中的关注区域的推送指令。如果包括该推送指令(在s716中为“是”),则服务器102进行到s717,如果不包括(在s716中为“否”),则服务器102进行到s722。在s717中,服务器102的段选择单元511确定是否保持覆盖所指定的区域的段。如果保持了该段(在s717中为“是”),则服务器102进行到s718,如果未保持(在s717中为“否”),则服务器102进行到s722。在s718中,服务器102的段选择单元511选择覆盖所指定的区域的段。段选择单元511可以从根据多种投影方法生成的段中选择根据一种或多种投影方法生成的段。接下来,服务器102的推送响应生成单元512生成推送响应(s719)。推送响应生成单元512生成包括关注区域和与由段选择单元511选择的段对应的投影方法的推送响应。然后,服务器102进行到s710。另一方面,在s722中,服务器102的段选择单元511选择全向视频数据的覆盖整个区域的段。接下来,服务器102的推送响应生成单元512生成推送响应,该推送响应包括与由段选择单元511选择的段对应的投影方法和关注区域(s723)。然后,服务器102进行到s710。在s703中为“否”的情况下,在s726中,服务器102的段选择单元511选择二维视频数据段,诸如使用等距矩形投影方法生成的段等。接下来,服务器102的推送响应生成单元512生成向客户端101通知将要推送二维视频数据段的事实的推送响应(s727)。然后,服务器102进行到s710。另外,在s702中,如果确定出mpd请求未附加有推送指令(在s702中为“否”),则在s730中,服务器102的http/2通信单元506发送mpd文件作为响应(s730)。然后,服务器102结束处理。尽管本实施例描述了服务器102预先生成并保持与段有关的数据的示例,但是本实施例也可应用于段被实时(诸如实况分发等)生成的情况。在这种情况下,服务器102仅根据由来自客户端的推送指令指定的投影方法生成关注区域的段,这会致使处理负荷的减轻。另外,尽管本实施例中的服务器102的段选择单元511选择初始化段和媒体段,但是本实施例也可应用于仅选择并推送初始化段的情况。以下补充服务器102的操作。-当指定投影方法时当在来自客户端的推送指令中指定针对全向视频数据的多种投影处理方法时(s708和s712),可以选择与多种不同投影方法中的一种或多种投影方法对应的段。另外,当将要选择与某一投影方法对应的段时,可以选择不同比特流的多个段。另外,服务器102可以基于各个投影方法的压缩效率和文件大小,选择任意的投影方法。-当不指定投影方法时在本实施例中,如果不指定投影方法(s718和s722),则段选择单元511可以选择根据多种投影方法生成的段,或者根据单个投影方法生成的段。-当指定关注区域时在本实施例中,当指定关注区域时(s708和s718),可以从覆盖关注区域的多个段中选择一个或多个段。注意,如果所指定的关注区域跨越多个比特流,则可以选择多个比特流,并且可以推送比特流的段。另外,如果存在包括所指定的关注区域的多个段,则可以选择并发送一个或所有段。例如,当使用可伸缩编码时,能够生成覆盖整个区域的低分辨率段和覆盖关注区域的高分辨率段。如果推送覆盖关注区域的高分辨率段,则使用客户端101的用户能够以高分辨率观看关注区域。如果推送覆盖整个区域的低分辨率段,则即使当关注区域改变时,使用客户端101的用户也能够观看无缝的移动图像。通过推送高分辨率段和低分辨率段,能够实现对关注区域的高分辨率观看和在关注区域改变时对移动图像的无缝观看两者。-当不指定关注区域时在本实施例中,如果不存在指定关注区域的推送指令(s712、s722和s726),则段选择单元511可以选择用于覆盖整个区域的一个或多个段,以便。作为段选择单元511推送用于覆盖整个区域的段的结果,客户端101能够平滑地开始显示对任意关注区域的观看,并且能够将关注区域平滑地切换到另一关注区域。另外,代替选择包括整个区域的段,段选择单元511可以选择并推送由服务器推荐的区域的段。在这里,由服务器推荐的段可以是由生成全向视频数据的内容的人推荐的区域,或者是基于其他用户的访问日志所确定的供大量用户查看的区域。结果,客户端101能够实现全向视频数据的高质量观看。另外,如果推送包括全向视频数据的整个区域的段,则客户端101能够在全向视频数据的高质量观看和关注区域的观看之间平滑地切换。如上所述,服务器102是将如下图像数据推送到客户端101的信息处理装置:针对该图像数据,存在多种投影方法。在通信单元409接收到指示推送图像数据的推送指令时,服务器102控制通信单元409将与图像数据相关的段推送到客户端101。在这里,如果推送指令中包括与能够由客户端101处理的投影方法有关的信息,则服务器102控制通信单元409将使用该投影方法投影到二维平面上的图像数据的段推送到客户端101。因此,服务器102能够将已经使用能够由客户端101处理的投影方法在二维平面上展开的图像数据分割成段,并且将段发送到客户端101。(通信顺序)接下来,以下参照图12描述客户端101和服务器102之间的通信序列。客户端101的推送指令生成单元313生成用于获取全向视频数据的推送指令(m801)。该处理与在图10a的s605或s618中进行的处理类似。在m802中,客户端101将附加有推送指令的mpd请求发送到服务器102。该处理与在s606中由客户端101进行的处理和在s701中由服务器102进行的处理类似。在m803中,服务器102基于所接收的推送指令,选择将要推送的段。该处理与在s708、s712、s718、s722或s726中进行的处理类似。在m804中,服务器102生成推送响应。该处理与在s709、s713、s719、s723或s727中进行的处理类似。在m805中,服务器102将附加有推送响应的mpd响应发送到客户端101。该处理与在s710中由服务器102进行的处理和在s607中由客户端101进行的处理类似。在m806中,服务器102将初始化段推送到客户端101。该处理与在s610中由客户端101进行的处理和在s711中由服务器102进行的处理类似。在m807中,服务器102将媒体段推送到客户端101。该处理也与在s610中由客户端101进行的处理和在s711中由服务器102进行的处理类似。在m808中,客户端101渲染所接收的段。该处理与在s612中进行的处理类似。在m809中,客户端101在显示单元205上显示和再现所渲染的段。该处理与在s613中进行的处理类似。在完成基于在m802中发送的推送指令的所有段的再现之后,如果客户端101额外地接收到其它段,则客户端101再次向服务器102发送段请求和推送指令。也就是,在m810中,客户端101将附加有推送指令的段请求发送到服务器102。例如,客户端101在用户指示使内容再现时发送该段请求。接下来,服务器102将附加有推送响应的媒体段发送到客户端101(m811)。此外,服务器102将媒体段推送到客户端101(m812)。如上所述,根据本发明的实施例,客户端101使用逻辑流来控制对关注区域及其周围区域的获取。因而,能够在不消耗网络带宽的情况下进行较精确的控制。结果,能够在用户所关注的区域的视频之间无缝地切换。另外,根据本实施例,客户端101向服务器发送请求服务器推送全向视频数据的推送指令。因而,通过接收从服务器102推送的全向视频数据,客户端101能够降低再现延迟。另外,通过向服务器102提供指定客户端101能够处理的投影方法的推送指令,客户端101能够提高接收到客户端能够再现的全向视频数据的可能性。结果,即使带宽有限,也能够实现尽可能平滑的对视频的观看。此外,客户端101将关注区域发送到服务器102。因而,客户端能够提高从服务器接收到客户端所期望的区域的全向视频数据的可能性。结果,即使带宽有限,也能够实现尽可能平滑的对关注区域的视频的观看。尽管以上实施例主要描述了推送全向视频数据的示例,但是在发送除了全向视频数据(可以是静止图像)以外的图像数据的情况下,也能够获得该效果。例如,在发送使用鱼眼镜头拍摄的图像数据、使用超广角镜头拍摄的图像数据或已经去除一些区域的图像数据的部分全向图像数据的情况下,也能够获得根据本实施例的构造的效果。由于存在多种投影方法(展开方法),所以还可以说存在多种显示方法。服务器还能够使用适于客户端的投影方法将除了全向视频投影方法以外存在多种投影方法的该图像数据在二维平面上展开,并且通过接收包括与投影方法有关的信息的所发送的推送指令将该图像数据推送到客户端。尽管图7和以上实施例主要描述了向服务器102通知能够由客户端101处理的投影方法的示例,但是本发明不限于该实施例。例如,可以向服务器102由用户从能够由客户端101处理的多种投影方法中选择的投影方法。当客户端101将要请求未被施行投影处理(展开处理)的全向视频数据时,可以写入图7所示的“projection_type=“none””。当客户端101将要请求未被施行投影处理(展开处理)的全向视频数据时,客户端101可以作出没有图7所示的“projection_type”的推送请求。在这种情况下,如果服务器102接收到没有“projection_type”的推送请求,则服务器102将未被施行投影处理的全向视频数据推送到客户端101。<其它实施例>本发明还可以通过进行如下处理实现:通过该处理,可以经由网络或记录介质向系统或装置提供实现上述实施例的一个或多个功能的程序,并且系统或装置中的计算机的一个或多个处理器读出并执行该程序。本发明还可以使用实现一个或多个功能(例如asic)的电路实现。本发明不限于以上实施例,并且可以在本发明的精神和范围内作出各种改变和变型。因此,为了向公众告知本发明的范围,作出以上权利要求。本申请要求2016年9月20日提交的日本专利申请no.2016-183361的优先权,在此通过引用将其并入本文。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1