专利名称：在全景场景中导航的方法
技术领域：
本发明涉及一种在用户终端上显示的全景视频序列中导航的方法。
背景技术：
使用经由全景图像进行的交互式导航的因特网服务在过去的几年中取得了巨大的成功。利用这些服务，用户可以显著地访问并恢复来自名人场所的视觉信息，虚拟地参观城镇或博物馆，虚拟地在建筑物内部移动等等。这些服务基于被已知为IBR(基于图像的呈现)的技术，替代使用复杂的3D建模工具来构造图形模型，该技术使用来自真实世界的成像作为纹理并将这些应用于用户可以在其中导航的基本3D对象，诸如圆柱体、管状体或球体。IBR技术的主要缺点在于其仅使得能够再现静态场景。而且，几年前，出现了已知为VBR(基于视频的呈现)的技术，其中，被应用于3D对象的纹理是视频流。根据该技术，例如经由全景相机产生若干个同步的视频流，以便使用若干视点捕获整个动态场景。这些流然后被处理并应用于3D对象。用户然后可以以身临其境并且处于动作中心(at the heart of the action)的感觉在该动态场景中导航。在经由全景图像进行交互式导航的背景下，已知ICIP 2002中Carten Grunheit, Alj oscha Smolic 禾口 Thomas Wiegabd 的题 为"Efficient Representation and interactive streaming of high-resolution panoramic views，，白勺文档。i亥文档描述了其中根据来自用户的导航命令从服务器向用户终端传送全景场景的视频流的例程。全景场景的视频流是时间连续的全景图像序列。为了便于该全景视频序列的传送，将其划分为形成马赛克的预定义大小的多个不重叠视频部分。这些视频部分在前述文档中以及在本说明书的其余部分中被称为视频补丁。每个视频补丁对应于全景视频序列的一空间区域，并且展现全景视图中的一特定空间位置。视频补丁可以包括固定或可变数量的连续视频补丁。 在图1中示出了这种将全景视频序列划分至视频补丁。全景视频序列10被划分为多个视频补丁 11。在服务器中将每个视频补丁分离地编码。视频序列中被参考标号为12的部分表示该序列中的在用户终端的屏幕上显示的部分。该区域由用户终端所传送的导航命令来定义并且在本说明书下文中被称为可视区域(visibility zone) 0图2示出了重叠若干个视频补丁(被参考标号为Ila到lid)的可视区域12的示例。在此情况下，为了使用户终端可以显示部分12，服务器必须向用户终端传送至少这些4 个视频补丁。为了使用户具有身临其境的印象，需要视频补丁在用户终端的屏幕上的显示快速且流畅。为此目的，在前述文档中定义了视频补丁的预取处理。该处理在于甚至在视频补丁被包含在可视区域12中之前，在服务器处触发所述视频补丁的传送。客户端请求服务器传送与全景视图的某个区域对应的并且晚于给定展现时间戳的视频补丁，该展现时间戳是根据当前时间戳以及接收所述补丁所需的最大时间来估计的。其还包含在用户终端中不仅加载属于当前可视区域的视频补丁，而且还加载如果可视区域遵从用户导航命令沿任何方向运动可能属于当前可视区域的视频补丁。
为此目的，对于每个视频补丁 11定义被称为检测区域的区域13，如例如图3中所示的，所述区域13环绕视频补丁 11的图像部分。在该示例中，该视频补丁的图像部分的边界和其检测区域的边界在该图像部分的整个周长上被分离开距离d。一旦可视区域12进入检测区域13，将请求服务器向用户终端传送视频补丁 11的要求传送给服务器。在图4的示例中，部分12重叠六个视频补丁 Ila到Ilf的检测区域(被参考标号为13a到13f)。由此按照用户终端的请求，视频补丁 Ila到Ilf被预取到用户终端中，尽管仅仅视频补丁 Ila到Ild被部分地或全部的包括在当前的可视区域12中。用户终端中视频补丁的预取使得能够至少部分地克服用户终端的请求传送和视频补丁接收之间的等待时间。使得检测区域13的大小足够大，从而将请求足够早地传送到服务器，以便获得良好的导航速度，而无需在用户终端中预取太大数量的视频补丁(知道此后它们中的一些将永远不会显示在屏幕上)并由此使得导航的流畅度处于不利地位。实际上，检测区域的大小必须被定义以便在导航流畅度和导航速度之间获得良好折衷。导航流畅度取决于用户终端处理器的加载能力，其减小检测区域的大小(要下载更多数据)。相反，导航速度与检测区域的大小成比例(加载数据需要更多时间)。然而，该折衷不总是容易确定的。此外，导航流畅度和导航速度可能受到传输视频补丁的网络直接信道和/或传输请求的返回信道的尺寸的影响。
发明内容
本发明的一个目的是提出一种在全景视频序列中进行交互式导航的方法，其使得能够至少部分地克服前述缺点。根据本发明，提出使用至少两个不同的传送网络来向用户终端传送视频补丁。由此，本发明的目的是一种在用户终端上显示的全景视频序列中导航的方法，该全景视频序列被划分为被称为视频补丁的多个不重叠视频部分，每个视频补丁对应于全景视频序列的一区域，每个视频补丁具有预定义大小并且在所述全景视频序列中具有空间位置，根据导航命令来确定形成被称为可视区域的、在用户终端的屏幕上显示的全景视频序列的区域所需的视频补丁，其特征在于视频补丁被一部分经由第一传送网络向用户终端提供，而另一部分经由与所述第一传送网络不同的第二传送网络提供。因此，使用双网络使得能够在两个网络上分布视频补丁的传送。由此，这样的网络的拥塞风险较低。根据优选实施例，第一传送网络是通用广播网络(也被称为广播网络)，第二传送网络是个人化的广播网络。根据具体模式，第二传送网络是包括返回信道的宽带网络，并且在返回信道上传送了请求之后才经由该网络向用户终端传送视频补丁。使用这两个传送网络具有以下优点-个人化广播网络的带宽比广播网络的带宽更“廉价”，由此相对于通用广播网络而言可以以更低成本增加总网络带宽，-个人化广播网络不能使比特率对于所有用户(尤其对于远离DSLAM(数字订户线接入多路复用器)的那些用户)得到足够的保证，而广播网络使得增加该比特率成为可能。
利用本发明，由此可以考虑交互式导航服务的创建，其中，服务订户访问经由两个网络传送的视频补丁组，而非订户仅访问由网络之一提供的视频补丁。例如，在警察调查节目的情况下，订户可以在罪犯场景的全部中导航以便恢复线索，而非订户仅访问该场景的与由通用广播网络传送的视频补丁对应的更加有限区域。另一可能应用涉及在体育馆中发生的体育事件的全景重传。例如，在遇到同时发生若干项体育项目(例如，推铅球、跳高、撑竿跳、跳远等)的田径运动的重传的背景下，订户将有可能在遍及体育馆中移动以观看所述项目中的任何项目，而非订户将仅能够观看单个项目(即，在广播中传播的项目)。还可以考虑以下服务，其中，非订户能够通过整个全景场景导航，而仅有订户能够缩放到全景场景的某些部分上。对于该应用，在通用广播中传送与场景的子采样部分相对应的视频补丁，而利用个人化广播网络传送提供附加定义的视频补丁。然而，使用这样的双网络传送视频补丁可能在用户终端级创建显示问题。实际上， 视频补丁的预取时间根据用于传送该视频补丁的网络而变化，并且由此视频补丁的屏幕上显示也根据用于传送该视频补丁的网络而变化。在通用广播网络的情况下，广播所有视频补丁而无需预先请求，视频补丁在屏幕上的展现时间可能相对较短。在具有返回信道的个人化广播网络的情况下，仅仅按照用户的需要传送视频补丁，屏幕上的展示时间包括该请求向服务器的传送时间、服务器的请求处理时间、视频补丁向用户终端的传送时间、以及用户终端中用于解码并存储视频补丁的时间。注意，个人化广播网络上的传送时间可能根据网络的状态随时间而变。然后，在视频补丁预取处理中，必须考虑传送网络之间的展现时间差异。一种解决方案可以在于通过将来自较快网络的视频补丁置于缓冲存储器中以便然后将它们与来自较慢网络的视频补丁对齐，来同步视频补丁的处理。然而，该解决方案将不满足要求，这是因为其包括对抗性的动作，即，初始地预取视频补丁，然后结果延迟了显
7J\ ο根据本发明的变型，由此提出了另一种解决方案，S卩，足够早地预取来自较慢传送网络的视频补丁，从而不必延迟来自较快网络的视频补丁的显示。该结果通过以下来获得 对于每个视频补丁定义如之前所定义的检测区域，但是所述检测区域的大小根据提供所述视频补丁的传送网络而定。由较慢网络传送的视频补丁的检测区域的大小被取得大于由较快网络传送的视频补丁的检测区域的大小，从而来自较慢网络的视频补丁的预取在来自其它网络的视频补丁的预取之前开始。为此，本发明的方法还包括以下步骤-对于每个视频补丁，定义被称为检测区域的至少一个区域，其围绕所述视频补丁并且具有比所述视频补丁的大小更大的大小，所述视频补丁的检测区域的大小根据提供所述视频补丁的传送网络而定，-只要可视区域进入一视频补丁的检测区域，就在所述用户终端的存储器中要求所述视频补丁的预取，以及-只要可视区域进入所预取的视频补丁，就在用户终端的屏幕上显示所述视频补丁。在本说明书中，视频补丁的预取被理解为意味着以下操作在用户终端中接收所述视频补丁，可能解码所述视频补丁，并且将其存储在所述终端的存储器中。在传送网络包括返回信道(终端至服务器)的情况下，该预取还包括一在前步骤经由服务器传送用于触发所述视频补丁的传送的请求以及传送所述视频补丁。用于预取由广播网络提供的视频补丁的时间显著地包括将传输视频补丁的服务去多路复用、帧I (帧内编码的帧)的接收等待时间、以及视频补丁解码时间。由具有返回信道的个人化广播网络提供的视频补丁的预取时间显著地包括从用户终端到第二服务器的请求传送时间、第二服务器的请求处理时间、第二服务器和用户终端之间的视频补丁传送时间、视频补丁的图像部分的解码时间、以及用户终端中视频补丁的存储时间。根据有利实施例，由个人化广播网络传送的视频补丁以帧I开始，以便消除这种帧的等待时间。在该实施例中，尽管由个人化广播网络提供的视频补丁的预取时间不包括帧I等待时间，但是其通常仍大于由通用广播网络提供的视频补丁的预取时间。为了至少部分地补偿两种传送网络之间的预取时间差异，由个人化广播网络提供的视频补丁的检测区域的大小被取得大于由通用广播网络提供的视频补丁的检测区域的大小。根据具体实施例，图像部分的边界和检测区域的边界在图像部分的整个周长上被分离开预定距离d。根据具体实施例，每个视频补丁被编码为多层，并且为此目的包括被称为基本层的基本视频数据层、以及被称为增强层的至少一个附加视频数据层。在该实施例中，对于视频补丁的基本层和增强层中的每个定义检测区域，在可视区域进入对应的检测区域时要求基本层的预取、或增强层的预取。根据具体实施例，所述增强层的检测区域的大小在大小上不同于基本层的检测区域。增强层的检测区域涵盖例如基本层的检测区域，从而增强层的预取在基本层的预取之前开始。根据具体实施例，可视区域的阈值移动速度(被称为第一阈值速度)与基本层相关联，即，例如所述可视区域的最大授权移动速度。在该实施例中，根据所述第一阈值速度确定基本层的检测区域的大小。根据具体实施例，可视区域的移动阈值速度(被称为第二阈值速度)与每个增强层相关联，在超过该第二阈值速度时在用户终端中不预取该增强层，即使可视区域进入所述至少一个增强层的检测区域。根据具体实施例，显著地根据所述第二阈值速度确定每个增强层的检测区域的大根据有利实施例，对于未预取的每个增强层，在可视区域进入所述增强层的检测区域和可视区域退出所述检测区域之间，进行可视区域的瞬时移动速度和与所述增强区域相关联的第二阈值速度的周期性比较，如果可视区域的瞬时移动速度小于所述第二阈值速度，则要求所述增强层的预取。最后，根据另一有利实施例，对于未预取的每个增强层，在可视区域进入所述增强层的检测区域和可视区域退出所述检测区域之间，进行可视区域的瞬时移动速度和与所述增强区域相关联的第二阈值速度的周期性比较，如果可视区域的瞬时移动速度大于所述第二阈值速度，则要求停止所述增强层的预取。
将更好地理解本发明，并且在下面参考附图的详细描述中其它目的、细节、特征和优点将变得更为清楚，在附图中图1 (已经描述过)示出了将全景视频序列划分为视频补丁，图2(已经描述过)是图1的部分视图，其示出了视频序列的在用户终端的屏幕上可见的部分、以及在该可视区域中全部或部分地包含的视频补丁，图3(已经描述过)是示出了视频补丁的检测区域的视图，图4(已经描述过)是图1的部分视图，其示出了在可视区域中全部或部分地包含的视频补丁的检测区域，图5是标识经由通用广播网络传送的视频补丁和经由个人化广播网络传送的视频补丁的视图，图6是包含经由两种不同的传送网络与用户终端连接的服务器的系统，图7是示出根据视频补丁的源头网络的可变大小的检测区域的视图，图8是示出其中每个视频补丁被编码为基本层和增强层的具体实施例的视图，对于每层定义检测区域，图9是示出在可视区域进入或离开视频补丁层的检测区域时执行的操作的流程图，图10是示出对于可视区域在其检测区域中的每个层执行的操作的流程图，图11是示出相对于视频补丁的大小而进行的检测区域的大小计算的视图，以及图12是示出从具有返回信道的个人化广播网络的视频补丁的预取时间的视图。
具体实施例方式根据本发明，要在用户终端(例如，与机顶盒连接的电视)的屏幕上显示的全景视频序列被划分为多个视频补丁，这些补丁由至少两个不同的传送网络提供。这两个网络优选地为通用广播网络和具有或不具有返回信道的个人化广播网络。 通用广播网络(在下文的描述中被称为广播网络)经由无线电、卫星或电缆信道将视频广播到非常大数量的用户。个人化广播网络将视频数据广播到更有限数量的用户(例如，对使用该网络的服务的订户)。该网络在下文的描述中被称为“宽带网络”。该网络例如是具有或不具有返回信道的宽带广播网络。在下文的描述中，将考虑视频补丁被一部分经由广播网络提供，而另一部分经由具有返回信道的宽带网络提供。如果参考示出了图1的全景视频序列的图5，可以考虑例如，经由广播网络传送阴影区域的视频补丁 14，而经由宽带网络按需传送(阴影区域外部的)其它视频补丁。在图6中图解性地示出了能够实施本发明的方法的系统。系统包括服务器20，其中存储了全景视频序列。该视频序列被划分为被称为视频补丁的在空间上不重叠的视频部分。每个视频补丁对应于该视频序列的一预定义大小的矩形区域，例如n*m像素。视频补
8丁在视频序列中的空间位置例如由该视频补丁的左上像素的坐标(x，y)表示。这些视频补丁在服务器中被分离地编码。一部分视频补丁(例如，图5的视频补丁 14)被服务器20经由图6中所示的“广播”网络(经由与服务器20连接的发射器天线40和与用户终端30连接的接收器天线41) 提供给用户终端30。全景图像10的另一部分视频补丁被服务器20经由图6中所示的“宽带”网络(经由因特网50和一侧连接因特网50而另一侧连接用户终端30的连接网关51) 按需传送给用户终端30。终端30包括机顶盒31，其能够从两种传送网络接收并处理视频补丁，并且能够经由“宽带”网络向服务器20传送视频补丁传送请求。在广播网络的情况下，视频序列是连续的视频流，视频补丁也是连续流。在“宽带”网络的情况下，在服务器处按需提供视频补丁。视频补丁具有预定义的固定持续期或可变持续期。在第一种情况下(固定持续期)，在接收到视频补丁需要请求之后，预定义数量的时间连续的视频帧部分被例如传送到终端。在第二种情况下(可变持续期)，时间连续的视频帧部分的数量在被传送给服务器的视频补丁需要请求中指示，或者由视频补丁传送需要请求与需要请求向服务器的传送结束来定义。有利地，在服务器20中根据SVC(可分级视频编码)编码视频补丁。为此目的，每个视频补丁包括基本视频数据层(被称为基本层)、以及至少一个附加视频数据层(被称为增强层)。有利地，经由“广播”网络经由包括能够传输SVC视频数据层的基本流的MPEG2-TS 传输流传送视频补丁，如在文档“ ^formation Technology-Generic Coding of Moving Pictures and Audio :Systems Transport of scablable video over ITU-T Rec. H. 222. 0”IS0/IEC 13818-1，Amendment 3，2005 中描述的。此外，有利地经由“宽带”网络经由HTTP流传输视频补丁，如在2009年6月Apple 公司 R. Pantos 的文档"HTTP Live Streaming, draft-pantos-http-live-streaming-01，， 中所描述的。因此经由广播网络传输的视频补丁具有预定义的固定持续期。在这两种传输机制将相同的PCR(节目时钟参考)用于所有视频补丁来传递 TS (传输流)分组的情况下，则这两种传输机制的同步依据通常在数字电视中使用的技术。作为变型，被用于“宽带”网络的传输协议是可以与RTSP交换协议相关联的RTP/ UDP/IP 协议。对于每个视频补丁定义围绕该视频补丁的区域的至少一个检测区域。根据本发明的重要特征，由“宽带”网络提供的视频补丁的检测区域的大小大于由 “广播”网络提供的视频补丁的检测区域的大小。该特征由图7图示。图7示出了相邻的并按照2行3个视频补丁而布置的被参考标号为71a至71f的六个视频补丁。视频补丁 71a到71d被经由“广播”网络提供给用户终端，并且视频补丁 71e和71f按照请求经由“宽带”网络提供。这些视频补丁 71a到71f的检测区域在图7中分别被参考标号为73a到73f。如可以从该图中看出的，经由宽带网络提供的视频补丁的检测区域7 和73f的大小大于经由广播网络提供的视频补丁的检测区域73a到73d的大小，以便补偿服务器20的请求传送时间和请求处理、以及经由宽带网络提供的视频补丁的传送持续期。
当在图7中被参考标号为72的可视区域进入所述视频补丁的检测区域时，在机顶盒31中触发用于预取所述视频补丁的命令。在图7的示例中，假定区域72至少部分地覆盖检测区域73a到73f，触发用于预取视频补丁 71a到71f的命令。不同补丁的预取命令不被同时传送，而是根据可视区域的移动被传送。如果参考由图7中的箭头表示的移动，首先请求补丁 71a和71b，然后请求补丁 71c和71d，而最后请求补丁 71e和71f。关于视频补丁 71a到71d的帧，它们被预取在机顶盒31的存储器中，这是因为它们由广播网络传递以用于以下持续期，所述持续期扩展至所述补丁 71a到71d的帧的展现时间或至从检测区域退出。关于视频补丁 71e和71f，经由宽带网络向服务器20传送对这些视频补丁中每个视频补丁的请求，从而服务器经由宽带网络向用户终端30传送对应帧。根据有利实施例， 根据SVC模式编码由服务器20传送的视频补丁，对于要传送的每个视频补丁层定义检测区域，即对于基本层定义基本检测区域而对于每个增强层定义附加检测区域。图8中示出了该实施例。在该图中，每个视频补丁 71a到71f包括基本层和增强层。每个视频补丁 71a到 71f具有用于其基本层的检测区域(分别为730a到730f)以及用于其增强层的检测区域 (分别为731a到731f)。在该实施例中，增强层的检测区域涵盖基本层检测区域。因此，在该实施例中，在没有其它准则出现的情况下，增强层的预取可以在基本层的预取之前开始。然而，根据有利实施例，根据可视区域的移动速度V来取得对预取增强层的判定。 为了简化，在图7和8中考虑可视区域12仅沿方向X移动。然而实际上本发明的方法可以应用于可视区域12沿所有方向移动的情况。在该实施例中，用户终端30定期确定可视区域12的位置、其移动方向及其移动速度。依据图9的流程图取得对下载基本层或增强层的判定。根据该流程图，第一步骤(步骤90)在于通过请求预取可视区域出现在其检测区域中的基本层和增强层来初始化处理。这些层中的每个层的参考标号被存储在被称为 Llayers的列表中。以如下方式估计要预取的层的数据展现时间戳，使得在该层必须被展现的时刻接收到该层。然后，检验视频补丁层的检测区域的边界是否被跨越(步骤91)。如果是，则检验其是否涉及进入视频补丁层的检测区域(步骤92)。如果不是这种情况，则检验可视区域是否完全退出检测区域(步骤96)。如果是这种情况，则停止该层的预取(步骤 97)，从列表Llayers中删除该层的参考标号，并且步骤91再次开始。如果可视区域没有完全退出检测区域，则返回步骤91。如果其涉及进入一层的检测区域，则将可视区域的移动速度和与所述层相关联的预定义阈值速度相比较(步骤93)。如果可视区域的移动速度大于或等于阈值速度，则不预取所述层并且在列表Llayers中添加该层的参考标号(步骤95)， 并且步骤91再次开始。如果可视区域的移动速度小于阈值速度，则触发与所述检测区域相关的层的预取(步骤94)，然后其再次在步骤91开始。根据该方法，仅仅在可视区域的移动速度小于与一增强层相关联的阈值速度(其例如是每秒几百像素)的情况下才触发该增强层的预取。实际上，如果可视区域移动非常快，则不需要触发增强层的预取，这是由于该层将不提高用户体验。然而，通过将用于基本层的阈值速度固定为大于或等于可视区域的最大移动速度，将基本层的预取设计为而不论可视区域的移动速度是什么都系统地触发。如果视频补丁包括若干个增强层，例如中间层(中间级)和高层(高级)，有利地对于这两个增强层中的每一个定义阈值速度，中间层的阈值速度优选地大于高层的阈值速度。在可视区域进入基本层的检测区域之后，存在以下必然性视频补丁基本层的预取已经被触发，这是因为无论可视区域的移动速度是什么(基本层的阈值速度大于可视区域的最大移动速度)该层的预取都发生。然而，如果在进入增强层的检测区域的时刻处可视区域的移动速度大于相关联的阈值速度，则这些增强层的预取可能未被触发。但是，在可视区域在基本层的检测区域中移动期间，移动速度可能已经改变。例如，在可视区域进入一增强层的检测区域与其退出该检测区域之间，所述可视区域的移动速度可能已经降低，并且可能已经过渡到与增强层相关联的阈值速度之下。然后在屏幕上可以看到在所显示的视频数据中缺少增强层(低分辨率)。根据有利实施例，提供周期性的检验处理，以便根据可视区域的瞬时移动速度来适配要预取的增强层的数量。该处理在图10中示出，并且应用于可视区域在其检测区域中展现的层(即，在之前定义的列表Llayers中被参考标号的层)中的每个层。根据步骤100，检验该层的预取是否正在进行。如果是这种情况，则存在延迟步骤 (步骤101)，也就是说，暂停检验处理以等待所请求的时间戳(持续期tempol)以到达该层的预取结束，然后检验预取已经结束(步骤102)。对于预取已经被触发的层，持续期tempol 表示在检验该层是否准备好展现之前的等待时间。该延迟的值是该层的展现时间戳和当前时间戳之间的差。如果由于可视区域的移动速度大于该层的阈值速度而尚未触发该层的预取，则存在持续期tempo2的延迟步骤(步骤104)，然后将可视区域的移动速度与该层的阈值速度进行比较(步骤105)。如果可视区域的移动速度大于阈值速度，则返回步骤104。如果不大于，则作出预取请求(步骤106)，然后其进行到步骤101。对于预取尚未被触发的层，持续期tempo2表示可视区域的移动速度与该层的阈值速度的两次比较测试之间的时段。该时段可以从一层到另一层地不同。该时段对应于例如可视区域用来以阈值速度跨越该层的检测区域的持续期。在步骤102，如果预取结束，则返回额定模式(步骤103)，其在于在可视区域处于层的检测区域中时，对于将来的时间戳预取该层。然而，如果预取没有结束，则该层将在该层本应当被展现的时刻之后到达，因此停止正在进行的预取(步骤107)，并且该方法进行到步骤106，其在于利用将来的展现时间戳再次请求该层的预取。根据该处理，即使可视区域的移动速度已经变得小于与增强层相关联的阈值速度并且该层的检测区域仍被包括在可视区域中，如果该增强层尚未被预取，则预取所述增强层。尽管该处理主要用于增强层，其也可以同样地应用于基本层。实际上，即使只要可视区域进入基本层的检测区域就系统地触发基本层的预取，由于与网络或服务器有关的问题，在补丁本应当被展现的时刻处仍可能未接收到该补丁。该算法使得如果这样的问题出现就重新发起预取。有利地，如果可视区域的移动速度突然增加并且过渡到与增强层相关联的阈值速度之上，则可以安排用于停止该增强层的预取的处理。可以经由步骤102和102之间的测试步骤来实施该处理。为了确保基本层或增强层的预取足够早地开始，优选地将检测区域的大小适配于可视区域的移动速度。例如以如下方式计算检测区域的大小。例如考虑具有nX*ny像素的矩形的视频部分110，涵盖所述视频部分的矩形检测区域Illj具有 [nx+2Anx(j)]X[ny+2Any(j)]像素，该检测区域与视频补丁的层j相关。在图11中图示这个示例。层0涉及例如基本层，层1涉及例如中间增强层，层2涉及例如高增强层。根据具体实施例，按照以下方式计算Anx(j)Δ nx (j) ^ threshold_speed_x(j)*pre-fetching_time(j)其中threShold_Speed_X(j)表示按照每秒像素表达的根据层j的方向χ的阈值速度；并且pre-fetChing_time(j)表示获取并解码该视频补丁的层j的至少一个帧I (帧内编码的帧)的持续期。增强层的阈值速度与之前用于这些层的预取判定的阈值速度对应。基本层的阈值速度与全景场景中可视区域的授权移动的最大速度对应。视频补丁层的预取时间根据用于传送所述视频补丁层的传送网络而变化。在广播网络中，所有视频补丁被广播(无需请求)并提供给终端，在可视区域进入检测区域时该终端预取所述视频补丁。当可视区域进入一检测区域时，该视频补丁的帧I 可能不一定已经被该终端接收到，并且然后最好等待。因此，预取时间与进入检测区域和视频补丁可能在用户屏幕上重置(resituate)的时刻之间的持续期对应。该预取时间因此包含在视频补丁的展现之前的去多路复用、等待下一帧I、填充解码缓冲器、解码并存储并重新排序视频帧所需的持续期。在宽带网络中，仅仅在终端先前从服务器请求视频补丁的情况下该网络才提供该视频补丁。在此情况下，如图12所示地定义预取时间预取时间(Pre-fetching_time)= T1+T2+T3+T4其中，Tl是向服务器传送请求的持续期，T2是服务器处理请求的持续期，T3是视频补丁向终端的传送时间，以及T4是终端中视频补丁的存储和解码的持续期。T2取决于服务器，T4取决于终端。Tl和T3取决于网络的RTT(往返延迟时间)。 T3还取决于网络带宽、视频补丁的大小、以及由传送协议(HTTP、RTP等)引入的信令。因此，根据本发明，根据负责提供视频补丁的网络，定义视频补丁的检测区域的大小。此外，根据可视区域的移动速度，判定视频补丁的预取的触发和/或继续。尽管已经关于不同的具体实施例描述了发明，但是显然其绝非限制，并且其包括所描述的部件的所有技术等同物，并且如果所述技术等同物的组合落入本发明的范围之内也包括所述组合。
权利要求
1.一种在用户终端装置中在所述用户终端装置上显示的全景视频序列中导航的方法， 该全景视频序列被划分为被称为视频补丁的多个不重叠视频部分，每个视频补丁对应于全景视频序列的一区域，每个视频补丁具有预定义大小并且在所述全景视频序列中具有空间位置，根据导航命令来确定形成被称为可视区域的、在用户终端的屏幕上显示的全景视频序列的区域所需的视频补丁，所述方法的特征在于根据所述导航命令并且根据所述可视区域在所述全景视频序列中的位置，一些第一视频补丁经由第一传送网络向所述用户终端提供，而一些第二视频补丁经由与所述第一传送网络不同的第二传送网络向所述用户终端提供，所述方法的特征在于，其还包括以下步骤-对于每个所述第一和第二视频补丁，定义被称为检测区域的至少一个区域，其围绕所述视频补丁并且具有比所述视频补丁的大小更大的大小，所述视频补丁的检测区域的大小根据提供所述视频补丁的传送网络而定，-只要可视区域进入一视频补丁的检测区域，就在所述用户终端的存储器中要求所述视频补丁的预取，以及-只要可视区域进入所预取的视频补丁，就在用户终端的屏幕上显示所述视频补丁。
2.如权利要求1所述的方法，其特征在于第一传送网络是通用广播网络，第二传送网络是个人化的广播网络。
3.如权利要求2所述的方法，其特征在于第二传送网络是包括返回信道的宽带网络， 在返回信道上传送了请求之后才经由该网络向用户终端传送视频补丁。
4.如权利要求1所述的方法，其特征在于由第二传送网络提供的所述第二视频补丁的检测区域的大小大于由第一传送网络提供的所述第一视频补丁的检测区域的大小。
5.如权利要求4所述的方法，其特征在于每个视频补丁被编码为被称为基本层的基本视频数据层、以及被称为增强层的至少一个附加视频数据层；对于视频补丁的基本层和增强层中的每个定义检测区域，在可视区域进入对应的检测区域时要求基本层的预取、或增强层的预取。
6.如权利要求5所述的方法，其特征在于所述至少一个增强层的检测区域的大小大于基本层的检测区域的大小。
7.如权利要求5或6所述的方法，其特征在于可视区域的阈值移动速度与所述基本层相关联，被称为第一阈值速度，根据所述第一阈值速度确定基本层的检测区域的大小。
8.如权利要求5到6中任一项所述的方法，其特征在于可视区域的移动阈值速度与所述增强层相关联，被称为第二阈值速度，在超过该第二阈值速度时在用户终端中不预取该增强层，即使可视区域进入所述至少一个增强层的检测区域。
9.如权利要求8所述的方法，其特征在于根据所述第二阈值速度确定所述至少一个增强层的检测区域的大小。
10.如权利要求8所述的方法，其特征在于对于未预取的每个增强层，在可视区域进入所述增强层的检测区域和可视区域退出所述检测区域之间，进行可视区域的瞬时移动速度和与所述增强区域相关联的第二阈值速度的周期性比较，如果可视区域的瞬时移动速度小于所述第二阈值速度，则要求所述增强层的预取。
11.如权利要求8所述的方法，其特征在于对于未预取的每个增强层，在可视区域进入所述增强层的检测区域和可视区域退出所述检测区域之间，进行可视区域的瞬时移动速度和与所述增强区域相关联的第二阈值速度的周期性比较，如果可视区域的瞬时移动速度大于所述第二阈值速度，则要求终止所述增强层的预取。
12. 一种包括视频解码器的装置，所述装置的特征在于，其包括用于执行以下操作的部件-通过导航命令在全景视频序列上选择视频补丁， -从第一传送网络接收一些第一视频补丁，-向远程服务器发送对于从第二传送网络接收第二视频补丁的请求，所述第二传送网络是双向网络，-从第二传送网络接收一些第二视频补丁，以及 -解码并显示所述第一和第二视频补丁。
全文摘要
本发明涉及一种在用户终端上显示的全景视频序列中导航的方法。该视频序列被划分为多个不重叠视频补丁，每个视频补丁对应于视频序列的一区域。根据导航命令来确定形成被称为可视区域的、在用户终端的屏幕上显示的全景视频序列的区域所需的视频补丁。根据本发明，视频补丁被一部分经由第一传送网络向用户终端提供，而另一部分经由与所述第一传送网络不同的第二传送网络提供。
文档编号H04N21/643GK102413376SQ20111028295
公开日2012年4月11日 申请日期2011年9月22日 优先权日2010年9月22日
发明者A.劳伦特, E.高迪尔, Y.勒加莱伊斯 申请人:汤姆森特许公司