对于对象的全方位视图的视频编码的制作方法
【专利说明】对于对象的全方位视图的视频编码
【背景技术】
[0001] 除非本文另外指示，否则本部分中描述的材料并不是本申请中的权利要求的现有 技术，并且并不因为被包括在本部分中就被承认为是现有技术。
[0002] 可利用各种技术来向用户提供对通信网络中的数据和服务的电子访问，化及支持 用户之间的通信。例如，诸如计算机、电话和个人数字助理（personaldigitalassistant, PDA)之类的设备可用于通过包括互联网在内的通信网络交换信息。通信网络进而可提供到 服务器的通信路径和链路，服务器可容宿可由用户经由通信设备来访问或利用的应用、内 容和服务。内容可包括文本、视频数据、音频数据和/或其它类型的数据。
【发明内容】
[0003] 在一个方面中，本文给出的一个示例实施例提供了一种方法，包括：从与围绕=维 (3D)对象的不同3D角取向（angularorientation)相对应的多重视角的每一者生成3D对 象的相应静止图像，每个相应静止图像包括用于在显示设备上显示的相应数据，并且每个 相应静止图像是3D对象的多个静止图像之一；确定与从不同3D角取向中的一者到下一者 之间3D角取向的最小差分变化（minimallydifferentialchange)相对应的多重视角的 排序；通过与所确定的多重视角的排序相对应地对多个静止图像的相继静止图像排序来构 造静止图像的序列；W及利用视频编码器对静止图像的序列编码W生成静止图像的序列的 压缩视频格式擅染，其中静止图像的序列的压缩视频格式擅染在总数据量上小于序列的所 有静止图像的总和。
[0004] 在另一方面中，本文给出的一个示例实施例提供了一种方法，包括；响应于从计算 机设备发送到通信连接到该计算机设备的服务器的请求，由该计算机设备接收视频文件， 该视频文件包括从与围绕=维（3D)对象的不同3D角取向相对应的多重视角的每一者观 看的该3D对象的静止图像的序列的压缩视频格式擅染的视频帖；由计算机设备在计算机 设备的显示设备上的显示窗口中显示3D对象的图像；W及响应于计算机设备的用户接口 (userinte计ace)的交互式光标在被虚拟地附着到3D对象的同时在显示窗口中的一个或 多个轨迹上移动，由计算机设备对与被一个或多个轨迹横穿（transverse)的多重视角的 子集相对应的视频帖的子集进行视频处理，W便显示围绕穿过3D对象的至少一个轴的3D 对象的动画式3D角移动。
[0005] 在又一方面中，本文给出的一个示例实施例提供了一种系统，包括；一个或多个处 理器；存储器；W及存储在存储器中的机器可读指令，该些机器可读指令在被一个或多个 处理器执行时使得系统执行操作，该些操作包括：从与围绕=维（3D)对象的不同3D角取向 相对应的多重视角的每一者生成3D对象的相应静止图像，每个相应静止图像包括用于在 显示设备上显示的相应数据，并且每个相应静止图像是3D对象的多个静止图像之一，确定 与从不同3D角取向中的一者到下一者之间3D角取向的最小差分变化相对应的多重视角的 排序，通过与所确定的多重视角的排序相对应地对多个静止图像的相继静止图像排序来构 造静止图像的序列，W及利用视频编码器对静止图像的序列编码W生成静止图像的序列的 压缩视频格式擅染，其中静止图像的序列的压缩视频格式擅染在总数据量上小于序列的所 有静止图像的总和。
[0006] 在另外一方面中，本文给出的一个示例实施例提供了一种系统，包括：一个或多个 处理器，包括一个或多个视频处理器；存储器；W及存储在存储器中的机器可读指令，该些 机器可读指令在被一个或多个处理器执行时使得系统执行操作，该些操作包括：接收视频 文件，该视频文件包括从与围绕S维（3D)对象的不同3D角取向相对应的多重视角的每一 者观看的3D对象的静止图像的序列的压缩视频格式擅染的视频帖，在显示设备上的显示 窗口中显示3D对象的图像，W及响应于计算机设备的用户接口的交互式光标在被虚拟地 附着到3D对象的同时在显示窗口中的一个或多个轨迹上移动，利用一个或多个视频处理 器对与被一个或多个轨迹横穿的多重视角的子集相对应的视频帖的子集进行视频处理，W 便在显示设备上显示围绕穿过3D对象的至少一个轴的3D对象的动画式3D角移动。
[0007] 在另外一个方面中，本文给出的一个示例实施例提供了一种制品，包括计算机可 读存储介质，其上存储有程序指令，该些程序指令当被系统的一个或多个处理器执行时使 得该系统执行操作，该些操作包括：从与围绕=维（3D)对象的不同3D角取向相对应的多重 视角的每一者生成3D对象的相应静止图像，每个相应静止图像包括用于在显示设备上显 示的相应数据，并且每个相应静止图像是3D对象的多个静止图像之一；确定与从不同3D角 取向中的一者到下一者之间3D角取向的最小差分变化相对应的多重视角的排序；通过与 所确定的多重视角的排序相对应地对多个静止图像的相继静止图像排序来构造静止图像 的序列；W及利用视频编码器对静止图像的序列编码W生成静止图像的序列的压缩视频格 式擅染，其中静止图像的序列的压缩视频格式擅染在总数据量上小于序列的所有静止图像 的总和。
[000引在另外一个方面中，本文给出的一个示例实施例提供了一种制品，包括计算机可 读存储介质，其上存储有程序指令，该些程序指令当被系统的一个或多个处理器执行时使 得该系统执行操作，该些操作包括；响应于从系统发送到通信连接到系统的服务器的请求， 由系统接收视频文件，该视频文件包括从与围绕=维（3D)对象的不同3D角取向相对应的 多重视角的每一者观看的该3D对象的静止图像的序列的压缩视频格式擅染的视频帖；在 系统的显示设备上的显示窗口中显示3D对象的图像；W及响应于计算机设备的用户接口 的交互式光标在被虚拟地附着到3D对象的同时在显示窗口中的一个或多个轨迹上移动， 由系统对与被一个或多个轨迹横穿的多重视角的子集相对应的视频帖的子集进行视频处 理，W便显示围绕穿过3D对象的至少一个轴的3D对象的动画式3D角移动。
[0009] 本领域普通技术人员通过在适当时参考附图阅读W下详细描述，将清楚该些W及 其它方面、优点和替换方案。另外，应当理解，本
【发明内容】
部分和本文提供的其它描述和附 图旨在仅通过示例来例示实施例，因此许多变化是可能的。例如，在保持在如权利要求所述 的实施例的范围内的同时，可W重布置、组合、分布、消除或W其它方式改变结构元素和过 程步骤。
【附图说明】
[0010] 图1是图示出根据示例实施例的用于转体/360度旋转器的资源的视频编码的示 例方法的流程图。
[0011] 图2是图示出根据示例实施例的用于利用转体/360度视频旋转器 (swivel/360-degreespinner)显示视频编码的资源的示例方法的流程图。
[0012] 图3是根据示例实施例的示例网络和计算体系结构的框图。
[0013] 图4A是根据示例实施例的服务器设备的框图。
[0014] 图4B描绘了根据示例实施例的基于云的服务器系统。
[0015] 图5描绘了根据示例实施例的客户端设备的框图。
[0016] 图6图示了根据示例实施例的从沿着围绕3D对象的平面路径的不同视角观看3D 对象。
[0017] 图7是根据示例实施例的来自多重视角的3D对象的图像的序列的视频编码和压 缩的概念例示。
[001引图8是根据示例实施例的来自多重视角的3D对象的图像的序列的视频编码和压 缩的另一概念例示。
[0019] 图9是根据示例实施例的来自沿着穿过3D对象的不同平面中的曲线的多重视角 的3D对象的图像的序列的视频编码和压缩的概念例示。
[0020] 图10图示了根据示例实施例的围绕着3D对象的不同轨道平面的几何结构。
[0021] 图11图示了根据示例实施例的显示器中的3D对象的图像的交互式旋转。
【具体实施方式】
[0022] 转体/360度旋转器是一种交互式图形用户接口（或其工具），其功能是在显示设 备上显示=维（3D)对象，更具体地是在使得3D对象看起来被连续地（或几乎连续地）旋 转通过多种角取向时交互地操纵3D对象的显示。转体/360度旋转器可实现在诸如桌上型 计算机、膝上型计算机、智能电话、智能平板或其它客户端设备之类的计算机设备中，并且 因此可向计算机设备的用户提供交互功能。
[0023] 在实践中，可通过计算机设备的显示设备的显示器中的交互式光标来提供转体 /360度旋转器的交互能力。例如，该交互式光标可被鼠标或其它类型的物理设备接口控制。 在该种交互式光标的某些实施例中，一般而言，与转体/360度旋转器相关联的光标可包括 虚拟地"抓住"显示器中的3D对象的能力。转体/360度旋转器随后可使得3D对象看起来 响应于光标虚拟地"拖曳"3D对象经过相对于显示器的观看视角的各种角取向而W动画方 式在显示器的虚拟3D空间中旋转。其它用户接口范例可提供类似的功能，例如键盘的左右 上下箭头的使用、操纵杆或类似控制器的运动、手持设备的相对运动（例如显示图像的智 能电话的运动），等等。
[0024] 几何上来说，从特定视角观看的3D对象的表观旋转运动可等同于从如下视角观 看该3D对象；该视角W某种方式遵循着围绕3D对象的某一路径，例如轨道。例如，轨道可 位于穿过该对象或在该对象附近经过的平面中。此外，可W有多个轨道，每个在不同平面 上。不同平面可彼此平行，与相对于3D对象的不同绅度相对应。额外地或替换地，不同平 面可与相对于3D对象的不同子午面相对应。该只是可产生可从其来观看3D对象的不同视 角的不同轨道取向的两个示例。另外，围绕3D对象的路径可W只是轨道的一部分（例如， 弧）。此外，路径不需要一定对应于规则几何图形（例如，圆锥曲线），而可W更一般地是具 有穿过3D对象或在3D对象附近经过的大致旋转轴的任意曲线。
[0025] 通过从沿着围绕3D对象的一个或多个路径或轨道的多重视角生成3D对象的图 像，然后按动画序列显示生成的图像，可W使得3D对象看起来与从一个图像到下一个图像 之间的视角的变化相对应地旋转。利用来自多个路径或轨道的图像，例如，可W使3D对象 看起来旋转经过与图像的一个或另一个序列排序相对应的多种角取向一一可能是任意的 和/或是围绕着穿过3D对象或在3D对象附近经过的多个不同轴的。
[0026] 取来自不同视角的该种图像的聚集或集合W及标记或识别视角的取向（例如，相 对于3D对象的角度）的关联信息作为输入，转体/360度旋转器可提供对3D对象的表观角 运动的交互式控制。更具体而言，显示器上的光标的轨迹中的一者或另一者可在围绕3D对 象的一个或另一个相应路径轨道或路径中被平移，该进而可用于识别和/或选择相应的图 像来W动画方式显示。
[0027] 用于从围绕3D对象的不同视角创建图像的传统方案是从每个视角生成单独的 "静止"图像。在此方案中，每个静止图像本身是完整的，并且可独立于任何其它图像地被显 示在显示设备中。注意，来自不同视角的3D对象的静止图像可W按摄影方式生成（例如， 从数字照片生成），和/或利用3D图形擅染工具（例如，计算机辅助显示工具）来生成。 [002引对于使用传统的静止图像的聚集或集合和辅助信息（例如，角取向）的传统转体 /360度旋转器处理，例如具有几兆字节（例如3-10兆字节）的大小的输入文件或数据流可 能不是罕见的。同时，基于图像擅染角动画的可执行程序可设及定制的算法，该些算法可能 是缓慢的和/或不便于经受优化。在转体/360度旋转器的一些应用中，大数据大小和/或 对专口算法的需求可造成某些挑战。
[0029] 例如，在浏览器程序的情境中，用于生成诸如文本、图像、嵌入式计算机代码等等 之类的显示页面的数据的聚集通常被称为"资源"（asset)。在传统的转体/360度旋转器 的情况下，传统的资源可包括图像的一个或多个集合和识别角度的辅助信息等等。在实践 中，资源可例如被存储在网络中的服务器上，并且可响应于激活转体/360度旋转器的请求 而被取回并发送到客户端设备。该样，网络传输和关联的延时可成为一个因素。资源越大， 延时就可能越大。对于一些应用，例如产品广告，延时可对有效性具有负面影响。即使当延 时不