用于提供和显示内容的装置和方法与流程
本申请是2016年9月29日提交的题为“apparatusandmethodforprovidinganddisplayingcontent”的美国专利申请号15/280,947的继续并要求其权益，所述申请要求2016年8月12日提交的题为“apparatusandmethodforprovidinganddisplayingcontent”的美国临时专利申请号62/374,687的权益并且也要求2016年6月30日提交的题为“apparatusandmethodforcapturinganddisplayingsegmentedcontent”的美国临时专利申请号62/357,259的权益，所述申请的整体内容和公开内容特此全部通过引用的方式整体并入本文。
本申请涉及由发明人dennisd.castleman于2016年9月29日提交的题为“apparatusandmethodforcapturinganddisplayingsegmentedcontent”的美国专利申请号15/280,933，并且由代理人案卷号139592[scea16001us01]标识，其整体内容和公开内容特此全部通过引用的方式整体并入本文。
本申请还涉及由发明人dennisd.castleman于2016年9月29日提交的题为“apparatusandmethodforgazetracking”的美国专利申请号15/280,962，并且由代理人案卷号138627[scea16004us00]标识，其整体内容和公开内容特此全部通过引用的方式整体并入本文。
背景技术：
1.技术领域
本发明总体涉及视频处理和显示。
2.相关技术讨论
视频流传送越来越成为递送和访问媒体内容的主要方式之一。视频流传送业务也占互联网带宽消耗的很大一部分。
技术实现要素：
一个实施方案提供用于显示内容的方法，其包括：确定显示在显示设备上的内容项的观看者的聚焦区域；检索所述内容项的低比特率版本；检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；组合所述内容的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及使所述组合的图像通过所述显示设备显示给所述观看者。
另一个实施方案提供用于显示内容的系统，其包括：显示设备、传感器设备和耦接到所述显示设备和所述传感器设备的处理器。所述处理器被配置成：利用所述传感器设备确定显示在所述显示设备上的内容项的观看者的聚焦区域；检索所述内容项的低比特率版本；检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；组合所述内容的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及使所述组合的图像通过所述显示设备显示给所述观看者。
另一个实施方案提供存储一个或多个计算机程序的非暂态计算机可读存储介质，所述一个或多个计算机程序被配置成使基于处理器的系统执行包括如下的步骤：确定显示在显示设备上的内容项的观看者的聚焦区域；检索所述内容项的低比特率版本；检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；组合所述内容的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及使所述组合的图像通过所述显示设备显示给所述观看者。
另一实施方案提供一种用于提供内容的方法，其包括：接收内容项；生成所述内容项的低比特率版本；从回放设备接收内容请求，所述内容请求包括观看者聚焦区域的指示；基于所述观看者聚焦区域选择所述内容项的所述高比特率版本的一部分；以及响应于所述内容请求向所述回放设备提供所述内容项的所述低比特率版本和所述内容项的所述高比特率版本的所述部分。
另一个实施方案提供用于提供内容的系统，其包括：存储器设备、通信设备和耦接到所述存储器设备和所述通信设备的处理器。所述处理器被配置成：接收内容项；生成所述内容项的低比特率版本；将所述内容项的所述高比特率版本和所述内容项的所述低比特率版本存储在所述存储器设备上；通过所述通信设备从回放设备接收内容请求，所述内容请求包括观看者聚焦区域的指示；基于所述观看者聚焦区域选择所述内容项的所述高比特率版本的一部分；以及响应于所述内容请求向所述回放设备提供所述内容项的所述低比特率版本和所述内容项的所述高比特率版本的一部分。
通过参照阐明其中利用本发明的实施方案的原理的说明性实施方案的以下详述和附图，将更好地理解本发明的不同实施方案的特征和优点。
附图说明
根据以下结合附图给出的更具体的描述，本发明的实施方案的以上和其他方面、特征以及优点将更清楚，其中：
图1是示出根据本发明的一些实施方案的用于提供内容的过程的过程图；
图2是示出根据本发明的一些实施方案的用于提供内容的方法的流程图；
图3是示出根据本发明的一些实施方案的用于显示内容的方法的流程图；
图4a和图4b是根据本发明的一些实施方案的内容显示区域的示意图；
图5是根据本发明的一些实施方案的图像混合的示意图；
图6a和图6b是根据一些实施方案的图像单元的示意图。
图7a和图7b是根据一些实施方案的聚焦区域的示意图。
图8是示出根据本发明的一些实施方案的系统的框图。
具体实施方式
可以各种格式存储和传输数字视频内容。诸如视频分辨率、帧速率、编码格式、压缩方案和压缩因子的因素可影响视频文件的总大小和比特率。在数字多媒体中，比特率通常指代每单位回放时间用于表示连续介质(诸如音频或视频)的比特数。多媒体文件的编码比特率可指代多媒体文件的大小除以记录的回放时间(例如，以秒为单位)。视频内容文件的比特率影响视频是否可在网络带宽约束下在流服务器与回放设备之间无中断地进行流式传输。
首先参考图1，示出了根据一些实施方案的用于记录、托管和显示视频内容的过程。在步骤111中，视频内容由相机系统捕获。在一些实施方案中，相机系统可包括常规的相机系统、立体相机系统、全景相机系统、环绕视图相机系统、360度相机系统和全方位相机系统等中的一个或多个。在步骤112中，所捕获的视频被编码并传送给服务器。在一些实施方案中，在步骤112中执行的编码可包括有损耗或无损耗视频编码。在一些实施方案中，视频可包括实况流式传输或预先记录的视频内容。在一些实施方案中，相机可通过无线或有线方式通过网络(例如像如因特网)与服务器通信。
在一些实施方案中，执行步骤111和112的相机可包括片段式视频捕获设备，诸如在2016年6月30日提交的、题为“apparatusandmethodforcapturinganddisplayingsegmentedcontent”的美国临时专利申请号62/357,259中所描述的那些，所述申请的整体公开内容特此全部通过引用的方式整体并入本文。利用片段式视频捕获设备，每个捕获的视频流作为单独的视频流提供给服务器，或者可在步骤112之前组合成单个视频流。
在步骤121中，服务器解码从相机接收的视频内容。在一些实施方案中，经解码的视频可包括处于原始地捕获的分辨率、帧速率和/或比特率下的视频。在步骤122中，服务器降低经解码的视频流的比特率。在一些实施方案中，视频内容的比特率可通过以下中的一种或多种来降低：降低视频的分辨率，降低视频的帧速率，以及利用压缩算法压缩视频。在步骤123中，降低的比特率视频被编码并准备用于流式传输至回放设备。在一些实施方案中，步骤122和123可包括单个步骤。例如，可使用编码算法来降低所接收的内容的比特率。
在步骤125中，从接收的视频提取所接收的视频的一个或多个部分。内容项的各部分可通常指代视频内容显示区域的空间区段。在一些实施方案中，内容的一部分可包括内容显示区域的跨一个或多个帧的区域。在一些实施方案中，如果所接收的内容的编码方案允许部分解码(例如，mpeg-4传输流)，那么在步骤125中的提取可通过部分地解码所接收的内容来执行。在一些实施方案中，可响应于从回放设备接收观看者聚焦区域来执行步骤125，并且所提取的部分可对应于内容中的观看者聚焦区域的位置。在一些实施方案中，可事先对内容执行步骤125，并且可提取并存储一个或多个部分以供稍后由回放设备检索。在步骤127中，所提取的部分被编码并准备用于流式传输至回放设备。
如本文和整个本公开所使用，高比特率和低比特率是指代从服务器向回放设备提供的视频内容项的至少两个版本的相对比特率的相对术语。通常，服务器可生成所接收的视频的至少一个低比特率版本并且提取与低比特率版本相比具有更高比特率的内容项的版本的至少一部分。在一些实施方案中，具有不同比特率的视频内容项的多个版本可由服务器创建。在一些实施方案中，比特率降低还可在步骤125中提取内容的各部分之前对所接收的视频执行和/或对在步骤125中提取的所述部分执行。通常，在视频内容的持续时间内，内容项的高比特率版本比内容项的低比特率版本具有更高的平均比特率。在一些实施方案中，对于视频内容的时间片段中的一些或全部，内容项的高比特率版本的比特率可高于内容项的低比特率版本。在一些情况下，与包括内容项的低比特率版本的视频流相比，包含内容项的高比特率版本的所提取部分的视频流可具有更低比特率。例如，与低比特率版本相比，内容项的高比特率版本的部分可覆盖内容的显著地更小的显示区域，从而导致所提取部分的更低比特率。在一些实施方案中，内容项的低比特率版本可包括与内容项的高比特率版本相比，更低的分辨率、帧速率和压缩质量中的一者或多者。在一些实施方案中，内容项的低比特率版本可包括与内容项的高比特率版本相比，更低的视频质量和/或清晰度。在一些实施方案中，内容的低比特率版本和高比特率版本可包括恒定比特率(cbr)视频流或可变比特率(vbr)视频流。
在一些实施方案中，服务器可通过网络(例如像如因特网)与回放设备通信。在步骤131中，回放设备接收并解码视频内容的低比特率版本和视频内容的高比特率部分的一部分。可基于通过回放设备观看内容的观看者的聚焦区域来选择视频内容的高比特率部分的所述部分。在一些实施方案中，观看者的聚焦区域是指当观看者观看内容时观看者视野的可聚焦或可不聚焦的区域。在一些实施方案中，聚焦区域可对应于观看者视野的中心、近中心、具斑点的、近外围和中间外围区域中的一个或多个。观看者的聚焦区域可由耦接到回放设备的传感器设备检测。在一些实施方案中，可将由内容项的捕获设备记录的惯性测量单元(imu)数据与观看者的眼部和/或头部方向进行比较以确定待为回放设备提取的高比特率视频内容的部分。在一些实施方案中，视频内容的低比特率版本和视频内容的高比特率部分的所述部分可作为单独的视频流从服务器传输到回放设备。
在步骤132中，组合视频内容的低比特率版本和视频内容的高比特率部分的所述部分。在一些实施方案中，组合视频流包括在从其提取高比特率部分的显示内容的区域的位置处组合内容项的低比特率版本与高比特率版本的所述部分。在一些实施方案中，步骤132包括通过在图像的高比特率区域与低比特率区域之间包括过渡区域来混合两个视频流，以减少视频内容的两个版本之间边界的显著性。在一些实施方案中，步骤132还包括在组合图像之前将视频内容的低比特率版本缩放到内容的高比特率版本的分辨率和/或帧速率。
在步骤133中，将组合的图像显示给观看者。可通过平板屏幕显示器、弯曲显示器、圆顶显示设备、头戴式显示设备、增强现实显示设备、虚拟现实显示设备等中的一个或多个来显示组合的图像。在一些实施方案中，组合的图像可通过头戴式显示器观看，所述头戴式显示器诸如在2016年3月30日提交的题为“head-mounteddisplaytracking”的美国专利申请号15/085,887中描述的系统和设备，所述申请的全部公开内容通过引用的方式整体并入本文。
在一些实施方案中，替代图1中所示的步骤，视频内容的高比特率部分可在服务器处与内容的低比特率版本组合，并且被编码为单个视频流以用于传输。虽然与全高比特率版本相比，这种视频流的分辨率和帧速率可能不会降低，但是仍然可通过在重新组合图像之前利用更多损耗的视频压缩算法处理聚焦区域之外的内容的区域来降低所传送的视频流的总大小。
在图1中所示的过程中，内容项的对应于用户的聚焦区域的部分在相对高比特率下被提供并且内容的剩余区域在相对低比特率下被提供。利用图1中所示的过程，可通过减少流视频内容的总比特率，同时维持观看者视野的聚焦区域中的视频质量来降低用于实现无中断视频流传送的网络带宽需求。
接着参考图2，示出用于提供内容的方法。图2中的步骤可通常由基于处理器的设备执行，所述基于处理器的设备诸如计算机系统、服务器、基于云的服务器、内容主机、流服务主机、媒介服务器等中的一个或多个。在一些实施方案中，图2中的步骤可由参考图8所描述的内容服务器810和回放设备820、参考图1描述的服务器和/或其他类似设备中的一个或多个执行。
在步骤210中，系统接收内容项。内容项可包括电影、电视节目，视频剪辑，预先记录的视频内容，流视频内容，实况流视频内容等中的一个或多个。在一些实施方案中，视频内容可包括由立体相机系统、全景相机系统、环绕视图相机系统、360度相机系统和全方位相机系统等中的一个或多个捕获的单一视频流或多个视频流。在一些实施方案中，可通过任何编码方案(诸如mpeg、wmv、vp8等)来编码内容项。在一些实施方案中，系统可进一步被配置成在步骤310中根据各种编码方案解码所接收的内容项。
在步骤220中，系统生成内容项的低比特率版本。在一些实施方案中，所接收的视频内容的比特率可通过以下中的一种或多种来降低：降低视频的分辨率，降低视频的帧速率，以及利用有损耗压缩算法压缩视频。有损耗压缩通常意味着压缩视频缺少原始视频中存在的一些信息。在一些实施方案中，内容项的多个低比特率版本可在步骤220中生成并且被存储以供回放设备检索。
在步骤230中，系统接收内容请求。在一些实施方案中，内容请求可从回放设备(诸如游戏控制台、个人计算机、平板计算机、电视、头戴式显示器(“hmd”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话等)接收。在一些实施方案中，内容请求可识别请求的内容项、请求的时间片段、观看者的焦点和/或区域的指示和/或其他认证信息中的一个或多个。在一些实施方案中，内容请求可类似于常规的流传输内容请求。在一些实施方案中，内容请求可包括对应于内容显示区域中的点或区域的观看者的聚焦区域的指示。在一些实施方案中，观看者的聚焦区域的指示可包括内容帧的尺寸内的坐标或一组坐标。在一些实施方案中，观看者的聚焦区域的指示可由观看角度表示。在一些实施方案中，可基于与回放设备相关联的传感器设备来确定聚焦区域，所述传感器设备包括眼部跟踪传感器和头部跟踪传感器中的一者或多者。
在步骤240中，响应于在步骤230中接收的内容请求，将内容的低比特率版本提供给回放设备。在一些实施方案中，内容项的多个低比特率版本可在步骤220中生成。在步骤240中，系统可基于以下中的一个或多个从内容项的多个低比特率版本中选择：在回放设备与服务器之间的当前或估计的网络吞吐量，在服务器和/或回放设备处的可用带宽，在内容请求中指定的所请求的视频质量，回放设备的处理能力，用户设置等。在一些实施方案中，从多个版本中选择内容项的低比特率版本可类似于常规的自适应比特率流传输方法。
在步骤250中，系统基于内容请求选择内容项的高比特率版本的一部分。内容项的高比特率版本通常是指与步骤240中提供的低比特率内容相比，具有更高比特率的内容的版本。在一些实施方案中，在视频内容的持续时间内，内容项的高比特率版本可包括比内容的低比特率版本更高的平均比特率。在一些实施方案中，在视频内容的一些或全部时间片段期间，内容项的高比特率版本的比特率可高于内容的低比特率版本。在一些实施方案中，内容的高比特率版本可包括在步骤210中接收的原始内容。在一些实施方案中，内容项的高比特率版本还可包括原始接收的内容项的降低的比特率版本。
在一些实施方案中，可基于观看者的聚焦区域来选择在步骤250中选择的内容的所述部分，所述观看者的聚焦区域包括检测到的焦点和预测的未来焦点中的一个或多个。在一些实施方案中，预测的未来焦点可由服务器和/或回放设备预测。在一些实施方案中，可基于观看者的视线路径历史、与观看者相关联的视线路径简档、从多个观看者收集的视线路径数据以及内容提供商提供的标准视线路径中的一个或多个来预测未来焦点。预测观看者的未来焦点的实例在由发明人dennisd.castleman于2016年9月29日提交的题为“apparatusandmethodforgazetracking”的美国专利申请号15/280,962中描述，并且由代理人案卷号138627[scea16004us00]标识，其整体公开内容特此全部通过引用的方式整体并入本文。
内容的一部分可通常指代显示内容区域的空间部分，诸如帧内的一组像素。在一些实施方案中，一部分可包括跨多个帧的显示内容区域的相同部分。在一些实施方案中，在步骤250中选择的部分通常可对应于内容显示区域中的观看者聚焦区域的位置。在一些实施方案中，内容的显示区域可被分成多个区段。例如，可将内容的显示区域分成象限、3x3栅格、5x5栅格等。在一些实施方案中，使与观看者的聚焦区域重叠的内容显示区域的一个或多个区段可被选择成包括内容项的被提供给回放设备的高比特率版本的所述部分。在一些实施方案中，内容的聚焦区域和/或提取的部分可包括任何形状和大小。在本文参考图4a-4b和图7a-7b更详细地描述从内容项提取的聚焦区域和部分的实例。
在一些实施方案中，系统可进一步基于以下中的一个或多个来从内容的多个原始和/或降低比特率版本中选择，以提取所选择的部分：在回放设备与服务器之间的当前或估计的网络吞吐量，在服务器和/或回放设备处的可用带宽，在内容请求中指定的请求的视频质量，回放设备的处理能力和用户设置。在一些实施方案中，可从在步骤220中生成的降低比特率版本之一中提取高比特率版本的部分。在一些实施方案中，内容项的高比特率版本通常可从与步骤240中选择的内容项的低比特率版本相比，具有更高比特率的内容项的版本中选择。
在一些实施方案中，系统可被配置成在步骤270中提供内容项的高比特率版本的一个或多个部分。例如，系统和/或回放设备可预测观看者的两个或更多个可能的未来聚焦区域。然后，系统可基于观看者的两个或更多个可能的未来聚焦区域在步骤250中选择内容项的高比特率版本的两个或更多个部分。回放设备可被配置成基于检测到的聚焦区域在回放之前短时间内从所提供的部分中进行选择。
在步骤260中，系统确定所选择的部分是否先前已经在系统中高速缓存。在一些实施方案中，当提取内容的高比特率版本的一部分时，系统可高速缓存所述部分以供以后使用。在一些实施方案中，系统可基于预测观看者可能在所显示的内容中聚焦的位置事先生成内容项的高比特率版本的多个提取部分。例如，事先提取的部分可对应于所显示内容的高活动区域和/或前景区域。在一些实施方案中，高速缓存的部分可各自包括编码的视频流。在一些实施方案中，系统可被配置成自动地清除在设定的时间段(例如，小时、天等)中尚未使用的所提取的部分。在一些实施方案中，高比特率部分的每个高速缓存部分可通过区域标识符和时间戳标识符(例如，区段3b，时间00:30:20-00:30:22)来识别和检索。在一些实施方案中，内容的高比特率版本的部分可以编码的形式存储在高速缓冲存储器中并且可直接用于流传输到回放设备。如果所选择的部分先前已经被高速缓存，那么系统可在步骤270中将所述高速缓存的部分提供给回放设备。
如果所选择的部分先前尚未被高速缓存，那么系统在步骤280中提取内容的高比特率版本的一部分。在一些实施方案中，可从在步骤210中接收的内容提取所述部分。在一些实施方案中，可从原始接收的内容的降低的比特率版本之一中提取所述部分。在一些实施方案中，可通过首先解码所接收的内容来提取所述部分。在一些实施方案中，系统可被配置成从内容项的编码版本中部分地解码并且提取内容的一部分。在一些实施方案中，步骤280可进一步包括将所提取部分处理成在提取部分的边缘周围包括多个空的/透明像素或单元。空的/透明像素的密度可朝向所提取部分的外边缘逐渐地增加，使得当所提取部分与内容的更低比特率版本组合时，在两个图像之间的边缘对于人眼来说较不明显。包括空的/透明像素可进一步减少用于传送内容的高比特率版本的所述部分的带宽使用。在一些实施方案中，步骤280可进一步包括分别编码所提取部分以供流传输。然后，可在步骤270中将内容项的高比特率版本的编码部分提供给回放设备。在一些实施方案中，可在多个编码的视频流中提供内容项的高比特率版本的部分，每个编码的视频流对应于内容显示区域的预定义区域(例如，网格中的单元)。
在一些实施方案中，步骤270和240可几乎同时发生以向回放设备提供相同内容项的对应的时间片段。在一些实施方案中，可在步骤270中提供内容项的对应的高比特率部分之前，在回放设备处提供和缓冲内容的低比特率版本。在一些实施方案中，内容项的高比特率版本的部分和内容项的低比特率版本可作为两个单独地编码和传送的视频流提供。在一些实施方案中，内容项的高比特率版本的部分和内容项的低比特率版本可从服务器系统的不同部分提供。例如，中央服务器可被配置成将内容项的低比特率版本流传输至回放设备，而多个地理上分散的服务器设备可被配置成提取相同内容项的高比特率版本的部分和/或向附近的回放设备提供相同内容项的高比特率版本的部分。
在一些实施方案中，对于多个内容项，可重复步骤210至270。在一些实施方案中，当观看者在回放设备处观看内容项时，可定期地重复步骤250-270。例如，回放设备可在服务器处定期地(例如，每几毫秒、几秒、帧等)更新观看者的聚焦区域，并且系统可基于观看者的更新的聚焦区域选择内容项的高比特率版本的不同部分。在一些实施方案中，回放设备可被配置成检测聚焦区域的改变，并且仅在聚焦区域的位置改变时通知服务器。在一些实施方案中，如果没有检测到聚焦区域(例如，用户当前不正在看屏幕)，那么系统可跳过步骤250-270并且仅向回放设备提供内容项的低比特率版本。在一些实施方案中，如果检测到用户不正在看显示设备，那么系统可进一步选择内容项的最低比特率版本来在步骤240中提供给回放设备以便降低网络带宽使用。在一些实施方案中，如果检测到内容的流传输中断，那么系统可调整被提供的内容的低比特率版本和/或高比特率版本的比特率来降低中断。
接着参考图3，示出用于提供内容的方法。图3中的步骤通常可由基于处理器的设备执行，所述基于处理器的设备诸如游戏控制台、个人计算机、平板计算机、电视、头戴式显示器(“hmd”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话、移动设备等。在一些实施方案中，图3中的步骤可由参考图8所描述的内容服务器810和回放设备820、参考图1描述的回放设备或其他类似设备中的一个或多个执行。
在步骤310中，系统确定观看者的聚焦区域。在一些实施方案中，可基于包括眼部跟踪传感器和头部跟踪传感器中的一者或多者的传感器设备来确定聚焦区域。在一些实施方案中，用户的头部方向可由包括惯性测量单元(imu)、加速度计、陀螺仪、图像传感器和距离传感器中的一个或多个的头部跟踪器设备确定。在一些实施方案中，imu可包括使用加速度计和陀螺仪，有时还有磁力仪的组合来测量并报告身体的特定力、角速率和/或身体周围的磁场的电子设备。在一些实施方案中，头部跟踪器设备可耦接到由用户穿戴的头戴式显示器(hmd)。在一些实施方案中，用户的视线位置可由包括图像传感器、光学反射器传感器、距离传感器、肌电图(emg)传感器和光学流量传感器中的一个或多个的眼部跟踪器设备确定。
在一些实施方案中，可基于检测到的焦点和预测的未来焦点中的一个或多个来确定聚焦区域。在一些实施方案中，可基于观看者的视线点历史、与观看者相关联的视线路径简档、从多个观看者收集的视线路径数据以及内容提供商提供的标准视线路径中的一个或多个来预测未来焦点。在一些实施方案中，聚焦区域可由2d或3d空间中的焦点表示。在一些实施方案中，聚焦区域可被表示为3d角度，诸如表示为由球面方位角(θ)和极角
在步骤320中，回放设备检索内容项的低比特率版本。在一些实施方案中，回放设备向托管步骤320中的内容项的服务器发送内容请求以检索所述内容项。内容项的低比特率版本可包括由内容提供商和/或托管服务生成的内容项的减少的比特率版本。在一些实施方案中，步骤320可在步骤310之前发生，并且可在确定观看者的聚焦区域之前开始下载、缓冲和/或观看内容项的低比特率版本。在一些实施方案中，步骤320可对应于在本文中参考图2描述的步骤240。
在步骤330中，回放设备检索内容项的高比特率版本的一部分。在一些实施方案中，回放设备向服务器发送识别在步骤310中确定的观看者的聚焦区域的内容请求以检索内容项的高比特率版本的所述部分。通常，所检索的部分可包括基于观看者的聚焦区域选择的内容的空间部分。在一些实施方案中，所检索的部分可包括内容项的区域的短时间片段(例如，毫秒、秒、帧等)。在一些实施方案中，可在与步骤320中检索的内容项的低比特率版本分开编码的视频流中检索内容项的高比特率版本的部分。在一些实施方案中，可在检索内容项的高比特率版本之前缓冲内容项的低比特率版本。在一些实施方案中，步骤330可对应于在本文中参考图2描述的步骤270。
在步骤340中，系统组合内容项的高比特率版本的部分与内容项的低比特率版本以生成组合的图像。在一些实施方案中，在步骤340中，系统首先解码在步骤330中检索的内容项的高比特率版本的部分和在步骤320中检索的内容项的低比特率版本。在一些实施方案中，如果内容项的低比特率版本和高比特率版本的分辨率和/或帧速率不同，那么系统可首先调整所述版本中的至少一个的分辨率和/或帧速率，之后组合图像。例如，系统可通过上取样和/或干涉内容项的解码的低比特率版本来增加内容项的低比特率版本的分辨率和/或帧速率以匹配高比特率部分的分辨率和/或帧速率。
在一些实施方案中，系统可通过用来自内容项的高比特率版本的部分的对应的帧的像素替换内容项的低比特率版本的帧中的像素来组合内容项的两个版本。在一些实施方案中，帧可由时间戳识别和匹配。在一些实施方案中，可进一步混合图像以降低在内容项的两个版本之间边界的显现。在一些实施方案中，系统通过在内容的高比特率版本的部分与内容的低比特率版本之间生成过渡区域来混合内容项的版本。在过渡区域中，包含来自高比特率版本的信息的像素可从所显示内容的高比特率区域朝向低比特率区域逐渐减小。在一些实施方案中，混合内容项的高比特率版本的部分与内容项的低比特率版本可包括将像素分组成三角形单元以用于混合。在本文中参考图5和图6a-6b描述过渡区域和混合的实例。在一些实施方案中，高比特率部分可以预先混合的形式从服务器提供。例如，高比特率部分的边缘可包括具有渐变密度的多个空的/透明像素。然后，回放设备可将具有透明像素的高比特率部分覆盖到内容项的低比特率版本上，而无需进一步处理图像并且将混合效果存档。
在步骤350中，组合的图像显示在显示设备上。在一些实施方案中，显示设备可包括监视器、电视接收机、投影仪、头戴式显示器(hmd)、虚拟现实显示设备、可穿戴设备、显示屏、移动设备等中的一个或多个。在一些实施方案中，在步骤350之前，系统可进一步基于显示设备的规范来调整组合的图像。例如，对于虚拟现实显示设备，系统可针对与设备相关联的扭曲和失真进行调整。
在一些实施方案中，当观看者观看内容项时，可以连续地重复步骤310至350。在一些实施方案中，基于步骤310中检测的聚焦区域，随时间的推移，内容项的高比特率版本的不同部分可在步骤330中被检索并且在步骤340中与低比特率版本组合。在一些实施方案中，步骤320可独立于步骤310和330发生。在一些实施方案中，如果没有检测到聚焦区域，那么系统可仅检索内容项的低比特率版本以显示并跳过步骤330-350，直到再次检测到焦点。
在一些实施方案中，系统可进一步被配置为确定观看者的观看区域并且在步骤320中基于观看者的观看区域仅检索低比特率内容的一部分。类似于在步骤310中确定聚焦区域，基于眼部跟踪和头部跟踪中的一个或多个来确定观看者的观看区域。观看者的观看区域可通常是指对用户可见，但可以或可以不聚焦于观看者视场的内容区域。在一些实施方案中，观看区域可包括围绕聚焦区域的区域。在一些实施方案中，所检索的内容项的低比特率版本的部分可排除内容区域的不在观看区域内的区域。在一些实施方案中，所检索的内容项的低比特率版本的部分可进一步排除聚焦区域并且仅包括假设对观看者可见但不聚焦的区域。在一些实施方案中，内容项的低比特率版本的检索部分可以对应于观看者视野的近视觉区域、中间视觉区域和远处周边视觉区域中的一个或多个。
接着参考图4a，示出内容显示区域的示意图。内容区域400表示内容项的整个图像区域。虽然内容区域400被示出为矩形，但是在一些实施方案中，对于沉浸式内容和/或全向视频内容，内容区域400可对应于圆柱体、球体、半球体等。在不脱离本公开的精神的情况下，内容区域400通常可包括任何形状、纵横比和大小。焦点410表示观看者在内容内的焦点。在一些实施方案中，焦点410可对应于检测到的焦点和/或预测焦点。聚焦区域412表示在焦点410周围的区域，其可能聚焦在观看者的视野内。在一些实施方案中，聚焦区域可包括观看者视野的中心、近中心、具斑点的、近外围和中间外围区域中的一个或多个。聚焦区域412的大小和形状仅被示出为实例。聚焦区域412和内容区域400的相对大小也可变化。在一些实施方案中，聚焦区域412的形状和大小可针对每个单个用户进行校准和/或基于观看者的简档来估计，所述观看者的简档包含观看者人口统计信息、观看习惯、用户反馈、用户设置等中的一个或多个。在一些实施方案中，可基于观看者距显示屏的距离来进一步确定聚焦区域412的大小。在一些实施方案中，对于在观看者眼部与显示屏(例如，hmd)之间具有固定距离的显示设备类型，聚焦区域412的大小可通常被认为保持相同。
在一些实施方案中，回放设备可被配置成检索内容项的对应于聚焦区域412的高比特率版本的一部分。在一些实施方案中，内容区域400可分成包括多个区段的网格。在一些实施方案中，与聚焦区域421重叠的内容区域400的区段可包括由回放设备检索的内容项的高比特率版本的部分。在一些实施方案中，当显示内容项时，可在内容区域的对应于聚焦区域412的部分中显示内容项的高比特率版本，并且可在内容区域400的剩余部分中显示内容项的低比特率版本。在一些实施方案中，取决于由服务器定义的内容区域400的区段的大小和形状，高比特率区域可能不能与聚焦区域412的大小和形状精确匹配，但是通常可基本上覆盖聚焦区域412。在一些实施方案中，可提取内容项的高比特率版本的所述部分来与聚焦区域412的形状和大小密切地匹配。
接着参考图4b，示出内容显示区域的另一个示意图。图4b中的内容区域400、焦点410和聚焦区域412可通常类似于图4a中的对应的元件。在一些实施方案中，系统可进一步确定围绕聚焦区域412的观看区域411，如图4b所示。观看区域414可通常是指对用户可见，但可以或可以不聚焦于观看者视场的内容区域。在一些实施方案中，所检索的内容项的低比特率版本的部分可排除观看区域400的内容区域414之外的区域。在一些实施方案中，所检索的内容项的低比特率版本的部分可进一步排除聚焦区域412并且仅包括假设对观看者可见但可聚焦的区域。在一些实施方案中，观看区域可对应于观看者视野的近视觉区域、中间视觉区域和远处周边视觉区域中的一个或多个。
在一些实施方案中，内容区域400可对应于由多个图像传感器捕获的沉浸式视频内容和/或全向视频内容。观看区域414可用来选择和拼接多个单独地编码的视频流，如在2016年6月30日提交的、题为“apparatusandmethodforcapturinganddisplayingsegmentedcontent”的美国临时专利申请号62/357,259中所描述，所述申请的整体公开内容特此全部通过引用的方式整体并入本文。例如，如果观看区域414与由多相机系统捕获的四个视频流中的两个重叠，那么所检索的内容项的低比特率版本可仅包括两个对应的流。在一些实施方案中，聚焦区域412还可包括来自在回放设备处拼接的多个单独地编码的视频流的数据。
接着参考图5，示出过渡区域的示意图。在一些实施方案中，图5可表示在图3的步骤350中显示的组合的图像。所显示的图像包括低比特率区域510、高比特率区域512和过渡区域511。在过渡区域511中，包含来自高比特率区域512的信息的像素可从高比特率区域512朝向低比特率区域510逐渐地减少。在一些实施方案中，混合内容的高比特率版本的部分与内容项的低比特率版本包括将过渡区域511中的像素分组成单元用于混合。在一些实施方案中，每组分组的像素可包含来自内容项的版本中的一个或另一个的数据。在图5中，过渡区域511的大小和形状仅被示出为实例并且过渡区域511可具有任何大小、形状和厚度。通常，过渡区域511围绕高比特率区域并且包括来自高比特率区域512和低比特率区域510两者的交织的数据，以减少两个区域之间的边界的显现。
接着参考图6a和图6b，示出了三角形单元的示意图。图6a示出分成多个三角形单元的球体。球体可对应于全向和/或沉浸式视频内容的内容区域。在一些实施方案中，每个单元可包括用于混合图像的小单元(unit)。在一些实施方案中，三角形单元更好地适于球体的曲率并且与正方形或矩形单元相比，对人眼较不明显。三角形单元可进一步细分为更小的三角形单元，以在混合中提供可调整的粒度。图6b示出使用三角形单元进行混合。图6b中的单元可表示在内容项的两个版本之间的过渡区域的区段。在图6b中，标有“1”的单元可包含来自内容项的一个版本的数据，并且标有“2”的单元可包含来自内容项的不同版本的数据。在一些实施方案中，图6b中的每个单元可细分成更小的三角形单元以用于更细化的混合。在一些实施方案中，过渡区域可具有任意数目的三角形单元的行或列。在一些实施方案中，图6a和图6b中所示的每个单元可被合并或细分，以形成不同大小的三角形单元，以用于混合图像。
接着参考图7a和图7b，示出了聚焦区域的示意图。在一些实施方案中，可基于内容的可聚焦在观看者视野中的区域来确定观看者的聚焦区域。在图4a和图4b中，聚焦区域近似为椭圆形。在一些实施方案中，聚焦区域可由系统近似为圆形、正方形等。图7a和图7b示出可代表系统使用的聚焦区域的形状的其他形状。图7a中示出的形状近似人类视野的形状，具有两个合并的椭圆，其具有对准的主轴。图7b中所示的形状包括两个椭圆，其具有彼此垂直的主轴。图7b中所示的形状可用来在焦点周围创建缓冲区域。对于人眼来说，竖直或水平移动通常比对角线移动更常见。因此，使用图7b中所示的形状来近似成聚焦区域可允许观看者具有一些竖直或水平的眼部移动而不使其聚焦区域离开高比特率内容区域。在一些实施方案中，在此论述的高比特率内容项的检索部分可对应于图4a-4b、图7a-7b中所示的形状、圆形、正方形、矩形等中的一个或多个。
接着参考图8，示出用于提供和显示内容的系统，所述系统可用于根据本发明的一些实施方案运行、实现和/或执行本文示出和描述的方法和技术中的任一个。所述系统包括通过数据连接(诸如网络)进行通信的内容服务器810和回放设备820。
内容服务器810包括处理器812、存储器813和通信设备814。内容服务器810通常可包括可通过网络(诸如因特网)由回放设备访问的一个或多个基于处理器的设备。在一些实施方案中，内容服务器可包括基于云的服务器、内容主机、流服务主机、媒介服务器、流视频服务器、广播内容服务器、社交网络服务器等中的一个或多个。处理器812可包括控制电路、中央处理器单元、图形处理器单元(gpu)、微处理器、视频解码器、视频编码器等中的一个或多个。存储器813可包括易失性和/或非易失性计算机可读存储器设备中的一个或多个。在一些实施方案中，存储器813存储致使处理器812向回放设备820提供内容的计算机可执行代码。在一些实施方案中，通信设备814可包括网络适配器、数据端口、路由器、调制解调器等中的一个或多个。通常，通信设备814可被配置成允许处理器812与回放设备820通信。在一些实施方案中，处理器812可被配置成基于来自回放设备820的请求向回放设备820提供内容项的低比特率版本和内容项的高比特率版本的一部分。在一些实施方案中，所述请求可包括对所请求的内容项的识别和/或对内容项的观看者的聚焦区域的指示。在一些实施方案中，处理器812可被配置成基于所接收的内容项生成和/或存储内容项的低比特率版本和内容项的高比特率版本的一个或多个部分中的至少一个。
存储器813和/或单独的内容库可存储一个或多个内容项，每个内容项包括具有不同比特率的内容项的至少两个版本。在一些实施方案中，内容服务器810可被配置成将由捕获设备记录的内容以基本上实时的方式流式传输给回放设备820。在一些实施方案中，内容服务器810可被配置成托管多个预先记录的内容项以用于按需流式传输和/或下载至回放设备820。虽然在图8中仅示出一个回放设备820，但是内容服务器810可被配置成通过通信设备814同时从多个捕获设备接收内容和/或向多个回放设备820提供内容。在一些实施方案中，内容服务器810可被配置成在捕获设备与回放设备820之间对等传递视频流。例如，可通过对等网络传递内容项的低比特率版本，而可通过内容服务器810传递高比特率内容项的部分。在一些实施方案中，内容服务器810可被配置成以单独地编码的视频流提供内容项的低比特率版本和内容项的高比特率版本的一部分。
在一些实施方案中，内容服务器810可进一步被配置成在将内容项提供给回放设备820之前预处理所述内容项。在一些实施方案中，内容服务器810可通过在将高比特率内容的一部分提供给回放设备820之前在边缘处包括空的/透明像素来软化内容服务器的高比特率版本的所提取部分的边缘。当将内容项的高比特率版本的预处理部分提供给回放设备820时，回放设备820可通过简单地组合来自两个版本的像素数据来混合视频流，而无需执行进一步的图像处理。在一些实施方案中，内容服务器810可被配置成在将所组合的内容提供给回放设备820之前，组合内容项的低比特率版本和内容的高比特率版本的一部分。
虽然示出一个内容服务器810，但是在一些实施方案中，可在一个或多个基于处理器的设备上实现内容服务器810的功能。在一些实施方案中，可单独地实现用于提供内容的低比特率版本和用于提供内容的高比特率版本的内容服务器810。例如，中央内容服务器可被配置成提供内容的低比特率版本，而多个地理上分散的内容服务器设备可被配置成向回放设备提供内容的高比特率版本的各部分。
回放设备820包括处理器821、存储器823、显示设备825和传感器设备827。在一些实施方案中，回放设备820通常可包括基于处理器的设备，诸如游戏控制台、媒介控制台、机顶盒、个人计算机、平板计算机、电视、头戴式显示器(“hmd”)、增强现实设备、虚拟现实设备、可穿戴设备、便捷式用户设备、智能电话等中的一个或多个。处理器821可包括控制电路、中央处理器单元(cpu)、图形处理器单元(gpu)、微处理器、视频解码器等中的一个或多个。存储器823可包括易失性和/或非易失性计算机可读存储器设备中的一个或多个。在一些实施方案中，存储器823存储致使处理器821确定用户的聚焦区域并且从内容服务器810检索内容项的计算机可执行代码。在一些实施方案中，回放设备820可被配置成从内容服务器810和/或从本地存储装置检索内容项的低比特率版本和高比特率版本的一部分并且组合所述两个版本以生成组合的图像以便通过显示设备825显示给用户。在一些实施方案中，存储器823可包括用于缓冲从内容服务器810检索的内容项的一个或多个版本的缓冲器。在一些实施方案中，存储在存储器823中的计算机可执行代码可包括计算机程序、软件程序、回放设备固件、移动应用程序、游戏和/或媒体控制台应用程序等中的一个或多个。
显示设备825可包括用于向观看者显示内容的设备。在一些实施方案中，显示设备825可包括监视器、电视、头戴式显示器(hmd)、虚拟现实显示设备、可穿戴设备、显示屏、移动设备等中的一个或多个。在一些实施方案中，显示设备825可包括具有一个或多个屏幕的立体显示器。
传感器设备827可包括被配置成确定显示设备825的观看者的焦点和/或区域的一个或多个传感器。在一些实施方案中，传感器设备827可包括用于检测眼部和/或头部移动的图像传感器、光学反射器传感器、距离传感器、肌电图(emg)传感器和光学流量传感器中的一个或多个。在一些实施方案中，传感器设备827可包括使用加速度计和陀螺仪，有时还有磁力仪的组合来测量并报告身体的特定力、角速率和/或身体周围的磁场的imu。在一些实施方案中，传感器设备827可耦接到允许传感器通过hmd和/或可穿戴设备的运动来检测用户的头部或眼部运动的hmd和/或可穿戴设备。在一些实施方案中，传感器设备827可包括用于检测用户的头部运动和眼部运动中的一者或多者的光学传感器。在一些实施方案中，传感器可耦接到hmd和/或可穿戴设备，和/或可以是从一定距离处捕获来自观看者的数据的相对静止的设备。
虽然显示设备825被示出为回放设备820的一部分，但是在一些实施方案中，显示设备825可包括具有或不具有单独处理器的单独设备。在一些实施方案中，显示设备825可通过有线或无线通信信道耦接到回放设备820。例如，回放设备820可包括pc或游戏控制台，并且显示设备825可包括被配置成显示来自回放设备820的内容的hmd。在一些实施方案中，传感器设备827可以是回放设备820、显示设备825的一部分，和/或可以是与回放设备820和显示设备825中的一个或多个通信的物理上分离的设备。在一些实施方案中，显示设备825和传感器设备827中的一个或多个可与回放设备820整合成一体。在一些实施方案中，显示设备825还可包括处理器和/或用于至少部分地存储所检索的内容和/或由传感器设备827检测到的观看者的眼部或头部移动的存储器。
在一些实施方案中，回放设备820还可包括用于请求并下载来自内容服务器810和/或捕获设备的内容项的通信设备，诸如网络适配器、wi-fi收发器、移动数据网络收发器等。在一些实施方案中，回放设备820还可包括一个或多个用户输入/输出设备，诸如按钮、控制器、键盘、显示屏、触摸屏等以供用户控制内容项的选择和回放。
在一些实施方案中，上文描述的实施方案、方法、途径和/或技术中的一个或多个可在可由基于处理器的装置或系统执行的一个或多个计算机程序或软件应用程序中实现。例如，这类基于处理器的装置或系统可包括计算机、娱乐系统、游戏控制台、工作站、图形工作站、服务器、客户端、便携式设备、垫状设备等。这类计算机程序可用于执行上文描述的方法和/或技术的各种步骤和/或特征。也就是说，计算机程序可适于致使或配置基于处理器的装置或系统执行并实现上述功能。例如，这类计算机程序可用于实现上述方法、步骤、技术或特征的任何实施方案。作为另一个实例，这类计算机程序可用于实现使用上述实施方案、方法、途径和/或技术中的任一个或多个的任意类型的工具或类似实用程序。在一些实施方案中，在计算机程序内或不在计算机程序内的程序代码宏、模块、环路、子例程、调用等可用于执行上述方法和/或技术的各种步骤和/或特征。在一些实施方案中，计算机程序可存储或体现在计算机可读存储或记录介质或媒介(诸如本文描述的计算机可读存储或记录介质或媒介中的任一个)上。
因此，在一些实施方案中，本发明提供一种计算机程序产品，所述计算机程序产品包括：用于具体实施输入计算机的计算机程序的介质；以及计算机程序，所述计算机程序具体实施在所述介质中，以使所述计算机执行包括本文所述实施方案、方法、方式和/或技术中的任何一个或多个所涉及的步骤中的任何一个或多个的步骤。例如，在一些实施方案中，本发明提供存储一个或多个计算机程序的非暂态计算机可读存储介质，所述一个或多个计算机程序被配置成使基于处理器的装置或系统执行包括如下的步骤：确定显示在显示设备上的内容项的观看者的聚焦区域；检索所述内容项的低比特率版本；检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；组合所述内容的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及使所述组合的图像通过所述显示设备显示给所述观看者。
虽然已经借助于特定实施方案和应用描述本文公开的发明，但是在不背离权利要求书中阐明的本发明的范围的情况下，本领域的技术人员可对本发明进行许多修改和变更。
- 还没有人留言评论。精彩留言会获得点赞！