用于视线跟踪的装置和方法与流程

本申请是2016年9月29日提交的题为“apparatusandmethodforgazetracking”的美国专利申请号15/280,962的继续并要求其权益，所述申请要求2016年6月30日提交的题为“apparatusandmethodforcapturinganddisplayingsegmentedcontent”的美国临时专利申请号62/357,259的权益并且也要求2016年8月12日提交的题为“apparatusandmethodforprovidinganddisplayingcontent”的美国临时专利申请号62/374,687的权益，所述申请的整体内容和公开内容特此全部通过引用的方式整体并入本文。

本申请涉及由发明人dennisd.castleman于2016年9月29日提交的题为“apparatusandmethodforcapturinganddisplayingsegmentedcontent”的美国专利申请号15/280,933，并且由代理人案卷号139592[scea16001us01]标识，其整体内容和公开内容特此全部通过引用的方式整体并入本文。

本申请还涉及由发明人dennisd.castleman于2016年9月29日提交的题为“apparatusandmethodforprovidinganddisplayingcontent”的美国专利申请号15/280,947，并且由代理人案卷号139593[scea16003us01]标识，其整体内容和公开内容特此全部通过引用的方式整体并入本文。

背景技术：

1.技术领域

本发明总体涉及运动跟踪。

2.现有技术的论述

视线跟踪是使用传感器跟踪观看者视线位置的过程。视线位置然后可用作计算机系统的输入。

技术实现要素：

一个实施方案提供用于视线跟踪的方法包括：通过回放设备向观看者呈现内容；利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；以及基于所述观看者简档预测所述观看者的未来视线位置。

另一个实施方案提供用于视线跟踪的系统，其包括：观看者简档数据库、通信设备以及耦接到所述观看者简档数据库和所述通信设备的处理器。所述处理器被配置为：通过耦接到所述通信设备的回放设备向观看者呈现内容；利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在所述观看者简档数据库中的多个观看者简档选择观看者简档；以及基于所述观看者简档预测所述观看者的未来视线位置。

另一个实施方案提供存储一个或多个计算机程序的非暂态计算机可读存储介质，所述一个或多个计算机程序被配置成致使基于处理器的系统执行包括如下各项的步骤：通过回放设备向观看者呈现内容；利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；以及基于所述观看者简档预测所述观看者的未来视线位置。

另一个实施方案提供用于视线跟踪的系统，其包括：显示设备，视线跟踪器，通信设备以及耦接到所述显示设备、所述视线跟踪器和所述通信设备的处理器。所述处理器被配置为：通过显示设备向观看者呈现内容；利用视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；基于所述观看者简档预测所述观看者的未来视线位置；并且利用所述通信设备基于所述未来视线位置从内容服务器检索所述内容的一部分。

通过参照阐明其中利用本发明的实施方案的原理的说明性实施方案的以下详述和附图，将更好地理解本发明的不同实施方案的特征和优点。

附图说明

根据以下结合附图给出的更具体的描述，本发明的实施方案的以上和其他方面、特征以及优点将更清楚，其中：

图1是示出根据本发明的一些实施方案的用于跟踪视线的方法的流程图；

图2是示出根据本发明的一些实施方案的用于跟踪视线的系统的框图；

图3是根据本发明的一些实施方案的视线路径的示意图；

图4是示出根据本发明的一些实施方案的用于跟踪视线的过程的过程图；

图5是示出根据本发明的一些实施方案的用于提供内容的方法的流程图；并且

图6是示出根据本发明的一些实施方案的用于提供内容的方法的流程图。

具体实施方式

视线跟踪可包括眼部跟踪和/或头部跟踪。在一些实施方案中，视线跟踪可用于确定观看者在所显示图像和/或真实世界场景中的注视点。在虚拟现实(vr)和增强现实(ar)应用中，系统可使用观看者的视线位置来确定待显示给用户的内容。

首先参考图1，示出用于跟踪视线的方法。图1中的步骤可通常由基于处理器的设备执行，所述基于处理器的设备诸如计算机系统、服务器、基于云的服务器、内容主机、流服务主机、媒介服务器、回放设备、显示设备等中的一个或多个。在一些实施方案中，图1中的步骤可由参考图2所描述的服务器210和回放设备220、参考图4描述的服务器和/或其他类似设备中的一个或多个执行。

在步骤110中，系统通过回放设备向观看者呈现内容。在一些实施方案中，内容可包括电影、电视节目，视频剪辑，预先记录的视频内容，流视频内容，实况流视频内容等中的一个或多个。在一些实施方案中，内容可包括由立体相机系统、全景相机系统、环绕视图相机系统、360度相机系统和全方位相机系统等中的一个或多个捕获的单一视频流或多个视频流。在一些实施方案中，可将内容从内容服务器流式传输到回放设备。在一些实施方案中，回放设备可包括游戏控制台、个人计算机、平板计算机、电视、头戴式显示器(“hmd”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话等中的一个或多个。在一些实施方案中，回放设备可包括在2016年3月30日提交的、题为“head-mounteddisplaytracking”的美国专利申请号15/085,887中描述的类型的设备和/或系统，所述申请的全部公开内容特此全部通过引用的方式整体并入本文。

在步骤120中，系统跟踪观看者的视线路径。在一些实施方案中，视线路径可由耦接到回放设备的视线跟踪器跟踪。在一些实施方案中，视线跟踪器可被配置成跟踪观看者的眼部移动、头部移动和身体移动中的一者或多者。在一些实施方案中，视线跟踪器可包括用于检测眼部和/或头部移动的图像传感器、光学反射器传感器、距离传感器、肌电图(emg)传感器和光学流量传感器中的一个或多个。在一些实施方案中，视线跟踪器可包括使用加速度计和陀螺仪，有时还有磁力仪的组合来测量并报告身体的特定力、角速率和/或身体周围的磁场的惯性测量单元(imu)。在一些实施方案中，视线跟踪器可耦接到允许传感器通过hmd和/或可穿戴设备的运动来检测用户的头部或眼部运动的hmd和/或可穿戴设备。在一些实施方案中，视线跟踪器可包括用于检测用户的头部运动和眼部运动中的一者或多者的光学传感器。在一些实施方案中，传感器可耦接到hmd和/或可穿戴设备，或可包括从远处捕获来自观看者的数据的相对静止的设备。在一些实施方案中，可通过任何常规的眼部跟踪传感器、头部跟踪传感器和/或运动跟踪传感器来跟踪观看者的视线路径。

在实施方案中，观看者的视线路径可包括随时间的推移检测到的观看者的多个视线位置和/或方向的记录。在一些实施方案中，观看者的视线路径可包括根据由观看者观看的内容的时间戳被添加时间戳的视线位置和/或方向。在一些实施方案中，视线路径中的视线位置可各自与内容的一个或多个帧相关联。在一些实施方案中，视线路径可包括二维视线路径。在一些实施方案中，视线路径可包括视线位置，所述视线位置包括在内容的显示区域中的坐标。在一些实施方案中，视线路径可包括三维视线路径。例如，内容可包括沉浸式内容，在所述沉浸式内容中观看者可利用身体移动和/或输入设备导航通过三维空间。在一些实施方案中，视线路径包括对应于观看者的头部和/或眼部的x、y和z坐标和观看方向。

在步骤130中，系统基于在步骤120中跟踪的观看者的视线路径来选择观看者简档。在一些实施方案中，可从与存储在观看者简档数据库中的内容相关联的多个观看者简档选择观看者简档。在一些实施方案中，每个观看者简档可包括与内容相关联的预期视线路径。在一些实施方案中，观看者简档可与内容的片段和/或内容的整个持续时间相关联。在一些实施方案中，预期视线路径可包括在内容的一个或多个帧中的预期注视点。在一些实施方案中，可基于在内容中的相同时间段期间使在步骤120中跟踪的用户的视线路径与多个观看者简档中的视线路径匹配来选择观看者简档。在一些实施方案中，可通过确定在跟踪的视线路径与观看者简档中的视线路径之间的偏差量和选择具有最小偏差量的观看者简档来将追踪的视线路径与观看者简档进行比较。

在一些实施方案中，观看者简档可包括基于观看内容的多个用户的视线路径生成的一个或多个观看者简档。例如，系统可记录观看相同内容的多个观看者的视线路径。然后可通过它们彼此的类似性来对视线路径进行分组，并且可针对具有类似视线路径的每个簇创建观看者简档。在一些实施方案中，观看者简档可包括在内容的后期制作过程期间创建的一个或多个默认观看者简档。例如，内容的制作者可基于他/她认为观看者的注视位置可能所处的位置来手动地输入默认视线路径。在一些实施方案中，在内容被释放之前，一个或多个观看者可在后期制作处理器期间观看内容以生成默认的观看者简档。在一些实施方案中，观看者简档可包括基于跟踪内容中一个或多个对象的移动生成的一个或多个观看者简档。例如，与足球比赛相关联的观看者简档可包括在打比赛期间与足球的移动相关联的视线路径。在另一个实例中，观看者简档可包括跟随帧中移动最快的对象的视线路径。在另一个实例中，观看者简档可包括跟随内容中一个特定行动者或多个行动者的视线路径。在一些实施方案中，可利用对象辨识引擎处理内容以识别内容中的一个或多个对象。然后可使用所识别的对象的位置来生成观看者简档的视线路径。

在一些实施方案中，当将内容初始地示出给观看者时，所述系统可使用默认的观看者简档来预测观看者的未来视线位置，并且当视线跟踪数据变得可用时，可在步骤130中随后调整与观看者相关联的观看者简档。在一些实施方案中，当将内容初始地示出给观看者时，可基于观看者的人口统计信息(诸如年龄、性别、位置等)选择观看者简档。在一些实施方案中，一个或多个默认的观看者简档可在内容的后期制作过程期间生成。

在步骤140中，系统基于在步骤130中选择的观看者简档来预测观看者的未来视线位置。在一些实施方案中，内容帧的预测的未来视线位置可对应于在步骤130中选择的观看者简档中的预期视线路径的视线位置和/或方向。在一些实施方案中，观看者简档中的预期视线路径可包括视线方向信息，并且系统首先识别内容显示区域的对应于预期视线方向的部分以预测视线位置。

在一些实施方案中，系统可使用在步骤140中预测的未来视线位置来影响内容的显示。在一些实施方案中，系统可被配置成基于未来视线位置选择内容的一部分并且在回放设备处缓冲内容的所述部分。在一些实施方案中，在回放设备处缓冲的内容的所述部分可对应于与未来视线位置相关联的聚焦区域。在一些实施方案中，系统可被配置成向回放设备提供内容项的低比特率版本和对应于聚焦区域的内容项的高比特率版本的一部分，如在2016年8月12日提交的、题为“apparatusandmethodforprovidinganddisplayingcontent”的美国临时专利申请号62/374,687中所描述，所述申请的整体公开内容特此全部通过引用的方式整体并入本文。高比特率版本的部分可基于在步骤140中预测的未来视线位置来选择和/或在回放设备处进行缓冲。

在一些实施方案中，内容的所述部分对应于从包括所述内容的多个视频流选择的视频流。在一些实施方案中，所述内容可包括多个单独地编码的视频流，并且所述系统可被配置成选择一个或多个流以提供给回放设备，如在2016年6月30日提交的、题为“apparatusandmethodforcapturinganddisplayingsegmentedcontent”的美国临时专利申请号62/357,259中所描述，所述申请的整体公开内容特此全部通过引用的方式整体并入本文。可基于在步骤140中预测的未来视线位置来选择提供给回放设备的一个或多个视频流。

在一些实施方案中，所述系统进一步可基于未来视线位置确定添加内容的插入位置。在一些实施方案中，所添加的内容可包括警报信息、补充信息、选择菜单和广告内容中的一个或多个。例如，系统可被配置成基于预测的观看者视线位置来将原生广告插入旧版内容中。参考图5和图6描述根据一些实施方案基于预测的未来视线位置显示内容的方法和系统的实例。

在一些实施方案中，在步骤140之后，所述过程可在回放内容期间返回至步骤120。在一些实施方案中，所述系统可在选择观看者简档之后跟踪观看者的后续视线路径，并且基于随后的视线路径选择多个观看者简档中的不同的一个。在一些实施方案中，当观看者观看内容时，在步骤130中被选择用于观看者的观看者简档可改变任意次数。在一些实施方案中，步骤130可周期性地重复(例如，1秒、2秒、240帧等)。在一些实施方案中，当检测到与预期视线路径的实质偏差时，可重复步骤130。

接着参考图2，示出用于视线跟踪的系统，所述系统可用于根据本发明的一些实施方案运行、实现和/或执行本文示出和描述的方法和技术中的任一个。所述系统包括通过数据连接(诸如网络)进行通信的服务器210和回放设备220。

服务器210包括处理器212、存储器213和通信设备214。服务器210通常可包括可通过网络(诸如因特网)由回放设备访问的一个或多个基于处理器的设备。在一些实施方案中，内容服务器可包括基于云的服务器、内容主机、流服务主机、媒介服务器、流视频服务器、广播内容服务器、社交网络服务器等中的一个或多个。处理器212可包括控制电路、中央处理器单元、图形处理器单元(gpu)、微处理器、视频解码器、视频编码器等中的一个或多个。存储器213可包括易失性和/或非易失性计算机可读存储器设备中的一个或多个。在一些实施方案中，存储器213存储致使处理器212向回放设备220提供内容的计算机可执行代码。在一些实施方案中，通信设备214可包括网络适配器、数据端口、路由器、调制解调器等中的一个或多个。通常，通信设备214可被配置成允许处理器212与回放设备220通信。在一些实施方案中，处理器212可被配置成使由回放设备220检测到的用户的视线路径与存储在观看者简档数据库219中的观看者简档匹配。在一些实施方案中，服务器210还可包括被配置成基于所选择的观看者简档向回放设备220提供内容的内容服务器。在一些实施方案中，服务器210可被配置成将由捕获设备记录的内容以基本上实时的方式流式传输给回放设备220。在一些实施方案中，服务器210可被配置成托管多个预先记录的内容项以用于按需流式传输和/或下载至回放设备220。

观看者简档数据库219可包括存储与一个或多个内容项相关联的多个观看者简档的计算机可读存储装置。在一些实施方案中，观看者简档可各自与特定内容项相关联，并且包括与内容相关联的预期视线路径。在一些实施方案中，预期的视线路径可包括在内容的一个或多个帧中的预期注视点和/或观看方向。在一些实施方案中，每个观看者简档可与内容的片段和/或内容的整个持续时间相关联。

在一些实施方案中，在观看者简档数据库219中的观看者简档可包括基于观看内容的多个用户的视线路径生成的一个或多个观看者简档。例如，系统可记录观看相同内容的多个观看者的视线路径。可通过它们彼此的类似性来对视线路径进行分组，并且可针对具有类似视线路径的每个簇创建观看者简档。在一些实施方案中，对于广播的实况流内容(诸如体育赛事)，可基于与广播内容的观看者相比，观看内容的模型观看者在没有或具有更少时间延迟下的视线路径来建立观看者简档。在一些实施方案中，在观看者简档数据库219中的观看者简档可包括在内容的后期制作过程期间创建的一个或多个默认观看者简档。在一些实施方案中，在内容被释放用于广播之前，一个或多个观看者可在后期制作处理器期间观看内容以生成默认的观看者简档。在一些实施方案中，在观看者简档数据库219中的观看者简档可包括基于跟踪内容中一个或多个对象的移动生成的一个或多个观看者简档。例如，与足球比赛相关联的观看者简档可包括在打比赛期间与足球的移动相关联的视线路径。在另一个实例中，在观看者简档数据库219中的观看者简档可包括跟随帧中移动最快的对象的视线路径。在另一个实例中，在观看者简档数据库219中的观看者简档可包括跟随内容中一个特定行动者或多个行动者的视线路径。在一些实施方案中，可利用对象辨识引擎处理内容以识别内容中的一个或多个对象。然后可使用所识别的对象在内容帧中的位置来生成观看者简档的视线路径。在一些实施方案中，在观看者简档数据库219中的一个或多个观看者简档可与观看者人口统计信息(例如，性别、年龄、位置等)相关联。如果跟踪的视线路径不可用，那么可基于观看者人口统计信息来选择观看者简档。

虽然在图2中仅示出一个回放设备220，但是在一些实施方案中，服务器210可被配置成通过通信设备214同时选择观看者简档和/或向多个回放设备220提供内容。在一些实施方案中，服务器210可被配置成促进在捕获设备与回放设备220之间对等传递视频流。在一些实施方案中，服务器210可被配置成基于从多个回放设备220接收的观看者视线路径的记录来添加到和/或修改观看者简档数据库219中的观看者简档。例如，如果一组观看者共享用于未与观看者简档数据库219中的现有观看者简档很好地匹配的内容的一部分的类似视线路径，那么服务器210可基于所述一组类似的视线路径创建新的观看者简档。在一些实施方案中，所述系统可使用观看者的人口统计来更新与一个或多个观看者简档相关联的人口统计。虽然示出一个服务器210，但是在一些实施方案中，可在一个或多个基于处理器的设备上实现服务器210的功能。

回放设备220包括处理器221、存储器223、显示设备225和传感器设备227。在一些实施方案中，回放设备220通常可包括基于处理器的设备，诸如游戏控制台、媒介控制台、机顶盒、个人计算机、平板计算机、电视、头戴式显示器(“hmd”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话等中的一个或多个。处理器221可包括控制电路、中央处理器单元(cpu)、图形处理器单元(gpu)、微处理器、视频解码器等中的一个或多个。存储器223可包括易失性和/或非易失性计算机可读存储器设备中的一个或多个。在一些实施方案中，存储器223存储致使处理器221利用传感器设备227跟踪观看者视线路径的计算机可执行代码。在一些实施方案中，回放设备220可被配置成基于从服务器210检索和/或本地存储的观看者简档来预测进一步的视线位置。在一些实施方案中，回放设备220可被配置成基于观看者的预测的视线位置从服务器210检索内容和/或本地地呈现内容。在一些实施方案中，存储器223可包括用于从服务器210缓冲正在显示设备225上观看的内容的一部分的缓冲器。在一些实施方案中，存储在存储器223中的计算机可执行代码可包括计算机程序、软件程序、回放设备固件、移动应用程序、游戏和/或媒体控制台应用程序等中的一个或多个。

显示设备225可包括用于向观看者显示内容的设备。在一些实施方案中，显示设备225可包括监视器、电视、头戴式显示器(hmd)、虚拟现实显示设备、可穿戴设备、显示屏、移动设备等中的一个或多个。在一些实施方案中，显示设备225可包括具有一个或多个屏幕的立体显示器。

传感器设备227可包括被配置成跟踪显示设备225的观看者的视线的一个或多个传感器。在一些实施方案中，传感器设备227可包括用于检测眼部和/或头部移动的图像传感器、光学反射器传感器、距离传感器、肌电图(emg)传感器和光学流量传感器中的一个或多个。在一些实施方案中，传感器设备227可包括使用加速度计和陀螺仪，有时还有磁力仪的组合来测量并报告身体的特定力、角速率和/或身体周围的磁场的imu。在一些实施方案中，传感器设备227可耦接到允许传感器通过hmd和/或可穿戴设备的运动来检测用户的头部或眼部运动的hmd和/或可穿戴设备。在一些实施方案中，传感器设备227可包括用于检测用户的头部运动和眼部运动中的一者或多者的相机。在一些实施方案中，传感器设备227可耦接到hmd和/或可穿戴设备，或可以是从远处捕获来自观看者的数据的相对静止的设备。

虽然显示设备225被示出为回放设备220的一部分，但是在一些实施方案中，显示设备225可包括具有或不具有单独处理器的单独设备。在一些实施方案中，显示设备225可通过有线或无线通信信道耦接到回放设备220。例如，回放设备220可包括pc或游戏控制台，并且显示设备225可包括被配置成显示来自回放设备220的内容的hmd。在一些实施方案中，传感器设备227可以是回放设备220、显示设备225的一部分，和/或可以是与回放设备220和显示设备225中的一个或多个通信的物理上分离的设备。在一些实施方案中，显示设备225和传感器设备227中的一个或多个可与回放设备220整合成一体。在一些实施方案中，显示设备225还可包括用于至少部分地存储所检索的内容和/或由传感器设备227检测到的观看者的眼部或头部移动的处理器和/或存储器。

在一些实施方案中，回放设备220还可包括用于与服务器210和/或捕获设备通信的通信设备，诸如网络适配器、wi-fi收发器、移动数据网络收发器等。在一些实施方案中，回放设备220还可包括一个或多个用户输入/输出设备，诸如运动跟踪器、按钮、控制器、键盘、显示屏、触摸屏等以供用户控制内容项的选择和回放。在一些实施方案中，输入设备可由观看者进一步使用来在沉浸式现实内容中导航。

接着参考图3，示出了根据本发明的一些实施方案的视线路径的示意图。在图3中，内容区域300表示内容的显示区域，并且视线路径301、303和302表示覆盖相同时间段的内容回放并且与不同观看者简档相关联的视线路径。在图3中，如果观看者的跟踪的视线路径对应于视线路径310，那么系统可使观看者与同视线路径302相关联的观看者简档匹配。然后可基于随时间的推移继续跟随视线路径302来预测观看者的未来视线位置。在一些实施方案中，观看者可与视线路径302相关联，直到检测到与视线路径302的实质偏离。

图3中示出的视线路径仅出于说明被提供并且可能未必表示实际的视线路径。虽然示出了二维视线路径，但是在一些实施方案中，与观看者简档相关联的视线路径可包括三维空间中的视线路径。例如，内容可包括沉浸式内容，在所述沉浸式内容中观看者可导航通过三维空间。在一些实施方案中，包括视线路径的视线位置然后可各自包括来自虚拟空间中的参考点的x、y和z坐标和观看方向。虽然在图3中的视线路径被示出为细线，但是在一些实施方案中，视线路径可包括宽带区域和/或观看方向。

接着参考图4，示出了根据本发明的一些实施方案的过程图。在一些实施方案中，图4中的服务器可包括参考图2描述的服务器210或类似设备。图4中的回放设备可包括参考图2描述的回放设备220或类似设备。在图4中，回放设备的视线跟踪器410首先检测用户的视线位置并且确定视线路径412。然后将视线路径412提供给服务器。在一些实施方案中，每个视线路径数据点可在它们被收集时发送给服务器，并且服务器可聚集数据点以形成视线路径。在步骤416中，服务器通过将视线路径412与多个观看者简档414匹配来选择观看者简档。在步骤420中，服务器基于选择的观看者简档来预测观看者的未来视线位置。在步骤430中，系统基于预测的视线位置来选择内容部分以提供给回放设备。在一些实施方案中，可从内容文件432检索和/或提取内容部分。在一些实施方案中，内容部分可对应于包括内容的一个或多个视频流。在一些实施方案中，内容部分可包括内容的高比特率版本的一部分。在步骤434中，在回放设备处缓冲内容部分。在步骤436中，将包括内容部分的内容显示给用户。

在一些实施方案中，步骤416、420和430中的一个或多个可由回放设备执行。例如，可在回放设备上预加载多个观看者简档。回放设备可被配置成基于检测到的视线路径412和多个本地存储的观看者简档来预测视线位置。在一些实施方案中，回放设备可被配置成基于所预测的视线位置向服务器发送指定内容部分的请求。在一些实施方案中，替代缓冲所检索的内容，回放设备可被配置成使用本地存储和/或流式传输的内容文件基于预测的视线位置开始呈现内容。

接着参考图5，示出用于提供内容的方法。图5中的步骤通常可由基于处理器的设备执行，所述基于处理器的设备诸如头戴式显示器(“hmd”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话、个人计算机、服务器设备、电视、平板计算机、游戏控制台等中的一个或多个。在一些实施方案中，图5中的步骤可由参考图2所描述的服务器210和回放设备220、参考图4描述的服务器和/或其他类似设备中的一个或多个执行。

在步骤510中，系统预测用户观看内容项的观看方向。在一些实施方案中，用户的观看方向可包括头部方向和眼部方向中的一个或多个。在一些实施方案中，观看方向可包括在参考图1描述的方法或类似方法中预测的基于预测方向的未来视线位置。在一些实施方案中，可将包括观看者的观看方向的历史的观看者视线路径与观看者简档中的多个视线路径进行比较。如果观看者的视线路径与观看者简档中的视线路径匹配，那么可基于匹配的视线路径来预测观看者的未来观看方向。

内容项可包括由全景相机系统、环绕视图相机系统、360度相机系统、全方位相机系统等中的一个或多个捕获的多个视频流。在一些实施方案中，内容项可包括与全景视频、沉浸式视频和/或全向视频中的一个或多个对应的片段式内容。在一些实施方案中，多个视频流中的每一个可由相机组件的单独图像传感器捕获。在一些实施方案中，内容项可包括预先记录的或实时的流内容。内容项可包括托管在回放设备可访问的服务器上的多个单个地编码的视频流。

在一些实施方案中，在步骤510之后，系统可确定内容项的一个或多个视频流是否落入观看内容项的用户的预测的观看区域内。在一些实施方案中，用户的预测的观看区域可对应于注视点周围的对应于基于所选择的观看者简档预测的观看方向的区域。在一些实施方案中，观看方向可基于通过一个或多个输入设备的用户输入。例如，用户可使用操纵杆、触控板、鼠标、方向键等来改变观看方向。然后，观看区域可对应于与观看方向相关联的显示区域。在一些实施方案中，如果仅一个视频流落入观看区域内，那么系统可仅检索和/或解码选择的视频流以显示给用户。在一些实施方案中，如果仅两个或更多个视频流落入用户的观看区域内时，系统可执行步骤520-540。

在步骤520中，系统选择内容项的两个或更多个视频流。视频流的选择可基于在步骤510中预测的用户的观看方向和与内容项的多个视频流相关联的方向数据。多个视频流的方向数据可由记录内容项的捕获系统记录并作为内容项文件的一部分被包括。在一些实施方案中，捕获系统可包括用于在记录内容项期间记录捕获系统的取向的一个或多个imu。可将与内容项的当前区段相关联的imu数据与用户的预测的观看方向进行比较，以确定对应于用户的预测观看方向的视频流。

在一些实施方案中，选择两个或更多个视频流包括将所选择的视频流加载到缓冲器或高速缓冲存储器以进行解码。在一些实施方案中，选择两个或更多个视频流包括从托管内容项的服务器检索选择的流。在一些实施方案中，步骤510和520可由内容服务器、回放设备和/或第三设备执行。

在步骤530中，系统解码在步骤520中选择的两个更多个视频流，以形成两个或更多个解码的视频流。在一些实施方案中，解码可由回放设备上的图像或视频解码器硬件和/或软件模块执行。

在步骤540中，系统拼接两个或更多个解码的视频流以形成组合的图像。在一些实施方案中，视频流可根据已知的拼接方法来拼接，所述已知的拼接方法诸如包括视频流的对齐、扭曲和混合中的一种或多种的方法。在一些实施方案中，图像的对齐可通过特征和/或关键点检测在回放设备处执行。

在一些实施方案中，系统可进一步被配置成基于用户的预测的观看区域选择性地拼接视频流的各部分。例如，如果两个视频流的重叠区域的仅一部分落入用户的预测的观看区域内，那么系统可仅混合重叠区域的基于所述预测来估计对用户可见的部分。在一些实施方案中，混合的程度可进一步取决于区域在视场中的位置。例如，如果重叠区域落在用户视场的外围区域中，那么可执行粗略的(例如，在计算上需求更少)混合，并且如果重叠区域落在用户的预期注视点附近，那么可执行更详尽的混合。在一些实施方案中，两个或更多个解码视频流的拼接还包括基于与回放设备相关联的扭曲和失真来组合图像。

在步骤550中，系统致使在步骤540中生成的组合的图像显示给用户。在一些实施方案中，图像可显示在平板显示设备或头戴式显示器上。在一些实施方案中，在步骤550之前，系统进一步基于与显示设备相关联的参数来调整组合的图像。在一些实施方案中，系统可生成立体图像用于3d和/或虚拟现实显示设备。在一些实施方案中，系统可基于显示设备的显示分辨率来调整组合的图像的分辨率。在一些实施方案中，系统可基于与显示设备相关联的扭曲和失真来调整图像。

在一些实施方案中，当用户在观看内容项的同时改变他的/她的观看方向时，可连续地重复步骤510-550。在一些实施方案中，在观看内容项期间，在步骤510中被选择预测用户的观看方向的观看者简档可改变任意次数。在一些实施方案中，取决于在步骤510中预测的观看方向，在步骤520-540中选择、解码和拼接的视频流可随时间的推移改变。

接着参考图6，示出用于提供内容的方法。图6中的步骤可通常由基于处理器的设备执行，所述基于处理器的设备诸如计算机系统、服务器、基于云的服务器、内容主机、流服务主机、媒介服务器等中的一个或多个。在一些实施方案中，图6中的步骤可由参考图2所描述的服务器210和回放设备220、参考图4描述的服务器和/或其他类似设备中的一个或多个执行。

在步骤610中，系统预测内容项的观看者的未来视线位置。在一些实施方案中，用户的视线位置可包括头部方向和眼部方向中的一个或多个。在一些实施方案中，可基于参考图1描述的方法或类似方法来预测未来视线位置。在一些实施方案中，可将包括观看者的视线位置的历史的视线路径与观看者简档中的多个视线路径进行比较。如果观看者的视线路径与观看者简档视线路径匹配，那么可基于匹配的视线路径来预测观看者的未来视线位置。在一些实施方案中，步骤610可由内容服务器、回放设备和/或第三设备执行。

在步骤620中，回放设备检索内容项的低比特率版本。在一些实施方案中，回放设备向托管步骤620中的内容项的服务器发送内容请求以检索所述内容项。内容项的低比特率版本可包括由内容提供商和/或托管服务生成的内容项的减少的比特率版本。在一些实施方案中，步骤620可在步骤610之前发生，并且可在确定或预测观看者的聚焦区域之前开始下载、缓冲和/或查看内容项的低比特率版本。

在步骤630中，回放设备检索内容项的高比特率版本的一部分。在一些实施方案中，回放设备向服务器发送标识在步骤610中预测的观看者的聚焦区域的内容请求以检索内容项的高比特率版本的所述部分。在一些实施方案中，服务器可被配置成预测聚焦区域并且将内容项的高比特率版本的对应部分发送给回放设备。通常，所检索的部分可包括基于观看者的预测的聚焦区域选择的内容的空间部分。在一些实施方案中，所检索的部分可包括内容项的区域的短时间片段(例如，毫秒、秒、帧等)。在一些实施方案中，可在与步骤620中检索的内容项的低比特率版本分开地编码的视频流中检索内容项的高比特率版本的部分。在一些实施方案中，可在检索内容项的高比特率版本之前缓冲内容项的低比特率版本。

在步骤640中，系统组合内容项的高比特率版本的部分与内容项的低比特率版本以生成组合的图像。在一些实施方案中，在步骤640中，系统首先解码在步骤630中检索的内容项的高比特率版本的部分和在步骤620中检索的内容项的低比特率版本。在一些实施方案中，如果内容项的低比特率版本和高比特率版本的分辨率和/或帧速率不同，那么系统可首先调整所述版本中的至少一个的分辨率和/或帧速率，之后组合图像。

在步骤650中，在显示设备上显示组合的图像。在一些实施方案中，显示设备可包括监视器、电视接收机、投影仪、头戴式显示器(hmd)、虚拟现实显示设备、可穿戴设备、显示屏、移动设备等中的一个或多个。在一些实施方案中，在步骤650之前，系统可进一步基于显示设备的规范来调整组合的图像。例如，对于虚拟现实显示设备，系统可针对与设备相关联的扭曲和失真进行调整。

在一些实施方案中，当观看者观看内容项时，可以连续地重复步骤610至650。在一些实施方案中，在观看内容项期间，在步骤610中被选择预测用户的聚焦区域的观看者简档可改变任意次数。在一些实施方案中，基于步骤610中预测的聚焦区域，内容项的高比特率版本的不同部分可在步骤630中被检索并且随时间的推移在步骤640中与低比特率版本组合。在一些实施方案中，步骤620可独立于步骤610和630发生。

在一些实施方案中，系统可进一步被配置为预测观看者的观看区域并且在步骤620中基于观看者的观看区域仅检索低比特率内容的一部分。类似于在步骤610中预测聚焦区域，基于使观看者与观看者简档匹配来预测观看者的观看区域。观看者的观看区域可通常是指对用户可见，但可以或可以不聚焦于观看者视场的内容区域。

在一些实施方案中，上文描述的实施方案、方法、途径和/或技术中的一个或多个可在可由基于处理器的装置或系统执行的一个或多个计算机程序或软件应用程序中实现。例如，这类基于处理器的装置或系统可包括计算机、娱乐系统、游戏控制台、工作站、图形工作站、服务器、客户端、便携式设备、垫状设备等。这类计算机程序可用于执行上文描述的方法和/或技术的各种步骤和/或特征。也就是说，计算机程序可适于致使或配置基于处理器的装置或系统来执行并实现上述功能。例如，这类计算机程序可用于实现上述方法、步骤、技术或特征的任何实施例。作为另一个实例，这类计算机程序可用于实现使用上述实施方案、方法、途径和/或技术中的任一个或多个的任意类型的工具或类似实用程序。在一些实施方案中，在计算机程序内或不在计算机程序内的程序代码宏、模块、环路、子例程、调用等可用于执行上述方法和/或技术的各种步骤和/或特征。在一些实施方案中，计算机程序可存储或体现在计算机可读存储或记录介质或媒介(诸如本文描述的计算机可读存储或记录介质或媒介中的任一个)上。

因此，在一些实施方案中，本发明提供一种计算机程序产品，所述计算机程序产品包括：具体实施用于输入计算机的计算机程序的介质；以及计算机程序，所述计算机程序具体实施在所述介质中，以使所述计算机执行包括本文所述实施方案、方法、方式和/或技术中的任何一个或多个所涉及的步骤中的任何一个或多个的步骤。例如，在一些实施方案中，本发明提供存储一个或多个计算机程序的一个或多个非暂态计算机可读存储介质，所述一个或多个计算机程序适于或被配置成致使基于处理器的装置或系统执行包括如下各项的步骤：通过回放设备向观看者呈现内容；利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；以及基于所述观看者简档预测所述观看者的未来视线位置。

虽然已经借助于特定实施方案和应用描述本文公开的发明，但是在不背离权利要求书中阐明的本发明的范围的情况下，本领域的技术人员可对本发明进行许多修改和变更。