在VR环境中的观众视角的制作方法

文档序号:16365831发布日期:2018-12-22 08:25阅读:345来源:国知局
在VR环境中的观众视角的制作方法

本公开涉及在头戴式显示器(hmd)中呈现的虚拟现实(vr)环境内容,以及用于集成由观看用户对vr环境的访问的方法和系统,以及用于使得用户能够观看由在vr环境中互动的hmd用户导航的动态地变化的环境的方法,还有相关联的设备和方法。

背景技术

视频游戏产业多年以来经历了很多改变。随着计算机能力的不断扩大,视频游戏的开发者同样也制作了充分利用计算能力的这些增强的游戏软件。为此目的,视频游戏开发者一直以来都在编码结合复杂操作和数学运算的游戏以产生非常逼真的游戏体验。

示例游戏平台包括(ps2)、(ps3)和(ps4),每个都以游戏机的形式出售。众所周知,游戏机被设计成连接到显示器(典型地是电视机),并且使得能够利用手持式控制器进行用户互动。游戏机被设计成具有专门处理硬件和其它胶合硬件、固件和软件,所述专门处理硬件包括cpu、用于处理集中图形操作的图形合成器、用于执行几何变换的向量单元。游戏机还被设计成具有用于收纳游戏盘的光盘读取器,以经由游戏机在本地玩游戏。也可以是在线游戏,其中用户可以通过互联网与其他用户以互动方式比赛或一起进行游戏。由于游戏的复杂性不断激起玩家的兴趣,游戏和硬件制造商不断进行创新以启用额外的互动性和计算机程序。

计算机游戏行业的发展趋势是开发提高用户与游戏系统之间的互动性的游戏。实现更丰富的互动体验的一个方法是使用无线游戏控制器,游戏系统对所述控制器的移动进行跟踪以便跟踪玩家的移动并将这些移动用作游戏的输入。一般而言,手势输入表示使用诸如计算系统、视频游戏机、智能家电等电子装置对由玩家做出并被电子装置捕获的一些手势做出反应。

实现更为沉浸的互动式体验的另一种方法是使用头戴式显示器。头戴式显示器由用户穿戴,并且可以被配置来呈现各种图形,诸如虚拟空间的视图。呈现在头戴式显示器上的图形可以覆盖用户的大部分或甚至全部视野。因此,头戴式显示器可以为用户提供沉浸的体验。

本公开的实施方案在该上下文中出现。



技术实现要素:

本公开的实现方式包括用于使得能够观看hmd用户正在遇到、观看和/或介接的虚拟现实环境和内容的方法和系统。在一些实施方案中,描述使得用户能够经由虚拟现实空间中的预创作的位点/位置在vr用户的vr环境中进行观看的方法和系统。在另一个实施方案中,观看模式使得用户能够使用vr用户的注视方向来聚焦或识别vr环境内的特定位置。举例来说,vr用户的注视方向可以标识在vr环境内观众可识别的一些位置。在另一个实施方案中,调整和/或修改音频控件以使得观众能够专注收听在vr用户的vr环境中的特定位置。例如,观看用户可以决定vr环境内的某个位置是感兴趣的,并且然后可以调整传达给观看用户的声音以向观看用户提供将会围绕观看用户的声音,就像观看用户实际上位于识别的vr环境位置那样。

提供一种用于为观众生成虚拟现实环境的视图的方法、系统、计算机可读介质和云系统。一种示例方法包括使得观众能够观看虚拟现实环境,并且控制所述观众希望看到所述环境内的哪些特定内容。通过允许所述观众移动得更靠近或更远离特定内容,所述观众移向或移离将导致由hmd玩家生成的、即与所述观众共享所述内容的所述虚拟现实内容内的内容的自动缩放。其它特征包括允许观众调整所述内容的视角。可以通过允许所述观众进入所述内容或控制内容场景并接着将所述内容定位在对于所述观众的位置来说最舒适的所述视角中来移动所述内容的所述视角。

在另一个实施方案中,提供一种用于处理虚拟现实内容以供观众观看的方法。所述方法包括在服务器处接收与由佩戴头戴式显示器(hmd)玩家进行的互动相关联的虚拟现实流。所述hmd玩家被配置来导航虚拟现实环境,并且对所述虚拟现实环境的所述导航产生具有hmd玩家视图的所述虚拟现实流。所述方法还在所述服务器处接收经由观众的装置对经由所述观众的hmd观看所述虚拟现实流的请求。所述服务器向所述观众的所述装置发送所述虚拟现实流的供稿,并且所述虚拟现实流的所述供稿提供观看所述虚拟现实环境的hmd观众视图,所述hmd观众视图能够是相对于所述hmd玩家视图的相同视图和不同视图。所述方法然后包括由所述服务器接收所述观众的所述hmd的位置信息。所述服务器然后在位置指示所述观众的所述hmd已经移动得更靠近所述虚拟现实环境中的内容时,处理对所述虚拟现实环境的一部分的放大。在所述位置指示所述观众的所述hmd已经移动得更远离所述虚拟现实环境中的内容时,处理对所述虚拟现实环境的所述部分的缩小。

在另一个实施方案中,提供一种用于处理虚拟现实内容以供观众观看的方法。所述方法包括在服务器处接收与由佩戴头戴式显示器(hmd)玩家进行的互动相关联的虚拟现实流。所述hmd玩家被配置来导航虚拟现实环境,并且对所述虚拟现实环境的所述导航产生具有hmd玩家视图的所述虚拟现实流。所述方法包括在所述服务器处接收经由观众的装置对经由所述观众的hmd观看所述虚拟现实流的请求。所述服务器向所述观众的所述装置发送所述虚拟现实流的供稿。所述虚拟现实流的所述供稿提供观看所述虚拟现实环境的hmd观众视图,所述hmd观众视图能够是相对于所述hmd玩家视图的相同视图和不同视图。所述服务器接收来自所述观众的对设定所述虚拟现实环境的自定义观看定向的指令,然后由所述服务器调整所述虚拟现实流的所述供稿,使得将所述虚拟现实环境的所述自定环境观看定向发送到所述观众的所述hmd。

在又一个实施方案中,提供一种用于为观众生成虚拟现实环境的视图的方法。所述方法包括生成要为头戴式显示器(hmd)玩家的hmd呈现的虚拟现实环境。向所述hmd玩家提供hmd视图,所述hmd视图通过所述hmd玩家对所述hmd的移动来控制。接着,提供观看所述虚拟现实环境的观众视图。所述观众视图与指向所述虚拟现实环境的视点相关联。使所述视点与所述hmd视图解耦。在一些实例中,预创作多个视点,并且在hmd玩家在所述虚拟现实环境中到处移动时,向所述观众提供所述视点中的不同视点。在一些实施方案中,所述hmd的移动改变所述hmd视图,并且其中使所述观众视图的所述视点解耦产生所述视点的延迟移动以跟随所述hmd视图。

在一些实施方案中,所述视点的所述延迟移动的功能是以比所述hmd的移动更慢的速率跟随所述hmd视图。

在一些实施方案中,所述视点是与所述虚拟现实环境相关联的多个视点中的一个。

在一些实施方案中,为所述观众视图选择所述视点中的选择的视点。

在一些实施方案中,基于在所述虚拟现实环境中被识别为感兴趣的特定内容而为所述观众选择所述视点中的选择的视点。

在一些实施方案中,所述观众视图是所述hmd视图的部分。

在一些实施方案中,所述观众视图大于所述hmd视图。

在一些实施方案中,使用所述hmd玩家的注视方向来向所述观众标识出所述hmd玩家正在观看的内容。

在一些实施方案中,所述方法还包括接收所述观众对所述虚拟现实环境中的收听区的选择,其中对所述收听区的选择从所述收听区的角度向所述观众提供音频。

在另一个实施方案中,提供一种用于为观众生成虚拟现实环境的视图的由服务器执行的方法。所述方法包括由所述服务器接收为头戴式显示器(hmd)玩家的hmd呈现的虚拟现实环境的供稿。向所述hmd玩家提供hmd视图,所述hmd视图通过所述hmd玩家对所述hmd的移动来控制。所述虚拟现实环境的所述供稿被共享到网站。所述方法还包括由所述服务器从所述观众接收从所述网站访问所述虚拟现实环境的请求然后,由所述服务器将观看所述虚拟现实环境的观众视图发送到所述观众的装置。所述观众视图与指向所述虚拟现实环境的视点相关联,并且将所述视点与所述hmd视图解耦。在所述hmd玩家在所述虚拟现实环境中到处移动时,所述观众视图被更新到指向所述虚拟现实环境的其它视点。

在一些实施方案中,所述视点是预创作视点,所述视点被选择来在所述hmd玩家在所述虚拟现实环境中四处走动时提供观看所述虚拟现实环境的感兴趣的视图。

在一些实施方案中,所述观众从所述预创作的视点中的一个跳到另一个。

在一些实施方案中,所述观众的简档标识对视图或内容的类型的偏好,并且使用所述偏好来选择向所述观众提供所述预创作的视点中的哪个视点。

在一些实施方案中,所述观众的所述装置是以下之一:由所述观众使用的hmd,或由所述观众使用的电视机屏幕,或由所述观众使用的计算机屏幕,或由所述观众使用的手持式装置屏幕。

在一些实施方案中,所述观众是能够观看所述hmd玩家的所述hmd视图的多个观众中的一个。

在一些实施方案中,所述网站提供其它hmd玩家的其它hmd视图的一些选项,使得所述观众可以选择所述hmd视图中的特定的hmd视图并且从一个或多个观众视图查看相应的所述虚拟现实环境。

从下面结合附图进行的、通过举例方式说明本公开的原理的详细描述中,本公开的其它方面和优点将变得明显。

附图说明

参考下面结合附图进行理解的描述可最好地理解本公开,在附图中:

图1示出了根据本公开的实施方案的用于视频游戏的互动式游戏玩法的系统。

图2a示出了根据本公开的实施方案的头戴式显示器(hmd)。

图2b示出了根据一个实施方案的hmd用户与客户端系统介接和客户端系统向第二屏幕显示器(其被称为第二屏幕)提供内容的一个实例。

图3概念性地示出了根据本公开的实施方案的hmd与执行的视频游戏结合的功能。

图4示出了hmd玩家导航虚拟现实环境和一个或多个观众观看虚拟现实内容的实例。

图5示出了hmd玩家导航虚拟现实环境和hmd观众在虚拟现实环境内被提供有不同视点的实例,视点可以基于在虚拟现实场景内的感兴趣的内容而选择或预创作。

图5a至图5c示出了根据一个实施方案的允许观众放大或缩小特定内容的实例,这会缩放虚拟现实内容。

图6a至图6b呈现了根据一个实施方案的允许观众修改由hmd玩家生成的内容的视角以使得观众的视角或观看位置对于观众来说更舒适。

图7示出了根据一个实施方案的观众与响应于由hmd玩家进行的互动过程而生成的虚拟现实环境介接和与用于实现与观众的共享的服务介接的实例。

图8示出了根据本公开的实施方案的头戴式显示器的部件。

图9是根据本公开的各种实施方案的游戏系统1400的框图。

具体实施方式

本公开的以下实现方式提供了用于向观众提供hmd玩家的定制视图以改善观众体验的方法、系统、计算机可读介质和云系统。在一个实施方案中,向观众提供选择特定虚拟现实(vr)环境来观看的能力,例如,诸如特定vr环境响应于hmd玩家而生成。

在一个实施方案中,可以向观众提供以下能力:观看虚拟现实环境,并且通过朝向或远离虚拟现实内容项移动来控制正在观看的内容的自动缩放。在一个实施方案中,观众正在观看的内容的自动缩放将不修改hmd玩家正在观看的内容,而是向观众提供额外的自由度来观看虚拟环境内的特定内容,不束缚于hmd玩家的视图。如本文所使用,束缚于hmd的视图联意味着向观众提供相同视图和观看该视图的相同角度,hmd玩家的运动同样也被强加到观众的视图上。有利地,本文所述的实施方案为观众提供了与hmd玩家的视图解耦的视图,这丰富了观看在虚拟环境内观众可能感兴趣的特定特征的能力,从而提供以不同的速率移动和观察由hmd玩家导航的vr环境中的不同事物的自由度。

如下所述,缩放特征可以提供特定vr内容或观看特定vr内容的不同观察视图,这类似于就像观众是俯视特定内容的巨人一样。例如,如果观众看起来更靠近或将他或她的头部朝向虚拟现实环境中的特定项移动,那么虚拟环境内容将看起来更靠近并且观众将看起来或感觉就像观众是巨人一样。

在另外的实施方案中,提供处理以使得观众能够与虚拟现实环境互动,并且改变虚拟现实环境的视角。该特征允许例如观众进入内容,抓取或抓住内容并将该内容移动到另一个视角。视角可以为观众提供更好的观看位置,这与观众站直或坐直的情况不同。观众对视角的移动和调整不会对与一个或多个观众共享hmd体验的hmd玩家修改内容。以此方式,多个观众可以以对于个体观众来说可能最舒适的不同角度或位置或有利点处拥有或观看内容。

在一个实施方案中,向观众提供观看虚拟现实环境的新视图和角度,其可以是预创作的。虚拟现实环境内的虚拟现实视点的预创作可以促成观众在hmd玩家导航时观看或聚焦于虚拟现实场景内的感兴趣的内容。在一个实施方案中,可以在游戏、内容、多媒体或一般地由hmd玩家导航的内容的区域中的不同位置内预创作多于一个的视点。可以预选择这些视图,并且基于由hmd玩家进行的导航而将其分配给观众。

在一个实施方案中,这些视图可以以平滑呈现的格式提供,其不硬绑定或锁定到hmd玩家的精确观看方向。此外,提供给观众的视图也可以以防止内容快速地移动到观众的方式提供,就像由hmd玩家产生的相同的精确视图将被显示给观众的典型情况那样。因为观众不控制虚拟现实场景中的视图,因此如果观众的视图直接地绑定到hmd玩家,那么呈现给观众的内容将会具有快速移动时段,诸如当hmd玩家向上或向右或向不同的方向移动他或她的头部时。在一种配置中,观众视图可以跟随hmd玩家的移动,但是具有更平滑的延迟,以便防止观众迷失方向。在其它实施方案中,观众视图可以固定到虚拟现实环境内的不同位置。这些固定位置可以是由内容开发者选择的预定义位点,因为观众可能会感兴趣。在替代实施方案中,位点可以移动,例如,跟随hmd玩家。

在一些实施方案中,可以基于观众偏好而为特定观众选择预定义位点。如果观众喜欢观看某些类型的内容,那么可以为该观众选择虚拟现实内容中的某些位点。因此,不同的观众可以具有从由hmd玩家导航的观看虚拟现实场景的不同的位点和视点中选择的不同的内容。此外,因为多个观众可以例如经由提供twitch式共享的网站来观看hmd玩家内容,所以不同的观众可以在虚拟现实内容内具有不同的视点。在替代实施方案中,所有观众可以从相同的视点观看相同的内容。

此外,如果观众使用提供twitch式共享的网站,那么可以提供许多hmd玩家内容供稿并且这些内容供稿可由各种观众进行选择。可以从hmd玩家的计算机到网站经由互联网共享供稿,然后,网站可以发布内容和/或使其可供观众选择观看。举例来说,如果hmd玩家决定共享hmd体验,那么观众可以选择该体验。然后,可以向观众提供用于选择视图类型的功能,或者向观众提供用于观看通过hmd玩家的导航生成的虚拟现实内容的特定预创作的位点。在一个实施方案中,向观众提供观看虚拟现实内容的解耦视点就避免了必须提供典型地从实际hmd玩家的角度提供的硬固定视图。

在一些实施方案中,提供给观众的视图也可以是从实际hmd玩家的角度,但是可以被提供被称为橡皮筋式链接或耦合的略微地解耦的连接。橡皮筋式链接提供与定位在hmd玩家的头部上方的虚拟相机类似的视点。提供该视图的虚拟相机可以移动并跟随hmd玩家的视图,在hmd玩家的移动后略有延迟。举例来说,如果hmd玩家快速地向左看,那么虚拟相机可以跟随hmd玩家观看方向缓慢地向左移动。如果hmd玩家快速地上下移动头部,那么虚拟相机的延迟可以避免任何向上或向下移动,因为hmd玩家的方向返回到面向前方。

在又一些实施方案中,可以向观众提供观看虚拟现实环境的不同的视点,这还可以包括观看hmd玩家或由hmd玩家控制的角色。在一个实施方案中,该配置可以限定在hmd玩家的角色在虚拟环境内四处走动时观看该角色的自动摄影师角度类型。因此,提供给观众的角度更有趣,并且随着hmd玩家在环境、游戏、内容或场景内四处走动到不同的位置,可以在不同的视点之间位移或弹出。

在一个实施方案中,方法、系统、图像采撷对象、传感器和相关联的接口对象(例如,手套、控制器、手等)被配置来处理被配置来在显示屏幕上实时地呈现的数据。显示器可以是头戴式显示器(hmd)的显示器、第二屏幕的显示器、便携装置的显示器、计算机显示器、显示面板、一个或多个远程地连接的用户(例如,可能正在观看内容或在互动式体验中进行共享的人)的显示器等。

然而,本领域的技术人员将清楚,本发明可以在没有这些特定细节中的一些或全部的情况下实践。在其它情况下,没有详细地描述所熟知的过程操作,以便避免不必要地使本公开模糊。

图1示出了根据本公开的实施方案的用于视频游戏的互动式游戏玩法的系统。示出了佩戴头戴式显示器(hmd)102的用户100。hmd102以与眼镜、护目镜或头盔类似的方式佩戴,并且被配置来向用户100显示视频游戏或其它内容。hmd102凭借靠近用户眼睛提供显示机构来向用户提供沉浸的体验。因此,hmd102可以向用户的每一只眼睛提供显示区域,所述显示区域占据用户的大部分或甚至全部视野。

在一个实施方案中,hmd102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是本领域已知的任何通用或专用计算机,包括但不限于游戏机、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板电脑、瘦客户端、机顶盒、媒体流式传输装置等。在一个实施方案中,计算机106可以被配置来执行视频游戏,并且从视频游戏输出视频和音频以供hmd102呈现。

用户100可以操作手套接口对象104a以为视频游戏提供输入。另外,相机108可以被配置来捕获用户100所在的互动式环境的图像。可以分析这些捕获的图像以确定用户100、hmd102和手套接口对象104a的位置和移动。在一个实施方案中,手套接口对象104a包括可以被跟踪以确定其位置和定向的灯。

如下所述,用户与hmd102中显示的虚拟现实场景介接的方式可以变化,并且除了手套接口对象104a之外,还可以使用其它接口装置。例如,也可以使用单手控制器,以及双手控制器。在一些实施方案中,可以通过跟踪与控制器相关联的灯,或跟踪与控制器相关联的形状、传感器和惯性数据来跟踪控制器。使用这些各种类型的控制器,或甚至简单地由一个或多个相机制作和捕获的手势,可以与hmd102上呈现的虚拟现实环境介接、控制、操纵、互动和参与。

另外,hmd102可以包括一个或多个灯,一个或多个灯可以被跟踪以确定hmd102的定位和定向。相机108可以包括一个或多个麦克风,以从互动性环境中捕获声音。可以处理由麦克风阵列捕获的声音,以识别声音源的位置。可以选择性地利用或处理来自识别的位置的声音,以排除并非来自所述识别的位置的其它声音。另外,相机108可以被限定成包括多个图像捕获装置(例如,一对立体相机)、ir相机、深度相机和其组合。

在另一个实施方案中,计算机106用作通过网络与云游戏提供商112通信的瘦客户端。云游戏提供商112维护并执行用户102正在玩的视频游戏。计算机106将来自hmd102、手套接口对象104a和相机108的输入传输到云游戏提供商,云游戏提供商处理输入以影响正在执行的视频游戏的游戏状态。将来自正在执行的视频游戏的输出(诸如视频数据、音频数据和触觉反馈数据)传输到计算机106。计算机106还可在传输之前处理数据,或可将数据直接传输到相关装置。例如,视频流和音频流被提供到hmd102,而振动反馈命令被提供到手套接口对象104a。

在一个实施方案中,hmd102、手套接口对象104a和相机108本身可以是连接到网络110以与云游戏提供商112通信的联网装置。例如,计算机106可以是本地网络装置,诸如路由器,其不执行视频游戏处理,但是促成网络流量的通过。hmd102、手套接口对象104a和相机108到网络的连接可以是有线的或无线的。

另外,虽然可以参考头戴式显示器来描述本公开的实施方案,但是将了解,在其它实施方案中,非头戴式显示器可以替代,包括但不限于电视机、投影仪、lcd显示屏幕、便携装置屏幕(例如,平板电脑、智能电话、膝上型计算机等)或根据本实施方案的可以被配置来呈现视频和/或提供互动式场景或虚拟环境的显示的任何其它类型的显示器。

图2a示出了根据本公开的实施方案的头戴式显示器(hmd)。如图所示,hmd102包括多个灯200a-h。这些灯中的每一个可以被配置为具有特定形状,并且可以被配置为具有相同或不同的颜色。灯200a、200b、200c和200d布置在hmd102的前表面上。灯200e和200f布置在hmd102的侧表面上。并且,灯200g和200h布置在hmd102的转角处,以便跨越hmd102的前表面和侧表面。将了解,可以在用户使用hmd102的互动环境的捕获的图像中识别所述灯。基于对灯的识别和跟踪,可以确定hmd102在互动环境中的定位和定向。还将了解,根据hmd102相对于图像捕获装置的特定定向,灯中的一些可以是可见的或不可见的。而且,根据hmd102相对于图像捕获装置的定向,灯(例如,灯200g和200h)的不同部分可被暴露用于图像捕获。

在一些实施方案中,可以使用设置在hmd的一个或多个表面上的光电传感器(例如,光敏装置(psd))并捕获由使用hmd的附近的一个或多个基站发射的光来跟踪hmd。在一些实施方案中,可以使用磁传感器跟踪hmd,磁传感器捕获由hmd的结构发射的磁能。在一些实施方案中,可以使用磁跟踪来跟踪在佩戴hmd时用于介接的外围装置。

在一个实施方案中,灯可以被配置来将hmd的当前状态指示给附近的其它人。例如,一些或所有的灯可以被配置为具有特定颜色布置、强度布置、被配置来闪烁、具有特定开/关配置,或指示hmd102的当前状态的其它布置。举例来说,灯可以被配置来在相对于视频游戏的其它非活跃游戏过程方面的视频游戏的活跃游戏过程期间(大体上是在游戏的活跃时间线期间或场景内发生的游戏过程)显示不同的配置,诸如导航菜单界面或配置游戏设定(在此期间游戏时间线或场景可能不活跃或暂停)。灯还可以被配置来指示游戏过程的相对强度等级。例如,当游戏过程的强度提高时,灯的强度或闪烁速率也会提高。以此方式,用户之外的人可以看到在hmd102上的灯并且理解用户活跃地参与激烈的游戏过程,并且可能不希望在那时刻被打扰。

hmd102可以另外包括一个或多个麦克风。在说明的实施方案中,hmd102包括限定在hmd102的前表面上的麦克风204a和204b,以及限定在hmd102的侧表面上的麦克风204c。通过利用麦克风阵列,可以处理来自麦克风中的每一个的声音,以确定声音的来源的位置。可以以各种方式来利用该信息,包括排除不需要的声音源、将声音源与视觉识别相关联等。

hmd102还可以包括一个或多个图像捕获装置。在所示的实施方案中,hmd102被示出为包括图像捕获装置202a和202b通过利用一对立体图像捕获装置,可以从hmd102的角度捕获环境的三维(3d)图像和视频。可以在佩戴hmd102时向用户呈现这个视频以向用户提供“视频透视”能力。也就是说,虽然在严格意义上,用户不能透视hmd102,然而由图像捕获装置202a和202b(例如,或者设置在hmd102的外部主体上的一个或多个前置的相机108',如下面在图3中所示)捕获的视频可以提供就像透过hmd102看到那样能够看到hmd102外部的环境的功能等同物。此类视频可以利用虚拟元素来增强,以提供增强的现实体验,或者可以与虚拟元素以其它方式组合或共混。虽然在所示的实施方案中,在hmd102的前表面上示出两个相机,但是将了解,可以在hmd102上安装定向在任何方向上的任何数目的相机。例如,在另一个实施方案中,可以有相机安装在hmd102的侧面上,以提供对环境的额外全景图像捕获。

图2b示出了hmd102用户与客户端系统106介接和向第二屏幕显示器(其被称为第二屏幕107)提供内容的客户端系统106的一个实例。如下所述,客户端系统106可以包括用于处理将内容从hmd102共享到第二屏幕107的集成电子装置。其它实施方案可以包括单独装置、模块、连接器,其将在客户端系统与hmd102和第二屏幕107中的每一个之间进行介接。在此一般实例中,用户100佩戴hmd102并且使用控制器104来玩视频游戏。用户100的互动过程将产生视频游戏内容(vgc),vgc以互动方式显示给hmd102。

在一个实施方案中,在hmd102中显示的内容被共享到第二屏幕107。在一个示例中,观看第二屏幕107的人可以由用户100在hmd102中以互动方式观看正在播放的内容。在另一个实施方案中,另一个用户(例如,玩家2)可以与客户端系统106互动以产生第二屏幕内容(ssc)。通过玩家也与控制器104(或任何类型的用户接口、手势、语音或输入)互动产生的第二屏幕内容可以作为ssc产生到客户端系统106,其可以连同从hmd102接收的vgc一起显示在第二屏幕107上。

因此,可与hmd用户同位或远离hmd用户的其它用户所进行的互动可以是社交的、互动的,并且对于hmd用户和可能正在观看hmd用户在第二屏幕107上播放的内容的用户两者来说是更沉浸的。如图所示,客户端系统106可以连接到互联网110。互联网还可以向客户端系统106提供对来自各种内容源120的内容的访问。内容源120可以包括可通过互联网访问的任何类型的内容。

此类内容(但不限于)可以包括视频内容、电影内容、流式内容、社交媒体内容、新闻内容、朋友内容、广告内容等。在一个实施方案中,客户端系统106可以用于同时处理hmd用户的内容,使得在游戏过程期间向hmd提供与互动性相关联的hmd。然后,客户端系统106还可以向第二屏幕提供可能与视频游戏内容无关的其它内容。在一个实施方案中,客户端系统106可以从内容源120中的一个或从本地用户或远程用户接收第二屏幕内容。

图3概念性地示出了根据本公开的实施方案的hmd102与执行的视频游戏结合的功能。执行的视频游戏由游戏引擎320限定,游戏引擎320接收输入以更新视频游戏的游戏状态。视频游戏的游戏状态可以至少部分地由限定当前游戏玩法的各个方面的视频游戏的各种参数的值来限定,诸如对象的存在和位置、虚拟环境的状况、触发事件、用户简档、观看角度等。

在所示的实施方案中,举例来说,游戏引擎接收控制器输入314、音频输入316和动作输入318。控制器输入314可以根据与hmd102分开的游戏控制器的操作来限定,游戏控制器诸如手持式游戏控制器(例如,索尼4无线控制器、索尼move运动控制器)或手套接口对象104a。作为实例,控制器输入314可以包括方向输入、按钮按压、触发激活、移动、手势或从游戏控制器的操作处理的其它种类的输入。音频输入316可以从hmd102的麦克风302处理,或从包括在图像捕获装置108中或本地环境中的其它地方的麦克风处理。运动输入318可以从包括在hmd102中的运动传感器300处理,或从图像捕获装置108在其捕获hmd102的图像时进行处理。游戏引擎320接收根据游戏引擎的配置处理的输入以更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出到各种呈现模块,呈现模块处理游戏状态数据以限定将呈现给用户的内容。

在所示的实施方案中,视频呈现模块322被限定为呈现要在hmd102上呈现的视频流。视频流可以由显示器/投影仪机构310呈现,并且由用户的眼睛306通过光学器件308观看。音频呈现模块304被配置来呈现要由用户收听的音频流。在一个实施方案中,经由与hmd102相关联的扬声器304输出音频流。应了解,扬声器304可以采用露天扬声器、耳机或能够呈现音频的任何其它种类的扬声器的形式。

在一个实施方案中,在hmd102中包括注视跟踪相机312以使得能够跟踪该用户的注视。注视跟踪相机捕获用户的眼睛的图像,这些图像被分析来确定用户的注视方向。在一个实施方案中,可以利用关于用户的注视方向的信息来影响视频呈现。例如,如果确定用户的眼睛正在看向特定方向,那么可以优先化或强调该方向的视频呈现,诸如通过在用户正在看的区域中提供更多的细节或更快的更新。应了解,相对于用户所处的真实环境和/或相对于在头戴式显示器上呈现的虚拟环境,可以相对于头戴式显示器来限定用户的注视方向。

广泛地讲,当单独地考虑时,对由注视跟踪相机312捕获的图像的分析提供用户相对于hmd102的注视方向。然而,当结合hmd102的跟踪的位置和定向进行考虑时,可以确定用户的真实世界注视方向,因为hmd102的位置和定向与用户的头部的位置和定向是同义的。也就是说,可以通过跟踪用户的眼睛的位置移动并跟踪hmd102的位置和定向来确定用户的真实世界注视方向。当在hmd102上呈现虚拟环境的视图时,可以应用用户的真实世界注视方向以确定用户在虚拟环境中的虚拟世界注视方向。

另外,触觉反馈模块326被配置来向包括在hmd102或由用户操作的另一个装置(诸如控制器104)中的触觉反馈硬件提供信号。触觉反馈可以采取各种触觉形式,诸如振动反馈、温度反馈、压力反馈等。

目前,用于共享游戏回放的流式服务非常普遍。4无线控制器直接地在控制器上包括一个“共享按钮”,以实现这种共享。本公开的实现方式为希望使用hmd/vr头戴式耳机阅览回放的人改善共享回放。本公开的实现方式提供用于呈现具有非常宽的视野的游戏回放,以允许观众使用hmd自由地移动他的头部并且从新有利点观看回放。传统的流式方法将会将回放仅限于原始玩家观看的内容,因此观看方向将独立于观众的头部定位和定向,并且如果使用hmd的观众移动他的头部,那么将不会有任何改变。

本公开的实现方式提供用于在足够宽的视野中呈现视频以支持hmd中的新颖视点。在云服务器上运行的游戏引擎的自定义构建(例如,在控制台游戏硬件例如4硬件上,在云中)接受从原始玩家的游戏引擎流式传输的游戏状态作为输入并使用其呈现游戏的极宽视野(例如,150度以上)视图,然后可以将其用于该游戏会话的实时流式传输和/或预录制的回放。将了解,极宽视野超过hmd的视野,以允许佩戴hmd的观众在回放中四处看看。实际游戏被配置来将其状态流式传输到引擎的联网版本。

如上所述,需要为用户提供观看、例如看佩戴hmd102的用户正在体验的互动活动的能力。例如,一个hmd虚拟现实玩家可以沉浸在hmd中呈现的活动中,而其他人可以是与玩家同位。这些其他同位玩家可以在看hmd玩家正在体验的互动或正在观看的虚拟现实场景中找到乐趣。如本文所使用的,hmd玩家是正在观看在hmd上呈现的内容的玩家,或者可以是与在hmd上呈现的一些内容互动的玩家,或者可能正在玩在hmd上呈现的游戏。因此,仅参考佩戴hmd的用户来提到玩家,不管在hmd上呈现的内容的类型如何。

在其它实施方案中,不与hmd玩家同位的其他人可能希望观看在hmd玩家的hmd中呈现的内容、互动或媒体。例如,可以提供网站以向用户呈现从不同的hmd玩家中进行选择的能力,以便在hmd玩家执行他或她的活动时看和观看。该实例类似于标准twitch式体验,其允许连接到互联网的用户访问网站并搜索远程玩家正在播放的不同类型的内容或媒体。在一些实施方案中,远程玩家可以使用hmd102来玩游戏。

在其它实施方案中,远程玩家可以使用装置的显示屏幕或电视机显示屏幕来玩游戏或看内容。广泛地讲,希望看在远程的另一个玩家的活动(例如,通过网站)的用户然后可以选择特定玩家或游戏类型、或游戏的缩略图、或内容的缩略图,以观看由hmd玩家指引的活动。因此,可以提供网站,其使得用户能够观看和选择可由远程hmd玩家主动地播放的特定互动内容。希望观看由hmd玩家进行的活动的远程观看者可以仅点击该内容就开始看。

看到和观看hmd玩家的动作的人一般被称为观众。观众是能够进行访问以观看活动、互动、动作、移动等但不一定控制游戏动作的那些人。出于这个原因,这些观看者被称为观众。在hmd玩家的上下文中,在hmd显示器中呈现的内容是动态的并且通过hmd玩家的移动控制。例如,当hmd玩家移动他或她的头部时,向该玩家呈现可观看的不同内容,其类似于可发生真实世界观看人的周围环境的方式。

虽然hmd玩家的头部移动对于hmd玩家来说是自然的,但是在观看内容时被提供与hmd玩家相同的视图的观众可能因快速移动而变得恶心或头晕。这一情况的原因是观众不是他或她自己以与hmd玩家类似的方式移动他们头部,这导致了内容基于hmd玩家的观看方向而变化。在本文所述的各种实施方案中,提供使得观众能够以既不分散观众的注意力也不具有导致观众头晕或恶心的趋势的方式观看hmd玩家正在观看的内容的方法、系统、计算机可读介质和云配置。

举例来说,本文所述的一些实施方案教导的是在hmd玩家正在观看的虚拟现实环境内提供不同视点的方式。在一些实施方案中,视点就观众可观看的角度、方向和内容方面是固定的。因此,即使hmd玩家以这样或那样的方式移动他或她的头部,观众对虚拟现实环境的观看也会保持稳定。在一些实施方案中,在hmd玩家移动并通过不同虚拟现实环境场景、位置、区域、级别、章节等时,可以向观看用户提供不同视点,这些视点是针对观看观众定制的。例如,可以针对不同类型的内容预创作各种视点。

如果内容是视频游戏,那么可以将沿着可在视频游戏中拍摄的不同路径的视点预限定为预创作的位点以供观众观看。因此,当hmd玩家沿着特定路径移动时,可以向观众提供沿着该路径的视点,视点可以由游戏开发者、早期观众或hmd玩家预选择或预创作。以此方式,在hmd玩家在hmdvr环境内到处移动时,观众可以基于确定那些视点是优异的或更好的或提供更感兴趣的视图而从一个视点弹到下一个视点。在另外实施方案中,可以向观众提供hmd玩家正在观看的可观看的内容的子部分。在其它实施方案中,可以向观众提供hmd玩家尚不可观看的额外内容。

根据游戏、环境、内容类型、多媒体类型、或通过限定的规则或约束,可以向观众提供hmd玩家正在观看的更少或更多的可观看的内容。如上所述,观众可观看的内容可以是hmd玩家正在观看的相同内容,但是从参考视点来看,与hmd玩家是不同的。然而,在一些实施方案中,提供给观众的视图可以类似于hmd玩家的视图,但是角度或视角略微不同。此外,从虚拟相机在hmd虚拟玩家的头部上方进行写入的上下文中,可以向观众提供与提供给hmd玩家的那些类似的视图。在一个实施方案中,代替移动为hmd玩家正在观看的内容的观众提供的虚拟相机视图,在hmd玩家进行头部移动时,观众视图不会以与hmd玩家移动视图时相同的速率或速度移动。

在该实施方案中,提供给观众的虚拟相机视图可以以比hmd玩家的视图更慢的速率移动,该速率是基于用户的头部移动的实际速度而变化。此外,可以将虚拟相机视图的移动设定为跟随hmd玩家的头部的移动,具有一定延迟。延迟可以概念上类似于将虚拟相机视图链接到hmd的移动的橡皮筋。也就是说,如果用户的头部快速地向左移动,那么观众的虚拟相机视图将较慢地向左移动,其中延迟类似于在通过橡皮筋连接到对象前面的移动对象时该对象将会尾随的方式。在一些配置中,传动比将会应用于虚拟相机视图的移动,使得虚拟相机以尾随hmd玩家的实际视图的移动的速率移动。可以通过计算机、游戏和/或为观众执行观看虚拟现实场景的程序动态地修改传动比。例如,可以针对某些游戏、某些场景、某些情况、某些级别、某些用户等在一些情况下更快地或在其它情况下更慢地修改齿轮传动。通过使用动态齿轮传动,可以平滑虚拟相机视图的移动,以便即使在hmd快速或不稳地移动时也会针对观众视图提供更愉悦的观看体验。

在以下所述的另外实施方案中,可以向观众提供视觉提示以使得观众能够识别hmd玩家在虚拟现实环境内的位置。一种配置可以允许跟踪hmd玩家的注视,以确定hmd玩家在vr场景中正在看的精确内容。对于可能正在从虚拟相机视图的角度观看vr场景的观众(例如,浮动在hmd玩家的头部后方的虚拟相机),确定哪一个是特定场景中的焦点将会是有用的。以此方式,观众还可以专注于虚拟现实玩家觉得在场景中重要的内容。

在一些实例中,并且在第一人称射击游戏中,观众可能想要知道hmd玩家正在看的位置,诸如标识敌人或障碍物。在一个实施方案中,通过跟踪hmd玩家的注视,就有可能通过突出显示内容、改变某些对象或位置的对比度、围绕内容、添加标记、在区域中变灰、添加闪烁信标、添加文本、添加浮动对象等来标识hmd玩家正在看的内容。以此方式,观众可以确定hmd玩家正在看的位置,因此观众自己也可以观看相同的区域并体验到具有更多乐趣的内容。

例如,hmd玩家可以在特定游戏中更有经验,或已经看了特定类型的内容,并且提供hmd玩家在虚拟现实场景中看的位置的该将提供引导、视觉线索指示器,并且帮助观众。在一些实施方案中,可以打开和关闭这些标识特征,以便免于注意力分散。标识符可以由hmd玩家激活,或者可以由观众激活。在一些实施方案中,在多个观众正在观看由hmd玩家提供的相同内容(例如,在twitch呈现内容中)时,可以向每个观众提供不同控件,其向他们提供是否提供视觉指示器的能力。从hmd玩家的角度,hmd玩家的hmd中可能根本不显示指示器。然而,这些指示器对于可能正在观看hmd玩家正在与之互动的内容的一个观众或多个观众是有用的。

在一些实施方案中,可以向观众提供控件,其允许观众标识虚拟现实环境内的特定收听区。收听区允许观众选择他们希望从虚拟现实环境中的哪个位置收听。这意味着,观众基本上被提供从该特定位置收听模仿观众将会实际上存在于场景中的情况的音频和声。举例来说,如果观众正在观看包括街对面的建筑物的hmd内容,那么相对于观看位置,观众可以识别建筑物中的某个位置,例如,人站立的二层,并且选择在该位置收听。

该功能为观众提供收听远距传动,这允许观众收听音频内容和声,就像观众坐在或站在建筑物的二层中那样。在一个实例中,音频和声将基本上放大将会在建筑物的二层位置处出现的音频声音,并且降低远离该虚拟位置的声音。在一些实施方案中,观众可以不时地选择环境内的不同位置作为主要收听区。在其它实施方案中,还可以将收听区调整为hmd玩家的相同的收听区。可以为观众提供可切换的选择能力,以便标识观众希望收听虚拟环境中的哪个位置。

再次,注意的是,观众可以是hmd玩家本地的,并且可以在第二屏幕上观看hmd内容,如参考图2b所述的。或者,作为观众的本地观看者也可以佩戴hmd,其使观众观看hmd玩家内容。在又一个实施方案中,观众可以是远程的,并且如果正在将hmd玩家内容发布到允许观看的网站,那么可以从该网站进行观看。在一些实施方案中,充当观众的远程观众可以看hmd玩家直播或基本上直播的内容。在其它实施方案中,充当观众的远程观众可以看hmd玩家观看的内容的录制版本。再者,可以提供网站,网站允许多个或甚至更多观众看hmd玩家的相同内容(无论直播还是录制)。

图4示出了根据一个实施方案的hmdvr玩家100的实例,hmdvr玩家100可以经由计算装置106与虚拟环境450互动。因此,hmdvr玩家100驱使vr环境450内的互动性,这将移动hmd102中呈现的场景,以及显示器107中示出的复制视图。因此,观众可以是正在观看显示器107的观众,诸如观众140。如上所述,观众140是社交屏幕观众,因为该观众能够在同位的空间中与hmd玩家100互动。在其它实施方案中,或除了同位的观众140之外,还可以提供hmd观众150对由hmd玩家100导航的内容的访问。hmd观众150可以是与hmd玩家100同位。在其它实施方案中,hmd观众150可以远离hmd玩家定位,并且可以从网站(诸如twitch式观看网站)观看内容。因此,图4中所示的实例仅是一个实例,并且有可能会使多个观众或甚至数千个观众从远程位置观看hmd玩家的内容。观众无论是观看显示器107还是经由hmd观看内容,都将被提供用于改善观看体验的功能。

图5示出了在虚拟现实环境450中到处移动并且在他在场景中四处移动时观看不同内容的hmd玩家100的实例。如图所示,hmd玩家100已经在场景中向前移动,这暴露了新的内容,诸如道路延伸、建筑物502、高尔夫球手504、湖泊506、狗508和其它多媒体内容。在vr环境450中呈现的这些类型的多媒体内容仅是实例,并且内容类型将根据正在观看、与之互动或进行显示的内容类型而变化。在一个实例中,vr环境450可以与预创作视点相关联,诸如位点1、位点2、位点3和位点4。这些位点中的每一个具有观看vr环境450的特定观看方向和视角。

位点1被提供有虚拟相机视图,虚拟相机视图可以浮动在hmd玩家100的头部后方,其提供了通过hmd玩家100的hmd102的移动而产生的视图的近似的复制品。其它位点可以与hmd玩家100的视角解耦,并且可以基于内容创建者或可能知道感兴趣的内容可驻留在虚拟环境内的位置的其他用户的预创作而放置在vr环境450的各处。例如,如果内容创建者是游戏开发者,那么游戏开发者将知道感兴趣的位点在不同vr环境位置内的位置,使得在hmd玩家在一个或多个游戏会话或观看会话期间在虚拟现实环境450中四处走动时,可以向观众提供对动作、事物、移动、互动或场景的更好的观看。

在该特定实例中,观众是hmd观众150。可以在虚拟现实环境450的所示活动内的不同时间上向hmd观众150提供特定视点。例如,当hmd玩家100在虚拟现实环境450中四处走动或到处移动时,示出不同内容,并且基于正在显示的内容,选择不同位点供一个观众或多个观众进行观看。举例来说,hmd观众150被提供有一系列的位点,诸如在时间t=0上的位点1,在时间t=1上的位点3,在时间t=2上的位点2,以此类推。

因此,根据hmd玩家100所走过的位置,可以为观众动态地选择不同位点,以便提供最感兴趣的内容视图。举例来说,如果hmd玩家已到达高尔夫球场的位置,那么高尔夫球手504将成为视点4的焦点。如果hmd玩家已经到达建筑物502的位置,那么视点2将提供给观众以允许观看建筑物502和狗508,其可以被预定为虚拟现实环境450内的感兴趣的位置或有利点或视点。

图5a示出了hmd玩家100正在与虚拟现实环境450介接和观众150正在观看虚拟现实环境450的内容的实施方案。该图示出当使用hmd102时,可以向观众150提供移动得更靠近或更远离从观看角度观看的某些内容的能力。在一些实施方案中,观看角度可以与预定义观看点相关联,预定义观看点提供观看虚拟现实环境450的特定的有利点。在其它实施方案中,可以向观众150提供自由地在虚拟现实环境内到处移动的能力,其类似于可允许观众以任何角度看到任何区域的自由形式相机,与为hmd玩家100生成的虚拟现实环境450相关联。

举例来说,观众150被示出正在观看虚拟现实环境450,并专注于角色506。角色506可以与虚拟现实游戏相关联,并且被示出为站在桌子502上。桌子502还可以包括其它对象,诸如罐子504。当然,内容的类型和内容的量(包括内容的丰富度)将根据特定游戏、或经由hmd102正在观看的多媒体环境。

在该实例中,示出观众150正在从虚拟距离d1处观看角色506。虚拟距离d1是在观众头部152定位在特定位置时由观众150感知的距离。如上所述,也可以在观众150的本地位置跟踪观众150的头部152位置。在一个实施方案中,观众150可以位于远程位置,并且可以通过网站观看虚拟现实内容,网站提供由hmd玩家100播放的虚拟现实内容的供稿。如前所述,在一些实施方案中,观众150可以通过选择实况供稿或录制供稿来观看其它hmd玩家内容。因此,由hmd玩家100导航的虚拟现实环境与网站进行共享,以便使得一个或多个观众能够在hmd玩家100播放或导航内容时观看虚拟现实内容。

因此,可以确定或校准相对于正在观看的某些虚拟内容的与观众150的头部152的位置相关联的特定距离d1。相对距离d1可以被确定为起始距离,诸如当观众开始观看虚拟现实内容450时。例如,在观众150开始观看会话时,可以确立距虚拟现实内容中的对象的距离。该距离可以是预定义的,并且是基于到由hmd玩家100产生的虚拟现实内容中的舒适的观看距离。一旦开始观看,观众150就可以移动得更靠近或更远离在虚拟现实内容中的不同对象。

在一个实施方案中,移动得更靠近在虚拟现实环境450中的某些特定内容可以导致正在查看的内容的自动放大。如图5b所示,观众150的头部152更接近角色506,这致使系统放大虚拟现实环境450内的内容,该内容是观众150的焦点。在一些实施方案中,由于观众150正在移动得更靠近一个特定对象或多个特定对象,观众150聚焦于的那些对象将按比例放大,或按某个放大类型放大。由于远离观众150正在观看的区域的内容可能在视点外,因此该内容可能无法被呈现给观众150。

就此而言,距离d1变为d2,其中距离d2小于d1,这导致vr内容的放大。另外,与完全的俯视视点相反,观众150也可以悬在正在观看的内容上方以实现不同视角。例如,视图的比例类似于现实生活情况,其中用户将他的头部放置得更靠近对象以实现精细细节的更聚焦的视图。因此,通过正在观看的呈现内容执行的处理提供对观众的视点的自然调整,其类似于观众正在更靠近的距离或更远处观看现实世界对象。在一个实施方案中,当hmd102的位置指示观众已经移动得更靠近虚拟现实环境中的内容时,处理虚拟现实环境的一部分的放大。同样地,对于相同内容或不同内容,当hmd的位置指示观众已经移动得更远离虚拟现实环境中的内容时,处理虚拟现实环境的一部分的缩小。

图5c示出了观众150将他的头部152移动得更靠近角色506的实例。这导致对虚拟现实内容中的角色506的附加缩放。在一个实施方案中,相较虚拟现实环境450中的内容来说,观众的观看虚拟现实内容的视图向观众150提供了观众150是巨人的印象。如图5c所示,观众150被示出为基本上大于角色506,但是该角色506也已经按比例放大,包括在空间中观众正在看的其它虚拟现实内容。

出于说明目的,示出了观众150现在以距离d3与角色506分离,距离d3基本上比d2或d1更靠近。因此,通过他的头部朝向虚拟现实环境450中的特定内容或远离虚拟现实环境450中的内容的自然运动,向观众提供对观看环境的动态调整。当观众将他的头部移动远离虚拟现实内容或增大距特定对象的距离时,观众将看到内容大小缩小,其类似于在巨人移动远离先前放大或按比例放大的内容的情况下巨人将会看到内容的方式。

如本文所使用,将观众150的形貌提供为“巨人”意味着对于观众来说,朝向或远离虚拟现实环境450中的特定内容的移动将自动地导致放大或缩小以使得能够以自然形式平滑地观看内容。

图6a示出了观众150能够与虚拟现实环境150互动以提供不同的观看有利点的实例。虽然虚拟现实环境450是由hmd玩家生成,并且观众仅充当观看虚拟现实hmd玩家的活动的观众,但是可以向观众提供用于改变视角或观看方向的控件。在一个实施方案中,可以向观众150提供进入虚拟现实场景并执行指示抓取、抓住或附着到虚拟现实场景的手势的能力。观众可以使用他的可呈现在虚拟现实环境中的手604来指示对虚拟现实内容的控制或触摸602。在一些实施方案中,观众还可以利用控制器、手套或其它装置来指示对移动视角的期望。由观众对虚拟现实场景的视角的移动或互动不会改变hmd玩家100的视图,hmd玩家100即导航虚拟现实互动、与虚拟现实互动互动、或指引虚拟现实互动的流程和路径的主要人物。然而,从观众150的观点来看,观众150可能希望将视角改变为对于观看来说更舒适的另一个角度。

图6b示出了观众150已经决定将虚拟现实环境450的视角位移90°的实例。如上所述,这通过使观众150将虚拟现实内容直接地移动到不同位置来实现。在图6b的实例中,观众150期望躺下并观看hmd内容。为了使观看更舒适,视角的移动进行调整,使得hmd观众150可以躺着观看内容。在该实例中,内容以一定角度进行,如hmd玩家所指示。同样,hmd玩家不受观众旋转视图的事实的影响。在一些实施方案中,当由观众旋转内容时,内容内的某些对象可以不旋转,以便保持重力方向。

虽然未示出,但是即使虚拟现实内容已经被观众倾斜了一定角度,一些对象也可以保持相对于重力的定向。在其它实施方案中,虚拟现实场景中的所有内容将被倾斜,并且然后由观众以该角度观看,这对于观众来说可能更舒适。可以使观看相同虚拟现实环境450的多个观众以对于每个观众来说是合适且更舒适的不同角度倾斜内容。由观众为他们观看虚拟现实环境450的视图设定的倾斜、调整和角度不会影响由hmd玩家导航的虚拟现实环境场景。hmd玩家仅共享hmd体验,并且观众可以以对于每个特定观众来说最舒适的不同形式观看该体验。虽然图6b的实例已经示出观众150躺在具有枕头612的床610上,但是观众150也可以是斜倚的,或在其它位置中。

在一个实施方案中,提供给观众150的hmd102的视图是用于观看虚拟现实环境的自定义定向。举例来说,用于观看的自定义定向可以包括固定或锁定观众150从他站立时的观看定向,使得当观众躺下时,他可以继续以相同角度观看虚拟现实环境。虽然角度不再是相对于重力的,但是对于可能躺下的观众150来说,视图将看起来是垂直的。

在这种配置中,固定或锁定视图定向或视角意味着视角是固定的,使得当用户躺下时,跟随相同定向,如图6b所示。即,在用户躺下或坐下或改变位置的时段期间,用户的头部没有改变视图定向,这实际上将视图锁定到当前视图,而用户重新定向或设定新的方向。一旦用户躺下,用户的头部可以再次用于观看vr场景的不同部分。

图7示出了观众150与虚拟现实环境450介接的实例,虚拟现实环境450是响应于由hmd玩家100进行的互动式过程而生成的。如图所示,hmd玩家100可以利用控制器104,并且hmd内容可以是由游戏控制台704生成,其被提供到hmd102。hmd观众150也可以与本地装置702通信,本地装置702可以提供互动内容以供经由hmd观众150的hmd102观看。在该实施方案中,hmd观众150使用本地装置702来与网络710通信。还可以向游戏控制台704与网络710的连接。因此,可以将由游戏控制台704生成的互动内容共享到网络710,使得hmd观众150可以观看虚拟现实环境450,并且根据本文所述的各种观众实施方案来与内容互动或观看内容。

网络710被示出为连接到云游戏或虚拟现实服务700。该服务可以是云系统的一部分,云系统可以是由地理上分散的一个或多个数据中心实现。云游戏或虚拟现实服务700可以被配置有各种处理引擎和数据库。举例来说,服务700可以与社交数据716通信,社交数据716可以从服务700本地的网络710获得,或从外部社交站点获得。服务700还可以与用户账户720通信,用户账户720可以为服务700的用户提供附加服务和偏好管理。还可以保存游戏数据718,并且可以将其与特定的用户账户720关联地放置。

游戏数据可以识别用户已经访问、已经玩过、已经保存状况数据、已经保存状态数据、已经保存成就、已经保存奖品、已经保存偏好、或其它配置或特殊编程的各种游戏722。在一个实施方案中,云虚拟现实服务700可以实现对虚拟现实内容724的访问。虚拟现实内容724可以是除了支持虚拟现实的游戏之外的内容。例如,虚拟现实内容724可以是通过互联网从其它内容源714访问的内容。

源可以是例如出于特定目的产生虚拟现实内容724的媒体开发者。该目的可以是娱乐、信息、商业、会议、文档共享、虚拟和非虚拟视图共享、内容检查、协作、互动和/或其它用途。在一种配置中,云游戏或虚拟现实服务700还可以促进观众流媒体726。观众流媒体726可以包括一个或多个处理模块,其允许将由hmd玩家观看的内容共享并流式传输给远程或本地hmd观众150。如上所述,可以同时将由hmd玩家生成的虚拟现实环境450的供稿共享给多个观众。可以向每个观众提供观看虚拟现实场景的不同视点,如上所述。可以基于观众的偏好而定制视点,或可以将视点与虚拟现实场景内的预创作视点相关联。

在hmd玩家100在虚拟现实环境内到处移动时,可以向观众150提供各种位点,可以从这些位点观看虚拟现实空间中的多媒体内容。因此,可以向hmd观众150提供跟随hmd玩家100的路,其中不同视点被定制给hmd观众,或可以基于对hmd玩家阅览的内容的知识来预识别或创作。

如上所述,还可以具有观众共享网站728,其可以由服务700通过网络710提供。观众共享网站728可以起类似于twitch站点的作用,其使得任何数量的观众都能够观看虚拟现实环境。在一个实施方案中,可以向用户提供搜索功能,以允许用户观看用户感兴趣的内容。可用于观看的虚拟现实内容可以是由hmd玩家100播放的实况互动内容,或可以是从先前hmd玩家会话录制的。如果内容被录制,那么仍然可以向观众提供以互动方式在来自先前hmd玩家的录制的会话中选择不同视点的能力。

因此,可以基于对新的可用虚拟现实环境、当前趋势环境、高级hmd玩家所走过的感兴趣的环境的排名的变化,或基于期望观看的用户的搜索而动态地呈现和更新观众网站728。还应理解,观众可以经由不是hmd的屏幕观看hmd玩家的实况虚拟现实内容。

屏幕可以是连接到本地装置备702的电视机,或可以是具有屏幕的便携装置。如果没有经由hmd102观看内容,那么可以将内容从三维内容转换为二维内容,以便去除与在二维显示器上呈现vr内容相关联的任何异常。在一些实施方案中,三维内容也可以在支持三维的屏幕上呈现。在这种情况下,还可以使用观看眼镜,其是在三维屏幕上观看三维内容时常用的。

此外,观众可以仅从连接到网站(诸如twitch式站点)的显示屏幕查看内容。在一些实施方案中,个人计算机(pc)、游戏控制台、智能电话、平板电脑等可以用于观看hmd玩家100正在玩的虚拟现实环境450。在一些实施方案中,可以修改hmd玩家经由hmd102观看的内容,使得其可以在二维屏幕上显示。例如,在将内容共享到twitch式服务之前,可以对内容执行3-d到2-d转换。在其它实施方案中,可以将完整的3-d内容共享到twitch式服务,并且连接到twitch式服务的观众可以经由hmd观看内容。应理解,观众可消费虚拟现实环境450的方式可以变化,并且提供给观众的功能也可以变化。广泛地说,可以向观众提供突出显示以查看hmd玩家100正在看的位置,并且还可以向观众提供动态可选设定以允许收听虚拟现实场景内的特定位置。

此外,可以向观众提供观看虚拟现实环境450中的不同视点。可以动态地控制或预创作这些视点,以向观众提供特定观看位置和角度。这些功能提供动态且增强的观看能力,这将增强观众观看hmd导航内容时的体验。如上所述,这些实施方案还促成观众以更正常的方式观看内容,该方式与hmd玩家的头部的快速移动无关,这可能会导致在观看hmd内容时的迷失方向或仅不适。

提供可根据hmd玩家的位置逐渐或缓慢地移动的观众视点提供查看hmd玩家正在享受的虚拟现实内容的容易方式。因此,观众可以容易地观看内容,并且被提供经由hmd装置改善观看乐趣或参与游戏过程或多媒体内容观看的方式。通过提供这些丰富功能,观众不再被绑定到hmd玩家的固定视角,并且不再被迫观看相同的精确视图,也不再会完全地遵循由hmd玩家驱使的动作。

参考图8,示出了示出根据本公开的实施方案的头戴式显示器102的部件的图。头戴式显示器102包括用于执行程序指令的处理器1300。存储器1302提供用于存储目的,并且可以包括易失性和非易失性存储器。包括显示器1304,其提供用户可观看的视觉界面。电池1306可以提供作为头戴式显示器102的电源。运动检测模块1308可以包括各种类型的运动灵敏硬件中的任一种,诸如磁力计1310、加速度计1312和陀螺仪1314。

加速度计是用于测量反作用力所引起的加速度和重力的装置。单轴模型和多轴模型可供用来检测在不同方向上的加速度的量级和方向。加速度计用于感测倾斜、振动和冲击。在一个实施方案中,三个加速度计1312用于提供重力方向,所述重力方向给出两个角(世界空间俯仰和世界空间横滚)的绝对参考。

磁力计测量在头戴式显示器附近的磁场的强度和方向。在一个实施方案中,三个磁力计1310在头戴式显示器内使用,以确保世界空间偏航角的绝对参考。在一个实施方案中,磁力计被设计为跨越±80微特斯拉的地球磁场。磁力计受金属的影响,并且提供与实际偏航单调的偏航测量结果。磁场可以因环境中的金属而扭曲,从而导致偏航测量的偏差。如果必要,那么可以使用来自其它传感器(诸如陀螺仪或相机)的信息来校准此偏差。在一个实施方案中,加速度计1312与磁力计1310一起使用来获得头戴式显示器102的倾斜度和方位角。

在一些实施方式中,头戴式显示器的磁力计被配置来在其它附近装置中的电磁铁不活动的时间期间被读取。

陀螺仪是用于基于角动量的原理来测量或维持定向的装置。在一个实施方案中,三个陀螺仪1314基于惯性感测来提供关于跨越相应的轴线(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而,陀螺仪可以随时间漂移而无需存在绝对参考。这要求周期性地重置陀螺仪,这种重置可以使用诸如基于对象的视觉跟踪、加速度计、磁力计等的定位/定向确定的其它可用信息来完成。

相机1316提供用于捕获真实环境的图像和图像流。在头戴式显示器102中可以包括多于一个的相机,其包括后置(在用户观看头戴式显示器102的显示器时背向用户)的相机,以及前置(在用户观看头戴式显示器102的显示器时朝向用户)的相机。另外,在头戴式显示器102中可以包括深度相机1318以用于感测真实环境中的对象的深度信息。

头戴式显示器102包括用于提供音频输出的扬声器1320。而且,可以包括麦克风1322以用于从真实环境捕获音频,其包括来自周围环境的声音、用户发出的语音等。头戴式显示器102包括用于将触觉反馈提供给用户的触觉反馈模块1324。在一个实施方案中,触觉反馈模块1324能够导致头戴式显示器102的移动和/或振动,以便将触觉反馈提供给用户。

led1326提供作为头戴式显示器102的状态的视觉指示器。例如,led可以指示电池电量、通电状况等。读卡器1328提供用于使得头戴式显示器102能够从存储器卡读取信息和将信息写入到存储器卡。包括usb接口1330作为用于实现外围装置的连接或到其它装置的连接的接口的一个实例,其它装置诸如其它便携装置、计算机等。在头戴式显示器102的各种实施方案中,可以包括各种类型的接口中的任一种以实现头戴式显示器102的更大的连接性。

包括wifi模块1332用于经由无线联网技术实现到互联网或局域网的连接。而且,头戴式显示器102可以包括用于实现到其它装置的无线连接的蓝牙模块1334。还可以包括通信链路1336用于连接到其它装置。在一个实施方案中,通信链路1336将红外传输用于无线通信。在其它实施方案中,通信链路1336可以利用各种无线或有线传输协议中的任何协议以用于与其它装置的通信。

包括输入按钮/传感器1338以向用户提供输入接口。可以包括各种类型的输入接口中的任一种,诸如按钮、触摸板、操纵杆、轨迹球等。在头戴式显示器102中可以包括超声通信模块1340以经由超声技术促成与其它装置的通信。

包括生物传感器1342以实现对来自用户的生理数据的检测。在一个实施方案中,生物传感器1342包括一个或多个干电极以用于经由用户的皮肤检测用户的生物电信号。

视频输入1344被配置来从主处理计算机(例如,主游戏控制台)接收视频信号以在hmd上呈现。在一些实现方式中,视频输入是hdmi输入。

已经将头戴式显示器102的前述部件描述成可包括在头戴式显示器102中的仅示例性部件。在本发明的各种实施方案中,头戴式显示器102可以或可以不包括各种前述部件中的一些。头戴式显示器102的实施方案可以另外包括当前未描述但本领域已知的其它部件,以用于促成如本文所述的本发明的方面的目的。

图9是根据本公开的各种实施方案的游戏系统1400的框图。游戏系统1400被配置来经由网络1415向一个或多个客户端1410提供视频流。游戏系统1400典型地包括视频服务器系统1420和任选的游戏服务器1425。视频服务器系统1420被配置来以最低服务质量向一个或多个客户端1410提供视频流。例如,视频服务器系统1420可以接收改变视频游戏内的视图状态或视角的游戏命令,并且向客户端1410提供反映具有最低迟滞时间的该状态变化的更新的视频流。视频服务器系统1420可以被配置来以各种替代视频格式提供视频流,包括尚未定义的格式。另外,视频流可以包括被配置来呈现给用户在各种帧速率的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒120帧。不过,在本公开的替代实施方案中包括更高或更低的帧速率。

客户端1410,本文单独地称为1410a、1410b等,可以包括头戴式显示器、终端、个人计算机、游戏控制台、平板型计算机、电话、机顶盒、信息亭、无线装置、数字板、独立装置、手持式游戏装置等。典型地,客户端1410被配置来接收编码的视频流、解码的视频流,并且将所得的视频呈现给用户,例如,游戏的玩家。接收编码的视频流和/或解码的视频流的过程典型地包括将单独的视频帧存储在客户端的接收缓冲器中。可以在与客户端1410集成的显示器上或在诸如监视器或电视机的单独装置上将视频流呈现给用户。客户端1410任选地被配置来支持多于一个的游戏玩家。例如,游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可以接收单独的视频串流,或单个视频串流可以包括特别针对每个玩家产生(例如,基于每个玩家的视角而产生)的帧的多个区域。客户端1410任选地是地理上分散的。游戏系统1400中包括的客户端的数目可以在从一个或两个到数千个、数万个或更多个,变化范围很大。如本文中所使用,术语“游戏玩家”用于指代玩游戏的人,并且术语“玩游戏的装置”用于指代用于玩游戏的装置。在一些实施方案中,玩游戏的装置可以指代协作以将游戏体验传递给用户的多个计算装置。例如,游戏控制台和hmd可以与视频服务器系统1420协作以经由hmd观看的游戏。在一个实施方案中,游戏控制台从视频服务器系统1420接收视频流,并且游戏控制台将视频流或视频流的更新转发到hmd以呈现。

客户端1410被配置来经由网络1415接收视频流。网络1415可以是任何类型的通信网络,包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实施方案中,经由诸如tcp/ip或udp/ip的标准协议来传达视频流。或者,经由专有标准来传达视频流。

客户端1410的典型实例是个人计算机,其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在本领域中是熟知的,并且根据所使用的具体编码方案而变化。

客户端1410可以但不要求还包括被配置来用于修改接收到的视频的系统。例如,客户端可以被配置来执行进一步的渲染、将一个视频图像覆盖在另一个视频图像上、裁剪视频图像等。例如,客户端1410可以被配置来接收各种类型的视频帧,诸如i帧、p帧和b帧,并且将这些帧处理成图像以显示给用户。在一些实施方案中,客户端1410的成员被配置来对视频流执行进一步的渲染、着色、转换为3-d或类似的操作。客户端1410的成员任选地被配置来接收多于一个的音频流或视频流。客户端1410的输入装置可以包括例如单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音识别系统、键盘、操纵杆、定点装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏幕、神经接口、相机、待开发的输入装置等。

由客户端1410接收的视频流(以及任选地音频流)由视频服务器系统1420生成和提供。如本文其它地方进一步描述的,这个视频流包括视频帧(并且音频流包括音频帧)。视频帧(例如,它们包括在适当的数据结构中的像素信息)被配置来有意义地构成向用户显示的图像。如本文所使用,术语“视频帧”用于指代主要包括被配置来构成(例如,实现)显示给用户的图像的信息的帧。本文关于“视频帧”的大部分的教义也可以适用于“音频帧”。

客户端1410典型地被配置来接收来自用户的输入。这些输入可以包括游戏命令,所述游戏命令被配置来改变视频游戏的状态或以其它方式影响游戏玩法。可以使用输入装置接收游戏命令和/或可以通过在客户端1410上执行的计算指令来自动地生成游戏命令。接收到的游戏命令经由网络1415从客户端1410传达到视频服务器系统1420和/或游戏服务器1425。例如,在一些实施方案中,游戏命令经由视频服务器系统1420而传达到游戏服务器1425。在一些实施方案中,游戏命令的单独副本从客户端1410传达到游戏服务器1425和视频服务器系统1420。游戏命令的传达任选地取决于命令的身份。任选地,从客户端1410a经由用于向客户端1410a提供音频流或视频流的不同路由或通信信道传达游戏命令。

游戏服务器1425任选地由与视频服务器系统1420不同的实体操作。例如,游戏服务器1425可以是由多人游戏的发布者操作。在该实例中,视频服务器系统1420任选地被游戏服务器1425视为是客户端,并且任选地被配置来从游戏服务器1425的视角来看是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信任选地经由网络1415进行。因此,游戏服务器1425可以是现有技术的多玩家游戏服务器,其将游戏状态信息发送到多个客户端,其中一个客户端是游戏服务器系统1420。视频服务器系统1420可以被配置来同时与游戏服务器1425的多个实例通信。例如,视频服务器系统1420可以被配置来向不同的用户提供多个不同的视频游戏。这些不同的视频游戏中的每一个可以由不同的游戏服务器1425支持和/或由不同实体发布。在一些实施方案中,视频服务器系统1420的若干地理上分布的实例被配置来向多个不同用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可以与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信任选地经由专用通信信道进行。例如,视频服务器系统1420可以经由专用于这两个系统之间的通信的高带宽信道连接到游戏服务器1425。

视频服务器系统1420至少包括视频源1430、i/o装置1445、处理器1450和非暂时性存储器1455。视频服务器系统1420可以包括一个计算装置或分布在多个计算装置间。这些计算装置任选地经由诸如局域网的通信系统连接。

视频源1430被配置来提供视频流,例如流视频或形成移动图像的一系列视频帧。在一些实施方案中,视频源1430包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置来:从玩家接收游戏命令,并且基于接收到的命令而维持视频游戏的状态的副本。这个游戏状态包括在游戏环境中的对象的位置,以及典型地视角。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。典型地基于游戏规则以及游戏命令(诸如移动、转动、攻击、设置焦点、互动、使用等)而维持游戏状态。游戏引擎的部分任选地设置在游戏服务器1425内。游戏服务器1425可以基于从使用地理上分散的客户端的多个玩家接收的游戏命令来维护游戏的状态的副本。在这些情况下,游戏状态由游戏服务器1425提供给视频源1430,其中存储游戏状态的副本并执行渲染。游戏服务器1425可以经由网络1415直接地从客户端1410接收游戏命令,和/或可以经由视频服务器系统1420接收游戏命令。

视频源1430典型地包括渲染逻辑,例如存储在诸如存储装置1455的计算机可读介质上的硬件、固件和/或软件。该渲染逻辑被配置来基于游戏状态而创建视频流的视频帧。渲染逻辑的全部或部分任选地安置在图形处理单元(gpu)内。渲染逻辑典型地包括处理阶段,所述处理阶段被配置来用于基于游戏状态和视点而确定对象之间的三维空间关系和/或被配置来用于应用适当的纹理等。渲染逻辑产生原始视频,然后通常在与客户端1410通信之前对其进行编码。例如,可以根据adobe标准、.wav、h.264、h.263、on2、vp6、vc-1、wma、huffyuv、lagarith、mpg-x.、xvid.、ffmpeg、x264、vp6-8、realvideo、mp3或类似的标准对原始视频进行编码。编码过程产生视频流,任选地将所述视频流打包以传递到远程装置上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x600、1280x720(例如720p)、1024x768,但是可以使用任何其它帧大小。帧速率是每秒的视频帧数。视频流可以包括不同类型的视频帧。例如,h.264标准包括“p”帧和“i”帧。i帧包括用以刷新显示装置上的所有宏块/像素的信息,而p帧包括用以刷新所述宏块/像素的子集的信息。p帧典型地在数据大小上小于i帧。如本文中所使用,术语“帧大小”意图指代帧内的像素的数目。术语“帧数据大小”用于指代存储所述帧所需的字节数。

在替代实施方案中,视频源1430包括视频录制装置,诸如相机。该相机可以用来产生可包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所呈现的图像与使用静态相机或视频相机录制的图像两者。视频源1430还可以包括存储装置,所述存储装置被配置来存储先前录制的视频以包括在视频流中。视频源1430还可以包括运动或定位感测装置和逻辑,所述运动或定位感测装置被配置来检测对象(例如,人)的运动或位置,所述逻辑被配置来基于检测到的运动和/或位置而确定游戏状态或产生视频。

视频源1430任选地被配置来提供被配置为放置在其它视频上的叠加。例如,这些叠加可以包括命令界面、登录说明、发给游戏玩家的消息、其它游戏玩家的图像、其它游戏玩家的视频供稿(例如,网络摄像头视频)。在客户端1410a包括触摸屏幕界面或注视检测界面的实施方案中,叠加可以包括虚拟键盘、操纵杆、触摸板等。在叠加的一个实例中,将玩家的语音叠加在音频流上。视频源1430任选地还包括一个或多个音频源。

在其中视频服务器系统1420被配置来基于来自多于一个的玩家的输入而维持游戏状态的实施方案中,每个玩家可以具有包括观看位置和观看方向的不同视角。视频源1430任选地被配置来基于他们的视角而为每个玩家提供单独的视频流。另外,视频源1430可以被配置来向客户端1410中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1430任选地被配置来提供3-d视频。

i/o装置1445被配置来用于视频服务器系统1420发送和/或接收诸如视频、命令、信息请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频等的信息。i/o装置1445典型地包括通信硬件,诸如网卡或调制解调器。i/o装置1445被配置来与游戏服务器1425、网络1415和/或客户端1410通信。

处理器1450被配置来执行逻辑,例如,软件,其被包括在这里讨论的视频服务器系统1420的各种部件内。例如,处理器1450可以用软件指令进行编程,以便执行视频源1430、游戏服务器1425和/或客户端限定符1460的功能。视频服务器系统1420任选地包括处理器1450的多于一个的实例。处理器1450还可以用软件指令进行编程,以便执行由视频服务器系统1420接收的命令,或协调本文讨论的游戏系统1400的各种元件的操作。处理器1450可以包括一个或多个硬件装置。处理器1450是电子处理器。

存储装置1455包括非暂时性模拟和/或数字存储装置。例如,存储装置1455可以包括被配置来存储视频帧的模拟存储装置。存储器1455可以包括计算机可读数字存储器,例如,硬盘驱动器、光盘驱动器或固态存储装置。存储器1415被配置(例如,通过适当的数据结构或文件系统)来存储视频帧、人工帧、包括视频帧和人工帧的视频流、音频帧、音频流等。存储器1455任选地分布在多个装置间。在一些实施方案中,存储装置1455被配置来存储本文其它地方讨论的视频源1430的软件部件。这些部件可以按需要时随时可以供应的格式来存储。

视频服务器系统1420任选地还包括客户端限定符1460。客户端限定符1460被配置来用于远程地确定客户端(诸如客户端1410a或1410b)的能力。这些能力可以包括客户端1410a本身的能力以及客户端1410a和视频服务器系统1420之间的一个或多个通信信道的能力。例如,客户端限定符1460可以被配置来经由网络1415测试通信信道。

客户端限定符1460可以手动地或自动地确定(例如,发现)客户端1410a的能力。手动地确定包括与客户端1410a的用户通信并要求用户提供能力。例如,在一些实施方案中,客户端限定符1460被配置来在客户端1410a的浏览器内显示图像、文本等。在一个实施方案中,客户端1410a是包括浏览器的hmd。在另一个实施方案中,客户端1410a是具有浏览器的游戏控制台,浏览器可以在hmd上显示。所显示的对象请求用户输入客户端1410a的诸如操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等的信息。用户输入的信息被传达回客户端限定符1460。

例如,可以通过在客户端1410a上执行代理程序和/或通过将测试视频发送到客户端1410a来进行自动确定。代理程序可以包括嵌入网页中或安装为加载项的计算指令,诸如java脚本。客户端限定符1460任选地提供代理程序。在各种实施方案中,代理程序可以找出客户端1410a的处理能力、客户端1410a的解码和显示能力、客户端1410a和视频服务器系统1420之间的通信信道的迟滞时间可靠性和带宽、客户端1410a的显示类型、存在于客户端1410a上的防火墙、客户端1410a的硬件、在客户端1410a上执行的软件、在客户端1410a内的注册表项等。

客户端限定符1460包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定符1460任选地设置在与视频服务器系统1420的一个或多个其它元件分开的计算装置上。例如,在一些实施方案中,客户端限定符1460被配置来确定客户端1410与视频服务器系统1420的多于一个的实例之间的通信信道的特性。在这些实施方案中,客户端限定符所发现的信息可以用于确定视频服务器系统1420的哪个实例最适合于将流视频传递到客户端1410中的一个。

本公开的实施方案可以借助各种计算机系统配置来实践,所述计算机系统配置包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。还可以在分布式计算环境中实践本公开,其中任务是由经由基于有线或无线的网络链接的远程处理装置执行。

鉴于以上实施方案,应理解,本公开可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量的物理操纵的那些操作。本文所述的形成本公开的部分的操作中的任一操作都是有用的机器操作。本公开还涉及一种用于执行这些操作的装置或设备。所述设备可以专门地构造用于所需目的,或者所述设备可以是通用计算机,所述通用计算机通过存储在计算机中的计算机程序来选择性激活或配置。具体地讲地,各种通用机器可以与根据本文中的教义编写的计算机程序一起使用,或者所述机器可以更方便于构造更专门的设备以执行所需操作。

本发明还可以被体现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储之后可由计算机系统读取的数据的任何数据存储装置。计算机可读介质的实例包括硬盘驱动器、网络附接存储装置(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带以及其它光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质,使得计算机可读代码以分布式方式存储和执行。

虽然以特定次序描述方法操作,但应理解,可以在操作之间执行其它内务处理操作,或者可以调整操作以使得所述操作在略不同的时间上出现,或者可以分布在系统中,所述系统允许处理操作在与处理相关联的各种间隔处出现,只要重叠操作的处理以所需方式执行即可。

虽然出于清楚理解目的而详细地描述了前述公开,但是将清楚,可以在随附权利要求范围内实践某些改变和修改。因此,本公开的实施方案被认为是说明性的而非限制性的,并且本公开不限于本文中给出的细节,而是可以在本公开的范围和等效物内进行修改。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1