视频延时减小的制作方法
【专利说明】视频延时减小
[0001]相关申请的交叉参考
[0002]本申请涉及由Roelof Roderick Colenbrander在2013年12月19日提交的名为“MASS STORAGE VIRTUALIZAT1N FOR CLOUD COMPUTING” 的共同指派同在申请中的美国申请第14/135,213号(代理人案号第SCEA13031US00号)，所述申请的全部内容是以引用的方式引入本文。
技术领域
[0003]本公开内容的各个方面涉及视频采集。特定地说，本公开内容的各个方面涉及用于减小采集视频帧的延时的系统和方法。
【背景技术】
[0004]随着电信系统的带宽和数据传送速率的持续发展，如今的许多计算需求正朝基于网络的分布式计算系统(统称为“云端计算”)转变。一般来说，云端计算涉及离线下载某些计算任务给一个或多个远程计算资源和使用远程计算资源来给本地装置提供服务。云端计算通常被实施为客户端-服务器模型，其中远程服务器给本地客户端装置提供所需计算能力，从而避免本地客户端装置需要自身执行某些计算任务。在许多实例中，可将计算资源完整或几乎完整地离线下载到服务器，使得客户端提供较少或只提供用户接口用于云端计算任务，从而允许任何联网装置潜在地用作特定应用程序的客户端。
[0005]云端计算已采用于多种计算服务中，包括远程数据存储方案、音乐和视频数据流服务以及多种其它消费者和商业方案。一般来说，云端计算提供多种众所周知的好处，包括通过使用共享资源增加效率、增加访问内容的灵活性而不限于特定装置、降低硬件升级可用时的预付成本和其它优点。
[0006]其中云端计算尚未达到广泛采用的一个领域是逐渐流行的视频游戏领域。包括个人计算机(PC)游戏、家用单机游戏、手持式单机游戏等等的视频游戏仍然是消费者中流行的娱乐来源。随着可用视频游戏名称集合的逐渐增加，云端游戏给许多视频游戏需求提供了特别吸引人的方案。理想状况是，在云端游戏框架内，用户将能够从远程存储的名称的巨大集合中即刻访问任何视频游戏名称，且无需物理拷贝游戏、无需等待下载名称且无需局部处理运行游戏所需硬件系统或资源。然后可在“云端”中远程执行图形的呈现、响应于用户输入进行的改变游戏状态和其它游戏计算并将其发送到用户的本地装置。不幸的是，实施传统云端计算服务器设计内的这种类型的服务面临多个技术挑战:迄今为止许多视频游戏平台阻止广泛采用云端游戏。
[0007]一个挑战是:如今许多视频游戏的节奏极快且动作紧密，使得高级图形需要呈现大量的计算资源。尤其是在基于视频数据流的服务器设计(其中远程执行全部游戏计算和图形呈现计算)中，游戏需要能够执行全部这样的任务且响应于控制输入将压缩音频/视频数据流传递到客户端装置，使得可感知的延时最小甚至没有可感知的延时。否则，这可能中断玩家的时间且无法重复传统局部执行的游戏会话的响应。
[0008]另一挑战源于以下事实:传统上来说，(一方面)PC游戏(被设计来在个人计算机、膝上型计算机和通用本质的其它计算系统上运行)与(另一方面)单机游戏(被设计来在称作视频游戏机的专用系统上运行)之间存在不同。视频游戏机通常被设计为具有专门调整来用于视频游戏环境的独有计算架构的嵌入式平台。使用专用控制台硬件作为视频游戏平台提供了多种好处，尤其是呈优化硬件以满足生产如今许多视频游戏所需图形呈现和游戏计算的大量计算资源需求的形式。因此，虽然PC游戏已实现了一定的流行性，但是单机游戏在传统上仍然占据视频游戏市场且可能在未来继续占据视频游戏市场。
[0009]然而，使视频游戏机和其它嵌入式平台适应云端数据流服务面临多个挑战。专用平台的硬件或软件架构的大量修改可能面临与被设计用于专用平台的应用程序的兼容问题。因此，所需应用程序可能需要直接在服务器端处的单独“终端机系统”上的可兼容架构上运行以执行应用程序来通过网络进行串流。终端机系统可以是游戏机架构或被设计来运行专用应用程序的其它现有的嵌入式平台。
[0010]为了通过网络串流应用程序，从在终端机系统上运行的应用程序采集视频帧以在传输之前压缩输出视频信号需要多种技术。常规的视频采集卡能够采集通过视频接口链路(诸如HDM1、DV1、VGA等等)传送的视频帧，使得其可以被压缩且被发送到位于远处的显示器。然而，将每个帧传送到采集装置消耗的时间的延迟导致应用程序内容产生帧的时间与在客户端处的显示器上展示每个帧的时间之间产生延时。可感知的延时可能是由于视频采集延迟、压缩延迟、网络延迟和其它起因的组合所引起的。在云端游戏和其它云端计算环境中，最小化延时是一项重要的任务，且在客户端处为用户提供响应体验时计数每一毫秒。[0011 ] 本公开内容是在这种背景下产生的。
【发明内容】
[0012]本公开内容的实施方式可以包括一种用于具有第一显示分辨率的多个可见图像像素的第一视频帧图像的方法。所述方法可以包括将所述第一视频帧图像插入到具有大于所述第一显示分辨率的第二显示分辨率的源视频帧中。插入所述第一视频帧图像可以包括将所述多个可见图像像素和多个额外像素插入到所述源视频帧的活动显示区域中。
[0013]在一些实施方式中，所述方法还可以包括:通过将多个同步信号添加到所述源视频帧形成输出视频帧；将所述输出视频帧传送到视频采集装置；用所述视频采集装置采集所述输出视频帧中的所述可见图像像素，同时忽略来自所述采集的所述额外像素；和在采集所述可见图像像素之后且在传送所述输出视频帧的整个活动显示区域之前压缩所述第一视频帧图像。
[0014]在一些实施方式中，所述源视频帧可以呈所述活动显示区域中具有两个图像区域的立体3D格式，所述两个图像区域对应于左侧图像区域和右侧图像区域。插入所述第一视频帧图像可以包括将所述多个可见图像像素插入到所述两个图像区域之一中且用所述额外像素填充所述两个图像区域中的另一个。
[0015]在一些实施方式中，所述第一视频帧图像可以具有多个可见图像行，其中每个所述可见图像行具有多个所述可见图像像素。所述源视频帧可以呈所述活动显示区域界定单色图像区域的单色格式。所述单色图像区域可以具有多个活动行，每个所述活动行具有多个活动像素。所述单色图像区域中的活动行的数量可以大于所述第一视频帧图像中的可见图像行的数量，且每个所述活动行中的活动像素的数量可以大于每个所述可见图像行中的可见图像像素的数量。插入所述第一视频帧可以包括将每个所述可见图像行插入到所述活动行中的各自活动行中且用所述额外像素填充所述活动行中的每个所述各自活动行的剩余部分。在其它实施方式中，插入所述第一视频帧可以包括用所述可见图像像素填充所述活动行中的至少一些，使得所述活动行中的至少一些每个包括来自一个以上所述可见图像行的所述可见图像像素。
[0016]本公开内容的其它实施方式可以包括一种用于具有多个可见图像行的第一视频帧图像的方法，每个所述可见图像行具有多个可见图像像素。所述方法可以包括形成输出视频帧，所述输出视频帧具有所述第一视频帧图像和同步区域，其中所述同步区域在每个所述可见图像行之间具有指示每个所述可见图像行之间的转变的多个同步信号，且所述同步区域在指示所述帧的终点的所述多个可见图像行中的最后一个之后具有多个同步行。形成所述输出视频帧包括将额外像素的多个虚设行添加到所述同步行之后的所述同步区域。
[0017]本公开内容的其它实施方式可以包括一种系统，其具有第一处理单元和操作地连接到所述第一处理单元的第一存储器单元。所述系统可以被配置来执行一种用于具有第一显示分辨率中的多个可见图像像素的第一视频帧图像的方法。所述方法可以包括将所述第一视频帧图像插入到具有大于所述第一显示分辨率的第二显示分辨率的源视频帧中。插入所述第一视频帧图像可以包括将所述多个可见图像像素和多个额外像素插入到所述源视频帧的活动显示区域中。
[0018]本公开内容的其它实施方式可以包括一种系统，其具有第一处理单元和操作地连接到所述第一处理单元的第一存储器单元。所述系统可以被配置来执行一种用于具有多个可见图像行的第一视频帧图像的方法，每个所述可见图像行具有多个可见图像像素。所述方法可以包括形成输出视频帧，所述输出视频帧具有所述第一视频帧图像和同步区域。所述同步区域可以在每个所述可见图像行之间具有指示每个所述可见图像行之间的转变的多个同步信号，且所述同步区域可以在指示所述帧的终点的所述多个可见图像行中的最后一个之后具有多个同步行。形成所述输出视频帧包括将额外像素的多个虚设行添加到所述同步行之后的所述同步区域。
【附图说明】
[0019]通过结合附图考虑下列详述可轻易理解本公开内容的教学，其中:
[0020]图1是通过网络进行的示例性数据流技术的示意图。
[0021]图2是通过网络进行的另一示例性数据流技术的示意图。
[0022]图3A是具有用于从视频源采集视频数据并压缩所述视频数据的采集卡的示例性数据流系统的示意图。
[0023]图3B是示例性视频输出帧的示意说明。
[0024]图4A是用作视频源的示例性终端机系统架构的示意图。
[0025]图4B是示例性主机系统和可以从视频源采集视频帧并压缩所述视频帧的采集卡架构。
[0026]图5是具有专用处理单元的示例性视频采集卡设计的示意图。
[0027]图6是具有额外像素的示例性扩大视频帧的示意说明。
[0028]图7A至图7B是具有额外像素的扩大视频帧的额外实例的示意说明。
[0029]图8是具有额外像素的扩大视频帧的又另一实例的示意说明。
[0030]图9A至图9B是采集扩大视频输出帧的示例性方法的流程图。
【具体实施方式】
[0031]虽然下列详述为说明目的而包括许多具体细节，但是本领域一般技术人员将明白下列细节的许多变动和更改是在本发明的范围内。因此，提出下文描述的本发明的示例性实施方案且本发明没有任何一般性的损失且不强加限制本发明。
[0032]简介
[0033]本公开内容的各个方面涉及用于通过将额外像素添加到数据流中的每个视频帧来减小视频传送延迟的技术。一般来说，视频帧将由可见像素和不可见像素两者组成，其中可见像素界定用于显示的帧的图像，而不可见像素则可以用于(例如)同步。本公开内容的实施方式可以将额外像素添加到视频帧使得可以通过视频接口更加快速地传送每个帧内的可见像素。特定地说，将额外像素添加到帧可能造成视频传送硬件增加基于每个帧内的像素总数的像素时钟速率。由于传送每个帧中的可见像素所需时间的对应降低，可以减小由于视频采集程序的延迟而产生的延时。
[0034]实施方式细节
[0035]为了更好地说明本公开内容的各个方面，图1中描绘分布式计算系统100的第一说明实例。图1中描绘的分布式系统100涉及通过网络106(诸如互联网)连接的多个计算装置102、104。
[0036]在示例性分布式系统中，数据流服务器102执行程序108以通过网络106将程序输出的实时数据流提供给远程连接的客户端装置104。在图1的已说明示意图中，程序104可以是视频游戏程序，其根据程序108的执行处理接收自客户端装置104的控制输入且将压缩音频和视频数据流发送到客户端装置104。位于客户端处的用户可以通过客户端装置104的用户接口(例如，通过在连接到客户端装置104的显示器和/或扬声器处提供控制输入和接收音频和视频游戏输出)与程序交互。在图1的实例中，用于处理输入、呈现视频游戏图形等等的计算负载可以被完全离线下载到数据流服务器102以供远程执行。
[0037]为了使用图1中描绘的系统100实施云端游戏，数据流服务器102可以被配置来不但执行游戏程序108，而且数据流服务器102还可以实施具体实施在服务器102中的“数据流服务器程序” 110，其可以执行各种功能以协调用于在客户端装置104与数据流服务器102之间通过网络106通信的程序输入/输出。例如，数据流服务器程序110可以具体实施于在与游戏软件108协作的数据流服务器102上运行的一个或多个程序中。游戏108连同数据流服务器程序110的远程执行可以被执行使得客户端装置104处的输入与输出之间的延时最小或没有延时，使得客户端处的用户感知到正在局部执行程序108。此外，可以访问远程存储的程序的广泛集合以供执行。例如，在云端游戏应用程序中，用户将有可能能够选择被设计用于相关视频游戏平台的任何