实现交互特效的系统和方法与流程

本发明实施例大体涉及视频特效领域。

背景技术：

数字计算机、计算器、音频设备、视频设备和电话系统等许多电子技术有助于在商业、科学、教育和娱乐等大多数领域中分析和传送数据，从而提高生产力并降低成本。系统通常涉及在带宽有限的通信网络上传送大量视频信息。传统的通信方法经常尝试通过各种编码方案来减少或压缩信息。然而，传统的编码方案的尝试可能是存在限制且存在问题的(例如，对特效的尝试等)。

虽然对于视频和通信编码的传统尝试可减少通过网络传送的信息量，但是它们通常带来很大的处理开销。处理开销可涉及或占据大量的处理资源，从而影响性能。一些方案尝试编码/解码视频流中的帧，且通常涉及来自前一帧的信息，用于编码/解码后一帧。从一个视频流变为另一个视频流的传统尝试通常涉及在新流的开始点或定义的点处再次执行编码操作。这些方法可能存在问题。

近年来，互联网上的视频流媒体很流行。各种互联网流媒体协议(例如，http等)利用现有的互联网基础设施，通常容易穿透nat和防火墙。然而，传统视频流媒体通常具有严格的带宽和延迟要求，这使得公共互联网上保证流媒体服务质量(qualityofservice，简称qos)非常具有挑战性，因为网络状况经常不断变化。对于某些视频流媒体应用，例如运动、娱乐表演、远程医疗和远程教育，人们可能对其特效感兴趣，例如冻结(例如，子弹时间等)和扫描。然而，在互联网上实现特效是具有挑战性的。已对自适应流媒体技术提出了各种尝试(例如，包括http直播流(applehttplivestreaming，简称hls)和microsoft平滑流等)，然而现有的自适应流方法或尝试(例如，http直播流、平滑流和dash等)通常不在其方案中提供指定的特效。

技术实现要素：

本发明描述了在视频流媒体中实现有效特效的方法和系统。在一个实施例中，一种装置包括：处理器，其通过根据解码过程或方法对视频帧进行解码来实现特效；存储器，其存储与所述特效的渲染相关的视频信息。存储器也存储用于处理器实现特效(例如，冻结时间特效和扫描特效等交互特效)的指令。在至少一种实现方式中，渲染视频的过程或方法包括：访问由摄像机阵列捕捉的多个视频流(其中，每个流源自摄像机阵列的相应摄像机)；解码来自所述多个视频流的第一流的帧，其中，所述第一流来自第一摄像机。示例性第一流包括：独立于其他帧进行解码的初始(i)帧；基于所述第一流中的其他帧解码的预测(p)帧；基于所述第一流中的所述预测(p)帧编码的第一主特效预测(sp)帧；基于所述多个视频流的第二流中所包括的主特效预测(sp)帧编码的第一辅特效预测(sp)帧，其中，所述第二流来自第二摄像机。所述方法还包括：使用所述第一流的所述主特效预测(sp)帧和所述第二流的第一辅特效预测(sp)帧来渲染特效。应当理解，可能存在各种摄像机阵列设置方式。例如，第一和第二摄像机在摄像机阵列内以圆形或直线设置方式彼此相邻。

在一种示例性实现方式中，所述渲染特效包括基于所述第一流的所述主特效预测(sp)帧和所述第二流的所述第一辅特效预测(sp)帧生成要显示的帧。在一种实现方式中，渲染多个显示帧是基于第二流的第一辅特效预测(sp)帧和第二流的多个预测(p)帧的。在一个实施例中，所述第一流还包括第二辅特效预测(sp)帧，其基于所述多个视频流中来自第三摄像机的第三视频流中所包括的主特效预测(sp)帧编码，其中，所述第一和第三摄像机在所述摄像机阵列内彼此相邻。所述渲染特效还可以包括基于所述第二流的主特效预测(sp)帧和所述多个视频流的第三流的第一辅特效预测(sp)帧渲染要显示的帧。

在另一示例性实现方式中，执行编码方法，其中，所述编码方法包括：接收由多个摄像机捕捉的视频；对由所述多个摄像机捕捉的所述视频执行编码操作，其中，所述编码操作产生与所述多个摄像机对应的多个视频流。所述多个视频流每个分别包括：主特效预测(sp)帧，其基于与所述主特效预测(sp)帧包含于同一视频流中的(p)帧进行编码；辅特效预测(sp)帧，其基于所述多个视频流中与包括所述辅特效预测(sp)帧的视频流不同的一个视频流中所包括的另一主特效预测(sp)帧进行编码，其中，可对所述辅特效预测(sp)帧进行操作以促进在解码单元处的特效渲染。所述辅特效预测(sp)帧是多个辅特效预测(sp)帧之一，所述主特效预测(sp)帧是多个主特效预测(sp)帧之一，其中，所述多个辅特效预测(sp)帧中的每个帧基于所述多个主特效预测(sp)帧中的对应一个进行编码。应当理解，在多个视频流中也可以包括各种其他类型的视频帧。例如，所述多个视频流中的每一个可包括(独立于其他帧进行编码的)初始(i)帧和预测(p)帧(基于同一视频流中的其他帧编码)。新的编码/解码方法与各种标准兼容。例如，新的编码方法与http要求兼容。

附图说明

以下包含在说明书中并形成本说明书的一部分的附图用于示例性地阐述本发明的原理，不是用于将本发明限制到其示出的特定实施。除非另有具体说明，附图不是按比例绘制的。

图1是根据一个实施例的示例性视频处理的流程图；

图2是根据本发明的一个实施例的示例性系统的系统框图；

图3是根据一个实施例的示例性编码过程的流程图；

图4是根据一个实施例的示例性视频流设置的框图；

图5是根据一个实施例的用于实现冻结时间视频效果的另一示例性视频流的框图；

图6是根据一个实施例的用于实现冻结时间视频效果的另一示例性视频流的框图；

图7是根据一个实施例的用于实现扫描的示例性视频流的框图；

图8是根据一个实施例的摄像机设置的示例性实现方式的俯视框图；

图9是根据一个实施例的摄像机设置的示例性实现方式的侧视框图；

图10是根据一个实施例的示例性视频流的框图；

图11是根据一个实施例的在特定sp帧集合对应的时间的示例性演示或图像的框图。

具体实施方式

现将详细地对本发明的各种实施例、附图示出的示例做出参考。虽然会结合这些实施例进行描述，但可以理解的是它们并不用于将本发明限制于这些实施例。相反，本发明公开旨在覆盖可以包括在由所附权利要求书限定的本发明公开的精神和范围内的替代物、修改和等同物。另外，在以下本发明的详细描述中，阐述了许多特定细节以便提供对本发明的透彻理解。然而，可以理解的是，实际应用中，可以不包括本发明的这些特定细节。在其它实例中没有详细描述众所周知的方法、流程、部件和电路，以免对本发明的各方面造成不必要地模糊。

本发明描述了促进与视频流中的信息相关联的有效编码操作的方法和系统。在一个实施例中，在多个视频流中插入特效预测(sp)帧。sp帧包括主sp帧和对应的辅sp帧。当演示从一个视频流移动到或变为另一个新的视频流时，sp帧启动有效的编码操作。视频流中的变化可以在对新视频流中的过去帧进行最小解码或不做解码的情况下进行。视频流之间的变化可与视图或透视图(例如，摄像机视图等)的变化相关联，且可以利用视图或透视图中的变化来实现各种特效(例如，冻结时间效果和扫描效果等)。

图1是根据一个实施例的示例性视频处理100的框图。视频处理100可以促进各种特效的实现。最初相对图1呈现了示例性视频处理100的操作的总概览图，在具体实施方式的稍后部分中阐述了新编码方法的附加说明。

在框110中，在多个视频流中捕捉多个视图或透视图。该多个视频流由摄像机阵列中的多个摄像机捕捉。摄像机阵列中的不同摄像机从不同的视点或视角捕捉场景的图像。

在框120中，对多个视频流执行特效预测(sp)帧编码操作。在一个实施例中，在多个视频流中插入主特效预测(sp)帧和辅特效预测(sp)帧。应当理解，主特效预测(sp)帧可以与第一视图或透视图关联，辅特效预测(sp)帧可以与第二视图或透视图关联。主特效预测(sp)帧和辅特效预测(sp)帧可用于“进入”或“离开”视频流(例如，从一个视频流移动到另一个视频流，作为实现冻结时间和视图扫描等特效的一部分)。例如，在一种情况下，对于每个主sp帧，分别采用摄像机右侧和左侧相邻的主sp帧对两个辅sp帧进行编码。

在框130中，利用特效预测(sp)帧编码操作的结果来促进特效。可以实现丰富用户的沉浸式多媒体体验的各种特效(例如，冻结时间和视图扫描等)。例如，在冻结时间特效中，时间在视图或透视图变化时被冻结。而且，在视图扫描特效中，在视图或透视图变化时，时间继续“移动”或变化。用户可以从当前视图开始，通过将基于摄像机阵列的一个摄像机的一个视频流的演示变为基于摄像机阵列的另一摄像机的另一个视频流的演示，实现通过多个视点或视角顺时针或逆时针顺序“旋转”，来改变视图或透视图。

图2是根据本发明的一个实施例的一个示例性系统200的框图。系统200包括多个摄像机的阵列(例如，211、212、213、215、217和219等)、交换机(例如，221、222、223和224等)、摄取集群231、流媒体服务器241、网络250和各种演示设备(例如，电视271、平板电脑272、手机273和笔记本电脑274等)。摄像机(例如，211、212、213、215、217和219等)可以形成多个摄像机的阵列(例如，213至215和217至219等)，其捕捉各种视频信息(例如，与电视节目和体育赛事等相关的不同的观看视角)。摄像机阵列可以以各种设置(例如，以线型，圆形等)方式排列。视频信息经由各种组件(例如，局域网和交换机等)转发到摄取集群231和流媒体服务器241。摄取集群231可以包括在由摄像机阵列捕捉的视频流上的进行各种编码操作中使用的处理器和存储器。摄取集群231也可以执行各种其他视频处理操作(例如，去噪和色彩增强等)。将处理的视频流信息发送到流媒体服务器241，流媒体服务器241将其转发给网络250(例如，其可以包括多层交换机或路由器和互联网服务器等)。网络250可以是互联网的一部分。网络250继而将视频流信息转发到各种演示设备以进行演示。演示设备可以包括在对由各个演示设备接收的编码视频流执行的各种解码操作中使用的处理器和存储器。在一个示例性实现方式中，视频流媒体是兼容http的，并且各个演示设备的用户可以通过兼容http的视频流媒体从流媒体服务器241中检索视频流信息。

http动态自适应流媒体(dynamicadaptivestreamingoverhttp，简称dash)是一种合并现有的自适应流媒体技术以为视频流媒体应用提供统一的文件格式和信令机制的标准技术。dash已经指定了文件格式和信令机制，允许客户端从一个比特率段切换到另一个比特率段。在dash中，视频被分割成小片段并且预编码为不同的比特率。在媒体呈现描述(mediapresentationdescription，简称mpd)文件中对可用的视频片段及其比特率进行了描述，该文件在视频流媒体开始之前已下载到客户端。客户端可以基于可用的网络带宽切换到合适的比特率段。这样，客户端可以在带宽降低时正常降低其qos，并在有更多带宽可用时逐渐提升其qos。dash还试着包括允许用户从一个视角切换到不同视角的方案，然而，dash还没有包括用于使用户通过http流媒体体验特效的方法。在传统的广播系统中，通过向用户广播预处理的视频来实现特效，但是用户不能选择其自己的特效的起点和终点。该新方法可以包括对与http技术兼容的dash等标准的扩展，并且该新方法促进交互特效。

图3是根据本发明的一个实施例的示例性编码过程300的框图。

在框310中，从摄像机阵列接收视频信息。该视频信息包括与多个视频流相关联的信息。该多个视频流可以包括与第一视图或透视图相关联的第一视频信息和与第二视图或透视图相关联的第二视频信息。多个视图或透视图可与具有多个摄像机的摄像机阵列对应。视频信息可以包括第一摄像机对应的第一视频流信息和第二摄像机对应的第二视频流信息。

在框320中，对视频信息执行编码操作。该编码操作可以包括编码和解码。编码操作采用与第一视图或透视图对应的第一视频信息相关联的第一主特效预测(sp)帧和与第二视图或透视图对应的第二视频信息相关联的第二辅特效预测(sp)帧。编码操作可以采用与第二视图或透视图对应的第二视频信息相关联的第二主特效预测(sp)帧。编码操作可以采用与第一视图或透视图对应的第一视频信息相关联的第一辅特效预测(sp)帧。在一个实施例中，下载最近的前一sp帧，且解码包括在特效启动的时间和插入sp帧的时间之间的帧。

在框330中，转发编码操作的结果以进行演示。该结果可以用于演示中推进特效。特效可以包括例如冻结时间特效和扫描特效。

图4是根据一个实施例的示例性视频流设置400的框图。视频流设置400包括分别与摄像机阵列的摄像机1、2、3和4对应的视频流401、402、403和404。视频流401包括i帧410、p帧411至419(例如，411、412、413、414、415、416、417、418和419)和sp帧421至429(例如，421、422、423、427、428和429)。视频流402包括i帧430、p帧431至439(例如，431、432、433、434、435、436、437、438和439)和sp帧441至449(例如，441、442、443、447、448和449)。视频流403包括i帧450、p帧451至459(例如，451、452、453、454、455、456、457、458和459)和sp帧461至469(例如，461、462、463、467、468和469)。视频流471包括i帧470、p帧471至479(例如，471、472、473、474、475、476、477、478和479)和sp帧481至489(例如，481、482、483、487、488和489)。将sp帧插入视频流中类似的相应位置(例如，以某时间间隔等)的视频流中。在该位置编码和插入相应的主sp帧(例如，422等)和两个相应的辅sp帧(例如，421和423等)。在一个示例性实现方式中，在时间t在视频流中插入p帧(例如，412等)。采用来自同一摄像机的时间t-1的前一p帧(例如，413等)作为参考帧或图片对主sp帧(例如，422等)进行编码。

采用来自左侧相邻摄像机时间t的主sp帧(例如，422)作为参考图片来编码一个辅sp帧(例如，441等)，采用来自右侧相邻摄像机时间t的主sp帧(例如，462等)作为参考图片来编码另一辅sp帧(例如，443等)。在一个实施例中，基于sp帧编码方法，当解码三个sp帧(例如，包括一个主sp帧和两个辅sp帧等)时，三个sp帧创建基本相似或相同的图片或图像。

尽管本实施例在流中的特定点处使用三个sp帧进行描述，但应当理解，在给定点处的数量或sp帧可以变化。sp帧的数量可基于摄像机阵列的设置或排列而变化。图4是配置或排列成圆形的摄像机阵列的示例。在另一实施例中，如果摄像机更多地排成直线，则边缘处的摄像机仅具有一个相邻摄像机，因此具有一个主sp帧和一个辅sp帧。

基于新的特效帧结构，存在沿着时间线的垂直解码路径，且在插入sp帧的位置上存在从一个垂直解码路径到另一个垂直解码路径的两个方向上的水平解码路径。根据本发明实施例，这些水平解码路径用于实现交互特效。

如果在i帧和第一个插入的sp帧之间出现冻结时间或视图扫描效果，则客户端从适当的摄像机视图下载i帧和i帧与特效播放帧之间的图片。由于i帧可以独立解码，所以来自开始摄像机视图的i帧不必存储在客户端的播放缓存中。然而，如果冻结时间或视图扫描在sp帧之后的时间发生，则水平解码路径从紧接在视图切换点之前的主sp帧开始。在定时播放期间，客户端将解码的最后一个主sp帧存储在存储器中。在冻结时间或视图扫描期间，客户端下载用于摄像机视图的辅sp帧和一个或多个p或b帧，而不必下载包括播放图片的整个视频段。这可以通过http字节范围请求实现。首先下载索引段以导出字节范围信息。

图5是根据一个实施例的用于实现冻结时间特效的示例性视频流的框图。视频流包括来自摄像机501、502和503的视频流510、520和530。视频流510包括p帧511和512以及主sp帧513。视频流520包括辅sp帧521。视频流530包括辅sp帧531和p帧532和533。图5是在插入sp帧的位置处实现从摄像机501到摄像机503的冻结时间特效的示例。客户端在视频流510中从摄像机501的开始摄像机视图执行定时播放。在sp帧的位置，客户端下载主sp帧513并对该帧进行解码，将解码结果作为参考转发。在将视图向右旋转时，下载来自摄像机502的视频流520中的相应辅sp帧521和来自摄像机503的视频流530中的辅sp帧531。客户端可以由主sp帧513的解码图片解码辅sp帧521，并且由辅sp帧521的解码图片解码辅sp帧531。客户端可以继续在视频流530上的定时播放，因为它可以基于辅sp帧531的解码图片来解码p帧532。

图6是根据一个实施例的用于实现冻结时间特效的示例性视频流的框图。图6是根据一个实施例的下载最近的前一sp帧和插入p帧的框图。视频流包括来自摄像机阵列中的摄像机601、602和603的视频流610、620和630。视频流610包括主sp帧613和p帧611、612、614和615。视频流620包括辅sp帧621和p帧622和623。视频流630包括辅sp帧631和p帧632、633、634和635。图6是在除了插入sp帧(例如，613、621和631)之外的随机位置(例如，615和633等)上实现从摄像机601到摄像机603的冻结时间的示例。为了在随机位置上实现冻结时间，客户端下载最近的前一sp帧613、621和631(例如，基于旋转方向)以及在冻结时间的时间和插入sp帧的时间之间的帧(例如，622、623、632和633等)。客户端可以由常规垂直解码路径解码615。客户端基于613解码621，基于621解码622，并基于622解码623。类似地，客户端可以解码帧633(例如，基于623解码631，基于631解码632，基于632解码633)。然而，由于是在与帧615、623和633对应的时间触发冻结时间特效，所以呈现帧615、623和633，而不呈现并舍弃帧621、622、631和632。

支持视图扫描的技术与支持冻结时间的技术类似。为了解码帧，客户端解码当前帧与前一i帧或sp帧之间的前一p或b帧。图7是根据一个实施例的用于实现扫描特效的示例性视频流的框图。视频流包括来自摄像机701、702和703的视频流710、720和730。视频流710包括p帧711、712和714和主sp帧713。视频流720包括辅sp帧721和p帧722和723。视频流730包括辅sp帧731和p帧732、733、734和735。扫描包括p帧714、723和734。为了实现扫描，客户端下载最近的前一sp帧713、721和731(例如，基于旋转方向)以及扫描中涉及的相应帧(例如，714、723和734)的时间以及插入sp帧的时间之间的帧(例如，722、732和733)。

利用新sp帧方法，看视频的用户可以在sp帧的时间观看到基本上相同的图片或图像，而不用管用于遍历以到达sp帧的视频路径。例如，用户在sp帧441、442和443的时间看到基本上相同的图片或图像，而不用管用于到达sp帧的路径。如果用户正在基于视频流402(例如，由p帧433到主sp帧442)观看视频，则当用户从视频流401切换到视频流402(例如，由p帧413到主sp帧422并且扫描或切换到辅sp帧441)时，用户看到的由主sp帧442产生的图像或图片与用户看到的由辅sp帧441产生的图像基本上相同。

图8是根据一个实施例的摄像机设置的示例性实现方式的俯视框图。图8包括摄像机801、802、803、804、805、806、807、808、809、821、822、823、824、825、826和827。这些摄像机设置在摄像机阵列中。摄像机捕捉包括对象871的场景870的图片或图像的不同视点。在一个示例性实现方式中，与体育赛事相关的场景由摄像机捕捉，其中，对象871是参与赛事的运动员。在比赛的期间或持续时间内，摄像机聚焦在对象871或运动员(例如，名为mark的15号)上。应当理解，在一些实施例中，摄像机阵列中的摄像机彼此紧挨着。摄像机801捕捉运动员871的前视图，摄像机805捕捉侧视图，摄像机809捕捉后视图。

图9是根据一个实施例的摄像机设置的示例性实现方式的部分侧视框图。应当理解，可以采用各种摄像机阵列设置(例如，可能存在更多的摄像机，摄像机阵列中的摄像机可以彼此紧挨着等)。图9示出了朝着摄像机801方向跑着并远离摄像机809的运动员871。摄像机801捕捉运动员871的前视图，而摄像机809捕捉运动员871的后视图。应当理解，图9中所示的侧视图的视点与摄像机805的视点相同。

图10是根据一个实施例的示例性视频流的框图。视频流1010与摄像机801相关联，视频流1010包括：i帧1011；p帧1012、1013、1014和1015；主sp帧1019；辅sp帧1017。视频流1020与摄像机802相关联，视频流1020包括：i帧1021；p帧1022、1023、1024和1025；主sp帧1029；辅sp帧1027。视频流1050与摄像机805相关联，视频流1050包括：i帧1051；p帧1052、1053、1054和1055；主sp帧1059；辅sp帧1057。视频流1080与摄像机808相关联，视频流1080包括：i帧1081；p帧1082、1083、1084和1085；主sp帧1089；辅sp帧1087。视频流1090与摄像机809相关联，视频流1090包括：i帧1091；p帧1092、1093、1094和1095；主sp帧1099；辅sp帧1097。应当理解，可能存在与其他摄像机相关联的其他视图流(未示出)。

无论用户遍历哪些摄像机(例如，801、805和809等)和相应的视频流(例如，1010、1050和1090等)以到达sp帧，sp帧的时间的相应视频流中图像或图片演示的都是“同一”对象(例如，同一对象或图像的不同视角等)。

图11是在特定sp帧集合对应的时间的示例性演示或图像1110、1150和1190的框图。根据与由摄像机801捕捉的前视点对应的视频流1010渲染图像1110。采用主sp帧1119或辅sp帧1117渲染图像1110，并且无论采用哪一个渲染图像1110都是一样的。根据与由摄像机805捕捉的侧视点对应的视频流1050渲染图像1150。采用主sp帧1159或辅sp帧1157渲染图像1150，并且无论采用哪一个渲染图像1150都是一样的。根据与由摄像机809捕捉的前视点对应的视频流1090渲染图像1190。采用主sp帧1199或辅sp帧1197渲染图像1190，并且无论采用哪一个渲染图像1190都是一样的。

在一个实施例中，利用主sp帧或辅sp帧来渲染演示的能力促进了视频流之间的切换。为了便于说明，描述了使用前视图和后视图的一个示例性实现方式。应当理解，可以实现与其他摄像机相关联的其他视点(例如，摄像机805、803、824和823等的侧视图)。例如，如果用户最初使用视频流1010从前面观看运动员871，则i帧1011、p帧1012和1013用于解码和呈现图像。当流到达sp帧时，如果用户不触发流切换，则继续采用主sp帧1019进行演示，并呈现前视图像1110。如果用户触发了流到流1090的切换，则采用辅sp帧1097进行演示，并呈现后视图像1090。如果用户最初使用视频流1090从后面观看运动员871，则i帧1091、p帧1092和1093用于解码和呈现图像。当视频流1090到达sp帧时，如果用户不触发流切换，则继续采用主sp帧1099进行演示，并呈现后视图像1090。因此，不管用户先前是使用视频流1010还是1090来观看演示，如果用户继续采用后视图或在sp帧时间触发到后视图的切换，呈现的都是同一图像1090。为了便于说明，图10所示视频流为具有一个辅sp帧的视频流。应当理解，可以在主sp帧处插入附加的辅sp帧(例如，类似于图4，在主sp帧处插入了两个sp帧)。类似地，采用了附加sp帧，无论用户先前是使用视频流1010还是1090来观看演示，如果用户继续采用前视图或在sp帧时间触发到前视图的切换，呈现的都是同一图像1010。

在一个实施例中，视频数据在其通过网络流式传输之前进行压缩，本发明实施例除了sp帧编码之外还与各种编码操作兼容。通过编码过程(例如，消除其空间和时间冗余等)实现视频压缩。独立(i)帧不参考其它帧或图片独立进行编码和解码。p帧和b帧并非独立编码或解码。为了编码p帧，首先构建来自一个或多个前一帧的运动补偿预测帧，然后对当前图片和预测图片之间的差异信息进行编码。为了编码b帧，可以根据前一和未来的图片构建预测帧。为了解码p帧或b帧，首先接收和解码参考帧。通常，编码i帧比p或b帧需要更多的比特。编码视频流可包括连续的图片组(groupofpictures，简称gop)。gop可以指定i、p和b帧的排列顺序，并且通常以i帧开始。在http流媒体中，用户可以从一个比特流段切换到另一个比特流段，或者从一个摄像机视图切换到另一个摄像机视图。对于不同类型的帧，i帧是独立编码的，并且可以用作比特率或视图切换点。编码i帧比p帧和b帧要花费更多的比特，将更多的i帧插入到视频流中可以明显提高带宽。

本发明实施例的当前sp帧与先前的sp和si帧方法兼容。可以使用与p帧所使用的编码过程不同的编码过程来对sp帧进行编码。sp帧的一个特征是当不同的参考帧用于预测时可以重构帧。该新方法还与采用用于多视图切换的分布式源编码的合并帧(m帧)兼容。使用sp帧和m帧可以实现与i帧类似的质量，而使用更少的带宽。

本文中所述的实施例是以计算机可执行指令(例如程序模块)的大背景来讨论的，这些计算机指令位于某种形式的计算机可读介质，并由一个或多个计算机或其它设备执行。举例来说，计算机可读存储介质可以包括非瞬时性计算机存储介质。非瞬时性计算机可读存储介质包括除了暂存传播信号之外的所有计算机可读介质。计算机可读的存储介质包括在用于存储计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术中所实现的易失性和非易失性、可移动和不可移动介质。一般而言，程序模块包括例程、程序、对象、组件以及数据结构等，其执行特定任务或实现特定抽象数据类型。根据各种实施例中的需要，程序模块的功能可以组合或分布。

尽管本文中已经揭示某些优选实施例和方法，但所属领域的技术人员将从前述揭示内容显而易见，在不脱离本发明的精神和范围的情况下可以对此类实施例和方法进行变化和修改。希望本发明将仅限于所附权利要求书以及可适用法律的规则和原理所需的范围。