专利名称：容错的视频传输方案的制作方法
技术领域：
本发明总地涉及视频处理，更具体地涉及用于编码视频以供例如在网络上传输的方法和设备。附图
简述本发明的各实施例在各附图中是以示例方式而非限定方式示出的，在附图中相似的附图标记指代相似的要素。
图I是不出用于相互依存的GOP视频巾贞传输的现有技术方法的图。图2是示出根据本发明的一些实施例的如何可能传输视频的框图。图3是示出根据ー些实施例的如何可能使用帧子序列传输视频的图。
具体实施例方式对远程、高质量视频传输的需求正变得越来越普遍存在。例如,对于诸如视频会议、视频点播、数字电视之类的实时或准实时应用以及许多其它应用而言，需要高效的视频流传输方法。大多数方法使用所谓的有损压缩视频传输技木，以满足低带宽环境下的定时限制。在此类技术下，信息是固有地丧失的，但视频文件尺寸的减小总地来说在价值上高于用户感受到的视频观看缺憾。采用帧间依存性的有损视频编码标准被普遍使用。例如，在所谓的图象组(GOP)相互依存的组帧方案(例如MPEG-4)下，多个參考帧(通常称为“ I ”帧)对给定帧图像传输场景可见信息的绝大部分(若非全部的话)。它们散布在其它帧(所谓的“P”帧和“B”帧)内。P帧是前向预测的帧，而B帧是双向预测的帧。P帧和I帧可被序列帧中后续的其它帧參考。ー个B帧相对于过去的參考帧、未来的參考帧或这两个帧予以编码。P帧和B帧对于它们的大量场景信息是參考I帧获得的。它们本质上仅承载相对于相关的I帧改变的场景的诸部分。相应地，它们能比I帧小许多(数据大小)，因此使视频序列能被极大程度地压缩。图I以图形方式示出目前如何使用相互依存的I、P和B帧对源视频文件编码并将其组织成帧的图象组(GOP)序列。框102表示来自视频源的实际图象的源流，该源流组成要被编码和传输的视频。在104，帧图象被编码到相互依存的I、P和B帧的GOP序列中。这些帧根据视频图象序列本身被基本排序成单个序列。值得注意的是本说明书中的任何P或B帧在框306中绘出。虽然在此示例中使用了三个子序列，但对于一般方法而言，源视频帧序列被划分成两个或更多个子序列组(子序列)。使用更多子序列通常导致更小的失真等，但可能更难以在解码器中及时地还原到一起。因此，应当考虑这些对立因素之间的折衷。根据各种设计考量，例如平均视频文件尺寸、所需分辨率/质量以及硬件能力等等(这里仅提到了其中一部分)，可采用任何适当的子序列数量。如上面所讨论的，在大多数情况下，每个子序列中的帧间编码仅參考来自同一子序列的其它帧。此外，这种约束的ー个例外是当各个子序列中的诸前导帧參考一共同的前导參考帧时。这种情况示出在图3的框304和308中。换言之，子序列中的诸个帧应当仅參考来自该同一子序列的其它帧，除非例如如果它们參考共同的前导參考帧。在一些实施例中，当将来自源视频帧序列的诸帧划分成子序列时，通过子序列交替来完成子序列/帧分配。例如，通过使用两个子序列和H264标准，编码器可被配置成将源文件帧划分成两个子序列。例如，通过使用灵活H264帧分配特征，编码器可将“奇数”帧分配给“奇数”帧子序列，并将“偶数”帧分配给“偶数”帧子序列。从这里开始，然后编码器分配帧间參考关系，以使奇数帧參考其它的奇数帧，且使偶数帧參考其它的偶数帧。然后编码器产生H264流并在网络上传输该H264流。作为另ー示例，对于三子序列方案(在图3中示出)，可采用交替的三组(子序列)方案。可将第一帧分配给第一子序列，将第二帧分配给第二子序列，将第三帧分配给第三子序列，将第四帧返回分配给第一子序列，第五帧分配给第二子序列，依此类推。也就是说，第N帧将去往为N/[所使用的子序列数]的余数的子序列。
在此示例的情况下，在解码器中，可应用镜像相反的过程来恢复原始帧顺序。gp，就对来自子序列的帧进行解包而言，解码过程通常与编码帧分配过程相反。因此，在上述使用三子序列的例子中，第一帧来自子序列I的第一帧，第二整体帧来自子序列2的第一帧，第三帧来自子序列3的第一帧，第四帧来自子序列I的第二帧，第五帧来自子序列2的第二帧，依此类推。使用具有灵活帧參考能力的压缩标准(例如H264)的好处在于，利用这ー特征，将无需不同地设计解码器以适应所提出的组成子序列的方法的诸实现方式。解码器可如刚刚讨论那样对这些帧解包，而无需知晓或关注它们正在利用如本文中所教导的组成子序列的方法。通过使用这样的多次组成子序列的编码/解码过程，来自有缺陷的子序列或子序列中的有缺陷的帧组的影响被最小化，这使得即使在传输期间发生某些帧的丢失或败坏，也保持高的视频质量。例如，想象子序列得到一断裂帧的情形。断裂帧会影响来自其子序列的后续诸帧，但不影响其它子序列中的那些后续诸帧。这在框308中通过阴影框示出。其它子序列中的帧不依存于断裂的子序列，因此其它子序列毫无问题地被解码，如框310所示那样。因此，如果在传输期间出现错误，且所解码的帧具有可见矫波，则来自“断裂”的子序列的帧将与来自另一子序列的完好帧交织。可能看起来像屏幕上的少许闪烁，但绝非如若不然则可能出现的缺陷，且整体视觉质量不会明显受损。在之前的描述中，阐述了多个具体细节。然而，应该理解本发明的实施例可在没有这些特定细节的情况下实施。在其它情况下，可能没有详细示出公知的电路、结构和技木，以免使本说明书的理解变得晦涩。鉴于此，对“ 一个实施例”、“ー实施例”、“示例实施例”、“各实施例”等的引用表示如此描述的本发明的实施例可包括特定的特征、结构或特性，但并非每个实施例都必须包括那些特定的特征、结构或特性。此外，一些实施例可具有针对其 它实施例描述的特征中的ー些、全部或者不具有这些特征。例如，如本文中所教导，虽然示出使用子序列来传输视频文件的编码器在网络上传输帧，但应当理解，不是在所有应用中都要使用网络，例如，可将本发明的编码方案用于通过存储介质传输的文件(诸如影碟或其它存储方法的情況)。在之前的说明书和所附权利要求书中，以下术语应当作如下解释可使用术语“耦合的”和“连接的”以及其衍生词。应当理解，这些术语并不意图作为彼此的同义词。相反，在特定实施例中，“连接”用于指示两个或多个要素相互直接物理或电气接触。“耦合”用于指示两个或多个要素彼此合作或相互作用，但它们可以直接物理或电接触或者不那样。本发明不限于所描述的实施例，而能在所附权利要求书的精神和范围内修改和变更的情况下实施。例如，应理解本发明能适用于所有类型的半导体集成电路(“1C”)芯片。这些IC芯片的示例包括但不限于处理器、控制器、芯片集组件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片及类似物。应理解，在一些附图中，通过直线表示信号导体线。ー些线可能更粗，以指示更 多组成的信号路径，ー些线可能具有数字标记，以指示多个组成的信号路径，和/或一些线可能在一端或更多端具有箭头，以指示主要的信息流向。然而，这不应当按照限制的意义来解释。相反，这些添加的细节可与一个或多个示例性实施例结合使用，以便更容易理解电路。任何表示的信号线(无论是否具有附加信息)可实际上包括沿多个方向传播的ー个或多个信号，并可通过任何适当类型的信号方案来实现，例如利用差分对实现的数字或模拟线、光纤线和/或单端线。应理解，可能已给出示例尺寸/模型/值/范围，尽管本发明不限于此。随着制造技术(例如光刻法)随时间而成熟，预期能制造更小尺寸的器件。此外，为了说明和讨论简单起见，且为了不便本发明变得晦涩，在附图中可能示出公知的与IC芯片和其它组件的电源/接地连接也可能不予以示出。此外，以框图形式示出配置，以避免使本发明变得晦涩，且有鉴于关于此类框图配置的实现方式的细节很大程度上取决于本发明实现在的平台的这一事实，即此类细节完全应当在本领域普通技术人员的视界内。在陈述具体细节(例如电路)以描述本发明的示例实施例的情况下，对本领域普通技术人员应显而易见的是，本发明能在没有这些具体细节或在这些具体细节的变型的情况下实施。因此这些描述被视为是说明性的而非限制性的。
权利要求
1.一种芯片，包括 图形处理器，用于通过将帧关联到两个或更多个不同的子序列中来编码视频帧序列。
2.如权利要求I所述的芯片，其特征在于，所述两个或更多个子序列将在网络上传输。
3.如权利要求2所述的芯片，其特征在于，所述子序列将在不同的网络分组中传输。
4.如权利要求I所述的芯片，其特征在于，来自所述视频帧序列的帧分布在所述两个或更多个子序列中，使得每个子序列包括从始至终地遍及源视频帧序列的帧。
5.如权利要求I所述的芯片，其特征在于，使用三个子序列。
6.如权利要求I所述的芯片，其特征在于，使用MPEG-4编码方案。
7.—种电子设备,包括 图形处理器，所述图形处理器具有解码器，所述解码器用于将源视频帧序列的两个或更多个不同的子序列解码成能显示的视频格式。
8.如权利要求7所述的设备，其特征在于，包括网络接口，所述网络接口用于在网络上接收所述两个或更多个子序列。
9.如权利要求8所述的设备，其特征在于，所述子序列将在不同的网络分组中传输。
10.如权利要求7所述的设备，其特征在于，来自所述源视频帧序列的帧分布在所述两个或更多个子序列中，使得每个子序列包括从始至终地遍及所述源视频帧序列的帧。
11.如权利要求7所述的设备，其特征在于，使用MPEG-4解码方案。
12.如权利要求11所述的设备，其特征在于，将使用H264压缩标准。
13.—种方法,包括 将源视频帧序列划分成两个或更多个子序列；以及 将用于每个子序列内的帧的相互依存的帧参考基本上仅分配给同一子序列内的其它帧。
14.如权利要求13所述的方法，其特征在于，包括将来自每个子序列中的帧的参考关系分配给在所述子序列之前的共同参考帧。
15.如权利要求14所述的方法，其特征在于，所述共同参考帧在所有所述子序列之外。
16.—种服务器,包括 编码器，用于将源视频帧序列划分成两个或更多个子序列，并将用于每个子序列内的帧的相互依存的帧参考基本上仅分配给同一子序列内的其它帧。
17.如权利要求16所述的服务器，其特征在于，所述分配包括将来自每个子序列中的帧的参考关系分配给在所述子序列之前的共同参考帧。
18.如权利要求17所述的服务器，其特征在于，所述共同参考帧在所有所述子序列之外。
19.如权利要求17所述的服务器，其特征在于，采用H264压缩标准。
全文摘要
本文提供了一种使用多个子序列来传递视频帧序列的GOP方法。
文档编号H04N7/26GK102714719SQ201080061292
公开日2012年10月3日 申请日期2010年1月13日 优先权日2010年1月13日
发明者V·F·切瑞潘诺夫 申请人:英特尔公司