专利名称：视频处理装置及方法
技术领域：
本 发明是关于视频处理，更具体的，是关于视频处理装置及方法。
背景技术：
视频系统实现了多种功能以方便的存储、处理或传输视频数据。例如， MPEG1/2/4和H.26x等视频编码标准用于实施视频数据压缩和解压缩，以提高存储容量 和传输带宽。这些视频编码标准对具有一系列视频帧的视频数据采用基于块的压缩，基 于较前的视频帧对较后的视频帧进行编码。具体而言，视频数据压缩是通过减少帧之间 的时间冗余和单一帧内部的空间冗余来实现的。同时还可实施例如离散余弦转换(DCT) 和运动补偿等压缩技术，以产生具有相对较高压缩率的标准兼容(compliant)比特流。因 此，比特流可以有效率且标准化的方式进行传输和存储。但由于视频编码标准的特性，当压缩或传输期间比特流引入不希望或不可复原 的错误时，由于较前的视频帧缺少(absent)或不可用，较后的视频帧可能解码错误。典 型情况下，参考该缺少或不可用的较前视频帧进行编码的较后视频帧会被跳过不显示。 这种不希望的帧跳过显示可引起突发场景变化或场景移动不连续，导致用户观看体验不佳。因此，需要一种用于视频处理装置的视频处理方法，能够在参考帧缺少或不可 用的情况下处理并且平滑显示视频帧。
发明内容
有鉴于此，本发明的目的之一是提供一种视频处理装置及方法。本发明提供一种视频处理方法包含解码一比特流，其中该比特流包含多个画 面组，且每个画面组包含一帧序列；确定要显示的一当前画面组的一当前帧是否有宏块 前向参考了一先前画面组的一先前帧；以及若该当前帧没有宏块前向参考该先前画面组 的该先前帧，则显示该当前画面组的该当前帧。本发明又提供一种视频处理方法，包含解码一比特流，其中该比特流包含多 个画面组，且每个画面组包含一帧序列；确定要显示的一当前画面组的一当前帧是否有 宏块前向参考了该当前画面组的一先前帧；以及当该当前帧有宏块前向参考该当前画面 组的该先前帧，且该先前帧缺少时，建立一所需帧，其中，根据该当前画面组的多个帧 中没有前向参考该先前帧的其余宏块获取该所需帧的宏块信息，以建立该所需帧，该当 前画面组的该多个帧包含该当前帧和该当前帧之后的帧。本发明提供一种视频处理装置，包含一解码器，用于解码一比特流，其中该 比特流包含多个画面组，且每个画面组包含一帧序列；一控制器，耦接该解码器，用 于确定要显示的一当前画面组的一当前帧是否有宏块前向参考了一先前画面组的一先前 帧，其中该当前画面组在该先前画面组之后；以及一显示设备，耦接该控制器，用于 在该当前帧没有宏块前向参考该先前画面组的该先前帧时，显示该当前画面组的该当前帧。本发明还提供一种视频处理装置，包含一解码器，用于解码一比特流，其中 该比特流包含多个画面组，且每个画面组包含一帧序列；一控制器，耦接该解码器，用 于确定要显示的一当前画面组的一当前帧是否有宏块前向参考了该当前画面组的一先前 帧，该当前帧在该先前帧之后，当该当前帧有宏块前向参考该当前画面组的该先前帧、 且该先前帧缺少时，建立一所需帧，其中，根据该当前画面组的多个帧中没有前向参考 该先前帧的其余宏块获取该所需帧的宏块信息，以建立该所需帧，该当前画面组的该多 个帧包含该当前帧和该当前帧之后的帧。本发明的优点之一是能够在参考帧缺少或不可用的情况下处理并且平滑显示视 频帧。
图1是视频处理装置10 —个实施例的 方块示意图。图2A是解码顺序下GOP的示意图。图2B是显示顺序下GOP的示意图。图3是缺少参考帧时处理比特流108的一个实施例的示意图。图4是缺少参考帧时处理比特流408的另一实施例的示意图。图5是视频处理方法50 —个实施例的流程图。图6是另一实施例视频处理方法60的流程图。
具体实施例方式在说明书及后续的权利要求当中使用了某些词汇来指称特定组件。所属领域中 具有通常知识者应可理解，制造商可能会用不同的名词来称呼同一个组件。本说明书及 后续的权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异 来作为区分的准则。在通篇说明书及后续的请求项当中所提及的“包括”和“包含”系 为一开放式的用语，故应解释成“包含但不限定于”。以外，“耦接” 一词在此系包含 任何直接及间接的电气连接手段。间接的电气连接手段包括通过其他装置进行连接。图1是视频处理装置10—个实施例的方块示意图。如图1所示，视频处理装置 10包含解码器102、控制器104和显示设备106。解码器102接收比特流108并解码。 如第2A、2B图所示，根据其中一个实施例，比特流108是具有多个画面组(GmupOf Pictures, GOP)的MPEG编码比特流。图2A是解码顺序下GOP的示意图，图2B是显示顺序下GOP的示意图。参考第2A、2B图，有两组GOP: GOPO和GOPl。每个GOP包含帧序列，例如 GOPO以画面内编码帧(I帧)10开始，随后排列预测编码帧(P帧)PO、Pl和双向预测编 码帧(B帧)B0、Bi、B2、B3。画面内编码帧I帧编码时不参考其它帧。预测编码帧P 帧时间参考(temporal reference)先前的I帧或P帧进行编码。通常，I帧和P帧称为参考 帧，用于定义解码顺序下的未来(较后的)帧。双向预测编码帧B帧参考同一 GOP内先 前和之后的I帧和P帧进行编码。请注意，对于如图2A所示解码顺序下的当前G0P1， 其中的第一个B帧B4(B4紧随当前GOP的第一个I帧II)也可以参考先前的GOPO中的一些帧。此时，GOPl的标头(header)中会使用旗标Close_GOP，指示B帧的编码前向 参考(forwardreference) 了先前GOPO的帧。进一步，每一帧(例如I帧10)分为多个片 (slice)，例如片Sn。每个片包含多个宏块(MacroBlock，MB)。每个MB表示一组像 素，例如 8x8、8x16、16x8、16x16 块。8x8 块可再划分(sub-partition)为 4x4、4x8 或 8x4大小的块。如第2A、2B图所示，比特流108的解码顺序不同于显示顺序。图2A中， GOPO, GOPl由图1解码器102解码的解码顺序是“10，PO, BO, Bi，PI, B2，B3， II，B4，B5，P2, B6，B7”，而图2B中，GOPO、GOPl由图1显示器106显示的顺 序是 “10，BO, Bi, PO, B2, B3, PI, B4, B5, II，B6, B7, P2”。如上所述，
解码P帧或B帧可能需要较前的参考帧解码时所导出的已解码数据。当P帧或B帧所参 考的较前参考帧缺少或无效时，较后的P帧或B帧就不能解码。图3是缺少参考帧时处理比特流108的一个实施例的示意图。参考第1、3图， 假设由于缺少GOPO而缺少P帧P1。一个实施例中，在切换新频道时，与新频道关联的 GOPO不一定能被解码器102接收到，从而使P帧Pl缺少。另一实施例中，若GOPO存 储在存储介质(例如光盘)的缺陷区，GOPO也可能对解码器102不可用，导致缺少P帧
Plo如图3箭头302、304所示，耦接于解码器102的控制器104随后确定GOPl的 两个B帧B4、B5中是否有MB前向参考了先前的GOPO。在一些实施例中，两个B帧 B4、B5可能对标志(logo)或关键帧很重要。依据上述可知，在图2A所示的解码顺序下，由于要显示的两个B帧B4、B5紧 随I帧Il之后，可直接用旗标Close_GOP确定B帧B4、B5是否为画面内编码、或者B 帧B4、B5是否只利用后向参考帧进行编码。但由于旗标Cl0Se_G0P可在编码过程后发 生的任意编辑期间(editing period)设定，可能造成旗标Close_GOP使用不稳定。因此，控制器104也可不使用旗标Close_GOP，而是根据在B帧B4、B5编码中 指定的指示所用参考的信息，来确定B帧B4、B5是否参考GOPO的P帧P1。例如，指 定信息可以是用于指示所用参考帧的运动向量信息。若控制器104确定较后的GOPl中两个B帧B4、B5没有MB前向参考较前的 GOPO (例如参考P帧Pl)，则耦接控制器104的显示设备106显示可正确解码的两个B帧 B4、B5。否则，控制器104对于参考缺少的前向参考帧Pl的两个B帧B4、B5跳过不显 示，因此显示器106可避免显示错误解码的B帧B4、B5。图4是缺少参考帧时另一实施例处理比特流408的示意图。 典型的，当用户开始切换频道时，图1所示解码器102直到识别出下一 I帧或下 一 GOP边界才能开始解码比特流408。但参考图4，若缺少I帧IO (图未示)的当前GOPO 数据量较大，等待下一 I帧(即II)或下一 GOP边界(即G0P1)的时间也相应较长，因 此大大增加了频道切换时间或延迟。进一步，当切换频道时，欲观看的频道显示黑色或 呈现扭曲帧(解码器102错误解码的帧)直到下一 I帧Il可用，这会破坏用户的视频观看 体验。因此，根据本发明的一个实施例，在接收下一 I帧Il之前，控制器104可利用当前GOPO的一些有用信息来消除上述缺陷。更具体的，如图4所示切换频道时，解码器102开始接收与欲观看频道相关联的新比特流408。请注意，假设与欲观看频道相关联的新比特流408缺少GOPO中P帧P52 之前的帧。在运作中，控制器104确定当前要显示的帧(例如GOPO的P帧P52)是否有MB 前向参考了缺少的帧，例如GOPO的P帧P51。若控制器104确定P帧P52中没有MB前向参考缺少的P帧P51(也就是说，P 帧P52的所有MB都是画面内编码)，显示设备106就显示P帧P52，用户切换频道时可 无延迟观看正确解码的P帧P52。另外，若确定P帧P52的一部分MB参考缺少的P帧P51(如箭头402所示)，就 确定其余MB Rl为画面内编码。由于前向参考了缺少的P帧P51，P帧P52的画面间编 码MB可能解码错误。但P帧P52的画面内编码MB Rl可正确解码。控制器104确定P 帧P52后P帧P53中的画面内编码MBR2。另外，如箭头404所示，解码P帧P53可能 需要画面内编码MB Rl解码中导出的一些MB信息。类似的，控制器104确定紧随P帧 P53的P帧P54中的画面内编码MBR3和画面间编码MB。详细而言，解码画面内编码 MBRU R2所导出的MB信息获取后会进行整合，以解码P帧P54中的画面间编码MB。 所以，从P帧P54的画面内编码MB R3和画面间编码MB所导出的MB信息对解码器102 都是可用的，从而建立(establish)所需帧(即P帧P54)空间对应(spatiallycorresponded) 的MB。在图4的实施例中，控制器104根据分别来自P帧P52、P53、P54的画面内编 码MBR1、R2、R3获取所需P帧P54的MB信息，从而建立所需P帧P54。进一步， 获取画面内编码MB Rl、R2、R3导出的MB信息并进行整合，以解码P帧P53、P54的 其他画面间编码MB。建立所需帧空间对应MB的过程重复进行，直到获取到所需P帧 P54全部MB的MB信息。请注意，P帧P52、P53、P54是同一 GOP内的接续帧。因 此，显示设备106显示所需P帧P54而非下一 I帧II，由此减小了切换频道的延迟。注意 到本发明的一个实施例中，显示设备106可显示所需P帧P54的一部分，在所需P帧P54 中只有该部分MB是根据上述运作方法和设计需要来获得的。所以，并不必须重复该运 作直到获取所需帧的所有MB。进一步，请注意上述实施例可应用至基于MB的任何解码方式。图5是视频处理方法50 —个实施例的流程图，视频处理方法50由图1所示的视 频处理装置10实施。视频处理方法50开始时，解码器102接收并解码比特流108(步骤S502)。比 特流108包含多个G0P，每个GOP包含帧序列，如第2A、2B图所示。接着，确定要显 示的当前GOP的当前帧是否有MB前向参考了先前GOP的帧(步骤S504)。例如，控 制器104确定GOPl的B帧B4是否有MB前向参考了 GOPO中缺少的P帧Pl，如图3箭 头302所示。请注意，确定过程已经在图3实施例中详细描述，此处不再重复。若当前帧没有MB前向参考了先前GOP的缺少帧，则显示设备106显示当前 GOP的当前帧(步骤S506)。例如图3所示，若GOPl的B帧B4编码只后向参考I帧 II，显示设备106则显示正确解码的B帧B4。另外，若当前GOP的当前帧(例如GOPl的B帧B4)有MB前向参考了先前GOP的缺少帧(例如GOPO的缺少P帧P1，如图3箭 头302所示)，则跳过或丢弃当前帧，不显示在显示设备106(步骤S508)。
图6是另一实施例视频处理方法60的流程图，视频处理方法60由图1所示的视 频处理装置10实施。视频处理方法60开始时，解码器102接收并解码比特流108 (步骤S602)。在 此示例实施例中，比特流108包含多个GOP，每个GOP包含帧序列，如第2A、2B图所示。接着，确定要显示的当前GOP的当前帧是否有MB前向参考了先前GOP的帧 (步骤S604)。如图4箭头402所示，控制器104确定GOPO的P帧P52是否参考了 GOPO 中缺少的P帧P51。若当前GOP的当前帧没有MB前向参考了当前GOP的先前帧，则当前帧可能由 画面内编码MB组成。例如，若当前帧是P帧，且其中没有MB前向参考了当前GOP的 先前帧，则该P帧为画面内编码。由于当前帧的所有画面内编码MB都可用，显示设备 106就显示当前帧(步骤S610)。否则，若当前GOP的当前帧有MB前向参考了当前GOP的先前帧，则确定当前 帧全部或者部分由画面间编码MB组成。参考图4，当前P帧P52具有画面内编码MB Rl0另外，当前P帧P52的其余MB是前向参考缺少的P帧P52进行画面间编码。此 时，控制器104根据当前帧的画面内编码MB获取所需帧的MB信息，从而建立所需帧。 更具体的，控制器104获取并整合分别来自一组接续帧(例如P帧P52、P53、P54)的 MB信息，以获得所需帧的完整MB信息(也就是获取所需帧所有MB的MB信息)，从 而建立所需帧(步骤S612)。请注意，建立所需帧的过程已在第1、4图的实施例中描述 过，此处为简洁省略进一步描述。最后，所需帧显示在显示设备106 (步骤S614)。任何熟习此项技艺者，在不脱离本发明之精神和范围内，当可做些许的更动与 润饰，因此本发明之保护范围当视所附之权利要求所界定者为准。
权利要求
1.一种视频处理方法，包含解码一比特流，其中该比特流包含多个画面组，且每个画面组包含帧序列；确定要显示的当前画面组的一当前帧是否有宏块前向参考了先前画面组的一先前 帧；以及若该当前帧没有宏块前向参考该先前画面组的该先前帧，则显示该当前画面组的该 当前帧。
2.如权利要求1所述的视频处理方法，更包含若该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，跳过显 示该当前画面组的该当前帧。
3.如权利要求2所述的视频处理方法，其中，要显示的该当前画面组的该当前帧是在 该当前画面组的画面内编码帧之后的一双向预测编码帧，并且，在该当前画面组的标头 中使用一旗标，以指示该当前帧是前向参考该先前帧进行编码。
4.如权利要求3所述的视频处理方法，其中，不使用该旗标，根据该当前帧编码中指 定的信息确定该当前画面组的该当前帧参考该先前画面组的该先前帧。
5.一种视频处理方法，包含解码比特流，其中该比特流包含多个画面组，且每个画面组包含一帧序列；确定要显示的当前画面组的一当前帧是否有宏块前向参考了该当前画面组的一先前 帧；以及当该当前帧有宏块前向参考该当前画面组的该先前帧，且该先前帧缺少时，建立一 所需帧，其中，根据该当前画面组的多个帧中没有前向参考该先前帧的其余宏块获取该所需 帧的宏块信息，以建立该所需帧，该当前画面组的该多个帧包含该当前帧和该当前画面 组在该当前帧之后的帧。
6.如权利要求5所述的视频处理方法，更包含显示该所需帧；或者，当该当前帧没有宏块前向参考该当前画面组的该先前帧时， 显示该当前画面组的该当前帧。
7.如权利要求5所述的视频处理方法，其中，建立该所需帧包含根据该当前画面组的该多个帧中没有前向参考该先前帧的其余宏块，获取该所需帧 所有宏块的宏块信息，该当前画面组的该多个帧包含该当前帧和该当前帧之后的帧。
8.如权利要求5所述的视频处理方法，其中，要显示的该当前画面组的该当前帧是一 预测编码帧。
9.如权利要求8所述的视频处理方法，其中，建立该所需帧包含确定该当前画面组的该多个帧之一的画面内编码宏块和画面间编码宏块，其中，该 画面内编码宏块无参考帧，该当前画面组的该多个帧之一在该画面间编码宏块前向参考 的参考帧之后；以及从该多个画面内编码宏块和该多个画面间编码宏块中获取宏块信息，用于建立所需 帧的空间对应宏块。
10.—种视频处理装置，包含解码器，用于解码比特流，其中该比特流包含多个画面组，且每个画面组包含一帧序列；控制器，耦接该解码器，用于确定要显示的当前画面组的一当前帧是否有宏块前向 参考了先前画面组的一先前帧，其中该当前画面组在该先前画面组之后；以及显示设备，耦接该控制器，用于在该当前帧没有宏块前向参考该先前画面组的该先 前帧时，显示该当前画面组的该当前帧。
11.如权利要求10所述的视频处理装置，其中，当该当前帧有宏块前向参考该先前画 面组的该先前帧，且该先前帧缺少时，该控制器跳过显示该当前画面组的该当前帧。
12.如权利要求10所述的视频处理装置，其中，要显示的该当前画面组的该当前帧是 在该当前画面组的画面内编码帧之后的一双向预测编码帧，并且，在该当前画面组的标 头中使用一旗标，以指示该当前帧是前向参考该先前帧进行编码。
13.如权利要求12所述的视频处理装置，其中，不使用该旗标，根据该当前帧编码中 指定的信息确定该当前画面组的该当前帧参考该先前画面组的该先前帧。
14.一种视频处理装置，包含解码器，用于解码比特流，其中该比特流包含多个画面组，且每个画面组包含一帧 序列；控制器，耦接该解码器，用于确定要显示的当前画面组的一当前帧是否有宏块前向 参考了该当前画面组的一先前帧，该当前帧在该先前帧之后，当该当前帧有宏块前向参 考该当前画面组的该先前帧、且该先前帧缺少时，建立一所需帧，其中，根据该当前画面组的多个帧中没有前向参考该先前帧的其余宏块获取该所需 帧的宏块信息，以建立该所需帧，该当前画面组的该多个帧包含该当前帧和该当前画面 组在该当前帧之后的帧。
15.如权利要求14所述的视频处理装置，更包含显示设备，耦接该控制器，用于显示该所需帧。
16.如权利要求15所述的视频处理装置，其中，若该当前画面组的该当前帧没有宏块 前向参考该先前帧，则该显示设备显示该当前帧。
17.如权利要求14所述的视频处理装置，其中，要显示的该当前画面组的该当前帧是 一预测编码帧。
18.如权利要求17所述的视频处理装置，其中，该控制器进一步确定该当前画面组 的该多个帧之一的画面内编码宏块和画面间编码宏块，以及从该画面内编码宏块和该画 面间编码宏块中获取宏块信息，用于建立所需帧的空间对应宏块，其中，该画面内编码 宏块无参考帧，该当前画面组的该多个帧之一在该画面间编码宏块前向参考的参考帧之后。
全文摘要
一种视频处理装置及方法。其中，视频处理方法包含解码一比特流，其中该比特流包含多个画面组，且每个画面组包含一帧序列；确定要显示的一当前画面组的一当前帧是否有宏块前向参考了一先前画面组的一先前帧；以及若该当前帧没有宏块前向参考该先前画面组的该先前帧，则显示该当前画面组的该当前帧。本发明的优点之一是能够在参考帧缺少或不可用的情况下处理并平滑显示视频帧。
文档编号H04N7/26GK102025982SQ201010125158
公开日2011年4月20日 申请日期2010年3月16日 优先权日2009年9月21日
发明者吴崇宾, 陈威任 申请人:联发科技股份有限公司