编码流再生装置的制作方法

专利名称：编码流再生装置的制作方法
技术领域：
本发明的一个实施例涉及用于接收通过数字广播发送的编码流并且再生编码流的编码流再生装置。
背景技术：
近年来，地面数字广播或CS(通信卫星广播)和BS(广播卫星广播)的数字卫星广播已经开始变得很普遍。根据数字广播，可以在家观看大屏幕和清楚的视频。

发明内容
在这样的数字广播中，当接收状态不好时，接收到的广播信号中可能包括错误。当包括错误的视频信号被解码时，其再生的视频通常变为观看时难以忍受的视频，另外，视频可能和声音不同步。因此，需要检测包括在数字广播信号中的错误，例如，丢弃包括错误的视频信号。
JP-A-2001-025014中披露一种检测这种错误的方法。在该文件中，披露了一种检测视频比特流中的错误并且通知视频解码器该错误信息的系统解码器，在该视频解码器中，使用错误信息来执行没有错误的帧的解码过程。
近来，移动广播已经被商业化。移动广播是即使在户外或在运动过程中也能够被欣赏的多信道和多媒体的卫星数字广播服务。不同于传统的卫星广播，在移动广播中，使用接近第三代(3G)移动电话频带的被称为S频带(2.6GHz频带)的广播波，并且通过专用广播卫星以比传统卫星广播更高的输出被发送。
在传统的卫星广播中，有必要在阳台等处固定天线。但是在移动广播中，可以在自由移动的时候观看广播。根据移动广播已经发行了便携式电视、车载电视、能够用在笔记本大小的PC中的PC卡等。
作为如上所述的移动广播的数据压缩方法，例如，使用H.264(MPEG4AVC)压缩方法。H.264压缩方法是用于在保持原始图像的质量的情况下能够获得比以前更高压缩系数的方法。H.264被描述为获得比诸如MPEG-2的传统方法的压缩效率高两倍或更多的压缩效率，并且已经开始在移动广播或移动电话等中应用。
即使在这种移动广播中，因为地形或建筑物(例如楼房)的影响，接收的信号中也可能包括错误。H.264方法的解码过程比以前的方法具有更大的吞吐量，并且特别地，当H.264方法用在移动环境中时，系统尺寸变得较小，因此错误处理导致很大的负担。
在上述文件JP-A-2001-025014中公开的结构的情况下，在系统解码器中，检测到TS信息包的错误并且将该错误通知视频解码器，但是语法错误是由视频解码器探测的，并且不能预先知道。因此，可检测的错误是有限的，而且存在错误检测不足的情况。如上所述，因为包括错误的流，在解码器中发生不能恢复的错误并且视频失真，可能引起视频信号和声音不同步的情况。


现在，将参考附图描述实现本发明的各种特征的整体结构。提供附图和相关的描述用于说明本发明的实施例并不用于限制本发明的范围。
图1是示出了移动广播接收装置的实施例的示例性示意图；图2是示出了在MPEG2-TS、视频PES和声音PES之间的关系的示例性示意图；图3是示出了TS头部的结构的示例性示意图；图4是示出了PES的结构的示例性示意图；图5是示出了视频解码单元160的结构的示例性框图；图6是示出了解码器210的操作的示例性流程图；图7A是示出了用于检测错误并且丢弃包括错误的流的处理的示例性流程图；以及图7B是示出了用于检测错误并且丢弃包括错误的流的处理的示例性流程图。
具体实施例方式
下面将参考附图具体描述根据本发明的实施例。
图1是示出了根据实施例的移动广播接收装置100的示意图。
从天线110输入的无线电波在调谐器120中被解调成MPEG2-TS(TS传输流)并且被输入到MPEG2-TS分离单元130。在MPEG2-TS分离单元130中，从MPEG2-TS流分别分离出视频PES(分组基本流)和声音PES，并且将它们输入到视频PES缓冲器140和声音PES缓冲器150。在到达指定时间的情况下，将存储在视频PES缓冲器140中的视频PES输入到视频解码单元160。将在视频解码器单元160中解码的图像输出并且显示到监控器180。在到达指定时间的情况下，将存储在声音PES缓冲器150中的声音PES输入到声音解码单元170。将在声音解码单元170中解码的声音信号输出到扬声器190。
在此将描述MPEG2-TS、PES和ES(基本流)。图2是示出了MPEG2-TS、视频PES和声音PES之间的关系的示意图。MPEG2-TS由TS信息包字符串构成，其中一个信息包具有188字节，并且每个TS数据包由PES头部和有效载荷(payload)构成。将视频PES或者声音PES存储在有效载荷中。
图3是示出了TS头部的结构的示意图。同步字节是表示TS信息包的头部的代码(0x47)。PID被称作信息包ID，并且视频PES和声音PES分别具有唯一确定的不同PID值。MPEG2-TS分离单元130通过检查信息包的PID，能够识别是存储了视频PES还是存储了声音PES。适配域控制是表示在该信息包中是否存在适配域和有效载荷的标志。适配域长度是表示适配域的长度的值。PCR_flag是表示PCR是否存在的标志，以及PCR(程序时钟参考)是用于校准接收器时间的时间信息。
图4是示出了PES的结构的示意图。视频PES和声音PES都具有相同的PES结构。PES由称作PES头部的头部单元和PES信息包数据字节构成，即ES(基本流)主体。ES是数据本身，其中视频或者声音被压缩和编码。存储在PES头部中的数据包起始码前缀是表示PES头部的代码(0x000001)。流id是表示一种流的值，以及PES信息包长度是表示PES长度的值。DTS(解码时标)是用于解码该PES的时间信息，以及PTS(显示时标)是用于显示该PES的时间信息。视频和声音之间的同步可以通过在由PTS表示的时刻从视频解码单元160和声音解码单元170输出的输出视频和声音来获得。
图5是示出视频解码单元160的结构的框图。
视频解码单元160包括主机CPU200，视频解码器(DSP)210和帧缓冲器220。主机CPU200包括PES分离单元201和ES错误检测单元202。主机CPU200和解码器210构成一个LSI。
PES分离单元201从视频PES分离出头部单元并且提取ES。提取出的ES被提供到ES错误检测单元202并且检测错误。ES错误检测单元202能够执行语法级的错误检测，并且，其中将检测出错误的ES在此处丢弃，并且不输入到视频解码器210中。
视频解码器210解码从ES错误检测单元202提供的ES。此时，视频解码器210只解码在语法级没有错误的ES，因此诸如暂停的严重错误不会发生。根据PTS的时间，将解码后的数据存储在帧缓冲器220中，并且将视频帧输出到监控器作为视频信号。
在主机CPU200的传统处理中，ES仅与PES分离，因此包括在ES中的错误被按原样输入到视频解码器。当包括在ES中的错误是视频解码器不能应付的错误时，导致例如视频解码器暂停的严重错误。同样，传统上，通过在视频解码器中对ES进行解码，首先检测错误，并且丢弃包括错误的ES。然而，不能在视频解码器中检测所有的错误，并且存在包括错误的视频数据被解码的情况。在这种情况下，显示在监控器上的视频导致失真的视频，其看起来难以忍受。根据依照本发明的解码单元160，将不包括错误的ES输入到视频解码器210，因此视频解码器210暂停或者显示失真视频的情况不会发生。
接下来，将描述视频解码器210的解码处理。
在该实施例中，H.264用在视频解码方法中。图6是示出了H.264解码器210的动作的流程图。使用称作NAL(网络抽象层)单元的存储格式，将H.264编码流分类成每种数据并且传输。
在移动广播H.264的操作中，存取单元定界符(delimiter)、SPS(Sequence Parameter Set，序列参数组)、PPS(Picture Parameter Set，图片参数组)、SEI(Supplemental Enhancement Information，辅助增强信息)和片断(slice)层(IDR图片/非IDR图片)被分别作为NAL单元传输。
存取单元定界符是表示存取单元(access unit)(一张图片)的头部的数据。SPS是包括关于整个序列的编码的信息(例如，整个序列的编码模式、等级或轮廓)的数据。PPS是包括表示整个图片的编码模式的信息的数据，并且SEI是包括不是用于对移动图像解码所必须的额外信息的数据。
IDR(即时解码更新)图片和非IDR图片分别是自身被压缩和编码的视频数据。每个图片分别对应于一个视频帧。IDR图片是由仅关于图片而不涉及另一个图像的信息来编码的图片。非IDR图片表示不是IDR图片的图片，以及在对该图片进行编码的情况下，使用另一图片(被称作参考图片)的有关信息的图片。每个存取单元包括一个IDR图片或一个非IDR图片。多个包括非IDR图片的存取单元被顺序地发送到包括IDR图片的单元。片断层表示IDR图片或者非IDR图片。
在移动广播中的H.264的操作中，存取单元具有以下所示的两种结构。
(1)存取单元定界符+SPS+PPS(+SEI)+IDR图片(2)存取单元定界符+(+PPS)+(+SEI)+非IDR图片以上，括号中的描述，诸如(+SEI)、(+PPS)和(+SEI)，表示可能存在或者可能不存在的信息。
下面将描述H.264解码器210的操作。
当输入流时，H.264解码器210分离上述的NAL单元(S102)。如上所述，将视频帧数据体存储在片断层中并且将参数存储在其他单元中。H.264解码器210只解码关于NAL单元的参数而不包括片断层(S103到S106)。
在IDR图片和非IDR图片之间的情况，对于片断层的处理稍微不同。
首先，将描述片断层是IDR图片的情况下H.264解码器210的处理。在IDR图片的情况下，首先解码预测(predictive)模式(S107)，并且解码在片断头部中描述的参数(S108)。接下来，执行宏块的处理。宏块表示由16像素长×16像素宽构成的块结构，并且在宏块单元中执行H.264压缩编码。
移动广播的图像尺寸是320像素长×240像素宽，称作QVGA，并且在转换为宏块数量的情况下，产生300个宏块。在一个宏块的处理中，解码16像素×16像素的频率区的系数(S109)并且执行反量化和反DCT处理(S110)，并且将处理结果加到从屏幕内预测计算出的第一采样值，并且获得第二采样值(S111，S112)。这通过宏块数量来完成，并且获得一张图片的采样值。在获得一张图片的采样值后，执行用于消除块噪声的解块处理(S113)，并且获得最终输出图像数据。
接下来，将描述在片断层是非IDR图片的情况下H.264解码器210的处理。在非IDR图片的情况下，首先解码预测模式(S114)并且解码片断头部的参数(S115)。
接下来，解码器210执行宏块的处理。在一个宏块的处理过程中，执行运动向量预测和与其相关的计算(S116)，并且对频率区域(frequency region)的系数进行解码(S117)，以及执行反量化和反DCT处理(S118)，并且将处理结果加到从屏幕内预测计算的第一采样值，获得第二采样值(S119、S120)。这是通过宏块的数量(300块)来执行的，并且获得一张图片的采样值。
运动向量预测是显示在宏块内的每个像素的运动方向和运动量的预测。在获得一张图片的采样值后，执行解块处理并且获得最终输出图像数据(S113)。以上描述的是H.264解码器210的基本操作。
接下来，将描述根据本发明的ES错误检测单元202的语法级错误检测。
在语法级的错误检测中，执行类似于H.264解码处理的处理，但是在H.264解码处理中由图6的阴影块所示的处理变得不必要。也就是说，反量化和反DCT处理、内屏幕预测采样值的计算、采样值的计算以及在IDR图片的解码过程中的解块过滤器变得不必要。同时，运动向量预测和计算、反量化和反DCT处理、内屏幕预测采样值的计算、采样值的计算和在非IDR图片的解码中的解块处理变得不必要。
可以说，与其他的解码处理系统相比，H.264的解码处理的负载较高(吞吐量较大)，并且特别地，步骤S113的解块处理和步骤S116的运动向量预测的负载很高。只有语法的解码处理(由图6中的白方框所示的处理步骤)的负载不太高。作为将所有解码处理与只解码语法的处理相比较的结果，只对语法进行解码的处理负载大约为所有解码处理的十分之一。
在对语法进行解码的情况下，几乎可以肯定，错误能够被容易地检测到。在H.264中，执行其他NAL单元以及片断层的参数的可变长度编码。对于可变长度编码，不同于固定长度编码，可用代码有限，因此，当在流中发生错误时，能够很容易地检测其错误。例如，在代码是二进制的(1、1、1)的情况(在可变长度编码中这是不可能的)下，在发生这样的编码时，能够判定它是一个语法错误。同样，由于存在许多解码的参数值具有界限的情况，所以当参数值为超出预定范围(超出界限值)的值时，能够判定这是语法错误。在本申请中，语法错误包括解码参数的异常值和在解码流中的数据异常值。
因此，通过使用语法级的解码器(即，ES错误检测单元202)检测错误，能够执行几乎完美的错误检测。
接下来，将参考图7A和图7B的流程图描述检测错误并且丢弃包括该错误的流的处理。该处理主要由ES错误检测单元202执行。
首先，检索作为存取单元中的第一NAL单元的存取单元定界符(S201)。当检测到存取单元定界符并且在该存取单元定界符中检测到错误时(S202为是)，丢弃当前处理中的存取单元(S213)并且检索下一个存取定界符(S201)。当在检测到的存取单元定界符中没有检测到错误时(S202为否)，检索下一个NAL单元(S203)。
判定紧接着存取单元定界符被检测的NAL单元是SPS、PPS还是SEI(S204)，并且当它是任何NAL单元时，进行错误检查(S205)。该错误检查判定解码后的参数值是否为在该参数中设定的范围内的值，并且当该值为超过该范围的值时，判定这是一个错误。当检测到错误时，丢弃当前处理中的存取单元(S213)，并且检索下一个存取定界符(S201)。当在检测到的NAL单元中没有检测出错误时(S205为否)，继续检索NAL单元(S203)。
当在步骤S204(否)中检测到的NAL单元不是SPS、PPS和SEI中的任何一个时，判定其NAL单元是否为IDR图片(S206)。当它是IDR图片时，进行错误检查(S207)，并且当检测到错误时，丢弃当前处理中的存取单元(S213)并且检索下一个存取定界符(S201)。在这种情况的错误检测中，检测到编码流中的数据异常值。
当没有检测到错误时(S207为否)，将存取单元发送到视频解码器210(S211)。发送出的存取单元由视频解码器210进行解码并且根据PTS时间输出到监控器(S212)。
当检测到的NAL单元不是IDR图片(S206为否)，而是非IDR图片时(S208为是)，判定前面紧邻的存取单元是否被丢弃(S209)。当前面紧邻的存取单元被丢弃时(S209为是)，丢弃当前处理中的存取单元(S213)并且检索下一个存取定界符(S201)。
由于参考先前图片来解码非IDR图片，因此，当丢弃先前图片时，不能对该图片进行解码。因此，当错误出现在非IDR图片中时，不能解码随后的非IDR图片。在这种情况下，丢弃从其中检测有错误的非IDR图片到下一个IDR图片的前面紧邻的非IDR图片的范围内的所有存取单元。顺便提及，如步骤S207中所示，当在IDR图片中检测到错误时，还丢弃从IDR图片到下一个IDR图片的前面紧邻的非IDR图片的范围内的所有存取单元。
当没有丢弃前面紧邻的存取单元时(S209为否)，执行非IDR图片的错误检测(S210)。在这种情况下的错误检测中，以类似于IDR图片中的方式检测编码流中的数据异常值。当检测到错误时(S210为是)，丢弃当前处理中的存取单元(S213)并且检索下一个存取定界符(S201)。在这种非IDR图片的错误检测中，在解码预测模式的情况下也能够检测错误。当没有检测到错误时(S210为否)，将存取单元发送到视频解码器210(S211)。
结果，视频解码器210只解码没有包括错误的存取单元，并且在PTS中描述的时刻将无错误的清晰图像输出到监控器(S212)。
在传统技术中，在一定程度上在解码器的前一阶段检测错误，但是直到由解码器执行解码时还没有发现语法级的错误，因此，存在的问题是，难以执行视频/声音的错误处理和同步处理。在本实施例中，可以先检测能够首先由传统解码器检测的语法级错误，使得只有不包括错误的ES输入到解码器。结果，解码器中不能恢复的错误由于错误流而没有出现。同样，与传统的方法相比，错误检测率非常高。
同样，在传统情况下，即使在编码流中出现错误，解码器也执行用于解码该编码流的无用处理。然而，在本实施例中，错误流不通过解码器解码，使得在无线电状态很坏经常出现错误的情况下，具有减小解码器的处理负载的作用。特别地，在移动环境中使用H.264方法的情况下，具有H.264的处理本身非常繁重并且无线电状态不一定稳定的特征，因此通过在这种错误发生时减小处理负载可以减小功耗。
以上的描述是本发明的实施例，并且本发明的装置和方法不限于此，并且能够很容易地实现各种修改实例。同样，通过适当地结合每个实施例中的部件、功能、特征或方法步骤而构成的装置或方法包括在本发明中。
如以上参考实施例的描述，提供了一种系统，用于在视频解码器的输入的前一阶段检测语法级的错误，并且只输入视频解码器不存在错误的流，并且防止解码器由于流错误的异常操作。
由于语法级错误在视频解码器的输入的前一阶段被检测，只有没有错误的流被输入到视频解码器并且能够防止由于流错误而导致的解码器的异常操作。
应该理解，本发明不限于上述的特定实施例，并且本发明可以在不背离本发明的精神和范围的情况下通过对部件进行修改来实现。根据在上述的实施例中公开的元件的适当结合，本发明可以以各种形式实现。例如，可以从实施例中示出的所有部件中删除一些部件。此外，不同实施例中的部件可以适当地结合使用。
权利要求
1.一种编码流再生装置，包括分离单元，接收传输流并且从所述传输流分离出视频分组基本流和声音分组基本流；提取单元，从由所述分离单元分离出的所述视频分组基本流中提取基本流作为编码流；错误检测单元，检测包括在由所述提取单元提取的所述基本流中的语法错误，丢弃包括所述语法错误的所述基本流，并且输出没有检测到语法错误的所述基本流；以及解码器，将从所述错误检测单元输出的所述基本流解码成视频信号并且输出所述解码后的视频信号。
2.根据权利要求1所述的编码流再生装置，其中，所述错误检测单元对与对所述基本流进行编码相关的参数进行解码，检测包括在所述参数中的错误，并且丢弃包括所述参数中的错误的所述基本流。
3.根据权利要求1所述的编码流再生装置，其中，所述编码流是H.264编码流并且包括IDR图片和非IDR图片，以及其中，所述错误检测单元检测包括在所述IDR图片和所述非IDR图片中的语法错误，并且丢弃包括所述语法错误的所述基本流。
4.根据权利要求1所述的编码流再生装置，其中，所述编码流是H.264编码流并且包括多个存取单元，以及其中，所述错误检测单元检测包括在所述存取单元中的语法错误，并且丢弃包括所述语法错误的所述存取单元。
5.根据权利要求1所述的编码流再生装置，其中，所述编码流是H.264编码流并且包括多个编码存取单元，所述编码存取单元是包括IDR图片的第一存取单元和包括非IDR图片的第二存取单元中的一个，其中，所述错误检测单元检测包括在所述第一或第二存取单元中的语法错误，以及其中，所述错误检测单元丢弃从包括所述语法错误的所述存取单元到下一个第一存取单元的前面紧邻的第二存取单元的范围内的所述存取单元。
6.一种编码再生装置，包括接收单元，接收适于包括H.264编码流的移动装置的传输流，所述H.264编码流包括分别包括一个或多个NAL单元的存取单元；分离单元，从由所述接收单元接收的所述传输流分离出视频分组基本流和声音分组基本流；提取单元，从由所述分离单元分离出的所述视频分组基本流中提取所述编码流；错误检测单元，检测包括在由所述提取单元提取的所述编码流中的所述NAL单元中的语法错误，丢弃包括所述语法错误的所述NAL单元，并且输出由没有所述语法错误的所述NAL单元构成的存取单元；以及解码器，对从所述错误检测单元输出的所述存取单元进行解码，并且输出所述解码后的视频信号。
7.根据权利要求6所述的编码流再生装置，其中，所述错误检测单元对具有与对所述编码流进行编码相关的参数的所述NAL单元进行解码，其中，所述错误检测单元检测在具有超过预定范围的参数值的所述参数中的错误，以及其中，所述错误检测单元丢弃包括有所述错误的所述NAL单元的所述存取单元，并且输出具有没有所述错误的所述NAL单元的所述存取单元。
8.一种编码流再生方法，包括接收传输流；从所接收的传输流分离出视频分组基本流和声音分组基本流；从所分离出的视频分组基本流中提取基本流作为编码流；检测所提取的基本流中的语法错误；丢弃包括所述语法错误的所述基本流；输出没有所述语法错误的所述基本流；以及对没有所述语法错误的所述输出基本流进行解码；以及输出解码后的基本流作为视频信号。
9.根据权利要求8所示的编码流再生方法，还包括对与对所提取的基本流进行编码相关的参数进行解码；检测在所述解码后的参数中的错误；以及丢弃包括所述参数中的所述错误的所述基本流。
全文摘要
一种编码流再生装置，包括分离单元，用于接收TS并且从TS分离出视频PES和声音PES；以及视频解码单元，用于解码分离出的视频PES。视频解码单元包括PES分离单元，用于从分离出的视频PES分离出PES头部并且提供ES；ES错误检测单元，用于检测ES的语法错误，并且丢弃包括语法错误的ES，并且提供不包括语法错误的ES；以及解码器，用于解码从错误检测单元提供的ES，并且提供视频信号。
文档编号H04N7/52GK1893664SQ20061008669
公开日2007年1月10日 申请日期2006年6月28日 优先权日2005年6月29日
发明者楠诚 申请人:株式会社东芝