专利名称：多媒体信息通信装置及其方法
技术领域：
本发明涉及携带TV电话、数字广播收发装置等多媒体信息通信装置及其方法，特别是涉及接收图像数据和声音数据多重编码位流，用媒体分离部进行分离，图像数据输出给图像解码器，另一方面，声音数据输出给声音解码器，以便对已编码的图像数据和声音数据进行解码的多媒体信息通信装置及其方法。
背景技术：
例如，在特开平8-204584号公报或特开平8-65278号公报中记载的现有的多媒体信息通信装置中，在解码装置的解码电路内，图像解码部进行解码时，首先进行位流中的图像(视频)数据的错误检测。
这里，说明现有的多媒体信息通信装置中的错误检测处理程序。
图1中说明编码位流中多重的MPEG4(ISO/IEC标准14496-2)的图像数据的结构。
MPEG4中为了实现无线线路或互联网等难以保证品质的线路中的图像通信，在编码位串中谋求强化错误的宽容性，通常的MPEG4的图像数据如图1所示，采用称为视频包(VP；Video Packet)100的结构，以视频包(VP)100为单位构成。图中，一个视频包100由ResyncMarker(RM)(同步标记)101、视频包标题102、宏块(MB)编码信息103、以及最后的填充位104构成。
Resync Marker101由与位流中出现的怎样的可变长编码组合都不一致的唯一位图构成，在位流解码时用来阻止错误传播。就是说，在发生了错误的情况下，图像解码器从检测出该ResyncMarker101作为同步字检测开始能适当地再开始进行下一个正确的视频包的解码。Resync Marker101的下一个视频包标题102有解码用的各种重要信息。宏块(MB)编码信息103是编码侧的图像数据的编码单位即每个宏块(MB)的编码信息。另外，最后的填充位104是为了在位流上对Resync Marker101进行字节调整而插入的可变长码。
MPEG4中的图像数据解码时通常的错误定域化的顺序如下首先，依次按照从某个Resync Marker101开始至检测出下一个错误为止，进行正向解码，然后，按照相反的方向从该视频包内的填充位104至检测出错误为止，进行视频包的解码。
可是，在上述的现有的多媒体信息通信装置中，由于解码电路中的数据解码时先进行图像数据的错误检测，所以在数据解码时检测到错误等的情况下，在检测该错误之前进行的解码处理变得无用了，存在不能迅速地进行此后的避免错误传播处理的课题。
本发明就是为了解决上述这样的课题而完成的，其目的在于提供一种即使在有错误的情况下，解码处理不会无用，能迅速地进行此后的避免错误传播处理的多媒体信息通信装置及其方法。
发明的公开本发明的多媒体信息通信装置是一种在媒体分离部中分离通过编码侧规定的错误运算而附加了误码的图像数据和声音数据多重化的编码位流，上述图像数据输出给图像解码器，另一方面，上述声音数据输出给声音解码器，对编码的图像数据和声音数据进行解码的多媒体信息通信装置，上述媒体分离部有分离装置，输入上述已编码的位流，分离成图像数据和声音数据；误码运算装置，输入由上述分离装置分离的图像数据，进行与上述编码侧规定的错误运算相同的运算；以及错误信息附加装置，对由上述误码运算装置运算的结果和附加在上述图像数据中的误码进行比较，将基于该比较结果的错误信息附加在上述图像数据上，上述图像解码器参照由上述错误信息附加装置附加在图像数据中的错误信息，进行图像数据的解码。
本发明的多媒体信息通信装置是这样一种装置，即，媒体分离部还有误码分离装置，它输入由分离装置分离了的图像数据，从该图像数据分离出附加在该图像数据中的误码，将分离了该误码的图像数据输出给错误信息附加装置。
本发明的多媒体信息通信装置是这样一种装置，即，编码位流是依据对动态图像进行压缩及编码的方式即依据ITU-T的推荐、ISO/IEC标准中规定的标准编码方式的编码位流。
本发明的多媒体信息通信装置是这样一种装置，即，编码位流是对动态图像进行压缩及编码的方式即ITU-T的推荐、ISO/IEC标准中规定的MPEG4(ISO/IEC标准14496-2)的位流，图像数据通过对作为MPEG4的数据传输单位的每个视频包进行编码侧规定的错误运算而附加误码，在媒体分离部中用误码运算装置对上述每个视频包进行与编码侧规定的错误运算相同的运算，错误信息附加装置对由上述误码运算装置对上述每个视频包运算的结果和上述图像数据中附加在上述每个视频包中的误码进行比较，将基于该比较结果的错误信息附加在上述图像数据中的上述每个视频包上。
本发明的多媒体信息通信装置是这样一种装置，即，错误信息附加装置在将错误信息附加在上述图像数据中的每个视频包上时，将错误信息附加在各视频包的最后。
本发明的多媒体信息通信装置是这样一种装置，即，错误信息附加装置在将错误信息附加在上述图像数据中的每个视频包上时，附加由特定的唯一的位图构成的固定长码开始的错误信息上。
本发明的多媒体信息通信方法是一种对将通过编码侧规定的错误运算附加了误码的图像数据和声音数据进行了多重化的编码位流进行分离，对编码的图像数据和声音数据进行解码的多媒体信息通信方法，分离上述编码位流时，输入上述编码位流，分离成图像数据和声音数据，输入分离的图像数据，进行与上述编码侧规定的错误运算相同的运算，对该运算结果和附加在上述图像数据中的误码进行比较，将基于该比较结果的错误信息附加在上述图像数据上，参照上述图像数据中附加的错误信息，进行图像数据的解码。
如上所述，由于在图像解码器中的解码处理之前，在视频分离部中进行视频包的错误有无的检测，所以在图像解码器中不会进行无用的解码处理，能迅速地且有效地进行错误检测和错误修正，具有能迅速地获得高品位的播放图像的效果。
附图的简单说明图1是表示编码位流中被多重化的通常的MPEG4的图像数据结构之一例图。
图2是表示本发明的多媒体信息通信装置的实施形态1的结构图。
图3是表示本发明的实施形态1的媒体分离部4的结构及其处理方法的图。
图4是表示本发明的实施形态1的媒体分离部4内的视频包的变化等的图。
图5是表示本发明的实施形态1的由错误信息附加部44附加了错误信息的新视频包110的详细结构图。
图6是表示本发明的实施形态2的由错误信息附加部44附加了错误信息的新视频包120的详细结构图。
图7是表示本发明的实施形态3的由错误信息附加部附加的错误信息的位置及结构之一例图。
图8(a)、(b)是分别表示采用了实施形态3的错误信息结构的实施形态1、2的错误信息。
实施发明用的最佳形态以下，为了更详细地说明本发明，根据
实施本发明用的最佳形态。
实施形态1图2是表示本发明的多媒体信息通信装置的实施形态1的结构图。另外，该图2表示ITU-T视听/多媒体关联(H系列)推荐书(财团法人新日本ITU协会)附录D“信息提供目的”中所示的多媒体信息通信装置的发送侧和接收侧的结构。
图中，发送侧由以下部分构成对图像进行压缩及编码的图像编码器1；对声音进行压缩及编码的声音编码器2；将图像、声音的输出编码位串多重化的媒体多重部3；以及缓冲器7a、7b。另外，接收侧由以下部分构成将多重化的信息分离的媒体分离部4；对图像数据进行解码的图像解码器5；对声音数据进行解码的声音解码器6；以及缓冲器7c、7d。在本发明的多媒体信息通信装置中，其特征在于接收侧的结构与发送侧的结构没有任何关系，作为发送侧的结构，其特征在于有以下所示的媒体分离部4和图像解码器5。
这里，成为本发明的对象的图像编码方式虽然是ITU-T推荐、ISO/IEC标准中规定的标准编码方式全部，但在本实施形态1中，以MPEG4(ISO/IEC标准14496-2)为例。
其次，说明本实施形态1的媒体分离部4的结构及其处理方法。
图3表示本实施形态1的媒体分离部4的结构及其处理方法。
如图3所示，本实施形态1的媒体分离部4有数据分离部41、CRC码分离部42、CRC运算部43、以及错误信息附加部44。另外，在该图3中，媒体分离部4虽然用各部41～44表示硬件结构，但在本发明中，当然用软件、即利用程序执行各部的功能。
其次，根据图3说明本实施形态1的媒体分离部4的工作。
如果编码位流被本装置接收，并被输入媒体分离部4，则首先，数据分离部41识别编码位流中多重化的包标题(PH)，判断是视频包(VP)100还是音频包(AP)200，并分离成视频包(VP)100和音频包(AP)200，视频包(VP)100被输出给CRC码分离部42，另一方面，音频包(AP)200被输出给声音解码器6用的缓冲器7d。另外，在该阶段，视频包(VP)100的结构与图8所示的通常的MOEG4的视频包的结构相同。
CRC码分离部42中输入被媒体分离部4分离的视频包(VP)100，对每个视频包进行分离，将附加在该视频包中的CRC码和视频包分开，被分离的CRC码输出给错误信息附加部44，另一方面，被分离的视频包输出给CRC运算部43及错误信息附加部44。另外，如下一个图4所示，在各视频包的最后，对每个视频包附加了在编码(发送)侧用特定的多项式运算了各视频包的特定数据的结果即CRC(CyclicRedundancy Check，巡回冗余检查)码。
在CRC运算部43中，依次输入CRC码被分离后的视频包，再次进行与在编码(发送)侧进行的运算相同的运算，将该运算结果输出给错误信息附加部44。
在错误信息附加部44中，首先将被CRC码分离部42分离的视频包及CRC码存储在内部缓冲器(图中未示出)或内部存储器(图中未示出)等中，如果从CRC运算部43输入了与编码(发送)侧相同的错误运算的结果，便读出内部缓冲器(图中未示出)等中存储的CRC码，对该运算结果和读出的CRC码进行比较，判断是否一致。然后，如果得出判断结果，则错误信息附加部44接着读出内部缓冲器(图中未示出)等中存储的CRC码被分离后的视频包，将判断结果作为错误信息附加在读出的视频包中，作为新视频包110输出给缓冲器7c。
DRD码分离部42、CRC运算部43、以及错误信息附加部44中，每当从数据分离部41输入视频包时反复进行以上的处理，将新视频包110输出给缓冲器7c。
然后，如果在本实施形态1的图像解码器5中知道预先在新视频包110的开头附加了错误信息105的情况，则在对存储在缓冲器7c中存储的错误信息105所附加的新的视频包110构成的图像数据进行解码之前，依次输入新视频包110，对每个新视频包110，通过参照附加在该新视频包110中的错误信息，判断每个新视频包110中是否发生了传播错误等错误。
因此，在图像编码器5中，通过参照错误信息，在对图像数据进行解码之前，由于事先能掌握每个新视频包110中是否发生了错误，所以对有错误的新视频包110不进行解码处理。
因此，在本实施形态1的图像解码器5中，能省略无用的解码处理，其结果，能迅速地进行避免错误传播处理。另外，关于参照本错误信息的解码处理时的错误隐蔽处理等、关于发生了错误的视频包、用以前的视频包代用等，可考虑到各种各样的变形，在本发明中不特别限定。
图4表示本实施形态1的媒体分离部4内的视频包的变化等。
如图所示，在本实施形态1的媒体分离部4内，首先，带有CRC码C1的视频包100由CRC码分离部42分离成视频包100以及CRC码C1，其次，由CRC运算部43对视频包100的特定数据再次进行用某一特定的多项式运算的与在编码侧进行的CRC运算相同的CRC运算，输出运算结果C2。
然后，在错误信息附加部44中，对CRC码C1和运算结果C2进行比较，在CRC码C1和运算结果C2一致的情况下，将表示未发生错误的例如“0”的错误信息105附加在该视频包100的开头、即附加在该视频包100的Resync Marker 101前面，构成新视频包110，另一方面，在CRC码C1和运算结果C2不一致的情况下，将表示发生了错误的例如“1”的错误信息105附加在该视频包100的开头即Resync Marker 101前面。另外，在该实施形态1中，利用CRC码分离部42从视频包100中分离出CRC码C1，所以在新视频包110中不附加CRC码C1。
图5中示出了本实施形态1的由错误信息附加部44附加了错误信息105的新视频包110的详细结构。如图所示，在新视频包110中，对每个视频包110在各Resync Marker 101前面附加错误信息105而被构成。然后，在本实施形态1的媒体分离部4和图像解码器5之间，预先在新视频包110的开头附加错误信息105。
如上所述，如果采用本实施形态1，则在相当于图像解码器5等的前级的媒体分离部4中，对由视频包构成的图像数据的每个视频包110检查错误，附加错误信息，所以在图像解码器5中能事先对欲进行解码处理的由视频包构成的图像数据的每个视频包掌握错误，迅速地进行错误传播避免处理，能谋求提高对抗错误的性能。
另外，在实施形态1中，说明了设有CRC码分离部42，以便从视频包100分离CRC码C1，但在本发明中不限于此，也可以不设置CRC码分离部42。如果采用做，则附加了CRC码C1的视频包100从数据分离部41直接输入到CRC运算部43及错误信息附加部44中，虽然CRC码C1不被分离地直接附加在新的视频包110中，但可去掉CRC码分离部42，结构简化，能迅速地处理。
实施形态2在上述实施形态1中，错误信息附加部44将错误信息附加在发生了错误的相当的视频包的Resync Marker前面，以便传递给图像解码器，但在本实施形态2中，其特征在于将检测到的错误信息附加在下一个视频包120的Resync Marker 101前面。另外本实施形态2的多媒体信息通信装置本身的结构与上述实施形态1的结构相同，所以只说明由新视频包构成的图像数据的结构。
图6表示本实施形态2的由错误信息附加部44附加了错误信息的新视频包120的详细结构。如图所示，在本实施形态2中，在新视频包120中，对每个视频包120将错误信息105附加在视频包120最后的填充位104后面。就是说，在本实施形态2中，某个视频包120的错误信息附加在其下一个视频包120的Resync Marker 101前面。而且，从Resync Marker 101至错误信息105构成新视频包120。
因此，如果采用本实施形态2，则与上述实施形态1的情况一样，在图像解码器5中进行解码处理之前，能掌握每个视频包120的错误，能谋求迅速地避免错误的传播，提高错误的宽容性。
另外，在上述实施形态1中，由于将错误信息105附加在视频包110的开头，所以在上述实施形态1的错误信息附加部44中，在将错误信息105附加在视频包110中之前，将该视频包110存储在内部缓冲器等中，但在本实施形态2中，与实施形态1的情况不同，由于附加在各视频包120的最后、即附加在下一个视频包120的ResyncMarker 101前面，所以输出了视频包120之后，可以不输出该视频包120的错误信息105。其结果，如果采用本实施形态2，则在错误信息附加部44中，不需要将视频包120存储在内部缓冲器等中，也就不需要在实施形态1的情况下错误信息附加部44所需要的存储数据1的视频包那一部分的存储器了，结构变得简单。
另外，在上述实施形态1、2的说明中，虽然说明了将错误信息105附加在其视频包或下一个视频包的Resync Marker 101前面，但在本发明中不限于此，也可以附加在Resync Marker 101后面。
实施形态3在上述实施形态1、2的说明中，虽然说明了在媒体分离部4和图像解码器5之间预先决定将错误信息附加在其视频包或下一个视频包的Resync Marker 101的前后，但在本实施形态3中，其特征在于能附加在Resync Marker 101的前后以外的任意的位置。另外，本实施形态3的多媒体信息通信装置本身的结构与上述实施形态1的结构相同，所以与上述实施形态2的说明的情况一样，只说明由新视频包构成的图像数据的结构。
图7中示出了本实施形态3的由错误信息附加部附加的错误信息的位置及结构之一例。
如图7所示，在本实施形态3中，不是将错误信息105附加在Resync Marker 101前面，而是附加在例如宏块(MB)编码信息103等的前面，这时，从特定的唯一的位图构成的固定长码、例如MPEG4中的标题的预备码000001C5等唯一字105a开始，其后设置存储错误信息105的内容的错误信息存储部105b。
这是因为在实施形态1、2的情况下，将错误信息105附加在与Resync Marker 101即位流中出现的任何可变长码的组合都不一致的唯一的位图构成的代码字的前后，所以如果预先知道图像解码器5中错误信息105被附加在Resync Marker 101的前后，则在图像解码器5中一定能识别错误信息105，与此不同，如本实施形态3所示，在预先不知道图像解码器5中将错误信息附加在什么地方的情况下，图像解码器5不能确定错误信息。因此，在本实施形态3中，因为将错误信息105的内容存储在由特定的唯一的位图构成的作为固定长码的唯一字105a开始的错误信息存储部105b中，如果预先知道在图像解码器5中错误信息105一定从唯一字105a开始，则在图像解码器5中一定能识别错误信息105。
因此，如果采用该实施形态3，则由于构成为在媒体分离部4中从特定的唯一字105a开始附加在视频包110中的错误信息105，所以在此之前在实施形态1、2已述的在媒体分离部4中将检测的错误信息附加在视频包的Resync Marker 101的前后以外的任意位置的情况下，即使在图像解码器5中预先不知道该位置，图像解码器5通过检测唯一字105a，也能容易地进行视频包的错误信息105的同步检测。
另外，在上述实施形态1、2的情况下，如该实施形态3的错误信息所示，也能由特定的唯一字105a来开始。
在图8(a)、(b)中分别示出了采用本实施形态3的错误信息结构的实施形态1、2的错误信息。
图8(a)表示实施形态1的错误信息的结构。在实施形态1的情况下，虽然将错误信息105附加在其视频包110的Resync Marker101前面，但这时是由特定的唯一的位图构成的固定长码、例如MPEG4中的标题的预备码000001C5等的唯一字105a来开始，在其后面设置存储错误信息105的内容的错误信息存储部105b。
图8(b)表示实施形态2的错误信息的结构。在实施形态2的情况下，虽然将错误信息105附加在下一个视频包110的ResyncMarker 101前面，但这时是由特定的唯一的位图构成的固定长码、例如MPEG4中的标题的预备码000001C5等的唯一字105a来开始，在其后面设置存储错误信息105的内容的错误信息存储部105b。
如果这样做，则与上述实施形态1、2单独的视频包110、120的情况相比，虽然图像数据的结构变得冗长，但与上述实施形态1、2单独的情况不同，即使在图像解码器5中预先不知道在媒体分离部4中将检测的错误信息附加在视频包110的Resync Marker 101的前后的情况下，在图像解码器5中也能容易地进行视频包的错误信息105的同步检测。另外，与上述实施形态1、2单独的情况相同，由于在视频包开头的Resync Marker 101和其最后的填充位104之间没有错误信息105，所以与图7所示的实施形态3的单独的情况不同，视频包本身的结构与以往相比不变，即图像解码器5能按原样处理。
另外，在上述实施形态1～3的说明中，虽然将数据分离部41、CRC码分离部42、CRC运算部43、以及错误信息附加部44设置在媒体分离部4中，但在本发明中不受此限，如果在图像解码器5之前，当然也可以设置在媒体分离部4以外。
工业上利用的可能性如上所述，如果采用本发明，则由于在图像解码器的解码处理之前，在视频分离部中进行各视频包的错误的有无的检测，所以在图像解码器中不进行无用的解码处理，能迅速地且高效率地进行错误检测和错误修正，能迅速地获得高品位的图像播放。
权利要求
1．一种多媒体信息通信装置，该装置中，在媒体分离部中分离通过编码侧的规定的错误运算而附加了误码的图像数据和对声音数据进行了多重化的编码位流，将上述图像数据输出给图像解码器，另一方面，将上述声音数据输出给声音解码器，对已编码的图像数据和声音数据进行解码，其特征在于上述媒体分离部有分离装置，输入上述已编码的位流，分离成图像数据和声音数据；误码运算装置，输入由上述分离装置分离的图像数据，进行与上述编码侧的规定的错误运算相同的运算；以及错误信息附加装置，对由上述误码运算装置运算的结果和附加在上述图像数据中的误码进行比较，将基于该比较结果的错误信息附加在上述图像数据上，上述图像解码器参照由上述错误信息附加装置附加在图像数据上的错误信息，进行图像数据的解码。
2．根据权利要求1所述的多媒体信息通信装置，其特征在于媒体分离部还有误码分离装置，输入由分离装置分离了的图像数据，从该图像数据分离出附加在该图像数据中的误码，将分离了该误码的图像数据输出给错误信息附加装置。
3．根据权利要求1所述的多媒体信息通信装置，其特征在于编码位流是依据对动态图像进行压缩及编码的方式即依据ITU-T推荐、ISO/IEC标准中规定的标准编码方式的编码位流。
4．根据权利要求1所述的多媒体信息通信装置，其特征在于编码位流是对动态图像进行压缩及编码的方式即ITU-T推荐、ISO/IEC标准中规定的MPEG4(ISO/IEC标准14496-2)的位流，图像数据通过对作为MPEG4的数据传输单位的每个视频包进行编码侧规定的错误运算而附加误码，在媒体分离部中，误码运算装置对上述每个视频包进行与编码侧规定的错误运算相同的运算，错误信息附加装置对由上述误码运算装置对上述每个视频包运算的结果和上述图像数据中附加在上述每个视频包中的误码进行比较，将基于该比较结果的错误信息附加在上述图像数据中的上述每个视频包中。
5．根据权利要求4所述的多媒体信息通信装置，其特征在于错误信息附加装置在将错误信息附加在上述图像数据中的每个视频包中时，将错误信息附加在各视频包的最后。
6．根据权利要求4所述的多媒体信息通信装置，其特征在于错误信息附加装置在将错误信息附加在上述图像数据中的每个视频包中时，附加由特定的唯一的位图构成的固定长码开始的错误信息。
7．一种多媒体信息通信方法，该方法中对通过编码侧的规定的错误运算附加了误码的图像数据和对声音数据进行了多重化的编码位流进行分离，对编码的图像数据和声音数据进行解码，其特征在于分离上述编码位流时，输入上述编码位流，分离成图像数据和声音数据，输入已分离的图像数据，进行与上述编码侧的规定的错误运算相同的运算，对该运算结果和附加在上述图像数据中的误码进行比较，将基于该比较结果的错误信息附加在上述图像数据上，参照上述图像数据中附加的错误信息，进行图像数据的解码。
全文摘要
在媒体分离部中，数据分离部分离成视频包和音频包，通过CRC码分离部CRC运算部再次进行与在编码侧进行的运算相同的运算，将其运算结果输出给错误信息附加部。在错误信息附加部中，对该运算结果和附加在视频包中的CRC码进行比较，判断是否一致。然后。一旦输出判断结果，错误信息附加部便将该判断结果作为错误信息附加在视频包中，作为新视频包经缓冲器输出给图像解码器。
文档编号H04N7/66GK1317206SQ00801365
公开日2001年10月10日 申请日期2000年4月20日 优先权日1999年7月9日
发明者市口哲一郎, 大平英雄, 近藤省造 申请人:三菱电机株式会社