专利名称：用于隐藏被解码的媒体单元中的差错的设备和相关方法
技术领域：
本发明主要涉及隐藏媒体流中的差错，例如，隐藏^LM或，流中的差错。
iti^^型地由一些编码的媒r^元或帧组成，其#^码为例如可以核显示给用
户的图^iL者由用户收听的音频片段。本发明处理这样的媒#元或帧中的差 错，并隐藏当前#中的差错。
背景技术：
通常<^可类型的数据传^#^产生差错，例如，糟糕的传^^h环嫂可能会 影响lt据传输。这种糟糕的环x^可^a坏v^送的数据，4 :据无法^^影*
介的比特率。串状^》辦噪声经常被j人为;Ut据传输期间的差错的-起因。
存在着多种处Sil种差错的解决方案。例如，TCP协议中使用的重;^r案确
在该时间帧内未被iHii，发iH^将自动地重发该数据^^且。因此，如果数据^^且 无法i!Ui,则该时间帧将届满并且数据^^且将被重发。，的重发的变形U于 明确的重;^请求，通过接^能够ii^宗M到的^^且并确定哪些^ia^丟失的。 然后，当这些^M需要被进一步处理时，或者在定时器届满^， #^可以请 求重^/f^f可丢失的^^且。通常，4 :据无法^的数^1信系统能够处理差错。 不同类型的问^_传输的或流数梧的损坏。这样的数据可能已经^^时* ^_接》|^，但是可肯魄出了修复的范围。4M差错纠正技术，接^可以尝试 纠正所才械的损坏数據中的任何差错。这种差错纠正技^型地包括对所传送的 数据的冗余比特的附加，所述冗余比特能够用iMt^^侧纠正差错。然而，这种 技^限于肯M皮纠正的差错的数量。超过能够被纠正的差错的数量的额外差错， 可以被#^则到但是不育^皮纠正。^Lit种情况下，^bar可以请^J员坏的数据， 的重发，以便收到能够净狄理的正确的副本。
jL^描述的两个解决方案都育狄理无法i!Uiil损坏的数据。然而，不;l^斤有
类型的数据传 能够处理丢失的^^且，或者由等待纠juy员坏的数据的重发而
引入的g。 一^Nt定的示例;l^重放设备的流动的，i^H言息。诸如， 或视频的流^^基于由发^对部^*沐的传送，以及由#^接收并对所接收
的部分的重放。例如，IP电视(IPTV)网络中的舰点播服务器可以;l^斤狄送
方，机顶盒可以是所述接財，絲W^流并将^f^LE电^+几用来重放。如 果该媒体流的-^分是损坏的，并且需要额外的处理或重传，则其中包^旨 只有在经过用于重放该部分的规定的时间之后，对于重放才是可用的。例如，如
果电影的-^分是损坏的并且需要重传，则在该部分是可用的之前，将花费一些
时间。因此，重^bi殳备必须为用户隐藏该丢失的部分。
第一种隐藏一段丢失的或损坏的g流的方u，保持先前的部分直到新的 部分或正确的部分是可用的。设想其中由一系列帧《赋电影，并且每个帧^J成 单独的图像的视频流。如果第一、第二和第四帧to确皿收，而第三个被丟失， 则重放设备可以显示第一帧、1^絲二帧、1^再M示第二帧、歸^四 帧。由于电影中不存在间隔，例如黑屏，这才科树用户隐藏了丢失的帧。
第^t隐藏一段丢失的或损坏的，流的方^A，通iiA—个或多个先前部 分来计算该丢失的部分。设想与上述具有三个正确的帧和一个丟失的帧相同的情 况，重放设备可以显示第一帧、第二帧、由第二帧计算出的第三帧、it^絲四 帧。这样，电影中^^在间隔从而对用户隐藏了差错。
作为示例，可以诏jte动图像专家组(MPEG,Moving Pictures Experts Group) 帧流。MPEG标准M^提供了用于流的^L^压缩，以及描述了三种类型的帧关键 帧(I-帧)，前向预测帧(P-帧)和双向预测帧(B-帧)的规范。关键帧包^ 多的与图像相关的信息，并且其不依赖于头他帧的信息。MPEG解码器能够没有额 外的需求i4^码I-帧并显示给用户。P-帧由增加的与先前I-帧的不同M^。 MPEG 解码器需要与该I-帧和P-帧相关的信息来解码并显示图像。最后，B-帧由与先 前的I-帧和随后的P-帧的不同组成。B-帧可以由MPEG解码器用与先前的I-帧或 P-帧相关的信息来解码，因jtb^赖于在解石^L前这样的帧的存在。MPEG帧通常存 储在船台于I-帧，！^是一个或多个B-帧以;^^是P-帧的组中。i^4明每个 组能够被单独^k^码，斧ft为多个连续的图像呈5H^用户。这样的组被称为"图 似旦"(G0P， Group Of Pictures)。
对于本领域^支术人员来i兌，显然MPEG编码增加了隐^错的复杂性。例如， 如果I-帧丢失或损坏，则絲于该I-帧的一些帧不^MU^码或^i皮不正确雌 码。不正确的解码可能导致显示给用户的图像中的可视的失真或伪影 (artefact)。上文描述的隐^r法也可适用于MPEG流。例如，如果帧丢失了， 可以通it^格(freezing)或内插(interpolation)来隐藏。然而，取决于丟 失或损坏的帧的类型，定格可育fe^费过长的时间，并且内插可肯暖不可能的或者 可能需要大量的计算。如果I-帧丢失了，解码器不能像I-帧那样解码该同一GOP 中的P-帧和B-帧。这可以通錄可能iiJiJ一秒或狄的G0P機期间定格图像 来lil。可M,如果I-帧损坏，则基于纠正的(内插的)I-帧ilU^5马该G0P中 的其他帧是可行的。然而，ii^明依赖于该纠正的I-帧的任何后续帧，都可能包 ^与该纠正的I-帧相同或更多的显示差错或伪影。
相同的问题对P-帧和B-帧的作用程^^较小。典型地，B-帧仅用于解码单独 的图像，这表明定格单独的B-帧或内插B-帧对于用户是不明显或不太明显的。 典型地，P-帧用来依赖其中的帧^^5^r"些帧，但帧数少于整个GOP的帧。这样， 在P-帧和对^赖的B-帧的持续期间的定格可能比定格B-帧明显，但是没有定 格1-帧明显。
通常，丟失的帧至少影响该单独的帧的解码，并且可能影响依赖于该丢失帧 的后续帧的解码。如絲it^格图像直到新的图^fiU^码来隐藏丢失的帧，则定 格的时间长度M于丢失的帧的类型，从而对于用户的烦m^决于此。如果接 i!^ij损坏的帧，则该帧的解码受到影响，并财该帧进行的4封可纠错可^^到 絲于该损坏的帧的雞帧。这可能导^续图像中的更多的差错，或显示给用 户的图〗象上的明显的伪影。
本发明的目的^iJ^JiiiSW技术中用于基于定4^或内插隐藏差错的解决 方案的缺陷。本发明的另一个目的是提^"种^ii的用于隐藏^^体解码中的差错 的方法。本发明的另一个目的是减少力W^中对用户明显的差错的数量。
发明内容
##本发明，上述目的通过用于解码it^中的多个被编码的^^元的设 备来实现，所述设备包括解码装置，用于解石l个或多个所述被编码的媒体，从
而生成一个或多个净iU^码的W^元，第一隐藏(^置，用于隐藏^)^码的 ^ 元中的至少一个差错，从而生成第一隐藏媒料元，第二隐^^置，用于基于一 个或多个在先生成的第一隐藏媒#元和/或一个或多个在先生成的第二隐藏媒 *元，生成第二隐藏媒^4元，以及用于选择所述第一隐藏^IM^所^ 二隐藏^^元的装置，用于显示。
确实，通过隐^^^码的 ^元中的差错，以及增加另一个差错隐藏的步 骤，呈IIL^用户的媒^^iL^t量上可以被^i。所iii^择器具有在用于显示的 两个々某*元的源之间的选#^又，而5W技术的解决方案只拥有一个用于显示的 》某#元的源。所iii^择^L提供两个不同的^^元，并且能够选择最高质量 的用于显示的^^元。由于可以应用不同的纠正和隐藏方法，或者-HH^^ 元可以B—个的a的;M^因jtUJi^^^元两者可以是不同的质量的。这 样的特定的示例是*流中的定格在^JLh被减少的情况。与将^c^现一秒的单 独的媒^;^目比，这种^i的定4M^显得^^流畅。)^i^择器的可用的it^
进一步的优点是，由内插纠正的可能持续通过多^H^N^元甚至可能增加的差
错，贴可以4皮减少了。通过增加隐^J^错的第二步骤，对用户可以隐藏这样的
差错或者在数量上减少这样的差错。
才娥本发明，被编码的^f;^皮船一段与封^/M^jt^解石射殳备的数 据单元中的^^t4目关的信息。例如，被传iO^CPE、机顶盒(STB)或，重放 设备的^^流的各部^^IL^了被编码的^^元。 ^^码的^+元^J^^皮编 码的媒#元的结果。被编码的^^L元和/或净iU^码的^^元中的任何缺失 (deficiencies )都由传送第一隐藏^^元的第一隐^^置来隐藏。因此，第 一隐藏^^元由^0^码的^^iti誠，其中差4t^皮纠域*^皮隐藏。典型地， ^^码的媒#元可以^^ ^用户，而被编码的^4元是其压缩的和/或编 码的M，适*输但未必是可显示的。所^-"^第二隐藏^iM^可以呈 5JP^用户，并Jtit常不是a缩的和/或编码的。所述被编码的媒^j^L^可以包
:^ 沐片段的显示信息和额外的与差错纠j^目关的信息。
可舰，才娥本发明，在所述设备中，所錄一隐^^置和/或所絲二隐 g置可以包括下述中的一个或多个
-用于定格^^元的装置；以及 -用于内插的装置。
定格i某^4元或^^NW码的^^^元一定的时间长M—种可行的隐藏 差4昔的方式。定格由##先前^^码的^4元一定的时间长度，来#^^1 个或多个后续被编码的媒^^iti且成。定格的结果是，或^^ 来像是暂停 了一定的时间周期。定格的^可以通过多于一次地解码同一被编码的媒体片 段，或者一旦已经^d^码lt^^i亥解码的，片段并多于一^f^j他用于显示 来实现。内插^*口复杂的隐齡法，通錄于一个或多个在^^^码的^#^ it^被隐藏的^^元，来生成隐藏^f^元。内插可以考虑^0^码的^#^元 的图傳或音频中的运动(motion)、颜色和位置转分的改变，并JLf^这些来 生成与下一个将^^码的图像或"f^样本(sample)类似的图像或^M样本。定 格对用户可育^1明显的，特别是^0^码的^4;^隐藏的^^;^皮##较长 的时间帧的情况。由于例:M见频流的图傢被保持以看上去自然的方式移动，特别 是^^慢移动的^中，因而内#^认为是较不易被觉察的。
设想下面的示例，如果被编码的^^元的解码是不可能的或者不正确的， 则所述第一隐藏^S&置为定格先前^^码的^+元，并JL^斤述第二隐^^S己置 为基于在先呈现的^#"錄内#^^元。所錄一隐藏传送可以#^示一次 的第一隐藏^^t^所^i^择器。然后，该第一隐藏^^元可由所述第二隐 藏功能^ 1，基于在先呈现的^4元，计算第二隐藏^^元。这使得与 _ 过^M所錄一隐^^定格的情;X^目比，縣^R"有^M的带有静态^片段的 时间帧。
可g，才Mt本发明的用于选，装置可以适于基于质J^H古，选择所^# 一隐藏^^L^所錄二隐藏^4元。
而且可i^， ^^本发明的用于解码^;W^中的多个被编码的^^元的设
备，其特征^^斤赠i^H古基于下述中的一个或多个 -^^码的编^s^^^元的类型；
-所述^^体中的^^码的编码媒^^元的数量，所述力 本中至少一个差
4脊故隐藏；以及
-^^码的^#^元中伪影的数量。
选捧器需要标准，基于所述标准作出显示所^一隐藏 ^狄所錄二 隐藏媒#元的决定。由于目的是^^斤显示的*流的质量，因jW^j4^可以 佳月质J^H古用于所述i^择。所MJ^估可以是基于所显示的媒体单元的质 量、被编码的媒^元的质量、被解码的媒^元的质量或所i^一和/或第二 隐藏4某#元的质量。另夕卜，所絲i^H古可以同时考虑几个^lt例如， 的损坏的编^^^元的数量，与损坏的编石 #^元的类型和到目前为止做出 的纠正的lt量^^。
另 一个可选的才娥本发明的用于解码流^^体中的多个净皮编码的^^f^元的 设备是，所述多个被编码的^^元可以是相互M的:^^元。
而且可逸地，所勤目互絲的^^l元可以是媒体图像专家组(MPEG， Media Picture Experts Group)帧。
通常，相互M的^^^LiU^bN关的^^元以组的形式被接收。基于 特定的 ^;^该组中的位置，而不是个别的多^H^+元的质量^t虑每个 组的质量;1有益的。例如，如果被编码的^^itJU^作解码一些其^f皮编码的 ^^元的1^出，贝'J当差4t^皮隐藏时，该组中所有的W^元的质量可能^^皮影 响。特定的示例是MPEG,其中的帧通过^M门的相依性而X^目连接。因此，所錄 J^H古可以基于整个图傳組(G0P)。在G0P中，通i^t在先的帧定^"该丢失的 B-帧的持续时间，丢失的B-帧容易被^J良，而下一帧可以^jE常的那样^o^;e骄 4U。然而，丢失的P-帧或I-帧姊响后续帧，这不i^易通it^格单独的帧 来組。
如果媒体项(item)在组中没有合成整*，较少或者在组内独立，或者当处 理时间^皮减少时，^JD较不复杂的质量评怙用于所ii^择是可行的。例如，可以 使用简单的计数器iMP宗选择中最后的改变以来到目前为止已经被纠正的差错 的数量。这样，用一系列短的定格来隐絲错是可行的，即，每^H^^;^皮保 持一个或两个錢的时隙，然后新的^NL^现少许时隙。这样，长的定^l皮切
分成不易被用户觉察的短的定格，并JL^斤ii^择基于定格的^iMt^使用的次数。
当然，其他的质量^H古也是可行的，例如，在显示的W^元中可以存在伪 影检测的情形。在这种情况中，可以使用用于伪影的阈值，如^出该阈值，则 可以使用先前解码的W^元，第一或第二隐藏^^元。
可itJ也，#^本发明的用于解码多个净皮编码的^#"元的诏:备，^4We^于， 所^于i^^^i:包^"接口 ，用以接#自所^一隐^^置的信号。
所^i^择器能够^W亍自己的质:i^H古以作出选择，或*^皮以特定的方式编程
iMt^r用于显示的々M^"元。
然而，由于已经存在解码步骤，以及检测和纠正或隐^t错(所錄一隐藏) 的方式，因而^^来自该隐藏的信息作为所iii^择器的输a^有益的。这样，作 为用于显示的媒体单元的所述选择的基础，所述选择可以基于已经是可用的信 息，从而在所iii^择器需m少的时间和工作。除jH^卜，所述信息也可以使用 雞的来自例如所錄二隐藏、解码器自身或者甚pW源的信息。
本发明还涉及一种用于解码;^^中的多个被编码的W^元的方法，所述 方法包M骤解码一个或多个所述净皮编码的i^^元，从而生成一个或多个被 解码的^4元，以及隐^^^码的^^元中的至少一个差错，从而生成第一
隐藏媒^4元，基于一个或多个在先生成的第一隐藏媒#^元和/或一个或多个 在先生成的第二隐藏^^元，生成第二隐藏W^元，以及选^^用于显示的所 述第一隐藏^^4itil所^二隐藏^^元。
图1示例性示出才Nt本发明实施例的一种用户终端设备(CPE); 图2示例性示出才娥本发明的一系列^^#纠正^^元。
m实施方式
图1示例性示出了才赚本发明的实施例的CPE 101。该CPE 101是启用视颜 的CPE，例如用于数字电视的机项盒，或者用于数字电视的计算^U更件;ft^:或计
fl^l4t件应用。图示的显示模块102可以是物理显示器，例如CPE 101连接到的 电视机，计，系统中的显示硬件或^^行在计糸K系统上的显示进程。通常， 显示装置102用^E示解码的并且可育b^被纠正的帧^""个或多个用户。通iW 户线103， CPE 101被进一步连接至宽带接入网络。用户线将来自诸如数字电视 月良务提供商的^W库的^M源的^M信息晏i^ CPE 101 。
CPE101由解码器104、第一隐藏或与解码H^的隐藏模块105、第二隐藏 或与显示才^M^的隐^f莫块106 M^。解码器104用于解码在用户线103上接 4t^的帧。jJ^卜，解码器104接#自解码^^的隐^^105的输入112。 解码器l袷的隐^^狭105包括差#^测功育^狭/装置107，其^^码器104那 样接錄自用户线103的相同的帧，并^^则^U的帧中的差错。然后，检测到的 差错可以由解码H^的隐藏装置105中的差错隐藏功肯^狭/装置108来纠正。 在该特定的示例中，差错隐藏功肯^狭108^S己置为定^4贞，以便纠正下一帧中 的^f可差错。解码器104接棘自与解码^^的隐^=狭105的纠正，衬虑 该纠正。然后，解码器104将净iO^码的并且被纠正的帧传送至与显示^^^的 隐^f狭106。该才執106包括显示隐藏功育^ji^/装置109。而且，图l示出了 i^择器110。隐藏功肯^势夹109能够输出图像Jit择器llO，并接^Nt自选择器 IIO的输入。来自选择器110的输入可以是，例如，转发J^示模块102的絲 的图像。这样，该显示隐藏功負M狭109能够明了先前的图像，以便隐射显示 才狭102的输出中的差错。选择器IIO，在该特定的实施例中由来自与解码^ 合的隐^=狭105的舰lll控制，选#^个图##^￡11^示才狭102。其可 以A^码器104选#^皮纠正的或没有^^正的图像113，也可以織示隐藏功能 才執109选择图像114，图像114可以狄前显示的图4liSl^于一个或多个先前 显示的图像而计算的图像。
图2示斜性示出才娥本发明的一系列帧。按照一^Nr定的实施例，该示例使
用MPEG帧来描iO^示模块102的输出。对于直至12的所有后续的B和P帧， L帧是参考帧，对于直至下一个P帧的所有后续的B帧，P帧是参考帧，从而P, 是Bs至b7的参考。帧201示例性示出能够,iUE确解码并且不需要纠jEil隐藏的普 通的帧序列。在帧202中，1/是L的纠正版本，其用作所有后续帧的参考。以 "*"表示的帧絲i^iC^正的帧，例如1/ ，而^0^码的帧。帧202可能包含 伪影，所述伪影在12被接#解>^^射能会增长。然而，帧203示例性示出本 发明的装置的M，通过与显示^^^的隐藏^^使用先前显示的图像来隐藏 差错。因此，如202中示出的，解码器^f純常那样对接^U的帧解码和纠正，然 后，与显示^^^的隐藏以规则的间隔用先前的图像替换图像。其^示例性 ;^ 203中示出，其中Bl属于先前图^M中并;fiLiE确解码的帧，1/絲一个被 纠正的帧。^^M基于1/而^皮纠正的B2版本，与显示^^^的隐藏再次 1/用来显示，然后B3'被^JU两次等等。i!E示较少的纠正帧^^示给用 户。这样，可见的伪影变少，这提高了祯颜流的质量。作为参考，脊逸的定^f见 频谏u^204中示出，其中，所有具有差错的或*^皮重建的帧均以^正确的帧替 代，^il种情况中是B!。显然，才娥本发明的差错隐藏将定格的时间^JL从204 所示的整个GOP减少为203所示的几个帧的时间长变。这样，视濒中的静止图4象 在时间"^Ji^^iik;咸少。
虽然已通it参考特定的实施例示例性说明了本发明，但是对于;^4页域技4A 员来说，显然本发明不局限于前述示例性说明的实施例的细节，并iL^发明可以 以^t^^^^实施而不背离其銜申和范围。因此，前述实施例AM斤有方面 均应被视为示例性的而非限制性的，本发明的保护范围由所附的权利要求来说 明，而不;1前面的描述，落在与所i^M'溪求等^^含义和范围内的所有的M 均被视为包括在所iiv范围内。换句^i兌，预期似了落A&^原则的銜申和范围 内的任4可和所有的修7文、变形或等价方式，所iii^原则的;^特4iE^专利申
请中被请求保护。而且，本专利申请的读者可以理解用语或"包括，并 不排除其他的元件或步骤，用语"一个"并狗夂除多数的情况，单独的元件，例
^i十^4几系统、处理器或另一个iy^元可以实效W又矛j^求中所述的;L^装置的
功能。权利要求中的^^T参考^i己均不构^t各自权矛漆求的P艮制。当在说明书 或权利要求中^J^ "第一，，、"第二"、"第三"等用语时，^W皮引入以m^目 似的原件或步骤之间加以区分，未必是描iii^续的或时间上的顺序。
权利要求
1.一种用于解码流媒体中的多个被编码的媒体单元的设备(101)，所述设备包括:-解码装置(104)，用于解码一个或多个所述被编码的媒体单元，从而生成一个或多个被解码的媒体单元；以及-第一隐藏装置(105)，用于隐藏被解码的媒体单元中的至少一个差错，从而生成第一隐藏媒体单元；其特征在于，所述设备还包括:-第二隐藏装置(106)，用于基于一个或多个在先生成的第一隐藏媒体单元和/或一个或多个在先生成的第二隐藏媒体单元，生成第二隐藏媒体单元；以及-用于选择(110)用于显示的所述第一隐藏媒体单元或所述第二隐藏媒体单元的装置。
2.根据权利要求1所述的用于解码流媒体中的多个被编码的媒体单元的 设备(101)，其特征在于，所述第一隐藏装置(105)和/或所述第二隐藏装置(106)包括下述中的一个或多个 -用于定格媒体单元的装置；以及 -用于内插的装置。
3. 根据权利要求1所述的用于解码流媒体中的多个被编码的媒体单元的 设备(IOI)，其特征在于，所述用于选择(IIO)的装置适合基于质量评估来选择所述第一隐藏媒体单元或所述第二隐藏媒体单元。
4. 根据要求3所述的用于解码流媒体中的多个被编码的媒体单元的 设备(IOI) ， 其特征在于，所述质量评估基于下述中的一个或多个-被解码的编码媒体单元的类型；以及-所述流媒体中的编码的编码媒体单元的数量，其中至少一个差错被隐藏； -被解码的媒体单元中伪影的数量。
5. 根据权利要求1所述的用于解码流媒体中的多个被编码的媒体单元的 设备(IOI)，其特征在于，所述用于选择(IIO)的装置包括接口 (111)，用 以接收来自所述第一隐藏装置(105)的信号。
6. ##^，要求1所述的用于解码力^L中的多个被编码的^4元的设备(IOI)，脉摊于，所述多个被编码的^^1^目絲的^#^元。
7. 才N^U'J^求6所述的用于解码^^中的多个被编码的^M^元的 设备(101) ， ^#棘于，所i^目互絲的^4元是棘图像专家组(MPEG)帧。
8. —种用于解码-d^中的多个被编码的W4元的方法，所^T法包括 步骤-解码一个或多个所述被编码的媒料元，从而生成一个或多个,AJ^码的媒 #元；以及-隐^^^码的^^元中的至少一个差错，从而生成第一隐藏 ^元； 絲棘于，所粉法还包紗骤-基于一个或多个在先生成的第一隐藏媒^+元和/或一个或多个在先生成 的第二隐藏^#^元，生成第二隐藏^^元；以及"i^择用于显示的所述第一隐藏^4it^所述第二隐藏^4元。
全文摘要
本发明涉及用于解码流媒体中的多个被编码的媒体单元的设备(101)。所述设备(101)包括解码装置(104)，用于解码一个或多个所述被编码的媒体单元，从而生成一个或多个被解码的媒体单元，以及第一隐藏装置(105)，用于隐藏被解码的媒体单元中的至少一个差错，从而生成第一隐藏媒体单元。所述设备(101)还包括第二隐藏装置(106)，用于基于一个或多个第一隐藏媒体单元和/或一个或多个在先生成的第二隐藏媒体单元，生成第二隐藏媒体单元，以及用于选择(110)用于显示的所述第一隐藏媒体单元或所述第二隐藏媒体单元的装置。
文档编号H04L29/06GK101374240SQ20081017146
公开日2009年2月25日 申请日期2008年8月20日 优先权日2007年8月20日
发明者K·斯特鲁伊夫, P·兰博特, R·范德维尔, T·范凯恩杰姆, W·范兰克尔 申请人:阿尔卡特朗讯公司