丢失视频数据的条件隐藏的制作方法_4

文档序号:9650904阅读:来源:国知局
1的部分408已丢失(例如由于分组丢失或毁坏),使得不能够使 用部分408来对帖Ft的块412进行解码。
[004引帖Ft的块412的运动矢量被外推回到先于帖Ft1的帖F12。如图7中所示,块412 的运动矢量被外推到帖Ft2的段404。帖F12的部分404已经在接收终端22处被正确地接 收和解码。因此部分404能够被用来提供隐藏块W用于在帖Ft中用来替换块412。例如, 隐藏块可W是来自帖Ft2的部分404的像素的拷贝,但是偏移了经外推的运动矢量。
[0047] 对于帖Ft的隐藏的质量是通过针对感兴趣区中的块来分析误差隐藏而确定的。通 过替换帖Ft中的块412的隐藏块所提供的误差隐藏的成功的量度被确定。该量度包括在 帖Ft中围绕块412的像素中的至少一些与围绕帖Ft2的部分404的对应像素之间的差的 量度。差量度的高值指示差大。等效地,差量度可W在一些实施例中作为相似性量度被实 现,其中相似性量度的高值指示差小(即相似性高)。确定是基于与块412相邻的帖F冲的 像素与与参考帖Ft2中的部分404相邻的对应像素之间的差的估计的。差量度可W作为差 的函数被实现。例如,在各种实施例中,差量度作为绝对差的和(SAD)、平方差的和(SSD)或 均方误差(MSE)被实现。例如,两组对应像素g(x,y)和g' (x,y)之间的均方误差可W被计 算为
[0048]在图7中被比较的像素被划上阴影线。围绕块412的像素中的至少一些被使用并 且围绕段404的对应像素也被使用。例如,如图7中所示,在块412左边并且与块412相邻 的一列像素、在块412右边并且与块412相邻的一列像素W及在块412下方并且与块412 相邻的一行像素与在段404左边并且与部分404相邻的对应的一列像素、在段404右边并 且与部分404相邻的一列像素W及在段404下方并且与部分404相邻的一行像素相比较。
[0049] 在估计中使用的周围像素可W或者可能不完全围绕块412巧日对应部分404)。如 果例如不是,则帖Ft中的相邻像素可W在它们在被估计为具有非线性运动超过基于它遍及 最后两个或更多个帖的运动矢量的线性的阔值的块(例如416)中的情况下被从估计中排 除。或者如果隐藏块412是在帖的边缘处,则在它上方可能简单地不存在相邻块416要包 括在估计中。可替换地,可W从隐藏块四处在左边、右边、上面和下面包括相邻像素。例如 在图7中,比较还可W包括在块412上方并且与块412相邻的一行像素与在段404上方并 且与部分404相邻的一行像素相比较。
[0050] 周围像素可W与块412相邻(并且与对应段404相邻)、在块412的边界上(并且在 对应部分404的边界上)。周围像素可W是来自块412的边缘(W及来自对应部分404的边 缘)深处的一个或多个像素。
[0051] 在实施例中,被用来替换帖F冲的块412的隐藏块是帖F12的部分404的像素的 拷贝(偏移了经外推的运动矢量)。因为在接收终端22处正确地接收到帖Ft2,所W假定了 在帖Ft2中的部分404的像素和周围像素中存在小误差或没有误差。因此部分404与在比 较中使用的周围像素(其在图7中被划上阴影线)之间的边界(例如在亮度或色度方面)有平 滑过渡。因此为了让帖F冲的隐藏块在该隐藏块与在比较步骤中使用的周围像素巧在图 7中被划上阴影线)之间具有平滑过渡,帖F冲的周围像素将趋于与帖Ft2中的周围像素类 似。因此在图7中被示出为划上阴影线的帖Ft和帖Ft2中的周围像素之间的差的量度能够 提供关于由隐藏块所提供的误差隐藏的成功的良好指示。在各种实施例中,比较牵设确定 对应像素的值之间的SAD、SSD或MSE。像素的值例如可W是像素的亮度值或色度值。所确 定的差值被分配给块412。
[0052] 还确定了在帖Ft中的感兴趣区中是否存在参考先前帖的丢失段(例如丢失帖Ft1 或Ft2的段)编码并且将在确定帖Ft的质量的估计时考虑的任何其它块。如果确定了在帖 Ft中存在待考虑的更多隐藏块,则该方法然后对于新近考虑的块重复。一旦确定了不存在 帖Ft的需要在隐藏质量的估计中考虑的更多隐藏块,那么该方法就通过计算已被分配给所 考虑的帖Ft的隐藏块的所有MSE(或SSD或SAD)值的和或平均值而继续,W由此提供感兴 趣区的质量的估计。MSE、SSD或SAD的和可W被用来确定峰值信号噪声比(PSNR)。和、平 均值或PSNR(等)越大,隐藏的质量越低。
[0053] 因此在实施例中有可能在解码器侧确定隐藏质量的估计,而无需对于待在没有在 比特流33中传送的任何显式边信息的情况下在构码器侧实现的估计的任何显式支持。
[0054] 在另一运样的示例中,可W在解码器侧使用在误差区的边界处的亮度不连续性来 评估误差隐藏有效性。如果亮度不连续大于预定阔值则误差隐藏被认为是无效的。
[0055] 在又一个示例中,隐藏质量估计可W是基于两个或更多个前面成功地接收并且解 码的帖之间的差的。例如,可W在两个前面成功地接收并且解码的帖或那些帖的部分之间 的感兴趣区中替代地计算MSE或PSNR。在当前帖如果被接收到则将很可能继续改变类似程 度的假定下,那两个前面帖之间的差可W被认为是从前面帖到当前目标帖(丢失了的那个) 预期的改变的程度的估计。例如如果在最后两个接收到的帖之间的感兴趣区中存在大平均 差(例如按MSE或PSNR测量),则很可能的是,当前目标帖将继续展示运种程度的差并且隐 藏将是不良的。但是如果在最后两个接收到的帖之间的感兴趣区中仅存在小平均差,则很 可能的是,当前目标帖将不继续为非常不同的并且隐藏将是相对良好的质量。作为另一替 代方案,有可能查看前面帖的运动矢量。例如,如果感兴趣区中的运动矢量的平均大小大, 则预期到许多改变并且隐藏将很可能是不良质量;但是如果运动矢量的平均大小小,则预 期到不多的改变并且隐藏将很可能提供相当良好的质量。例如如果运动矢量指示大于阔值 的运动,则误差隐藏可W被认为是无效的。
[0056] 通过无论什么技术估计隐藏质量,如关于构码器侧估计所讨论的,隐藏质量的估 计集中于感兴趣区一一要么因为差量度(无论应用在构码器侧还是解码侧)仅基于感兴趣 区中的样本、块或宏块,不计及外部的那些;要么因为差和或平均值中的项用感兴趣区中的 样本、块或宏块相对于在感兴趣区外部的那些的更大重要性进行加权。例如能够使用加权 得分即通过重要性掩码或重要性的中屯、来实现选择性。
[0057] 所W在图6的示例中,隐藏质量估计是仅基于涵盖主要面部区的块bf(或者被向 所述块bf偏置)来做出的。
[0058] 然而质量被估计,隐藏模块75被配置成基于针对感兴趣区的隐藏质量估计来做 出关于是否应用隐藏算法的选择。在实施例中,隐藏模块75被配置成对隐藏质量估计应用 阔值。如果隐藏质量估计相对于阔值是良好的(满足和/或好于阔值),则隐藏模块75选择 应用隐藏算法。如果隐藏质量估计相对于阔值是坏的(坏于和/或不好于阔值),则隐藏模 块75选择不应用隐藏算法。替代地它可W冻结前面帖。
[0059] 在实施例中,即使隐藏质量估计是仅基于该区域内的较小感兴趣区的(或者至少 向该区域内的感兴趣区偏置),例如在小于帖的区域的感兴趣区内,选择也被应用于考虑中 的整个区域,例如整个帖。也就是说,针对感兴趣区的隐藏质量的估计被用来判定是否产生 整个区域(例如整个帖,包括感兴趣区W及该区域在感兴趣区外部的剩余区(例如帖的其余 部分)两者)的隐藏版本一一隐藏算法隐藏感兴趣区内部和感兴趣区外部的补片。所W在 图6的示例中,隐藏质量估计可W仅基于涵盖主要面部区的块bf(或向其偏置)来做出,但 是可W被用来做出对于包括从前景块bf之中丢失的任何块和从背景块bb之中丢失的任何 块的整个帖来说被认为是相关的隐藏判定。运可W提供与对于单独的块做出逐块判定将需 要的相比不太复杂的解决方案,同时仍然获得基于ROI的隐藏的利益。例如,背景是否包含 隐藏歴像通常对用于而言没有关系,所W可能不值得单独地选择如何处理那些块。
[0060] 应当了解,已经仅通过示例描述了上述实施例。
[0061] 例如,尽管已经在整个帖隐藏方面描述了上述实施例,但是情况不必是运样的。替 代地构思能够被应用于帖的另一区域,诸如码片。例如可W基于比码片小的码片内的感兴 趣区做出关于隐藏的判定,并且一旦做出就可W跨越整个码片应用该判定。进一步地,虽然 已经在块和宏块方面描述了上文,但是不必在任何特定标准的块或宏块方面映射或者定义 感兴趣区。在实施例中可W在帖的任何一个或多个部分方面映射或者定义感兴趣区,甚至 直到逐像素级别,并且用来定义感兴趣区的部分不必与用于诸如预测运样的其它构码/解 码操作的划分相同(尽管在实施例中它们也可W如此)。
[0062]
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1