丢失视频数据的条件隐藏的制作方法_3

文档序号:9650904阅读:来源:国知局
率方面)带来负担,并且运个实施方式决不是必要的。如将在下面更详细地讨论的,在不 太复杂的实施例中隐藏质量是例如考虑到运动、浏览一个或多个过去接收和解码的帖的历 史和/或探测与丢失区相邻的区中的目前帖而在解码器侧替代地确定的。
[0032] 转向ROI估计,在实施例中ROI标识模块57被提供在构码器侧,禪接来从构码器 的输入端接收原先未构码的视频的实例。在运种情况下感兴趣区标识模块57被配置成在 正被构码W用于传输的视频中标识感兴趣区。在实施例中,运通过应用面部识别算法来完 成,所述面部识别算法的示例本身在本领域中是已知的。面部识别算法在待构码的视频图 像中识别面部,并且基于此将包括面部或面部的至少一些(例如像口和眉毛运样的面部特 征)的图像的区标识为感兴趣区。面部识别算法可W被具体地配置成识别人类面部,或者可 W识别一个或多个其它生物的面部。在其它实施例中可W在除面部识别外的另一基础上标 识感兴趣区。其它替代方案包括诸如用于将运动对象标识为感兴趣区的运动识别算法或由 传送终端12的用户所规定的用户定义的感兴趣区运样的其它类型的图像识别算法。
[0033] 示例被示意性地图示在图6中。该图示出了例如如将通常在视频呼叫中发生的 "头部特写"型视频图像的一个帖。图6中的顶部图示示出了被划分成包括背景块(bb)的块 (b)的帖。注意,出于图示目的放大了块的大小讨目对于典型的视频编解码器的那些,但是一 般而言能够使用任何大小块)。图6中的底部图示示出了与已被标识为形成感兴趣区(面部 或前景块)的仅那些块(bf)(例如,包括面部的至少一些的任何块或涵盖面部的主要特征的 块的选择)相同的帖。在实施例中,ROI图36可W指示组成感兴趣区的块bf(例如通过块 索引或坐标),和/或未被包括在感兴趣区中的那些块(bb)。
[0034] 无论使用哪一个技术,ROI标识模块57输出感兴趣区的指示36,其被传送到在接 收终端22处的解码器,例如被嵌入在构码比特流中(例如正在赌构码器级处连同构码样本 一起被构码)。再次参见图3。
[0035] 运提供了使得在接收终端22处的解码器可W确定感兴趣区的一个方式。在实施 例中,运个指示可W采取标识帖的哪些部分形成感兴趣区(例如哪些块(bf)或宏块)的感知 重要性图的形式。可W每帖或每帖一次少于发送ROI图36或其它指示(在此情况下它被认 为表示当前ROI直到下一个图被发送为止)。
[0036] 在实施例中可W在除用来对该帖进行构码的一个或多个分组外的单独分组中发 送针对目标帖的ROI图36巧日/或任何隐藏估计35),W减小目标帖及其隐藏估计两者由 于分组丢失而丢失的可能性(注意,图3仅是示意的)。然而,运不是绝对必要的,因为在同 一分组中发送的信息可W仍然防止由于分组的一部分的毁坏而导致的丢失,或在另一分组 中发送的同一帖的另一部分的丢失。
[0037] 在使用在构码器侧的隐藏质量估计模块55和在构码器侧的ROI标识模块57的实 施例中,隐藏质量估计模块55可W将其比较仅基于所标识的感兴趣区中的样本,例如仅组 成感兴趣区的那些块或宏块的样本。例如,在针对MSE或PSNR的上述计算中所比较的样本 g(x,y)和g' (X,y)仅是感兴趣区内的那些样本。可替换地,隐藏质量估计模块55可W将其 比较基于帖中的所有样本(或比感兴趣区范围更宽的样本),但是同时更大加权被应用于感 兴趣区内的样本。例如在针对MSE或PSNR的上述计算中所比较的样本g(X,y)和g'(X,y) 可W包括帖中的所有样本,但是在和中每个项可W由对在感兴趣区内部的那些样本比在它 外部的那些样本给予更大重要性的因子加权。例如W对于感兴趣区中的样本能够具 有一个预定值(假定1)而对于在该区外部的样本具有另一预定值(假定0. 5)。
[0038] 图5是示意性地图示了诸如可能被实现在接收终端22上的解码器的高级框图。该 解码器包括逆量化级83、逆DCT变换级81、开关70W及帖内预测级71和运动补偿级73。 该解码器还包括含有感兴趣区(ROI)处理模块77的隐藏模块75。运些模块或级中的每一 个可W作为存储在接收终端的存储介质24上并且被布置用于在其处理设备26上执行的代 码的一部分被实现,但是不排除运些中的一些或全部用专用硬件电路完全地或部分地实现 的可能性。
[0039] 逆量化器81被布置成经由接收器28从构码器接收构码信号33。逆量化器81将 构码信号中的量化索引转换成残差信号(包括残差块)的去量化样本并且将去量化样本传 递给其中它们被从频域变换回为空间域的逆DCT模块81。开关70然后将经去量化的空间 域残差样本酌情传递给用于正被解码的当前帖或块的预测模式的帖内预测模块71或帖间 预测模块73,其中帖内预测或帖间预测分别被用来(酌情使用在构码比特流33中接收到的 预测的指示和/或任何运动矢量)对块进行解码。DCT模块51 (或其它适合的变换)的输出 是包括针对每个帖的多个变换块的变换残差信号。解码块被输出到接收终端22处的屏幕 25。
[0040] 隐藏模块75被禪接W便具有来自接收器28的传入比特流33的可见性。在帖或 帖的一部分(例如由于分组丢失或数据的毁坏而)丢失的情况下,隐藏模块75检测运个并且 选择是否应用隐藏算法。如果应用了隐藏算法,则运通过根据前面接收到的帖对于帖的丢 失补片(或甚至整个丢失帖)提出替换而工作;或者根据同一帖的一个或多个其它接收到的 部分对于帖的丢失补片提出替换。也就是说,要么通过根据前面接收到的帖来外推丢失帖 或帖的丢失部分;要么根据同一帖的另一接收到的部分来外推帖的丢失部分;或者通过在 同一帖的接收到的部分之间内插来估计帖的丢失部分。隐藏算法的细节本身在本领域中是 已知的。在实施例中,隐藏算法被配置成在整个帖基础上工作,所W如果目标帖的补片丢失 了,则隐藏算法根据先前接收到的帖(例如,最后成功地接收到的帖)从该整个帖的任何部 分中提出丢失补片的替换版本。进一步地,关于是否隐藏的判定是总体上针对帖而做出的, 即跨越整个帖的任何丢失补片被隐藏或者否则整个帖未被隐藏。如果未隐藏,则替代地最 后接收到的成功地解码的帖被冻结持续包含丢失的目标帖的持续时间。
[0041] ROI处理模块77被配置成在传入视频图像中标识感兴趣区。在实施例中,它使用 从传送终端12接收到的ROI图36来做运个,例如从传入比特流33中提取它。例如,ROI处 理模块77从而能够确定哪些块(bf)或宏块组成感兴趣区。在替代实施例中,可能不需要在 构码器侧的ROI标识模块57,并且可W替代地在接收终端22处在解码器侧应用用于标识感 兴趣区的上面所描述的技术中的任一个。例如可W在接收终端22处的解码器的ROI处理模 块77中应用面部识别算法或其它图像识别算法,或者用户定义感兴趣区可W由接收终端 22的用户来规定。在诸如在解码器侧应用的面部识别算法运样的图像识别算法的情况下, 在大多数情况下感兴趣区不可能已从一个帖显著地移动到下一个帖的假定下,运将基于先 前接收到的、成功地解码的帖。
[0042] 进一步地,隐藏模块75被配置成为丢失帖或该帖的一部分确定隐藏质量的估计。 隐藏质量提供了丢失区域的隐藏版本如果使用隐藏算法来隐藏的质量的估计。
[0043] 在一些实施例中,隐藏模块75能够使用从传送终端12接收到的推测的估计35来 确定隐藏质量(运是基于经仿真的丢失场景的),例如从构码比特流33中提取它。然而在W 下实施例中,构码器侧隐藏质量估计模块55是不需要的,并且替代地隐藏质量估计由在解 码器侧的隐藏模块75执行。在运种情况下,因为在解码器处没有实际丢失数据的知识,所 W替代地必须基于目标帖和/或一个或多个先前接收到的帖的成功地接收到的部分"盲" 估计隐藏质量。
[0044] 在实施例中,为了估计隐藏质量解码器侧模块75可W查看目前帖的与(多个)丢失 补片相邻的部分。例如,运个技术能够被用来使得隐藏质量估计模块75能够在解码器侧预 巧嶋藏帖的PSNR。质量的估计可W是基于对所接收到的与隐藏块相邻的像素(即,在当前目 标帖中围绕隐藏块的像素)与隐藏块的参考块的对应相邻像素(即,在视频信号的参考帖中 围绕参考块的像素)之间的差的分析的。可W为每个块测量所述差W提供可W被存储的差 量度(或"差度量")。关于图7讨论了示例。
[0045] 图7示出了在接收终端12处接收到的视频信号的=个连续帖。=个帖是其在视频 信号的帖的序列中的位置为t-2的帖Ft2 (402)、其在视频信号的帖的序列中的位置为t-1 的帖Ft1 (406)W及其在视频信号的帖的序列中的位置为t的帖Ft(410)。帖Ft的块412 参考如图7中所示出的帖Ft1的一部分408被编码。然而,在视频信号从传送终端12到接 收终端22的传输期间帖Ft
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1