丢失视频数据的条件隐藏的制作方法
【专利说明】丢失视频数据的条件隐藏
【背景技术】
[0001] 在现代通信系统中可W通过诸如有线和/或无线网络(常常为诸如因特网运样的 基于分组的网络）运样的介质将视频信号从一个终端发送到另一终端。通常视频的帖由在 发送终端处的构码器构码W便对它们进行压缩W用于通过网络传输。针对给定帖的构码可 W包括帖内构码，借此块相对于同一帖中的其它块被构码。在运种情况下块是按该块与邻 近块之间的差(残差）构码的。可替换地针对一些帖的构码可W包括帖间构码，借此目标帖 中的块通常基于运动预测相对于前面帖中的对应部分被构码。在运种情况下块是按标识该 块与根据其将预测该块的对应部分之间的偏移W及该块与根据其预测该块的对应部分之 间的差(残差)的运动矢量构码的。在接收器处的对应解码器基于适当类型的预测对所接收 到的视频信号的帖进行解码，W便对它们进行解压缩W用于输出到屏幕。
[0002] 然而，帖或帖的部分可能在传输中丢失。例如，通常基于分组的网络不保证所有分 组的递送，例如分组中的一个或多个可能由于拥塞而在中间路由器处被丢弃。作为另一示 例，数据可能由于网络介质的不良条件(例如噪声或干扰）而毁坏。前向纠错（FEC)或其它 运样的编码技术有时能够被用来基于在构码比特流中包括的冗余信息来恢复丢失分组。然 而，如果在FEC之后仍然未恢复某些分组，则不能够在解码器处对信号的丢失部分进行解 码。
[0003] 为了适应运个，已知在解码器侧提供隐藏算法，W将丢失数据的补片隐藏在当前 帖内。隐藏算法通过根据已被成功地接收和解码的信息来外推或者内插对于丢失数据的替 换一一要么通过根据前面接收到的帖外推替换数据；要么根据同一帖的另一接收到的部分 外推替换数据；或者通过在同一帖的接收到的部分之间内插而工作。也就是说，通常隐藏是 对解码数据（图像、运动矢量）进行操作并且设法重建相同类型的数据。应用隐藏算法的替 代方案是简单地丢弃当前帖并且替代地冻结前面帖直到后续可用的帖被接收到并且解码 能够重新开始为止。有时隐藏提供比仅仅冻结先前帖更好的质量，但是其它时间不是。例 如隐藏可能导致比仅仅冻结感知上坏的可见歴像。
【发明内容】
[0004] 在下文中提供了确定何时应用隐藏并且何时不应用隐藏的方式。能够在操作期间 动态地(例如在逐帖基础上）做出确定。为了做运个，确定是基于如果跨越从所接收到的信 号丢失的区域(诸如丢失帖）应用了隐藏则将获得的质量的估计的。
[0005] 根据本文中所公开的实施例，接收设备包括：接收器；用于接收视频信号；输出 端，用于将视频信号输出到屏幕；W及隐藏模块，用于对具有丢失数据的视频信号的区域应 用隐藏算法。例如视频信号可W包括多个帖，并且待潜在地隐藏的区域可W是丢失帖。隐 藏模块选择性地针对所讨论的区域内的感兴趣区确定隐藏质量的估计。也就是说，估计致 力于比具有丢失数据的区域小的特定区一-要么因为估计是仅基于感兴趣区的，要么因为 估计被至少向该区偏置。基于运样的估计，隐藏模块确定是否应用隐藏算法。在一个或多个 实施例中，隐藏模块可W使用运个估计来对于考虑中的整个区域做出隐藏判定，所述考虑 中的整个区域包括对其做出估计的感兴趣区和在感兴趣区外部的另一区两者。也就是说， 估计可W致力于比将做出隐藏判定所针对的区域小的特定感兴趣区。例如可W关于是否跨 越整个丢失帖隐藏各种补片但是基于致力于帖内的较小感兴趣区的隐藏质量的估计而做 出单一判定。
[0006] 通过图示，在一个示例性实施方式中可W通过基于分组的网络在第一用户的终端 与第二用户的终端之间建立实况视频呼叫。作为呼叫的一部分，第一用户的终端可WW构 码形式接收包括表示第二用户的多个帖的实况视频流。在第一(接收)用户的终端上运行的 代码可W被用来对视频流的所接收到的帖进行解码W将视频流输出到屏幕，并且还用来对 包含丢失数据的视频流的目标帖有条件地应用隐藏算法，其中当应用隐藏算法时根据先前 接收到的解码帖提出目标帖的丢失数据。隐藏算法的条件应用可W包括在目标帖的区域内 确定包括第二用户的面部的至少一部分的感兴趣区。隐藏质量的估计然后选择性地针对感 兴趣区被确定；并且，基于运个估计，可W关于是否应用隐藏算法针对整个目标帖做出一次 判定。当未应用隐藏算法时，替代地可W冻结前面帖持续与目标帖相对应的持续时间。
[0007] 本
【发明内容】
被提供来W简化形式引入在下面在【具体实施方式】中被进一步描述的 构思的选择。本
【发明内容】
不旨在标识所要求保护的主题的关键特征或必要特征，它也不旨 在被用来限制所要求保护的主题的范围。所要求保护的主题也不限于解决【背景技术】部分中 指出的缺点中的任一个或全部的实施方式。
【附图说明】
[0008] 图1是视频流的示意表示， 图2是通信系统的示意框图， 图3是构码视频流的示意表示， 图4是构码器的示意框图， 图5是解码器的示意框图， 图6是待构码的视频图像中的感兴趣区的示意表示，W及 图7是用于估计隐藏质量的示例技术的示意表示。
【具体实施方式】
[0009] 隐藏质量估计可W被用来例如通过估计隐藏帖的峰值信噪比（PSNR)来估计隐藏 帖的质量。如果质量估计足够好，则应用隐藏。否则接收终端仅仅冻结最后帖。
[0010] 然而，在通信场景中，面部相对于背景或其它对象常常是最重要的。在确定是否显 示隐藏帖时，如果隐藏质量估计仅仅估计全帖的质量而不考虑内容，则即使面部区域包含 较多（major)歴像运也可能导致隐藏帖被显示。相反，即使面部在仅背景包含歴像的同时 有良好质量也可W丢弃潜在的隐藏帖。因此存在潜在问题的原因在于可能对显示有利的隐 藏帖有时未被显示，然而对显示不利的隐藏帖却被显示。
[0011] 在本文中所公开的实施例中，感兴趣区（ROI)或感知重要性图被发送到接收终端 W指导隐藏质量估计。可替换地，可W在接收器侧运行面部检测W提取感兴趣区，或者ROI 能够由用户通过某种手段(例如在眼睛正聚焦处或者通过在触摸屏上指向）来指示。
[0012] 使用感兴趣区的一个方式将是取决于它们是否位于感兴趣区中来选择是否隐藏 单独的块或宏块。也就是说，如果块或宏块在感兴趣区内（并且隐藏质量将足够好）则仅对 块或宏块应用隐藏。然而，那可能引入比必定所希望的更大的复杂性。
[0013] 因此在实施例中，感兴趣区被用来通知适用于整个帖的是/否判定。质量估计是 在感兴趣区上W偏见方式作为目标的W判定是否应用隐藏，但是一旦已经做出了判定它就 被应用于整个帖，潜在地包括诸如背景运样的其它区。也就是说，虽然可W总是在本地应用 隐藏，但是为了改正丢失补片，在实施例中确定了在应该丢弃整个帖之前能够在本地修补 多少。即虽然仅数据丢失的那些单独的补片被隐藏，但是关于隐藏的判定在逐帖基础上每 帖应用一次。在一个运样的实施例中，如果面部区足够好则显示图像的隐藏版本。如果使 用隐藏使面部区降级太多，则替代地丢弃整个帖可能是更好的。
[0014] 在一些实施例中，隐藏可W附加地包括用于在区包含严重歴像情况下使在ROI外 部的歴像衰减的手段。运例如可W包括使毁坏区模糊或者将噪声添加到毁坏区。
[0015] 图1给出了从相机捕获并且划分成准备好由视频构码器构码W便生成构码比特 流的部分的输入视频信号的示意图示。信号包括在时间上划分成多个帖（F)的运动视频图 像，每个帖表示在不同的相应时刻（...t-1、t、t+1...)的图像。在每个帖内，帖被在空间 上划分成各自表示多个像素的多个部分。运些部分例如可W被称为块。在某些方案中，帖 被划分并且细分成不同级别的部分或块。例如可W将每个帖划分成宏块(MB)并且可W将 每个宏块划分成块（b)，例如每个块表示帖内8X8个像素的区并且每个宏块表示2X2个 块（16X16个像素）的区。在某些方案中还能够将每个帖划分成各自包括多个宏块的码片 (S)。
[0016] 可W最初在空间域中表示输入信号中的块，其中每个通道被表示为块内的空间位 置的函数，例如亮度（Y)通道和色度（U,V)通道中的每一个是笛卡尔坐标X和y的函数 (Y(x，y)、U(x，y)W及V(x，y))。在运个表示中，每个块或部分由在不同的空间坐标(例如， X和y坐标)处的一组像素值来表示，使得颜色空间的每个通道是按在块内的特定位置处的 特定值、在块内的另一位置处的另一值等来表示的。
[0017] 然而块可W被变换成作为构码过程的一部分的变换域表示，通常为空间频域表示 (有时仅仅被称为频域)。在频域中块是按表示跨越块的每个颜色空间通道的变化(例如跨 越块的亮度YW及两个色度U和V中的每一个的变化)的频率分量的系统来表示的。从数学 角度讲，在频域中通道中的每一个(亮度通