在视频编码中适应鲁棒性的制作方法
【专利说明】在视频编码中适应鲁棒性
【背景技术】
[0001] 在现代通信系统中，视频信号可以通过诸如有线和/或无线网络(通常，诸如因特 网之类的基于分组的网络)之类的介质从一个终端被发送到另一个。典型地，在发送终端处 用编码器对视频的帧进行编码以便对其压缩以用于通过网络进行传输。用于给定帧的编码 可以包括帧内编码，其中块相对于在同一帧中的其他块而被编码。在这种情形下，目标块通 过在那个块和相邻块之间的差异(残差（residual))而被编码。可替换地，用于某些帧的编 码可以包括帧间编码，其中典型地基于运动预测，在目标帧中的块是相对于在前的帧的相 应部分而被编码。在这个情况下，目标块是通过标识在块和该块根据其要被预测的相应的 部分之间的偏移的运动向量，以及在该块和该块根据其而被预测的对应的部分之间的差异 而被编码。在接收器处对应的解码器基于合适的预测类型来对所接收到的视频信号的帧进 行解码，以便将它们解压缩（decompress)以用于向屏幕输出。
[0002] 但是，帧或者帧的部分会在传输中丢失。例如，典型地，基于分组的网络不保证所 有分组的递送，例如，分组中的一个或多个可能由于拥塞（congestion)而在中间路由器处 被丢弃。作为另一个示例，数据可能由于网络介质的较差的情况(例如，噪声或者干扰)而损 坏（corrupt)。基于被包括在编码的比特流中的冗余信息，前向纠错（FEC)或者其他这样的 错误保护技术有时可以被用来恢复丢失的分组。但是，没有一种错误保护技术是完美的，并 且某些分组在尝试纠正之后可能仍然不会被恢复。可替换地，系统设计者可能不想要引入 (incur)被用于错误保护的冗余信息的开销，至少不是在所有的情况下。所以，丢失可能仍 然发生。
[0003] 鲁棒性指的是编码方案对丢失不敏感的能力，依据在存在丢失的情况下失真如何 被影响。帧间编码帧（inter frame)相比于帧内编码帧（intra frame)，要求更少的比特来 编码，但是由于帧间编码帧引入了对在前帧处的依赖性，所以它是更不鲁棒的。即使帧间 编码帧被接收，但是如果在其历史中的某些帧已经被丢失(包括对其预测所依据的参考的 帧或帧的一部分，或者对参考预测所依据的帧或者帧的一部分)，则其可能无法被合适地解 码。所以，由于丢失的失真可能在多个帧上扩散。帧内编码是更为鲁棒的，这是因为其仅仅 依赖在当前帧中的参考的接收，所以即使已经存在之前的丢失，解码状态仍然可以被恢复。 负面是帧内编码在编码的比特流中引入更多的比特。改善鲁棒性的另一个可能的诀窍是使 得解码器反馈被成功接收和解码的帧或者帧的一部分的确认，并且使用确认的参考模式， 其限制编码器仅仅相对于确认的参考而对当前块进行编码。但是，这将用于预测的候选限 制为在时间上进一步向后的参考，其倾向于更不相似，并且因此在预测方面实现了更少的 增益（即，导致更大的残差)。
[0004] 考虑各种可能的编码模式（比如，帧内编码、帧间编码以及相对于确认的参考的编 码)，因此在鲁棒性(在防卫潜在的失真方面）以及在编码的信号中引入的比特率之间的折 中要被做出。丢失适应的速率失真优化（LARD0)是一种可以在解码器侧被应用来尝试优化 这个折中的技术。对于每个考虑的宏块，LARD0测量通过在多个可用的编码模式中的每个 中对宏块进行编码而经历失真D的估计和使用这些编码模式中的每个时将要被引入在编 码的比特流中的比特率。失真D的估计可能考虑到源编码失真(例如，由于量化）以及由于 丢失的潜在的失真的估计(基于在所考虑的信道中出现丢失的可能性)两者。在编码器处的 LARDO过程然后选择编码模式，所述编码模式使形如D+XR (其中，λ是表征折中的参数） 的函数最小化。
【发明内容】
[0005] 根据一个方面，本公开涉及一种装置，所述装置具有用于接收包括多个帧的视频 信号的输入，每一个帧包括多个图像部分，以及用于对图像部分的每一个进行编码以便生 成编码的信号的编码器。例如，所考虑的图像部分可能是任何合适的编解码器的块或者宏 块，或者帧的任何其他所期望的划分（division)。编码器能够使用两个或多个不同的编码 模式中的任何所选择的一个对部分(例如，每个块或者宏块）中的每一个进行编码，并具有 不同的速率失真折中。例如，编码模式可以包括帧内编码模式、帧间编码模式和/或目标部 分被相对于确认的参考(确认为已被接收端接收）而被编码的模式。
[0006] 为了控制这一点，装置包括被布置来选择被用于对图像部分中的每一个相应地进 行编码的编码模式的适应模块。适应使用速率失真优化过程，由此其平衡失真和比特率的 函数。该函数是编码模式的函数，并且至少包括表示如果利用某个编码模式对目标部分进 行编码而在解码器处将要经历的潜在失真的估计的部分以及表示通过使用那个编码模式 对图像部分进行编码而在所编码的信号中将要引入的比特率的部分。因此，适应模块能够 考虑根据多个不同的编码模式中的每一个对目标部分进行编码的潜在的速率失真折中，并 且它根据某种最优化准则选择被估计来提供最佳的折中的模式。
[0007] 进一步，适应模块也可以被配置来在帧中确定具有不同感知显著性的至少两个不 同的区域。例如，这可以包括确定至少一个感兴趣区域，例如视频通话中的面部，其具有比 感兴趣区域之外的背景区域更大的显著性。在实施例中，适应模块可以确定具有各种不同 区域(至少多于两个）的感知敏感性映射，并且针对每个区域确定感知显著性水平。该水平 可以从各种不同的可能水平中（同样，至少多于两个）确定。上文所提到的函数然后可以根 据正在被编码的图像部分处在哪个区域中而被适应，例如，根据相应区域的感知显著性，来 适应被应用于函数的各部分之一上的加权。
[0008] 在实施例中，表示失真的函数的部分至少包括由于丢失的潜在失真的估计，例如 考虑目标图像被丢失或者在其历史中的事物被丢失的可能性。在实施例中，失真的估计可 以考虑源编码失真以及丢失可能性两者。因此，在实施例中，更高的鲁棒性(对丢失更低的 敏感性）可以以在编码信号中更多的比特为代价而被应用于感兴趣的区域或者更高感知显 著性的区域，而更低的鲁棒性(对丢失更高的敏感性）可以被应用于一个或多个其他区域， 从而因使用较少比特来对这些区域进行编码而得到节省。
[0009] 本
【发明内容】
被提供来以简化的形式介绍概念的选择，在下文【具体实施方式】中进一 步对其描述。本
【发明内容】
不是旨在标识要求保护的主题的关键特征或必要特征，也不旨在 被用来限制要求保护的主题的范围。所要求保护的主题不局限于解决在【背景技术】部分所指 出的缺点中的任何一个或者全部的实现方式。
【附图说明】
[0010] 图1是视频流的示意性表示， 图2是通信系统的示意性框图， 图3是编码的视频流的示意性表示， 图4是编码器的示意性框图， 图5是解码器的示意性框图，以及 图6是要被编码的视频图像的示意性表示以及对应的感知重要性映射的示例。
【具体实施方式】
[0011] 如果优化函数被强加权成以高比特率为代价避免失真，则诸如LARD0之类的鲁棒 性工具在速率失真性能方面是昂贵的。在其他方面，如果对于比特率的节省被过多加权，则 类似LARD0的鲁棒性工具可以产生在良好网络情况下无法保证的显著的质量下降。
[0012] 下面的实施例将鲁棒性适应于帧内的主观重要性。可以对LARD0类型的工具(相 对于确认的参考、帧内块等等而进行编码）应用空间选择性。例如，在帧内的感兴趣区域 (R0I)可以在编码器侧被确定，并且相比在感兴趣区域外部的那些，可以将更大的鲁棒性给 予正在感兴趣区域内进行编码的块或者宏块(例如，在LARD0优化中，以更高的比特率为代 价，将对抗失真的更大的加权给予在R0I中的宏块，而在R0I之外，花费更少的比特)。将这 个想法扩展，LARD0类型的工具可以以连续的方式(例如，与空间失真敏感性成比例地）应 用空间选择性。例如，感知敏感性映射可以被确定，其中不同的区域可以被给予来自一个范 围的各种不同水平的（多于两个水平）不同的感兴趣水平，例如，将不同的水平映射到在帧 内的每个块或者宏块。然后，鲁棒性可以根据与每个区域相关联的水平而被适应(例如，在 LARD0优化函数中的加权可以根据感知显著性水平而被适应，从而相比于具有更低水平的 那些宏块，将对抗失真的更大的加权给予具有更高显著性水平的那些宏块)。
[0013] 这些工具的使用也可以与R0I感知隐藏（concealment)质量估计进行组合，以便 在隐藏质量被估计为是低的时候来确定是否帧可以被丢弃。
[0014] 因此，相比于当前可能的，实施例可以在丢失期间以在一个或多个感兴趣区域中 可接受的质量以更小的比特率开销产生更高的帧率。
[0015] 图1给出输入视频信号的示意性图示，所述视频信号从摄像机被捕获，并且被划 分成准备好由视频编码器进行编码以生成编码的比特流的各部分。该信号包括在时间上被 划分成多个帧（F)的移动视频图像，每个帧表示在时间上t+L···)不同的相应的 时刻的图像。在每个帧内，该帧在空间上被划分成多个部分，每个部分表示多个像素。例 如，这些部分可以被称为块。在某些方案中，该帧被划分和子划分成不同水平的部分或者 块。例如，每个帧可以被划分成宏块(MB )，并且每个宏块可以被划分成块（b )，例如，每个块 表示帧内的8 X 8像素的区域，以及每个宏块表示2 X 2块（16 X 16像素)的区域。在某些方 案中，每个帧也可以被划分成片（slice)，每个片包括多个宏块。
[0016] 在输入信号中的块可以初始地在空间域中被表示，其中每个通道被表示为在块内 的空间位置的函数，例如，亮度（Y)和色度（U，V)通道中的每一个是笛卡尔坐标X和y的函 数，Y(x，y)，U(x，y)和V(x，y)。在这个表示中，每个块或者部分可以由在不同的空间坐标 (例如，X和y坐标）处的一组像素值所表示，以便颜色空间的每个通道通过在块内的特定位 置的特定值、在该块内的另一个位置的另一个值和其他等等而被表示。
[0017] 但是，作为编码过程的一部分，该块可以被变换到变换域(典型地，空频域表示，某 些时候仅被称之为频域)表示。在频域，该块通过表示在该块内的每个颜色空间通道中的变 化(例如，在该块内的亮度Y和两个色度U和V中的每一个中的变化）的频率分量的系统而 被表示。从数学上讲，在频域，通道中的每一个(亮度和两个色度通道或者这样类似的通道 的每一个)被表示为空频的函数，尺寸为1/给定方向的长度。例如，这可以相应地由在水平 和垂直方向上的波数1和ky所表示，所以该通道可以被相应地表达为Y(kx，ky