控制被编码的视频的分辨率的制作方法
【专利说明】
【背景技术】
[0001]在现代通信系统中，可以通过诸如有线和/或无线网络等的介质来进行视频通话，所述网络例如可以包括诸如因特网等的基于分组的网络。通话包括从一个用户终端发送到另一个用户终端的至少一个视频流，并且经常是两个方向中的视频流。两个终端通过网络或其它介质建立相互之间的通信信道，允许由发送侧的照相机捕获的视频数据的帧通过信道被发送到接收侧。视频的帧通常由发送终端上的编码器编码以便于压缩视频的帧，以用于通过信道来传输。在接收终端处的相对应的解码器对所接收的视频的帧进行解码以便于对视频的帧进行解压，以用于输出到屏幕。可以用于指代编码器和/或解码器的通用术语是编解码器。
[0002]编码常常包括采用帧内预测编码、帧间预测编码、或者更常见的两者的组合(例如，在帧间编码的帧的序列之间交错的偶然的帧内编码的“关键”帧)形式的预测编码。根据帧内编码，块相对于同一帧中的其它块被编码。在该情况下，目标块根据该块与同一帧中的另一块(例如相邻块)之间的差(残差)而被编码。残差小于绝对值并且因此要求更少的位来编码，并且，残差越小，在编码中产生的位越少。根据帧间编码，目标帧中的块通常基于运动预测，相对于前面帧中的相对应的部分而被编码。在该情况下，根据用于标识目标块与要从中预测出该块的相对应的部分之间的偏移量的运动向量、以及目标块与从中预测出该块的相对应的部分之间的差(残差)来对目标块进行编码。帧间编码通常产生甚至比帧内编码更小的残差，并且因此产生甚至更少的位。
[0003]视频通话本质上是“实况(live)”通信。也即，通话的输出视频流持续地在发送终端处被实时捕获，甚至在该同一流的其它先前编码的数据在接收终端被接收并且播放时(与整个视频文件一次性被编码且然后随后被发送相反)。本文所使用的“实况”或“实时”不一定限于零延迟。然而，用户确实期望视频至少像被捕获的事件实际上发生得那样快速地以及至少像视频被预期播放得那样快速地被编码、发送和解码(平均地)。
[0004]当考虑视频编码时，特别在实时应用中，一个问题是视频的分辨率。本文所使用的术语分辨率是指像素分辨率，即以两个维度上的像素数量表示的帧或图像的尺寸(与每单位面积上的像素的意义上的分辨率不同)。像素分辨率通常以多个像素宽和高的数量的方式来表达，即列和行的数量，例如1280x720(720p)或640x480(VGA)。较低分辨率的帧将被接收用户视为较差质量。另一方面，较高分辨率的帧在被编码的比特流中产生较高的比特率(并且因此更大的带宽)。较高分辨率的帧还招致更多的用来编码的处理资源(例如，更多的处理器周期和/或存储器资源)以及更多的用来解码的处理资源。这意味着，发送比发送终端、信道或接收终端所能够实时处理的更高的分辨率的帧易于导致诸如延时或分组丢失之类的其它问题。
[0005]帧被编码的分辨率是编码器的固有特性。为了适应诸如网络容量或用户终端的处理能力等的因素，常规的编解码器(例如基于H.264和HEVC标准的那些编解码器)允许编码器被设置为在多个不同的尚散分辨率中的一个处操作，所述尚散分辨率例如是1280x720(720p)或者640x480(VGA)。分辨率在比特流中作为边信息被发送到解码器，以使得帧能够被相应地解码。
【发明内容】
[0006]将期望的是提供允许将期望的分辨率应用于实况视频通话中的机制。例如，可能期望响应于在发送终端与接收终端之间经历的一个或多个变化的信道条件、和/或发送和/或接收终端的一个或多个处理资源的变化的可用性来动态地调整分辨率。然而，存在可能不期望在任何给定应用或环境中切换编码器的固有帧尺寸的各种原因。例如，这将要求在每次分辨率变化时对新的内帧(S卩，关键帧)进行编码和发送，这可能影响比特率和/或处理资源方面的效率。作为另一个示例，不是所有编码器都配备有切换帧尺寸的能力(例如，在专用硬件编码器的情况下)，并且不是所有解码器都被配置为识别可选择的帧尺寸。此外，突然在离散的帧尺寸(例如720p与VGA)之间做出大的跳跃可能对性能具有不可预期的影响，例如，取决于照相机和/或视频内容。为解决这些或其它问题中的任何一个，将期望的是提供不依赖于(或者不唯一地依赖于)在不同编码器帧尺寸之间进行切换的替代机制。
[0007]根据本文公开的一个方面，提供了用于参与视频通话的用户终端。该用户终端包括编码器，其具有帧尺寸，该帧尺寸是编码器对视频的帧进行编码的以像素为单位的尺寸。用户终端还包括预处理级，该预处理级以所述帧尺寸将帧的序列提供给编码器。每个帧包括至少用于表示在相应时刻的源视频图像的图像区域。此外，预处理级被配置为以经修改的形式将所述帧中的至少一些提供给编码器。为生成经修改的帧中的每个，预处理模块对源视频图像进行尺寸调整，以使得在相应的经修改的帧中的相对应的图像区域小于编码器的帧尺寸。为确保经修改的帧仍然与编码器的帧尺寸相匹配，预处理模块将该小于一般尺寸的图像区域与边缘区域组合。
[0008]例如，在实施例中，修改可以包括缩小源视频图像并添加边缘区域，和/或裁剪源视频图像并包括替代被裁剪的材料的边缘区域。
[0009]编码器以所述帧尺寸对包括经修改的帧在内的每个帧进行编码，并且将被编码的帧作为实况视频通话的一部分发送到接收终端。
[0010]在实施例中，发送用户终端还被配置为将关于所述尺寸调整的信息作为信号发送到接收终端，以用于放大经修改的帧的图像区域以便由接收终端显示。因此，根据本文公开的其他方面，提供了一种用户终端，其包括:解码器，所述解码器被配置为对帧中的每个进行解码；以及渲染器，所述渲染器被配置为以所述帧尺寸来对每个被解码的帧的图像区域进行渲染。渲染器包括尺寸调整级，该尺寸调整级接收关于由预处理级执行的尺寸调整的信息。基于该信息，渲染器能够将每个经修改的帧的图像区域放大到所述帧尺寸，丢弃边缘区域。
[0011]可替代地，如果发送终端不将关于尺寸调整的信息作为信号发送，或者渲染器是未被配备为识别这样的尺寸调整技术的传统版本，则渲染器可以简单地显示经修改的帧，而不将实际的图像区域调整回到帧尺寸。在该情况下，边缘被显示给接收用户，图像看起来较小，但是仍是可查看的。
[0012]根据上述技术，要被编码的实际的、当前视频内容的区域被缩小或裁剪到小于编码器帧尺寸，并且冗余边缘被添加或保留。这降低了编码器的给定的帧尺寸的“有效”分辨率。边缘区域被设计为至少与以帧的完全尺寸对同一图像进行编码相比，在编码中产生相对少的位。因此，边缘区域可以几乎不包含一个帧与另一个帧的差，和/或可以在给定帧内具有大体均匀的颜色和亮度。在实施例中，边缘可以是均匀的黑色(在大多数编解码器中由全零来表示)、或者另一种均匀颜色(仍不会产生边缘区域上的差或者具有相同边缘的相邻帧之间的差)。边缘区域可以大体上不包括任何有意义的或者可感知的图像。这样，如果接收侧的渲染器有可能将显示经修改的帧，而不将图像区域放大回去和丢弃边缘(例如，在传统的情况下)，则边缘仍将看起来相对不显眼。可替代地，边缘不一定是黑色的或均匀的。如果边缘将不在接收侧显示，则在边缘区域中包含花费最少位的无论何种数据可以是有益的。例如，在平移运动的情况下，其中，相同的运动向量被应用于整个帧，则将预测残差最小化将使得来自先前的帧的图像数据被置于“黑色边缘”中，而不是花费另外的比特以使其成为黑色。
[0013]无论哪种方式，编码器都不必需要“知道”经修改的帧是经过修改的或者对它们的处理与对未修改的帧有任何不同，他们将仅被正常编码，全部的修改已经在预处理级中执行。然而，由于边缘区域在编码中几乎不产生任何位，因此这意味着“有效”分辨率能够降低而不依赖于编码器帧尺寸。例如，有效分辨率(图像尺寸)可被调整，而编码器帧尺寸可以在多个帧上保持恒定。
[0014]提供本
【发明内容】
以便以简化的形式引入一系列概念，这些概念将在下文的【具体实施方式】中被进一步描述。本
【发明内容】
既不是要标识要求保护的主题的关键特征或必要特征，也不是要用于限定要求保护的主题的范围。要求保护的主题也不限于解决关于【背景技术】记载的的缺点中的任何或全部的实现方式。
【附图说明】
[0015]为了更好地理解所描述的实施例以及示出其如何被实施，以示例的方式参考附图，在附图中:
[0016]图1是包括源视频帧的序列的源视频图像的示意性表示；
[0017]图2是包括编码器和解码器侧元件的通信系统的示意性框图；
[0018]图3是可以通过诸如网络的通信介质发送的编