保留视频编码中的舍入误差的制作方法
【专利说明】
【背景技术】
[0001]过去，被称为“超级分辨率”的技术已经在卫星成像中被用来将所捕获的图像的分辨率提升超过图像捕获元件的固有的分辨率。如果卫星(或它的某些部件)移动对应于像素的一小部分的量以便捕获空间上重叠的样本的话，这是可以实现的。在重叠的区域中，较高分辨率样本可以通过在该区域重叠的两个或更多个较低分辨率样本的数值之间进行外推(例如，通过取平均值)而生成。较高分辨率样本尺寸是重叠区域的尺寸，较高分辨率样本的数值是外推的数值。
[0002]在图1中示意性地图示这个想法。考虑具有从地面上的Ikmxlkm的区域捕获样本的单个正方形像素P的卫星的情形。如果卫星然后移动以使得由像素所捕获的区域在平行于像素P的边缘之一的方向上移位半公里，并且然后取得另一个样本，则卫星然后拥有覆盖宽度为0.5km的重叠区域P’的两个样本。随着这个过程进行并且在移位方向上以0.5km的间隔取得样本，并且还潜在地执行垂直于原始移位的、偏移半个像素的连续扫描，这有可能构建0.5kmx0.5km的分辨率的图像，而不是Ikmxlkm的分辨率的图像。将会意识到的是，给出这个示例是为了图示的目的一也有可能构建精细得多的分辨率，并且根据更复杂的运动模式来做到这一点。
[0003]最近，已经提出将超级分辨率的概念用于视频编码。它的一种潜在应用类似于上文所描述的情景一如果用户的摄像机在帧之间物理地移位对应于非整数数量的像素(例如，因为它是手持式摄像机)并且这个运动可被检测到(例如，通过使用运动估计算法或运动传感器)，那么有可能通过在两帧的像素在其中部分重叠的像素样本之间进行外推而创建具有比摄像机的图像捕获元件的固有分辨率更高的分辨率的图像。
[0004]另一种潜在应用是故意地降低每帧的分辨率并且在帧之间引入人工移位(与由于摄像机的实际运动而造成的移位相反)。这使得每帧的比特率能够降低。参照图2，比如说，摄像机捕获某个较高分辨率的像素P’(可能是在初始量化阶段之后)。在每帧F中以该分辨率进行编码将带来某个比特率。在某个时间t处的第一帧F(t)中，编码器因此创建具有尺寸P的像素的帧的较低分辨率版本，并且以较低分辨率传输和编码这些像素。例如，在图2中，每个较低分辨率像素是通过对四个较高分辨率像素的数值进行平均而被创建的。在随后的帧F(t+1)中，编码器进行同样的工作，但是其中将光栅移位较低分辨率像素之一的一小部分，例如，在所示出的示例中，在水平方向和垂直方向上移位半个像素。在解码器处，然后可以再次通过在两帧的较低分辨率样本的重叠区域之间进行外推而重新创建较高分辨率像素尺寸P’。更复杂的移位模式也是可能的。例如，模式可以在第一帧的第一位置处开始，然后在第二帧中水平地将光栅移位半个像素(较低分辨率像素)，然后在第三帧中在垂直方向上将光栅移位半个像素，然后在第四帧中在水平方向上返回半个像素，然后在垂直方向上返回，以从第一位置重复该循环。在这种情形下，对于将被重建的每个较高分辨率像素而言，在解码器处存在可用于在其之间进行外推的四个样本。
【发明内容】
[0005]本发明的实施例接收包括多个视频图像帧的输入视频信号，每帧包括多个较高分辨率样本。然后，对于所述帧的序列中的每帧，生成不同的、相应的“投影(project1n)”。每个投影包括多个较低分辨率样本，其中不同投影的较低分辨率样本表示不同的、但重叠的较高分辨率样本组，其在视频图像平面中空间地重叠。视频信号被编码成一个或多个编码流，并通过网络传输到接收端。
[0006]编码包括基于对于每个预测的运动向量，在帧的不同帧的投影之间的帧间预测编码。这也包括将运动向量从对应于较高分辨率样本的较高分辨率尺度按比例缩小到对应于较低分辨率样本的较低分辨率尺度。此外，确定由所述缩放所产生的舍入误差的指示。把这个舍入误差的指示发信号传送到接收端。
[0007]本发明的其他实施例针对于对包括多个视频图像帧的视频信号进行解码。通过网络接收来自传输端的视频信号，所述视频信号包括视频图像的多个不同投影。每个投影包括多个较低分辨率样本，其中不同投影的较低分辨率样本表示在视频图像平面中空间地重叠的、不同的但重叠的部分。视频信号被解码，以便对投影进行解码。然后，生成以较高分辨率来表示视频图像的较高分辨率样本。对于因此生成的每个较高分辨率样本而言，这是通过根据来自不同投影的较低分辨率样本中的一些较低分辨率样本之间的重叠区域来形成较高分辨率样本而实现的。在根据投影生成较高分辨率样本后，该视频信号以较高的分辨率输出到屏幕。
[0008]解码包括基于从传输端接收的、针对每个预测的运动向量，在帧的不同帧的投影之间进行帧间预测。这还包括将在预测中使用的运动向量从对应于较低分辨率样本的较低分辨率尺度按比例放大到对应于较高分辨率样本的较高分辨率尺度。此外，从传输端接收舍入误差，并且当执行运动向量的所述按比例放大时并入(incorporate)这个舍入误差。
[0009]各种实施例可以在传输端、接收端系统处被体现，或作为计算机程序代码在传输侧或接收侧运行，或可作为方法被实践。计算机程序可以被体现在计算机可读介质上。计算机可读介质可以是存储介质。
【附图说明】
[0010]为了更好地理解各种实施例并且示出它们可以如何付诸实施，作为示例，参考以下附图，其中，
图1是超级分辨率方案的示意表示。
[0011]图2是超级分辨率方案的另一个示意表示。
[0012]图3是通信系统的示意框图。
[0013]图4是编码器的示意框图。
[0014]图5是解码器的示意框图。
[0015]图6是编码系统的示意表示。
[0016]图7是解码系统的示意表示。
[0017]图8是包括多个流的编码视频信号的示意表示。
[0018]图9是在两帧之间进行运动预测的示意图示。
[0019]图10是在帧序列上进行运动预测的示意图示。
[0020]图11是运动向量加上超级分辨率移位的示意表示，以及图12是将被编码的视频信号的另一个示意表示。
【具体实施方式】
[0021]本发明的实施例提供一种在视频编码中使用的基于超级分辨率的压缩技术。在帧序列上，以视频信号表示的图像被划分成多个不同的较低分辨率的“投影”，根据所述投影，可以重建帧的较高分辨率版本。每个投影是帧中的某个相应不同帧的版本，但具有比原始帧更低的分辨率。每个不同投影的较低分辨率样本在视频图像的参考栅格内具有相对于彼此的不同的空间对齐，以使得不同投影的较低分辨率样本重叠但不是完全一致。例如，每个投影是基于定义较低分辨率样本的尺寸和形状的相同光栅栅格的，但在不同投影的每一个投影中，向光栅应用不同的偏移或“移位”，所述移位是在相对于光栅取向的水平和/或垂直方向上的较低分辨率样本尺寸的一小部分。不论移位步长是多少(例如，1/2或1/4像素)，每帧仅被细分成一个投影。
[0022]在图12中示意地图示一个示例。在该页的上部所图示的是将被编码的视频信号，其包括多个帧F，每个帧F表示在时间t，t+1, t+2, t+3…中的连续时刻处的视频图像(其中时间作为帧索引来度量，并且t是时间中的任意点)。
[0023]一个给定的帧F(t)包括由较高分辨率的光栅定义的多个较高分辨率样本S’，较高分辨率的光栅由图12中的虚线栅格线示出。光栅是栅格结构，当向帧应用该栅格结构时，它把帧划分成样本，每个样本由栅格的对应单元所定义。注意，样本并不一定意指与图像捕获元件的物理像素相同的尺寸的样本，也不一定意指将在其上输出视频的屏幕的物理像素尺寸。例如，可以以甚至更高的分辨率捕获样本，然后将所述样本进行量化降低，以产生样本S’。
[0024]帧序列F⑴、F(t+1)、F(t+2)、F(t+3)中的每个帧然后被转换成相应不同的投影
(a)到(d)。投影中的每一个包括通过将较低分辨率的光栅应用到相应的帧而定义的较低分辨率样本S，如由覆盖在图12中的较高分辨率栅格上的实线所图示的。再次，光栅是栅格结构，当它被应用到帧时，它把所述帧划分成样本。每个较低分辨率样本S表示一组较高分辨率样本S’，并且其分组取决于较低分辨率光栅的栅格间隔和对齐，每个样本由栅格的对应单元定义。栅格可以是正方形或长方形栅格，并且较低分辨率样本在形状上可以是正方形或长方形(正如较高分辨率样本一样)，但是这不一定必须是这种情形。在所示出的示例中，每个较低分辨率样本S覆盖四个较高分辨率样本S’的相应的2x2的正方形。另一个示例是16个较高分辨率样本的4x4的正方形。
[0025]每个较低分辨率样本S表示相应的一组较高分辨率样本S’(每个较低分辨率样本覆盖整数数量的较高分辨率样本)。较低分辨率样本S的数值可以通过组合较高分辨率样本的数值(例如通过取平均值，诸如平均数或加权平均数(但是不排除更复杂的关系))而被确定。可替换地，较低分辨率样本的数值可以通过取较高分辨率样本中的某个代表性样本的数值或将较高分辨率数值的代表性子集进行平均而被确定。
[0026]在第一投影(a)中的较低分辨率样本的栅格具有在帧平面中相对于以被编码的信号表示的视频图像的下面的较高分辨率光栅的某种第一对齐。为了参考，这在此可被称为(0,0)的移位。由随后的帧F(t+l)、F(t+2)、F(t+3)的每个另外的投影(b)到(d)所形成的较低分辨率样本的栅格然后分别在帧平面中被移位相应不同的量。对于每个连续的投影，移位是在水平或垂直方向上的较低分辨率样本尺寸的一小部分。在所示出的示例中，在第二投影(b)中，较低分辨率的栅格向右移位半个