使用较低分辨率流的视频编码的制作方法
【专利说明】
【背景技术】
[0001]过去，称为“超分辨率”的技术已在卫星成像中被用来提高所捕捉图像的分辨率超过图像捕捉元件的固有分辨率。这可以在卫星(或其某个部件)移动对应于像素的几分之一的量的情况下实现，从而捕捉在空间上重叠的样本。在重叠区中，可以通过例如通过求平均而在与该区重叠的两个或更多较低分辨率样本的值之间进行外推来生成较高分辨率样本。较高分辨率样本尺寸是重叠区的尺寸，并且较高分辨率样本的值是外推值。
[0002]该构思在图1中示意性地图示出。考虑具有单个正方形像素P的卫星的情况，其从地面上的IkmX Ikm的区域捕捉样本。如果卫星然后移动，使得被像素捕捉的区域在平行于像素P的边缘中的一个的方向上移位半公里，并且然后获取另一样本，则卫星于是具有覆盖宽度0.5km的重叠区P’的两个可用样本。随着此过程的发展，在移位的方向上以0.5km间隔获取样本，并且潜在地还执行垂直于原始移位偏移半个像素的连续扫描，有可能构建0.5 kmX0.5 km而不是IkmX Ikm分辨率的图像。将认识到的是本示例是出于说明性目的给出的一一还有可能构建精细得多的分辨率，并且从更复杂的运动模式这样做。
[0003]最近，已提出超分辨率的概念以便在视频编码中使用。存在其两个潜在应用。第一个类似于上文所述情形一一如果用户的照相机在帧之间在物理上移位对应于非整数像素(例如因为其是手持式照相机)的量，并且此运动可以被检测到(例如，使用运动估计算法)，则有可能通过在其中两个帧的像素部分地重叠的像素样本之间进行外推而创建具有比照相机的图像捕捉元件的固有分辨率更高的分辨率的图像。
[0004]第二潜在应用是故意地降低每个帧的分辨率，并且在帧之间引入人为移位(与由于照相机的实际运动而引起的移位相反)。这使得能够降低每帧的位速率。参考图2，比方说照相机捕捉某个较高分辨率的像素P’(可能在初始量化级之后)。每个帧F中的该分辨率下的编码将招致某个位速率。在某个时间t处的第一帧F(t)中，编码器因此创建具有尺寸P的像素的帧的较低分辨率版本，并且在较低分辨率下将这些进行发射和编码。例如，在图2中，通过对四个较高分辨率像素的值进行平均来创建每个较低分辨率像素。在后续帧F (t+Ι)中，编码器做同样的事，但是光栅移位较低分辨率像素中的一个的几分之一，在所示的示例中例如在水平和垂直方向上的半个像素。在解码器处，然后可以通过在两个帧的较低分辨率样本的重叠区之间进行外推来再次地重新创建较高分辨率像素尺寸P’。更复杂的移位模式也是可能的。例如，该模式可在第一帧中的第一位置处开始，然后使光栅在第二帧中水平地移位半个(较低分辨率)像素，然后使光栅在第三帧中在垂直方向上移位半个像素，然后在第四帧中在水平方向上返回半个像素，然后在垂直方向上返回以从第一位置起重复该循环。在这种情况下，存在四个样本可用于在解码器处针对要重构的每个较高分辨率像素而在该四个样本之间进行外推。
【发明内容】
[0005]本发明的实施例接收包括多个帧的视频信号作为输入，每个帧包括多个较高分辨率样本。针对帧中的各每一个，生成各帧的多个不同投影。每个投影包括表不在较低分辨率下的各帧的多个较低分辨率样本，其中，不同投影的较低分辨率样本表;^各帧的较高分辨率样本的不同但重叠的群组。通过对各帧中的每一个的投影进行编码来对视频信号进行编码。
[0006]本发明的另外的实施例接收包括多个帧的视频信号，每个帧包括多个不同投影，其中，每个投影包括多个较低分辨率样本。不同投影的较低分辨率样本表不各帧的不同但重叠的部分。通过对各帧中的每一个的投影进行解码来将视频信号解码。生成表示在较高分辨率下的各帧中的每一个的较高分辨率样本。对于这样生成的每个较高分辨率，这是通过从来自各帧的不同投影的较低分辨率样本中的一些之间的重叠区形成较高分辨率样本而完成的。在从投影生成之后在较高分辨率下将视频信号输出到屏幕。
[0007]可以将各种实施例体现为编码系统、解码系统或将在编码器或解码器侧运行的计算机程序代码，或者可实施为方法。可在计算机可读介质上体现计算机程序。计算机可读可以是有形计算机可读存储介质。
【附图说明】
[0008]为了更好地理解各种实施例并示出其如何可以付诸实现，以示例的方式对附图进行参考，在所述附图中:
图1是超分辨率方案的示意性表示，
图2是超分辨率方案的另一示意性表示，
图3是通信系统的示意性框图，
图4是编码器的示意性框图，
图5是解码器的示意性框图，
图6是编码系统的示意性表示，
图7是解码系统的示意性表示，
图8是包括多个流的已编码视频信号的示意性表示，
图9是要编码的视频信号的示意性表示，
图10是要编码的视频信号的另一示意性表示，以及图11是运动矢量与超分辨率移位的加法的示意性表示。
【具体实施方式】
[0009]超分辨率的原始用途是人为地提高所捕捉图像的分辨率超过捕捉设备的固有分辨率。如所讨论的，稍后提出了供在视频传输中使用以故意地降低每帧的分辨率，从而减小位速率的思想。
[0010]本发明的实施例并不是集中于这些用途中的任一个，而是寻找用于超分辨率技术的第三应用:即，将给定帧划分成多个不同的较低分辨率“投影”，可以从该多个不同的较低分辨率“投影”重构帧的较高分辨率版本。每个投影是与原始帧相比具有较低分辨率的同一帧的版本。同一帧的每个不同投影的较低分辨率样本在帧内具有相对于彼此的不同空间对准，使得不同投影的较低分辨率样本重叠但并不重合。例如，每个投影基于定义较低分辨率样本的尺寸和形状的同一光栅网格，但是在不同投影中的每一个中光栅被施加以不同的偏移或“移位”，该移位在相对于光栅定向的水平和/或垂直方向上是较低分辨率样本尺寸的几分之一。
[0011]在图9和10中示意性地示出了示例。在页面的顶部处图示的是要编码的视频信号，包括多个帧F，每个帧F表示处于连续时刻...t-1、t、t+Ι、...的视频图像(其中，作为帧索引来测量时间，并且t是任何的任意时间点)。
[0012]给定帧F(t)包括由图9中的点网格线所示的较高分辨率光栅定义的多个较高分辨率样本S’。光栅是网格结构，该网格结构在被施加于帧时将其划分成样本，每个样本由网格的相应单元定义。请注意，样本不一定意味着具有与图像捕捉元件的物理像素相同尺寸的样本，也不是将在其上面输出视频的屏幕的物理像素尺寸。例如，可以在甚至更高的分辨率下捕捉样本，并且然后向下量化以产生样本S’。
[0013]将同一帧F(t)分成多个不同投影(a)至(d)。同一帧F(t)的投影中的每一个包括通过将较低分辨率光栅施加于帧而定义的多个较低分辨率样本S，如覆盖在图9中的较高分辨率网格上的实线所图示的。再次地，光栅是在施加于帧时将其划分成样本的网格结构。每个较低分辨率样本S表示一组较高分辨率样本S’，分组取决于较低分辨率光栅的网格间距和对准，每个样本由网格的相应单元定义。网格优选地是正方形或矩形网格，较低分辨率样本优选地在形状方面是正方形或矩形的(如较高分辨率样本一样)，但不一定必须是这种情况。在所示示例中，每个较低分辨率样本S覆盖四个较高分辨率样本S’的各二乘二正方形。另一示例将是十六的四乘四正方形。
[0014]每个较低分辨率样本S表示各组较高分辨率样本S’(每个较低分辨率样本覆盖整体数个较高分辨率样本)。优选地，通过将较高分辨率样本的值组合、最优选地通过求平均、诸如均值或加权均值(但不排除更复杂的关系)来确定较低分辨率样本S的值。替换地，可以通过取较高分辨率样本中的典型的一个的值或对较高分辨率值的典型子集进行平均来确定较低分辨率的值。
[0015]第一投影(a)中的较低分辨率样本的网格在帧F(t)内、即在帧的平面中具有某个、第一对准。作为参考，在这里将其称为(0，O)的移位。然后将同一帧F(t)的每个另一投影(b)至(d)所形成的较低分辨率样本的网格在帧的平面中移位各自不同的量。针对每个连续投影，该移位是在水平或垂直方向上的较低分辨率样本尺寸的几分之一。在所示示例中，在第二投影(b)中，将较低分辨率网格向右移位半个(较低分辨率)样本，即相对于参考位置(0，O)的(+?, O)的移位。在第三投影(c)中，将较低分辨率网格向下移位另一半个样本，即相对于第二移位的(0，+?)的移位或者相对于参考位置的(+?, +?)的移位。在第四投影中，将较低分辨率网格向左移位另一半个样本，即相对于第三投影的O)的移位或相对于参考位置的(0，+幻。这些移位一起构成移位模式。
[0016]在图9中，这通过参考第一投影(a)的较低分辨率样本S(m，η)来举例说明，其中，m和η分别是水平