将视频编码成较低分辨率流的制作方法

文档序号:8531917阅读:370来源:国知局
将视频编码成较低分辨率流的制作方法
【专利说明】
【背景技术】
[0001]过去,称为“超分辨率”的技术已在卫星成像中被用来提高所捕捉图像的分辨率超过图像捕捉元件的固有分辨率。这可以在卫星(或其某个部件)移动对应于像素的几分之一的量的情况下实现,从而捕捉在空间上重叠的样本。在重叠区中,可以通过对与该区重叠的两个或更多较低分辨率样本的值之间进行外推(例如通过求平均)来生成较高分辨率样本。较高分辨率样本尺寸是重叠区的尺寸,并且较高分辨率样本的值是外推值。
[0002]该构思在图1中示意性地图示出。考虑具有单个正方形像素P的卫星的情况,其从地面上的IkmX Ikm的区域捕捉样本。如果卫星然后移动,使得被像素捕捉的区域在平行于像素P的边缘中的一个的方向上移位半公里,并且然后获取另一样本,则卫星于是具有覆盖宽度0.5km的重叠区P’的两个可用样本。随着此过程的发展,在移位的方向上以0.5km间隔获取样本,并且潜在地还执行垂直于原始移位偏移半个像素的连续扫描,有可能构建0.5 kmX0.5 km而不是IkmX Ikm分辨率的图像。将认识到的是本示例是出于说明性目的给出的一一还有可能构建精细得多的分辨率,并且从更复杂的运动模式这样做。
[0003]最近,已提出超分辨率的概念以便在视频编码中使用。其一个潜在应用类似于上文所述的情形一一如果用户的照相机在帧之间在物理上移位对应于非整数像素(例如因为其是手持式照相机)的量,并且此运动可以被检测到(例如,使用运动估计算法),则有可能通过在其中两个帧的像素部分地重叠的像素样本之间进行外推而创建具有比照相机的图像捕捉元件的固有分辨率更高的分辨率的图像。
[0004]另一潜在应用是故意地降低每个帧的分辨率,并且在帧之间引入人为移位(与由于照相机的实际运动而引起的移位相反)。这使得能够降低每帧的位速率。参考图2,比方说照相机捕捉某个较高分辨率的像素P’(可能在初始量化级之后)。每个帧F中的该分辨率下的编码将招致某个位速率。在某个时间t处的第一帧F(t)中,编码器因此创建具有尺寸P的像素的帧的较低分辨率版本,并且在较低分辨率下将这些进行发射和编码。例如,在图2中,通过对四个较高分辨率像素的值进行平均来创建每个较低分辨率像素。在后续帧F (t+Ι)中,编码器做同样的事,但是光栅移位较低分辨率像素中的一个的几分之一,在所示的示例中例如在水平和垂直方向上的半个像素。在解码器处,然后可以通过在两个帧的较低分辨率样本的重叠区之间进行外推来再次地重新创建较高分辨率像素尺寸P’。更复杂的移位模式也是可能的。例如,该模式可在第一帧中的第一位置处开始,然后使光栅在第二帧中水平地移位半个(较低分辨率)像素,然后使光栅在第三帧中在垂直方向上移位半个像素,然后在第四帧中在水平方向上返回半个像素,然后在垂直方向上返回以从第一位置起重复该循环。在这种情况下,存在四个样本可用于在解码器处针对要重构的每个较高分辨率像素在该四个样本之间进行外推。

【发明内容】

[0005]本发明的实施例接收视频信号作为输入,该视频信号包括表示在不同的各时间的视频图像的多个帧,每个帧包括多个较高分辨率样本。生成视频图像的多个不同投影,每个投影包括表示在较低分辨率下的视频图像的多个较低分辨率样本。不同投影的较低分辨率样本表示较高分辨率样本的不同但重叠的群组,所述群组在视频图像的平面中在空间上重叠。通过将不同的投影编码成单独的各已编码流来对视频信号进行编码,并且通过网络将单独编码流中的每一个发射到接收终端。
[0006]本发明的其他实施例将视频信号解码,该视频信号包括表示在不同的各时间的视频图像的多个帧,每个帧包括多个较高分辨率样本。通过网络从发射终端接收多个单独的已编码视频流,已编码视频流中的每一个包括视频图像的多个不同投影中的各自不同的一个。每个投影包括表示在较低分辨率下的视频图像的多个较低分辨率样本,其中,不同投影的较低分辨率样本表示较高分辨率样本的不同但重叠的群组,所述群组在视频图像的平面中在空间上重叠。将已编码视频流解码从而将投影解码。对于如下这样生成的每个较高分辨率样本,通过从来自各帧的不同投影的较低分辨率样本中的一些之间的重叠区形成较高分辨率样本来生成表示在较高分辨率下的视频图像的较高分辨率样本。在从投影进行的生成之后在较高分辨率下将视频信号输出到屏幕。
[0007]可在发射终端、接收终端系统处或者作为将在发射或接收侧运行的计算机程序代码来体现各种实施例,或者可实施为方法。可在有形、计算机可读存储介质上体现计算机程序。
[0008]在另外的实施例中,可提供用于转发视频信号的网络元件,该视频信号包括表示在不同的各时间的视频图像的多个帧,每个帧包括多个较高分辨率样本。该网络元件包括收发机设备,其被布置成通过网络从发射终端接收多个单独的已编码视频流,已编码视频流中的每一个包括视频图像的多个不同投影中的各自不同的一个。每个投影包括表示在较低分辨率下的各帧的多个较低分辨率样本,其中,不同投影的较低分辨率样本表;^较高分辨率样本的不同但重叠的群组,所述群组在视频图像的平面中在空间上重叠。该网络元件还包括处理设备,该处理设备被配置成根据网络、网络元件和接收终端中的一个的条件来确定是否丢弃所述已编码视频流中的至少一个,使已编码视频中的一个或多个剩余。该收发机被布置成将一个或多个剩余的流通过网络转发到接收终端,但被处理设备丢弃的已编码视频流中的任何一个不这样。
【附图说明】
[0009]为了更好地理解各种实施例并示出其如何可以付诸实现,以示例的方式对附图进行参考,在所述附图中:
图1是超分辨率方案的示意性表示,
图2是超分辨率方案的另一示意性表示,
图3是通信系统的示意性框图,
图4是编码器的示意性框图,
图5是解码器的示意性框图,
图6是编码系统的示意性表示,
图7是解码系统的示意性表示,
图8是包括多个流的已编码视频信号的示意性表示,
图9是要编码的视频信号的示意性表示, 图10是要编码的视频信号的另一示意性表示,
图11是运动矢量与超分辨率移位的加法的示意性表示,以及图12是要编码的视频信号的另一示意性表示。
【具体实施方式】
[0010]本发明的实施例提供了用于在视频编码中使用的基于超分辨率的压缩技术。在帧序列内,将在视频信号中表示的图像划分成可以从其重构帧的较高分辨率版本的多个不同较低分辨率“投影”。每个投影是帧中的各自不同的一个的版本,但是具有比原始帧低的分辨率。每个不同投影的较低分辨率样本在视频图像的参考网格内具有相对于彼此的不同空间对准,使得不同投影的较低分辨率样本重叠但并不重合。例如,每个投影基于定义较低分辨率样本的尺寸和形状的同一光栅网格,但是在不同投影中的每一个中光栅被施加以不同的偏移或“移位”,该移位在相对于光栅定向的水平和/或垂直方向上是较低分辨率样本尺寸的几分之一。每个帧被细分成仅一个投影,无论移位步长如何,例如1A还是%像素。
[0011]在图12中示意性地图示出示例。在页面的顶部处图示出的是要编码的视频信号,包括多个帧F,每个帧F表示在连续时刻t、t+l、t+2、t+3...处的视频图像(其中,作为帧索引来测量时间,并且t是任何的任意时间点)。
[0012]给定帧F(t)包括多个较高分辨率样本S’,其由图12中的点网格线所示的较高分辨率光栅定义。光栅是在施加于帧时将其划分成样本的网格结构,每个样本由网格的相应单元定义。注意,样本不一定意味着与图像捕捉元件的物理像素相同尺寸的样本,也不是将在其上面输出视频的屏幕的物理像素尺寸。例如,可以在甚至更高的分辨率下捕捉样本,并且然后向下量化以产生样本S’。
[0013]然后将帧序列F(t)、F(t+l)、F(t+2)、F(t+3)中的每一个转换成不同的各投影(a)至(d)。投影中的每一个包括通过对各帧施加较低分辨率光栅而定义的多个较低分辨率样本S,如覆盖在图12中的较高分辨率网格上的实线所图示的。再次地,光栅是在施加于帧时将其划分成样本的网格结构。每个较低分辨率样本S表示一组较高分辨率样本S’,分组取决于较低分辨率光栅的网格间距和对准,每个样本由网格的相应单元定义。网格可以是正方形或矩形网格,较低分辨率样本在形状方面可以是正方形或矩形的(如较高分辨率样本一样),但不一定必须是这种情况。在所示示例中,每个较低分辨率样本S覆盖四个较高分辨率样本S’的各二乘二正方形。另一示例将是十六的四乘四正方形。
[0014]每个较低分辨率样本S表示各组较高分辨率样本S’(每个较低分辨率样本覆盖整体数个较高分辨率样本)。在实施例中,通过将较高分辨率样本的值组合、例如通过求平均、诸如均值或加权均值(但不排除更复杂的关系)来确定较低分辨率样本S的值。替换地,可以通过取较高分辨率样本中的典型的一个的值或对较高分辨率值的典型子集进行平均来确定较低分辨率样本的值。
[0015]第一投影(a)中的较低分辨率样本的网格在帧的平面中具有相对于在被编码的信号中表示的视频图像的底层较高分辨率光栅的某个、第一对准。作为参考,在这里将其称为(0,O)的移位。然后将分别由后续帧F(t+l)、F(t+2)、F(t+3)的每个另外的投影(b)至(d)形成的较低分辨率样本的网格在帧的平面中移位不同的各量。针对每个连续投影
当前第1页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1