弃，例如承载投影(b)和(d)的流，则解码系统仍可以通过仅在来自剩余流的投影(a)和(C)的重叠样本之间进行外推来重构帧的较高(但并非全)分辨率版本。替换地，如果仅剩余例如承载投影(a)的一个流，则其可以单独地用来仅显示帧的较低分辨率版本。因此，可基于将帧分成不同的投影而提供新形式的分层或缩放编码。
[0058]如果使用投影之间的预测，则如果能够避免的话基础投影将不会被丢弃，但是可丢弃根据基础投影预测的其他投影中的一个、某些或全部。为此，优选地通过在基础投影的已编码流中包括作为边信息的标签而将基础投影标记为优先级。然后可将诸如路由器或服务器之类的网络32的元件配置成读取标签(或注意到其不存在)以确定可以丢弃哪些流和如果可能的话不应丢弃哪些(即应避免丢弃较高优先级基础流)。
[0059]在某些实施例中，可以使用层级预测，由此，根据同一帧的基础投影来预测一个投影，然后进而根据同一帧的每个先前预测投影来预测一个或多个另外的投影。例如，因此可根据第一投影(a)来预测第二投影(b)，并且可根据第二投影(b)来预测第三投影(C)，并且进而可根据投影(C)来预测第四投影(d)。如果存在超过四个投影，则可包括另外的水平。可用与每个投影在预测层级结构中的顺序相应的各优先级来标记每个投影，并且可根据此层级标签来执行投影或承载投影的流的任何丢弃。
[0060]在实施例中，编码器使用编码器侧和解码器侧两者所假定的预定移位模式而不必通过网络在其之间用信号发送，例如两者都被预编程成使用诸如如上文相对于图9所述的(O, 0);(0，+?) ； (+?, +?) ； (+?, O)之类的模式。在这种情况下，不必在一个或多个已编码流中将移位模式用信号发送到解码器侧。因此，不存在包含移位指示的分组或流可能丢失或被丢弃的问题，否则这将引起解码器处的重构方案中的故障。
[0061]替换地，如果将编码系统配置成选择哪个投影将用作基础投影，则可能是这样:在已编码信号中包括关于移位模式的指示。如果任何所需指示在传输中丢失，则可将解码系统配置成单独地使用投影中的默认的一个，因此至少能够显示较低分辨率版本。
[0062]在本发明的另外的实施例中，可将变换模块42配置成利用不同帧的不同投影以便执行三维变换而不是二维的。如相对于图10所提到的，通过生成不同的投影，每个帧现在有效地变成三维对象。例如，如果要变换的每个块是四乘四较低分辨率样本，并且存在四个投影，则现在可以将帧平面中的维度(x，y)的4X4块认为是维度(x，y，z)的4X4X4立方体，其中，z是投影数。帧(x，y)的平面中的块的其他尺寸和投影z的其他深度也是可能的，如X、y和z方向上的块的不同部分(例如8X8X4、4X8X4、16X16X8等)。然后可以将不同的X、y和z坐标的样本值输入到诸如三维傅立叶变换、DCT变换或KLT变换之类的三维变换函数中，以将来自样本值的三维集合的块变换成变换域(例如频域)中的系数的三维集合。逆变换模块52将被配置成执行逆三维变换。
[0063]如所提到的，在量化之前执行变换的目的是在变换域中，往往存在量化成零或小值的更多值，从而在通过包括熵编码级等后续级进行编码时减小位速率。通过将帧布置成不同的偏移投影并从而使得能够执行三维变换，可提供其中已变换系数量化成零或较小或更加类似的值以用于熵编码器58进行更高效编码的更多情况。
[0064]三维变换探索用多个视图创建的多个二维变换区的系数之间的冗余。通过选择视图，如本文所述，可以生成帧的同一部分的多个表示或视图。对于自然图像而言，这保持了像素或样本之间的高局部相关。现在在三个维度而不是两个上呈现此高度相关，并且其允许量化变换系数的更多机会，这将导致更多的零或小值。
[0065]将认识到的是以上实施例仅仅是以示例的方式描述的。
[0066]例如，各种实施例不限于由2X2或4X4样本对应的样本或任何特定数目形成的较低分辨率样本，也不限于正方形或矩形样本或任何特定形状的样本。用来形成较低分辨率样本的网格结构不限于是正方形或矩形网格，并且其他形式的网格是可能的。也不需要网格结构定义均匀地形成尺寸或形状的样本。只要在来自两个或更多不同投影的两个或更多较低分辨率样本之间存在重叠，就可以从较低分辨率样本的交集中找到较高分辨率样本。
[0067]可以将各种实施例实现为编码器或解码器的固有部分，例如合并为对H.264或H.265标准的更新，或者作为预处理或后处理级，例如作为对H.264或H.265标准的附加部分。进一步地，各种实施例不限于VoIP通信或通过任何特定种类的网络的通信，而是可以在能够传送数字数据的任何网络中或在用于在存储介质上存储已编码数据的系统中使用。
[0068]给定本文中的公开内容，其他变体对于本领域的技术人员而言可以是显而易见的。本各种实施例不受所述示例限制，而是仅仅受所附权利要求限制。
【主权项】
1.一种编码系统，包括: 输入端，用于接收包括多个帧的视频信号，每个帧包括多个较高分辨率样本； 投影发生器，被配置成针对所述帧中的各每一个生成各帧的多个不同投影，每个投影包括表示在较低分辨率下的各帧的多个较低分辨率样本，其中，不同投影的所述较低分辨率样本表示各帧的所述较高分辨率样本的不同但重叠的群组；以及 编码器，被配置成通过对各帧中的每一个的投影进行编码来对所述视频信号进行编码。
2.权利要求1的编码系统，其中，所述较低分辨率样本由网格结构定义，并且所述投影发生器被配置成通过向各帧内的所述网格结构施加一个或多个不同空间移位来生成投影，每个移位是所述较低分辨率样本中的一个的几分之一。
3.权利要求2的编码系统，其中，所述投影发生器被配置成根据预定移位模式来施加移位。
4.任何一项前述权利要求的编码系统，其中，所述编码器被配置成通过在投影中的不同的一些之间施加预测编码而对所述视频信号进行编码，由此相对于所述投影中的另一个对投影中的一个或多个中的每一个进行编码。
5.权利要求4的编码系统，其中，所述编码器被配置成通过在各帧的投影之间施加预测编码来对各帧中的一个或多个进行编码，由此相对于各帧的投影中的另一、基础投影对各帧的投影中的一个或多个中的每一个进行编码。
6.权利要求5的编码系统，包括被配置成在编码之后通过网络来发射所述视频信号的发射机，其中，在单独的流中发射不同的投影。
7.权利要求6的编码系统，其中，所述编码系统被配置成将承载所述基础投影的流标记为优先级。
8.权利要求5、6或7的编码系统，其在，所述编码器被配置成通过选择相对于各帧的投影中的其他投影减小所述预测编码的残差的那个投影而基于优化准则来选择哪个投影是基础投影。
9.任何一项前述权利要求的编码系统，包括被配置成执行将各帧中的每一个变换成变换域表示的三维变换的变换模块，其中，在各帧的平面中的两个维度和由各帧的所述多个投影创建的第三维度上执行所述变换。
10.一种在非瞬时性、计算机可读介质上体现且包括代码的计算机程序产品，该代码被配置成使得当在处理设备上执行时执行以下操作: 接收包括多个帧的视频信号，每个帧包括多个不同投影，其中，每个投影包括多个较低分辨率样本，不同投影的较低分辨率样本表不各帧的不同但重叠的部分； 通过将各帧中的每一个的投影解码来将所述视频信号解码； 对于以下这样生成的每个较高分辨率样本，通过从来自各帧的不同投影的较低分辨率样本中的一些之间的重叠区形成较高分辨率样本来生成表示在较高分辨率下的各帧中的每一个的较高分辨率样本；以及 在从投影进行的生成之后，在较高分辨率下向屏幕输出所述视频信号。
【专利摘要】一种编码系统，包括：输入端，用于接收包括多个帧的视频信号，每个帧包括多个较高分辨率样本；以及投影发生器，被配置成针对帧中的各每一个生成各帧的多个不同投影。每个投影包括表示在较低分辨率下的各帧的多个较低分辨率样本，其中，不同投影的较低分辨率样本表示各帧的较高分辨率样本的不同但重叠的群组。该编码系统包括编码器，该编码器被配置成通过对各帧中的每一个的投影进行编码来对视频信号进行编码。
【IPC分类】G06T3-40, H04N19-895, H04N19-90, H04N19-587, H04N19-59, H04N19-46, H04N19-33, H04N19-37
【公开号】CN104838419
【申请号】CN201380057260
【发明人】L.比沃拉斯基, S.V.安德森
【申请人】微软技术许可有限责任公司
【公开日】2015年8月12日
【申请日】2013年10月30日
【公告号】EP2901412A1, US20140118460, WO2014070941A1