获益，即:将视频信号划分成不同的可独立解码的较低分辨率投影或流，而不会由于运动向量的舍入而带来误差传播。
[0094]将会意识到的是，以上的实施例仅仅是作为示例而描述的。
[0095]注意，以较高分辨率样本的尺度(即，以较高分辨率样本的单位)来表示的较高的分辨率运动向量(不一定意味着它被限制于整数数量的这样的样本。类似地，以较低分辨率样本的尺度(即，以较低分辨率样本的单位)表示的较低的分辨率运动向量Si不一定意味着它被限制于整数数量的这样的样本。例如，某些运动预测算法允许运动向量以半个样本表示。在这种情形下，较高分辨率运动向量ml可以是(+10,-9.5)的较高分辨率样本。按比例缩小到1/2后，这将是(+5，-4.25)，除非如果在编码器处相同的运动预测算法仍然只允许半个样本，那么这将被舍入成(+5，+4)或(+5，-4.5)。在这样的情形下，发信号传送舍入误差仍然是有利的。
[0096]各种实施例不限于根据2x2或4x4样本形成的较低分辨率样本，对应的样本既不是任何特定数量，也不是正方形或矩形样本，也不是任何特定的样本形状。用来形成较低分辨率样本的栅格结构不限于是正方形或矩形栅格，而其他形式的栅格也是可能的。不需要栅格结构定义被统一地确定尺寸和形状的样本。只要在来自两个或更多个不同投影的两个或更多个较低分辨率样本之间存在重叠，就可以根据较低分辨率样本的交集找到较高分辨率样本。
[0097]在实施例中，编码是无损的。这可以通过保留边缘样本而实现，即，除了较低分辨率投影以外，从每帧的边缘显式地编码和发送单独的、较高分辨率样本(边缘样本不能通过使用以上讨论的超级分辨率技术而被完全地重建)。可替换地，边缘样本不需要以这样的方式来保留。替代地，通过使用用于边缘周围的区域的更传统的编码，将视频拆分成投影的基于超级分辨率的技术可以仅仅被应用于在某一帧内部的、该帧的一部分(该帧的某些部分但不是全部)。这也可以是无损的。
[0098]在其他实施例中，编码不需要是无损的一例如，在帧边缘处的某些降级是可以容忍的。
[0099]各种实施例可以作为编码器或解码器的固有部分被实现，例如，作为对于H.264或H.265标准的更新、作为预处理阶段和后处理阶段(例如，作为对于H.264或H.265标准的附加)而被并入其中。此外，各种实施例不限于VoIP通信或通过任何特定类别的网络的通信，而是可以用在能够传送数字数据的任何网络中或用在用于将编码数据存储在有形存储介质上的系统中。
[0100]一般地，本文所描述的功能中的任何功能可以通过使用软件、固件、硬件(例如，固定逻辑电路)或这些实现方案的组合而被实现。如在本文中所使用的术语“模块”、“功能性”、“部件”和“逻辑”一般表示软件、固件、硬件或它们的组合。在软件实现方案的情形下，模块、功能性或逻辑表示程序代码，当在处理器(例如，一个或多个CPU)上执行所述程序代码时，其完成指定的任务。程序代码可被存储在一个或多个计算机可读存储器设备中。下面所描述的技术特征是平台独立的，这意指所述技术可以在具有各种各样的处理器的各种各样的商业计算平台上实现。
[0101]例如，用户端还可以包括使得用户端的硬件执行操作的实体(例如，软件)，例如，处理器功能块等等。例如，用户端可包括有形的、计算机可读介质，其可被配置成保存使得用户端，并且更具体地，使得用户端的操作系统和相关联的硬件执行操作的指令。因此，所述指令运行来配置操作系统和相关联的硬件以执行操作，并且以这种方式导致操作系统和相关联的硬件的转换，以执行功能。指令可以由计算机可读介质通过各种各样的不同配置提供给用户端。
[0102]计算机可读介质的一个这样的配置是信号承载介质，并且因此被配置成将指令(例如，作为载波)诸如经由网络传输到计算设备。计算机可读介质也可以被配置为计算机可读存储介质，并且因此它不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪存、硬盘存储器或者可以使用磁、光学和其他技术来存储指令和其他数据的其他存储设备。
[0103]虽然本主题以特定于结构特征和/或方法动作的语言被描述的，但应当理解的是，在所附权利要求中限定的主题不一定限于上文所讨论的特定特征或动作。而是，上文所讨论的特定特征和动作是作为实现权利要求的示例形式而公开的。
【主权项】
1.一种传输端，包括: 输入，其用于接收包括多个视频图像帧的视频信号，每帧包括多个较高分辨率样本； 投影生成器，其被配置成生成所述帧的序列中的每帧的相应不同的投影，每个投影包括多个较低分辨率样本，其中不同投影的较低分辨率样本表示在视频图像平面上空间地重叠的、不同的但重叠的较高分辨率样本组； 编码器，其被布置成将视频信号编码成一个或多个编码流；以及 发射机，其被布置成通过网络将所述一个或多个编码流传输到接收端； 其中所述编码器被配置成基于针对每个预测的运动向量，在所述帧的不同帧的投影之间执行帧间预测编码，用于将所述运动向量从对应于所述较高分辨率样本的较高分辨率尺度按比例缩小到对应于所述较低分辨率样本的较低分辨率尺度，以确定由缩放而产生的舍入误差的指示，以及将所述舍入误差的指示发信号传送到所述接收端。2.如权利要求1所述的传输端，其中所述编码器被配置成在一个或多个编码流的至少一个编码流中将所述舍入误差作为边信息来发信号传送。3.如权利要求1或2所述的传输端，其中所述帧序列中的每一帧的投影是在视频图像平面上具有不同的空间对齐的投影模式中的相应一个投影，其中所述模式在所述帧序列的连续实例中重复进行。4.如权利要求3所述的传输端，其中所述帧间预测是在视频图像平面内具有相同的空间对齐的、但来自所述序列的不同实例的投影之间进行的。5.如权利要求4所述的传输端，其中所述模式至少包括在视频图像平面内具有第一空间对齐的第一投影和在视频图像平面内具有第二空间对齐的第二投影；并且所述帧间预测是在所述序列的不同实例的第一投影之间以及在所述序列的不同实例的第二投影之间进行的。6.如任何前述权利要求的传输端，其中所述编码器被配置成通过将不同投影编码成分开的相应编码流而对视频信号进行编码；以及 所述发射机被配置成把将分开的编码流的每一个通过网络传输到所述接收端。7.如权利要求3或从属于它的任何权利要求的传输端，其中: 所述帧间预测是在视频图像平面内具有相同的空间对齐的、但来自所述序列的不同实例的投影之间进行的； 所述编码器被配置成通过将具有相同的空间对齐的投影编码成相同的相应编码流而对视频信号进行编码，并且具有不同空间对齐的投影被编码成分开的相应编码流；以及 所述发射机被配置成将所述分开的编码流中的每一个通过网络传输到所述接收端。8.如权利要求3或从属于它的任何权利要求的传输端，其中所述模式是预定的，而不会在所述流中的任何一个流中将所述模式从编码系统发信号传送到解码系统。9.如权利要求1的传输端，其中所述较低分辨率样本由栅格结构所定义，以及所述投影生成器被配置成通过向所述栅格结构应用一个或多个不同的空间移位而生成所述投影，每个移位是所述较低分辨率样本中的一个较低分辨率样本的一小部分。10.—种用于对包括多个视频图像帧的视频信号进行解码的计算机程序产品，所述计算机程序产品被体现在计算机可读存储介质上并且包括代码，所述代码被配置成当其在接收端上执行时，执行以下操作: 通过网络接收来自传输端的视频信号，所述视频信号包括视频图像的多个不同投影，每个投影包括多个较低分辨率样本，其中不同投影的较低分辨率样本表示在视频图像平面中空间地重叠的、不同的但重叠的部分； 对所述视频信号进行解码，以便解码所述投影； 通过以下来生成以较高分辨率表示所述视频图像的较高分辨率样本，即:对于因此被生成的每个较高分辨率样本，根据来自所述不同投影的较低分辨率样本中的一些较低分辨率样本之间的重叠区域而形成所述较高分辨率样本；以及在根据所述投影生成较高分辨率样本后，将所述视频信号以较高分辨率输出到屏幕；其中所述解码包括基于针对每个预测从所述传输端接收的运动向量，在所述帧的不同帧的投影之间进行帧间预测，以及将在预测中使用的所述运动向量从对应于较低分辨率样本的较低分辨率尺度按比例放大到对应于所述较高分辨率样本的较高分辨率尺度；以及其中所述代码进一步被配置成从所述传输端接收舍入误差的指示，以及被配置成在执行所述运动向量的所述按比例放大时并入所述舍入误差。
【专利摘要】输入接收包括多个视频图像帧的视频信号，每个帧包括多个较高分辨率样本。投影生成器生成帧序列中的每帧的相应不同的投影，每个投影包括多个较低分辨率样本，其中不同投影的较低分辨率样本表示在视频图像平面中空间地重叠的、不同的但重叠的较高分辨率样本组。帧间预测编码是基于用于每个预测的运动向量，在所述帧的不同帧的投影之间进行的。运动向量从对应于较高分辨率样本的较高分辨率尺度被按比例缩小到对应于较低分辨率样本的较低分辨率尺度。确定由这种缩放所产生的舍入误差的指示，并将它发信号传送到接收端。
【IPC分类】H04N19/503, H04N19/587, H04N19/46, H04N19/51, G06T3/40, H04N19/53, H04N19/523, H04N19/59, H04N19/89
【公开号】CN104937940
【申请号】CN201380069498
【发明人】L.比沃拉斯基
【申请人】微软技术许可有限责任公司
【公开日】2015年9月23日
【申请日】2013年11月1日
【公告号】EP2901701A1, US20140119446, WO2014071096A1