那样对待它们。编码器本身可以是标准编码器，而不需要具有任何扭曲知识。同样地在接收终端处，解码器(元件70-83)对扭曲的帧进行解码，就像它们是任何其他帧那样，并且解码器本身可以是标准解码器而没有扭曲或如何对其进行逆转的任何知识。例如，编码器和解码器可以依照比如H.264或H.265之类的标准来实现。当仍包含扭曲的、已解码的帧被传递到后处理模块90时，在这里基于后处理模块对原始扭曲操作的先验或后验知识而对扭曲(以及帧整体的任何缩放)进行逆转。
[0048]将了解到，仅作为示例描述了上述实施例。
[0049]尽管已经依据块和宏块描述了上文，但是感兴趣区域不一定要依据任何特定标准的块或宏块来进行映射或限定。在实施例中，感兴趣区域可以依据帧的任何部分或多个部分来进行映射或限定，甚至低至像素级，并且用于限定感兴趣区域的部分不一定要与用于诸如预测之类的其他编码/解码操作的划分相同(尽管在实施例中它们可以很好地如此)。
[0050]另外，此处的教导的适用性不限于其中通过网络传送编码视频的应用。例如，在另一应用中，接收还可以是指从诸如光盘、硬盘驱动或其他磁性存储装置、或“闪速”存储器棒或其他电子存储器之类的存储设备接收视频。在该情形中，可以通过在发射设备处的存储介质上存储视频，移除该存储介质并且在物理上输运其以连接到其中对其进行检索的接收设备来传递视频。可替换地，接收设备可能之前已经将视频本身存储在本地存储装置处。
[0051]在实施例中，扭曲、缩放和/或ROI的指示不一定被嵌入在所传送的比特流中。在其他实施例中，其可以通过网络32或另一网络单独地发送。可替换地，如所讨论的，在另外的实施例中，该信息中的一些或全部可以在解码器侧处独立地确定，或者在编码器和解码器侧二者处预定。
[0052]本文所公开的技术可以实现为现有标准上的附件，诸如对H.264或H.265的附件；或者可以实现为编码器或解码器的固有部分，例如作为更新并入到诸如H.264或H.265之类的现有标准。另外，本公开内容的范围不具体地约束于视频样本的任何特定表示，不管是RGB、YUV方面还是以其他方式。范围也不限于任何特定量化，还不限于DCT变换。例如，可以使用可替换的变换，诸如Karhunen-Loeve变换(KLT)，或者可以不使用变换。另外，本公开内容不限于VoIP通信或通过任何特定类型的网络的通信，而是可以使用在能够传达数字数据的任何网络中，或者在用于将编码数据存储在存储介质上的系统中。
[0053]—般地，本文所描述的任何功能可以使用软件、固件、硬件(例如固定逻辑电路系统)、或这些实现方式的组合来实现。如本文所使用的术语“模块”、“功能性”、“组件”和“逻辑” 一般表示软件、固件、硬件或其组合。在软件实现方式的情形下，模块、功能性或逻辑表示程序代码，其在执行于处理器(例如一个或多个CPU)上时执行指定任务。程序代码可以存储在一个或多个计算机可读存储器设备中。下文所描述的技术特征是独立于平台的，这意味着技术可以在具有各种各样的处理器的各种各样的商用计算平台上实现。例如，用户终端还可以包括使用户终端的硬件执行操作的实体(例如软件)，例如处理器功能块等。例如，用户终端可以包括计算机可读介质，其可以被配置成保存指令，该指令使用户终端并且更具体地使得用户终端的操作系统及相关联的硬件执行操作。因而，指令用于配置操作系统及相关联的硬件以执行操作，并且这样导致操作系统及相关联的硬件的变换以执行功能。指令可以由计算机可读介质通过各种各样的不同配置提供给用户终端。计算机可读介质的一个这样的配置是信号承载介质，并且因而被配置成诸如经由网络将指令(例如作为载波)传送至计算设备。计算机可读介质还可以配置为计算机可读存储介质并且因而不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(R0M)、光盘、闪速存储器、硬盘存储器、以及可以使用磁性、光学和其他技术来存储指令和其他数据的其他存储器设备。
[0054]尽管已经以特定于结构特征和/或方法动作的语言描述了本主题，但是要理解的是，在随附权利要求中限定的主题未必限于上述的特定特征或动作。而是，上述的特定特征和动作是作为实现权利要求的示例形式而被公开的。
【主权项】
1.一种用于对包括源帧序列的视频信号进行编码的装置，所述装置包括: 编码器；以及 预处理阶段，其被配置成确定对于多个源帧的感兴趣区域，并且空间适配多个源帧中的每一个源帧，以产生相应的扭曲的帧，其中相比源帧中的情况，感兴趣区域包括更高空间比例的扭曲的帧； 其中预处理阶段被布置成将扭曲的帧供应至编码器，以编码到视频信号的编码版本中。2.权利要求1的装置，其中所述扭曲的帧具有与源帧相同的分辨率。3.权利要求1的装置，其中所述空间适配包括对所述多个源帧中的每一个源帧再定大小以及扭曲，相应的扭曲的帧中的每一帧具有比源帧更低的分辨率。4.权利要求3的装置，其中具有以下中的一个: 感兴趣区域在扭曲的帧中保持与在源帧中相同的分辨率，而其余区域按比例缩小至较低的分辨率以适合扭曲的帧；或者 感兴趣区域在扭曲的帧中按比例缩小至比在源帧中更低的分辨率，而其余区域按比例缩小至甚至更低的分辨率以适合扭曲的帧。5.任何前述权利要求的装置，其中所述感兴趣区域是矩形，源帧和扭曲的帧二者是矩形，并且源帧和扭曲的帧二者具有相同的宽高比。6.任何前述权利要求的装置，包括被布置成通过介质将编码视频信号传送到接收终端的发射器，其中发射器还被布置成将关于空间适配的指示传送到接收终端以用于在接收终端处逆转所述空间适配时使用。7.任何前述权利要求的装置，其中所述感兴趣区域包括面部的至少一部分，并且预处理阶段包括面部识别算法，其被配置成基于源帧中的一个或多个源帧来标识感兴趣区域。8.任何前述权利要求的装置，其中编码器在其编码方面是空间均匀的，因为一旦输入到编码器，所述编码器就不对帧内的区域的相对空间比例进行适配。9.一种用于对包括源帧序列的视频信号进行编码的计算机程序产品，所述计算机程序产品包括体现在计算机可读介质上的代码，并且所述代码被配置成在发射终端上执行时执行以下操作: 确定对于多个源帧的感兴趣区域，所述感兴趣区域包括发射终端的用户的面部的至少一部分; 应用预处理以空间适配多个源帧中的每一个源帧，以生成相应的扭曲的帧，其中相比源帧中的情况，感兴趣区域包括更高空间比例的扭曲的帧； 对扭曲的帧进行编码以产生视频信号的编码版本。10.一种用于对权利要求9的编码视频信号进行解码的计算机程序产品，被配置成应用后处理以逆转所述空间适配。
【专利摘要】视频信号包括要编码的源帧序列。预处理阶段确定对于多个源帧的感兴趣区域，并且空间适配多个源帧中的每一个源帧，以产生相应的扭曲的帧。在相应的扭曲的帧中，相比源帧中的情况，感兴趣区域包括更高空间比例的扭曲的帧。预处理阶段将扭曲的帧供应给编码器以编码到视频信号的编码版本中。
【IPC分类】H04N19/167, H04N19/59, G06T3/00, H04N19/85, H04N19/119, G06T3/40, H04N19/117, H04N19/172
【公开号】CN105027160
【申请号】CN201480006319
【发明人】D.赵, S.尼基富罗夫, K.霍夫鲍尔, M.亨门多夫, P.卡尔松
【申请人】微软技术许可有限责任公司
【公开日】2015年11月4日
【申请日】2014年1月26日
【公告号】EP2936427A1, US20140211858, WO2014117048A1