用于对视频信号编码的资源的制作方法
【专利说明】
【背景技术】
[0001]在现代通信系统中，可以经由比如有线和/或无线网络之类的介质(常常是比如因特网之类的基于分组的网络)将视频信号从一个终端发送到另一个终端。典型地，视频的帧由传送终端处的编码器编码以便将其压缩来经由网络传送。对于给定帧的编码可以包括帧内编码，其中块相对于相同帧中的其他块而被编码。在这种情况下，按照目标块与相邻块之间的差(残差(the residual))来对该块编码。替换地，对于一些帧的编码可以包括帧间编码，其中目标帧中的块相对于在前帧中的对应部分典型地基于运动预测而被编码。在这种情况下，按照运动矢量以及目标块与它将从其预测出的对应部分之间的差(残差)来对该目标块编码，其中所述运动矢量标识出目标块与它将从其预测出的对应部分之间的偏移量。在接收器处的对应解码器基于适当类型的预测来对所接收的视频信号的帧解码，以便将其解压缩而输出到屏幕。
[0002]—些视频信号可以包括特别大的帧，S卩，在编码之后包括非常多的字节的帧。一个示例是用于屏幕共享流的视频，其常常具有高分辨率以及必须在压缩后可读的小文字。大帧可能导致问题。例如，在大帧可见于接收器处的屏幕上之前，可能存在长的延迟。该延迟可能导致用户怀疑视频链接实际上是否是工作的。长帧还可以与长鲁棒性(lengthyrobustness)和错误恢复处理相关联。这是因为单一的一阵分组丢失可以导致整个帧将被丢失。丢失概率随着帧长度而增大。恢复时间也随着帧长度而增加。传送过多的分组也是不期望的。如果分组数目太大，则这可能导致针对发送器和接收器缓存器(例如，针对硬件解码器)的问题。非常多的分组还可能花费长时间来解码。
【发明内容】
[0003]根据一个方面，这里的公开涉及一种用于对视频数据编码的装置。视频数据可以是任何适当编解码器的分片、块或宏块或者帧的任何所期望的分割。该装置具有遵循模块，其将与使用标准编码模式来对视频数据编码以形成已编码帧的至少一部分相关联的资源要求与可接受资源水平相比较。可接受资源水平可以例如与可接受帧长度、编码时间或CPU使用相关联。
[0004]该装置还可以包括编码器。如果遵循模块确定使用标准编码模式对视频数据的全部编码将超过可接受资源水平，则作为响应，编码器使用标准编码模式来对该数据中的仅仅一些编码。编码器然后可以利用一种数据来填充所述已编码帧的所述至少一部分的剩余部分，其中与使用标准编码模式生成的数据相比，所述一种数据与更低的资源使用相关联。
[0005]本概要被提供来以简要形式介绍概念的选择，以下将在【具体实施方式】中对这些概念进行进一步的描述。本概要既不是旨在标识所要求保护主题的关键特征或必要特征，也不是旨在被用来限制所要求保护主题的范围。所要求保护的主题不限于解决了【背景技术】部分中所提到的任一或所有缺点的实现方式。
【附图说明】
[0006]为了更好地理解所描述的实施例并且示出可以如何实施所描述的实施例，作为示例，将参照附图，其中:
图1是视频流的示意性表示，
图2是通信系统的示意性框图，
图3是已编码视频流的示意性表示，
图4是编码器的示意性框图，
图5是解码器的示意性框图，
图6是编码方法的示意性表示，
图7是编码方法的示意性表示，以及图8是帧的示意性表示。
【具体实施方式】
[0007]监视由对视频数据编码而消费的资源可能是有益的。视频数据可以表示视频序列中的帧或帧的一部分。可以在帧被编码之前或在编码过程期间实施所述监视。对特定视频数据编码所要求的资源可以被标识为有问题的。这可以使得编码器在对该数据的全部编码之前停止使用标准编码模式对视频数据编码。编码器可以填充该帧的剩余部分，对于已编码的视频数据，该剩余部分被意图利用资源不那么密集地生成的数据来填充。可以使用与更低资源使用相关联的受限定的编码模式来生成该数据。可以利用廉价的数据来填充已编码帧的该剩余部分。得到的已编码帧将遵循可接受资源水平。
[0008]可以与视频数据无关地生成廉价数据。例如，廉价数据可以是不依赖于视频数据的针对接收设备的指令。该指令可以例如是，复制在前帧的一部分或者利用均匀的颜色填充像素块。结果，视频数据中的一些可以根本不被编码。因此，如果视频数据表示图像，则该图像的仅仅一部分实际上可能被编码在已编码帧中。后续帧可以校正该缺陷，使得在接收器处看到逐渐更新的图像。
[0009]图1给出了输入视频信号的示意性图示，该输入视频信号从摄像机捕获并且被分为准备好被视频编码器编码以便生成已编码比特流的各部分。该信号包括在时间上被分为多个帧(F)的移动视频图像，每个帧表示在时间上不同的相应时刻(...t-1，t，t+ 1...)的图像。在每个帧内，帧在空间上被分为多个部分，每个部分表示多个像素。所述部分可以例如被称作块。在某些方案中，帧被分为并且细分为不同水平的部分或块。例如，每个帧可以被分为宏块(MB)并且每个宏块可以被分为块(b)，例如每个块表不帧内的8x8像素的区域，每个宏块表示2x2块(16x16像素)的区域。在某些方案中，每个帧还可以被分为分片
(S)，每个分片包括多个宏块。
[0010]输入信号中的块在起初可以被表示在空间域中，其中，每个通道被表示为块内的空间位置的函数，例如，亮度(Y)和色度(U, V)通道中的每一个是笛卡尔坐标X和y的函数，Y(x，y)、U(x, y)和V(x, y)。在该表示中，每个块或部分由不同空间坐标(例如，x和y坐标)处的像素值集合来表示，使得颜色空间的每个通道以块内的特定位置处的特定值、块内的另一位置处的另一值等等来表示。
[0011]然而，作为编码过程的一部分，该块可以被变换到变换域表示，典型地空间频率域表示(有时仅仅称作频域)。在频域中，该块以表示每个颜色空间通道在该块上的变化(例如，亮度Y和所述两个色度U和V中的每一个在该块上的变化)的频率分量系统来表示。从数学上来说，在频域中，每个通道(亮度和两个色度通道或者类似物中的每一个)被表示为空间频率的函数，其在给定方向上具有I/长度的维度(dimens1n)。例如，这可以通过分别在水平方向和垂直方向上的波数&和K y来表示，使得通道可以被分别表达为Y (k x, ky)、U(kx, ky)和V(kx，ky)。因此，块被变换为系数集合，其可以被认为表示构成该块的不同空间频率项的幅值。用于这样的变换的可能事项包括离散余弦变换(DCT)、Karhunen-Loeve变换(KLT)或其他。
[0012]在图2的框图中示意性地图示出其中可以采用本实施例的示例通信系统。通信系统包括第一传送终端12和第二接收终端22。例如，每个终端12、22可以包括以下项中的一个:移动电话或智能电话、平板设备、膝上型计算机、桌面型计算机或比如电视机、机顶盒、立体音响系统等其他家用电器。第一和第二终端12、22各自在操作上都耦合至通信网络32，因此第一传送终端12被布置为传送将由第二接收终端22接收的信号。当然，传送终端12也可能能够从接收终端22接收信号并且反之亦然，但是出于讨论的目的，在这里从第一终端12的角度描述传送，并且从第二终端22的角度描述接收。通信网络32可以例如包括基于分组的网络，比如广域因特网和/或局域网和/或移动蜂窝网络。
[0013]第一终端12包括计算机可读存储介质14，比如闪存或其他电子存储器、磁存储设备和/或光学存储设备。第一终端12还包括按照具有一个或多个执行单元的处理器或CPU形式的处理装置16 ;收发器，比如至少具有传送器18的有线或无线调制解调器；以及视频摄像机15，其可以或可以不容纳于与终端12的其余部分相同的外壳内。存储介质14、视频摄像机15和传送器18各自在操作上都耦合至处理装置16，并且传送器18在操作上经由有线或无线链路耦合至网络32。类似地，第二终端22包括计算机可读存储介质24，比如电子、磁和/或光学存储设备；以及按照具有一个或多个执行单元的CPU的形式的处理装置26。第二终端包括收发器，比如至少具有接收器28的有线或无线调制解调器；以及屏幕25，其可以或可以不容纳于与终端22的其余部分相同的外壳内。第二终端的存储介质24、屏幕25和接收器28各自在操作上都耦合至相应的处理装置26，并且接收器28在操作上经由有线或无线链路耦合至网络32。
[0014]第一终端12上的存储装置14至少存储被布置来在处理装置16上执行的视频编码器。当被执行时，编码器从视频摄像机15接收“未加工”(未编码)的输入视频流，对视频流编码以便将其压缩成更低比特率的流，并且输出已编码视频流以便经由传送器18和通信网络32传送到第二终端22的接收器28。第二终端22上的存储装置24至少存储被布置来在其自己的处理装置26上执行的视频解码器。当被执行时，解码器从接收器28接收已编码视频流并且对其解码以便输出至屏幕25。可以用于指代编码器和/或解码器的一般术语是编解码器。
[0015]图3给出了已编码比特流33的示意性表示，该已编码比特流33将从运行在传送终端12上的编码器传送到运行在接收终端22上的解码器