数据编码和解码的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求于2013年9月25日在英国知识产权局提交的GB1317041.0的在先提交 日的权益，通过引用将其全部内容结合于本文中。
技术领域
[0003] 本公开设及数据编码和解码。
【背景技术】
[0004] 本文中提供的"【背景技术】"的描述是为了概括地呈现本公开内容的背景。就在该背 景技术部分描述的程度而言，目前署名的发明人的工作W及申请时未W其他方式视为现有 技术的说明方面，既没有明确地也没有隐含地承认作为相对于本发明的现有技术。
[000引存在若干种视频数据压缩和解压缩系统，其设及将视频数据变换成频域表示，量 化频域系数，并且然后将赌编码的一些形式应用到量化系数。
[0006] 在编码器侧至空间频域的变换对应于在解码器侧的逆变换。示例性变换包括所谓 的离散余弦变换(DCT)和所谓的离散正弦变换(DST)。在一些实例中，通过使输入采样的阵 列（从待编码的视频数据得到的）矩阵与变换系数的矩阵进行矩阵相乘W产生频率变换的 数据来进行变换。通过使频率变换的数据的阵列与逆变换系数的矩阵进行矩阵相乘，频率 变换的数据被转换回采样数据，从采样数据可W得到输出视频数据。
[0007] 诸如所谓的高效率视频编码化EVC)标准的一些标准和操草拟标准限定了实际上 不使用空间频率变换的编码和解码模式。有时运些称为"变换跳过"或者"变换-量化跳过" ("trans-quant"是"变换和量化"的缩写)模式。
【发明内容】
[0008] 本公开的一方面由权利要求1限定。
[0009] 进一步地，在所附权利要求中限定了各方面及特征。
[0010] 应当理解，前述一般性描述和W下【具体实施方式】是示例性的而不是对本公开的限 制。
【附图说明】
[0011] 将容易获得本公开的更全面理解W及本公开伴随的许多优点，因为参照在结合附 图进行考虑时对实施方式的W下描述，运些将变得更好理解，其中：
[0012] 图1示意性地示出了使用视频数据压缩和解压缩的音频/视频(A/V)数据传输和接 收系统；
[0013] 图2示意性地示出了利用视频数据解压缩的视频显示系统；
[0014] 图3示意性地示出了利用视频数据压缩和解压缩的音频/视频存储系统；
[0015] 图4a示意性地示出使用视频数据压缩的摄影机；
[0016] 图4b示意性地更详细示出了示例性摄影机；
[0017] 图4c示意性地示出另一示例性摄像机；
[0018]图4d和图4e示意性地示出数据载体；
[0019] 图5提供视频数据压缩和解压缩装置的示意图；
[0020] 图6示意性地示出了预测图像的生成；
[0021] 图7示意性地示出了最大编码单元化CU);
[0022] 图8示意性地示出了四个编码单元(CU)的集合；
[0023] 图9和图10示意性地示出了图8的编码单元被细分成更小编码单元；
[0024] 图11示意性地示出了预测单元(PU)的阵列；
[0025] 图12示意性地示出了变换单元(TU)的阵列；
[0026] 图13示意性地示出了缩放列表的使用；
[0027] 图14示意性地示出了编码器和/或解码器的部分；
[0028] 图15示意性地示出了采样的阵列；
[0029] 图16示意性地示出频率分离的系数的阵列；
[0030] 图17示意性地示出了图16的阵列内的趋势；
[0031] 图18示意性地示出了反向扫描；
[0032] 图19示意性地示出缩放列表内的趋势；
[0033] 图20示意性地示出了图像像差；
[0034] 图21是示出了编码操作的部分的示意性流程图；
[003引图22是示出了解码操作的部分的示意性流程图；
[0036] 图23示意性地示出了编码器和/或解码器的部分；
[0037] 图24是示出了编码和/或解码操作的部分的示意性流程图；
[0038] 图25示意性地示出了编码器和/或解码器的部分；W及
[0039] 图26是示出了编码和/或解码操作的部分的示意性流程图。
【具体实施方式】
[0040] 现在参考附图，图1至图4e被提供W给出利用压缩及/或解压缩装置的装置或系统 的示意图，W下结合实施方式对压缩及/或解压缩装置进行描述。
[0041] 下面将要描述的所有数据压缩和/或解压缩装置可W W硬件、运行在诸如通用计 算机、如专用集成电路(ASIC)或者现场可编程口阵列(FPGA)或者其组合的可编程硬件的通 用数据处理装置上的软件实施。在由软件和/或固件实现实施方式的情况下，应当理解，运 样的软件和/或固件W及存储有或W另外的方式提供运样的软件和/或固件的非临时性机 器可读数据存储介质被视为实施方式。
[0042] 图1示意性地示出了利用视频数据压缩和解压缩的音频/视频数据传输和接收系 统。
[0043] 输入的音频/视频信号10被提供给视频数据压缩装置20,视频数据压缩装置压缩 音频/视频信号10的至少视频成分W用于沿着诸如电缆、光纤、无线链路等传输路径30进行 传输。压缩信号被解压缩装置40处理W提供输出音频/视频信号50。对于返回路径，压缩装 置60压缩音频/视频信号W沿着传输路径30传输到解压缩装置70。
[0044] 压缩装置20和解压缩装置70由此能够形成传输链路的一个节点。解压缩装置40和 压缩装置60能够形成传输链路的另一节点。当然，在传输链路为单向的情况下，一个节点仅 需要压缩装置并且另一节点仅需要解压缩装置。
[0045] 图2示意性地示出了使用视频数据解压缩的视频显示系统。具体地，压缩的音频/ 视频信号100被解压缩装置110处理，W提供能够在显示器120上显示的解压缩信号。解压缩 装置110可W实施为显示器120的组成部分，例如，与显示设备设置在同一壳体内。可替换 地，解压缩装置110可被提供为(例如)所谓的机顶盒(STB)，注意:表述「机上」并非暗示机盒 需相对于显示器120设置在任何特定方位或位置;其仅为本技术中所使用的、用W指示可连 接至显示器W当作外围设备的设备的术语。
[0046] 图3示意性地示出了使用视频数据压缩和解压缩的音频/视频存储系统。输入的音 频/视频信号130被提供给压缩装置140,压缩装置140生成用于被诸如磁盘设备、光盘设备、 磁带设备、诸如半导体存储器的固态存储设备或者其他存储设备等存储设备150存储的压 缩信号。在重放时，从存储设备150读取压缩数据并且将其传送到解压缩装置160W进行解 压缩从而提供输出音频/视频信号170。
[0047] 应当理解，压缩或者编码信号W及存储该信号的存储介质或者数据载体被视为实 施方式。参考如下所述的图4d和图4e。
[0048] 图4a示意性地示出使用视频数据解压缩的摄影机。在图4a中，诸如电荷禪合器件 (CCD)图像传感器及相关的控制和读出电子设备等图像捕获设备180生成传送给压缩装置 190的视频信号。麦克风(或者多个麦克风)200生成被传送给压缩装置190的音频信号。压缩 装置190生成将被存储和/或传输(通常示出为示意性阶段220)的压缩的音频/视频信号 210。
[0049] 下面描述的技术主要设及视频数据压缩。应当理解，许多现有技术可结合将要描 述的视频数据压缩技术来用于音频数据压缩，W生成压缩的音频/视频信号。因此，将不提 供对音频数据压缩的单独讨论。还应理解，与视频数据相关联的数据速率(尤其是广播质量 视频数据)通常比与(无论是压缩或者未压缩的)音频数据相关联的数据速率高很多。因此， 应当理解，未压缩的音频数据可与压缩的视频数据一起形成压缩的音频/视频信号。应当进 一步理解，尽管本实例（图1至图4e中示出）设及音频/视频数据，然而，下面将要描述的技术 可W发现在只处理（即，压缩、解压缩、存储、显示和/或传输)视频数据的系统中使用。即，实 施方式能够应用于视频数据压缩，而不必具有任何相关的音频数据处理。
[0050] 图4b示意性地更详细地示出了示例性摄影机装置182。将不会进一步描述编号与 图4a相同的那些特征。图4b是图4a的照相机的实例(在图4a的单元220提供存储能力的情况 下），其中压缩数据首先被缓冲器221缓冲并且然后存储在诸如磁盘、光盘、闪存、所谓的固 态光盘驱动器(SSD)等的存储介质222中。应注意，图4b的配置可W实现为单个(物理)单元 182。
[0051] 图4c示意性地示出了另一示例性摄影机，在该摄影机中，代替图4b的存储器配置， 提供网络接口 223W便允许压缩数据被传输到另一单元(未示出）。网络接口 223也可W允许 输入数据(诸如，控制数据)被摄像机接收。应注意，图4c的配置可W实现为单个(物理)单元 183。
[0052] 图4d和图4e示意性地示出数据载体，例如，用作存储介质222并且携带根据在本申 请中描述的压缩技术压缩的压缩数据。图4d示出了被实现为诸如闪存的固态存储器的可移 除非易失性存储介质225的示意性实例。图4e示出实现为诸如光盘的磁盘介质的可移除非 易失性存储介质226的示意性实例。
[0053] 图5提供视频数据压缩和解压缩装置的示意图。
[0054] 输入的视频信号300的连续图像被提供给加法器310和图像预测器320。下面将参 考图6更详细地描述图像预测器320。事实上，加法器310执行减法（负相加)运算，即，在V' 输入端接收输入视频信号300并且在输入端接收图像预测器320的输出，运样使得从输 入图像中减去预测图像。结果是生成表示实际图像与预测图像之间差的所谓残差图像信号 330。
[0055] 生成残差图像信号的原因之一如下。将要描述的数据编码技术（即将要应用于残 差图像信号的技术)趋向于在待编码的图像中存在较少"能量"时更有效地工作。此处，术语 "有效地"指生成少量的编码数据;对于特定的图像质量水平，期望(并且视为"有效地"）实 际上生成尽可能少的数据。提及的残差图像中的"能量"设及包含在残差图像中的信息量。 如果预测图像与实际图像一致，两者之间的差（即，残差图像)将包含零信息(零能量），并且 非常容易编码成少量的编码数据。通常，如果预测过程工作得相当好，则可预期，残差图像 数据将包含比输入图像更少的信息(更少能量)并且因此更容易编码成少量的编码数据。
[0056] 残差图像数据330被提供给变换单元340,其用于生成残差图像数据的离散余弦变 换化CT)表示。DCT技术本身是公知的并且此处将不作详细描述。然而，下面将更详细地描述 在本装置中使用的技术的方面。
[0057] 应注意，在一些实施方式中，使用离散正弦变换(DST)来代替DCT。在其他实施方式 中，可不使用变换。运可有选择地进行，使得例如在"变换跳过"命令或模式的控制下变换阶 段实际上被避开。
[0058] 变换单元340的输出（亦即，针对图像数据的各变换块的一组变换系数)被供应至 量化器350。各种量化技术在视频数据压缩的领域中是公知的，从简单乘W量化比例因子至 在量化参数的控制下应用复杂查找表。总的目标是双重的。首先，量化过程减少了变换数据 的可能值的数目。其次，量化过程能够