一种高码率图像的视频编、解码方法及系统的制作方法
【专利摘要】本发明提供一种高码率图像的视频编、解码方法及系统，编码方法的步骤是编码端首先对原始的高码率图像编码得到其重建图像，为基本层的基本图像，然后根据原始的高码率图像和基本图像得到残差层的残差图像，对残差图像编码得到残差图像的重建图像，根据基本图像和残差图像的重建图像得到高码率图像的重建图像；解码方法的步骤是解码端首先根据接收到的码流信息进行解码，生成解码标志位，进而根据解码标志位判断当前码流属于基本层或者残差层，得到高码率图像的重建图像。本发明通过将高码率图像分为不同层次进行传输，有效解决了视频传输过程中某个时刻瞬时码率过高引起的传输延迟或者缓冲器溢出。
【专利说明】一种高码率图像的视频编、解码方法及系统
【技术领域】
[0001] 本发明涉及数字视频编解码【技术领域】，具体涉及一种高码率图像的视频编、解码 方法及系统。
【背景技术】
[0002] 随着数字媒体的应用日益广泛，视频技术的研究野越来越受到重视。视频技术主 要是通过去除视频中的空间冗余、时间冗余和编码冗余实现的。目前主流的视频编码采用 的主要有预测、变换、量化和熵编码方式。
[0003] 预测编码利用信号间的相关性，用前面一个或多个信号作为当前信号的预测值， 对当前信号的实际值与预测值的差进行编码，是现代视频编解码中消除视频冗余的重要工 具之一。帧内预测和帧间预测是分别用于消除空间冗余和时域冗余的主要技术，其中的帧 间预测是是去除视频冗余的重要方法之一，它是利用相邻帧间的信息进行预测编码，其中P 帧只使用前向预测，B帧可用于前向和后向进行双向预测，但是，预测方法中参考帧的质量 对后续帧的质量影响很大，从而可能影响整个编码性能；在编码性能方面，质量高的参考帧 所带来的编码增益高于质量低的参考帧带来的编码增益。如果能够提高某个或某些参考帧 的质量，则参考这些帧的图像的编码性能都将得到提升。因此如何提高参考帧的质量成为 研究的重点之一。
[0004] 随着科技的发展，视频传输、存储系统和计算能力的差别，比特流要适应不同用户 的需求、网络状况和终端设备等。但是在视频编解码过程中，可能会因某一帧或几帧图像数 据量大，导致瞬时码率突然增加，而由于网络状况和终端设备的限制，会造成该图像的不完 全传输或者延迟，造成缓冲器上溢或后续图像的延迟，不利于后面的图像进行帧间预测，同 时对接收端的影响也很大。本发明中将这样的原始图像定义为高码率图像。如何实现高码 率图像的有效传输并保持码率平稳，成为亟待解决的问题。
【发明内容】
[0005] 有鉴于此，本发明提供一种高码率图像的视频编、解码方法及系统，旨在既降低高 码率图像的瞬时码率，又保证该高码率图像的有效传输。
[0006] 本发明采用的技术方案具体为：
[0007] -种高码率图像的视频编码方法，具体包括如下步骤：
[0008] 残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的 高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原 始的高码率图像减去所述基本图像，得到第一残差图像；
[0009] 高码率图像重建步骤：对所述第一残差图像编码，得到第一残差图像的重建图像， 对所述第一残差图像进行编码的编码数值小于所述序列编码参数值；所述第一残差图像的 重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像；
[0010] 图像分层步骤：所述基本图像和所述原始的高码率图像的第二重建图像形成高码 率图像的基本层，所述第一残差图像形成高码率图像的残差层；
[0011] 编码标志位生成步骤：生成所述基本层的基本图像的标志位，将标识当前图像为 所述基本层的基本图像的标志位写入码流；生成所述残差层的第一残差图像的标志位，将 标识当前图像为所述残差层的第一残差图像的标志位写入码流。
[0012] 一种高码率图像的视频编码方法，具体包括如下步骤：
[0013]残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的 高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原 始的高码率图像减去所述基本图像，得到第一残差图像；
[0014] 高码率图像重建步骤：对所述第一残差图像编码，得到第一残差图像的重建图像， 所述第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图 像；所述原始的高码率图像减去所述原始的高码率图像的第二重建图像，得到第二残差图 像；对所述第二残差图像编码，得到第二残差图像的重建图像，所述第二残差图像的重建 图像与所述原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第三重建图 像；以此类推，某一层残差图像为所述原始的高码率图像与原始的高码率图像的本层重建 图像之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和，得到的原 始的高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于所述序列编 码参数值；随着层数的增加所述编码参数递减，且残差的编码数据量和普通帧帧内编码的 数据量在同一数量级；
[0015] 图像分层步骤：原始的高码率图像的每一层重建图像形成高码率图像的基本层， 每一层残差图像形成高码率图像的残差层；
[0016] 编码标志位生成步骤：生成所述基本层的基本图像的标志位，将标识当前图像为 所述基本层的基本图像的标志位写入码流；生成所述残差层的每一层残差图像的标志位， 将标识当前图像为所述残差层的某一层残差图像的编码标志位写入码流。
[0017] 一种高码率图像的视频解码方法，具体包括如下步骤：
[0018] 解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位 得出当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流；
[0019] 基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基 本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；
[0020] 高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差 层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；所述基 本图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像。
[0021] 一种高码率图像的视频解码方法，具体包括如下步骤：
[0022] 解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位 得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；
[0023] 基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基 本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；
[0024] 高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差 层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前 码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前 码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流 的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得 到基本层的基本图像和残差层的第一残差图像，所述基本图像与所述第一残差图像的重建 图像求和，得到原始的高码率图像的第二重建图像，所述原始的高码率图像的第二重建图 像与解码得到的所述第二残差图像的重建图像求和，得到高码率图像的第三层重建图像； 以此类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的 重建图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的 码流依次解码，依次按照"解码得到的某一层残差图像的重建图像与基本层中的高码率图 像的本层重建图像求和得到高码率图像的下一层重建图像"的规律，直至得到高码率图像 的该某一层的下一层重建图像。
[0025]在上述高码率图像的视频编码方法中，在一个码流中完成多层码流的分层传输。
[0026]-种高码率图像的视频编码系统，具体包括如下模块：
[0027]残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原 始的高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所 述原始的高码率图像减去所述基本图像，得到第一残差图像；
[0028]高码率图像重建模块：用于对所述第一残差图像编码，得到第一残差图像的重建 图像，对所述第一残差图像进行编码的编码数值小于所述序列编码参数值；所述第一残差 图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像；
[0029]图像分层模块：用于形成高码率图像的基本层和残差层，其中所述基本图像和所 述原始的高码率图像的第二重建图像形成高码率图像的基本层，所述第一残差图像形成高 码率图像的残差层；
[0030]编码标志位生成模块：用于生成所述基本层的基本图像的标志位，将标识当前图 像为所述基本层的基本图像的标志位写入码流；以及生成所述残差层的第一残差图像的标 志位，将标识当前图像为所述残差层的第一残差图像的标志位写入码流。
[0031]一种高码率图像的视频编码系统，具体包括如下模块：
[0032]残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原 始的高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所 述原始的高码率图像减去所述基本图像，得到第一残差图像；
[0033]高码率图像重建模块：用于对所述第一残差图像编码，得到第一残差图像的重建 图像，所述第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二 重建图像；所述原始的高码率图像减去所述原始的高码率图像的第二重建图像，得到第二 残差图像；以及对所述第二残差图像编码，得到第二残差图像的重建图像，所述第二残差图 像的重建图像与所述原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第 三重建图像；以此类推，某一层残差图像为所述原始的高码率图像与原始的高码率图像的 本层重建图像之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和， 得到的原始的高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于所 述序列编码参数值；随着层数的增加所述编码参数递减，且残差的编码数据量和普通帧帧 内编码的数据量在同一数量级；
[0034]图像分层模块：用于形成高码率图像的基本层和残差层；其中原始的高码率图像 的每一层重建图像形成高码率图像的基本层，每一层残差图像形成高码率图像的残差层；
[0035] 编码标志位生成模块：用于生成所述基本层的基本图像的标志位，将标识当前图 像为所述基本层的基本图像的标志位写入码流；以及生成所述残差层的每一层残差图像的 标志位，将标识当前图像为所述残差层的某一层残差图像的编码标志位写入码流。
[0036] -种高码率图像的视频解码系统，具体包括如下模块：
[0037] 解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标 志位得出当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流；
[0038] 基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的 基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；
[0039] 高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，用于根据残 差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；所述 基本图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像；将解 码得到的所述第一残差图像的重建图像与所述基本图像求和，得到高码率图像的第二重建 图像。
[0040] 一种高码率图像的视频解码系统，具体包括如下模块：
[0041] 解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标 志位得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；[0042] 基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的 基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；
[0043] 高码率图像重建模块：若当前码流为残差层的第一残差图像的码流，用于根据残 差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当 前码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当 前码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码 流的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码， 得到基本层的基本图像和残差层的第一残差图像，所述基本图像与所述第一残差图像的重 建图像求和，得到原始的高码率图像的第二重建图像，所述原始的高码率图像的第二重建 图像与解码得到的所述第二残差图像的重建图像求和，得到高码率图像的第三层重建图 像；以此类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像 的重建图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像 的码流依次解码，依次按照"解码得到的某一层残差图像的重建图像与基本层中的高码率 图像的本层重建图像求和得到高码率图像的下一层重建图像"的规律，直至得到高码率图 像的该某一层的下一层重建图像。
[0044] 本发明产生的有益效果是：
[0045] 本发明的高码率图像的视频编、解码方法及系统，通过将高码率图像分为不同层 次进行传输，通过在编码端将图像分为基本层与残差层，且残差层的不同层采用不同参数 的编码方法，而且高码率图像的重建图像随着层数增加越来越好；然后在解码端根据得到 的基本层图像与残差层图像重建出不同质量的高码率图像，既可以降低瞬时码率，又保证 了高码率图像的传输质量。
【专利附图】
【附图说明】
[0046] 当结合附图考虑时，能够更完整更好地理解本发明。此处所说明的附图用来提供 对本发明的进一步理解，实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0047] 图1为本发明一种高码率图像的视频编码方法的流程图；
[0048] 图2为本发明一种高码率图像的视频解码方法的流程图；
[0049] 图3为本发明的一种实施例的基于背景帧质量分层编码的步骤框图；
[0050] 图4为本发明的一种实施例的测试序列图。
【具体实施方式】
[0051] 下面结合附图及实施例对本发明的技术方案作进一步详细的说明。
[0052] 如图1所示的一种高码率图像的视频编码方法，在基本层和残差层均含有一层图 像的情况下，具体包括如下步骤：
[0053] 残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的 高码率图像的第一重建图像，原始的高码率图像的第一重建图像为基本图像；原始的高码 率图像减去基本图像，得到第一残差图像；
[0054] 高码率图像重建步骤：对第一残差图像编码，得到第一残差图像的重建图像，对 第一残差图像进行编码的编码数值小于序列编码参数值；第一残差图像的重建图像与基本 图像求和，得到原始的高码率图像的第二重建图像；
[0055] 图像分层步骤：基本图像和原始的高码率图像的第二重建图像形成高码率图像的 基本层，第一残差图像形成高码率图像的残差层；
[0056] 编码标志位生成步骤：生成基本层的基本图像的标志位，将标识当前图像为基本 层的基本图像的标志位写入码流；生成残差层的第一残差图像的标志位，将标识当前图像 为残差层的第一残差图像的标志位写入码流。
[0057] -种高码率图像的视频编码方法，在基本层和残差层均含有多层图像的情况下， 具体包括如下步骤：
[0058] 残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的 高码率图像的第一重建图像，原始的高码率图像的第一重建图像为基本图像；原始的高码 率图像减去基本图像，得到第一残差图像；
[0059] 高码率图像重建步骤：对第一残差图像编码，得到第一残差图像的重建图像，第一 残差图像的重建图像与基本图像求和，得到原始的高码率图像的第二重建图像；原始的高 码率图像减去原始的高码率图像的第二重建图像，得到第二残差图像；对第二残差图像编 码，得到第二残差图像的重建图像，第二残差图像的重建图像与原始的高码率图像的第二 重建图像求和，得到原始的高码率图像的第三重建图像；以此类推，某一层残差图像为原始 的高码率图像与原始的高码率图像的本层重建图像之差，本层残差图像的重建图像与原始 的高码率图像的本层重建图像求和，得到的原始的高码率图像的下一层重建图像；对各层 残差图像进行编码的编码数值小于序列编码参数值；随着层数的增加编码参数递减，且残 差的编码数据量和普通帧帧内编码的数据量在同一数量级；
[0060] 图像分层步骤：原始的高码率图像的每一层重建图像形成高码率图像的基本层， 每一层残差图像形成高码率图像的残差层；
[0061] 编码标志位生成步骤：生成基本层的基本图像的标志位，将标识当前图像为基本 层的基本图像的标志位写入码流；生成残差层的每一层残差图像的标志位，将标识当前图 像为残差层的某一层残差图像的编码标志位写入码流。
[0062] 如图2所示的一种高码率图像的视频解码方法，在基本层和残差层均含有一层图 像的情况下，具体包括如下步骤：
[0063]解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位 得出当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流；
[0064]基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基 本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；
[0065] 高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差 层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；基本图 像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像。
[0066] 一种高码率图像的视频解码方法，在基本层和残差层均含有多层图像的情况下， 具体包括如下步骤：
[0067]解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位 得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；
[0068] 基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基 本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；
[0069] 高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差 层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前 码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前 码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流 的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得 到基本层的基本图像和残差层的第一残差图像，基本图像与第一残差图像的重建图像求 和，得到原始的高码率图像的第二重建图像，原始的高码率图像的第二重建图像与解码得 到的第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以此类推，若当前 图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重建图像，进一步 对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码流依次解码，依 次按照"解码得到的某一层残差图像的重建图像与基本层中的高码率图像的本层重建图像 求和得到高码率图像的下一层重建图像"的规律，直至得到高码率图像的该某一层的下一 层重建图像。
[0070]在上述高码率图像的视频编码方法中，在一个码流中完成多层码流的分层传输。
[0071] 一种高码率图像的视频编码系统，在基本层和残差层均含有一层图像的情况下， 具体包括如下模块：
[0072]残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原 始的高码率图像的第一重建图像，原始的高码率图像的第一重建图像为基本图像；原始的 高码率图像减去基本图像，得到第一残差图像；
[0073] 高码率图像重建模块：用于对第一残差图像编码，得到第一残差图像的重建图像， 对第一残差图像进行编码的编码数值小于序列编码参数值；第一残差图像的重建图像与基 本图像求和，得到原始的高码率图像的第二重建图像；
[0074] 图像分层模块：用于形成高码率图像的基本层和残差层，其中基本图像和原始的 高码率图像的第二重建图像形成高码率图像的基本层，第一残差图像形成高码率图像的残 差层；
[0075] 编码标志位生成模块：用于生成基本层的基本图像的标志位，将标识当前图像为 基本层的基本图像的标志位写入码流；以及生成残差层的第一残差图像的标志位，将标识 当前图像为残差层的第一残差图像的标志位写入码流。
[0076]-种高码率图像的视频编码系统，在基本层和残差层均含有多层图像的情况下， 具体包括如下模块：
[0077] 残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原 始的高码率图像的第一重建图像，原始的高码率图像的第一重建图像为基本图像；原始的 高码率图像减去基本图像，得到第一残差图像；
[0078] 高码率图像重建模块：用于对第一残差图像编码，得到第一残差图像的重建图像， 第一残差图像的重建图像与基本图像求和，得到原始的高码率图像的第二重建图像；原始 的高码率图像减去原始的高码率图像的第二重建图像，得到第二残差图像；以及对第二残 差图像编码，得到第二残差图像的重建图像，第二残差图像的重建图像与原始的高码率图 像的第二重建图像求和，得到原始的高码率图像的第三重建图像；以此类推，某一层残差 图像为原始的高码率图像与原始的高码率图像的本层重建图像之差，本层残差图像的重建 图像与原始的高码率图像的本层重建图像求和，得到的原始的高码率图像的下一层重建图 像；对各层残差图像进行编码的编码数值小于序列编码参数值；随着层数的增加编码参数 递减，且残差的编码数据量和普通帧帧内编码的数据量在同一数量级；
[0079] 图像分层模块：用于形成高码率图像的基本层和残差层；其中原始的高码率图像 的每一层重建图像形成高码率图像的基本层，每一层残差图像形成高码率图像的残差层；
[0080] 编码标志位生成模块：用于生成基本层的基本图像的标志位，将标识当前图像为 基本层的基本图像的标志位写入码流；以及生成残差层的每一层残差图像的标志位，将标 识当前图像为残差层的某一层残差图像的编码标志位写入码流。
[0081]一种高码率图像的视频解码系统，在基本层和残差层均含有一层图像的情况下， 具体包括如下模块：
[0082] 解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标 志位得出当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流；
[0083]基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的 基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；
[0084] 高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，用于根据残 差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；基本 图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像；将解码得 到的第一残差图像的重建图像与基本图像求和，得到高码率图像的第二重建图像。
[0085]一种高码率图像的视频解码系统，在基本层和残差层均含有多层图像的情况下， 具体包括如下模块：
[0086]解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标 志位得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；[0087]基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的 基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；
[0088] 高码率图像重建模块：若当前码流为残差层的第一残差图像的码流，用于根据残 差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当 前码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当 前码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码 流的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码， 得到基本层的基本图像和残差层的第一残差图像，基本图像与第一残差图像的重建图像求 和，得到原始的高码率图像的第二重建图像，原始的高码率图像的第二重建图像与解码得 到的第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以此类推，若当前 图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重建图像，进一步 对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码流依次解码，依 次按照"解码得到的某一层残差图像的重建图像与基本层中的高码率图像的本层重建图像 求和得到高码率图像的下一层重建图像"的规律，直至得到高码率图像的该某一层的下一 层重建图像。
[0089]一般来讲，在保证残差编码数据量和普通帧内编码图像数据量在同一数量级的情 况下，层数越多，高码率图像重建图像质量越好；也就是说，最后一层的高码率图像的重建 图像与其它层高码率图像的重建图像相比，质量更好。通过本发明的编、解码方法可有效解 决视频传输过程中某个时刻瞬时码率过高而引起的传输延迟或缓冲器溢出的问题。
[0090]下面通过一个实例来说明本发明可能的实现方式。基于HEVC编解码参考软件， 有学者提出针对监控视频的方法（HEVS-S)。该方法中有背景建模的部分，当处理一定帧数 的视频序列后，会建模得到背景帧。得到的背景帧可以大大提高编码效率。但当背景帧作 为参考需要传输时，由于背景帧的数据量过大，会引起码率突增，在应用中导致传输延迟或 者背景帧数据丢失，因此可以利用本发明的技术方案将背景帧分层处理并在同一码流中传 输。基于HEVC的监控平台，共编码1020帧图像，若设置前120帧为训练集，120帧之后可 得到一个背景帧，该背景帧数据量过大引起码率突增。分别对5个监控序列进行测试，同时 每个序列要以四个不同量化参数处理背景帧，分别为22, 27, 32, 37。本实验的残差分为三 层，另外对残差编码时第一层的量化参数设为序列量化参数减5,第二层的量化参数设为序 列量化参数减9,第三层的量化参数设为序列量化参数减11，分别对每层残差进行编码，于 是，对于图4中的测试序列，我们可以采用如图3所示的方式来实现分层传输。
[0091]其中的编码步骤为：
[0092] Sl:首先背景帧就是对应摘要中的高码率图像，通过建模得到原始背景帧BGots。每 个高码率图像的分层数取决于编码端，一般情况下，层数越多，背景帧质量越好，则编码性 能越好。该背景帧可以分为基本层和残差层。基本层为背景帧的重建图像，而残差层为背 景帧与背景帧的重建图像的残差图像。而且，基本层和残差层可有多层图像。
[0093]S2 :序列的量化参数（QP)分别是22, 27, 32, 37。用序列的量化参数将背景帧编码 可得到背景的重建帧BGral，将BGots与BGral的残差使用QP-5进行编码并传输；经过10帧 后得到残差的重建帧，与BGmc1相加可以得到背景帧的重建图像BG^2，将BGots与BGra2的残 差使用QP-9进行编码并传输；经过10帧后得到重建的残差，再与上层的重建图像相加得到 最新的背景帧的重建图像BGree3，将BGots与BGree3的残差使用QP-Il进行编码并传输；经过 10帧后得到重建的残差，再与上层的重建图像相加得到最新的背景帧的重建图像BGra4。经 过三层编码，背景帧质量越来越高，参考越来越好。
[0094]S3 :在步骤S2中，对背景帧或残差进行编码都会得到重建图像，残差图像与上层 背景帧的重建图像相加即可得到当前层重建图像。
[0095] S4:编码标志位的设置，是有利于判别当前图像是基本层图像还是残差层图像，该 标志非常有利于解码。
[0096] 在本实施例中，有四个背景帧的重建图像。在120帧时，BGral作为背景帧的重建 图像，并为后面10帧图像作参考；130帧时，得到BGrec2作为当前背景帧的重建图像，并为 后面10帧图像作参考；140帧时，作为当前背景帧的重建图像，并为后面10帧图像做参考； 150帧时，得到当前背景帧的重建图像，背景帧的重建图像质量越来越好，并为后面所有编 码图像作参考。
[0097] 采用如图4所示的测试序列，由以上实验步骤可以得到的结果如表1所示：
[0098] 表1本发明中残差数据量的最大值和帧内编码图像数据量的比较
[0099]
【权利要求】
1. 一种高码率图像的视频编码方法，其特征在于，具体包括如下步骤： 残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的高码 率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原始的 高码率图像减去所述基本图像，得到第一残差图像； 高码率图像重建步骤：对所述第一残差图像编码，得到第一残差图像的重建图像，对所 述第一残差图像进行编码的编码数值小于所述序列编码参数值；所述第一残差图像的重建 图像与所述基本图像求和，得到原始的高码率图像的第二重建图像； 图像分层步骤：所述基本图像和所述原始的高码率图像的第二重建图像形成高码率图 像的基本层，所述第一残差图像形成高码率图像的残差层； 编码标志位生成步骤：生成所述基本层的基本图像的标志位，将标识当前图像为所述 基本层的基本图像的标志位写入码流；生成所述残差层的第一残差图像的标志位，将标识 当前图像为所述残差层的第一残差图像的标志位写入码流。
2. -种高码率图像的视频编码方法，其特征在于，具体包括如下步骤： 残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的高码 率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原始的 高码率图像减去所述基本图像，得到第一残差图像； 高码率图像重建步骤：对所述第一残差图像编码，得到第一残差图像的重建图像，所述 第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像； 所述原始的高码率图像减去所述原始的高码率图像的第二重建图像，得到第二残差图像； 对所述第二残差图像编码，得到第二残差图像的重建图像，所述第二残差图像的重建图像 与所述原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第三重建图像； 以此类推，某一层残差图像为所述原始的高码率图像与原始的高码率图像的本层重建图像 之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和，得到的原始的 高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于所述序列编码参 数值；随着层数的增加所述编码参数递减，且残差的编码数据量和普通帧帧内编码的数据 量在同一数量级； 图像分层步骤：原始的高码率图像的每一层重建图像形成高码率图像的基本层，每一 层残差图像形成高码率图像的残差层； 编码标志位生成步骤：生成所述基本层的基本图像的标志位，将标识当前图像为所述 基本层的基本图像的标志位写入码流；生成所述残差层的每一层残差图像的标志位，将标 识当前图像为所述残差层的某一层残差图像的编码标志位写入码流。
3. -种高码率图像的视频解码方法，其特征在于，具体包括如下步骤： 解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位得出 当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流； 基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基本图 像的解码标志位对当前码流解码，直接得到基本层的基本图像； 高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差层的 第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；所述基本图 像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像。
4. 一种高码率图像的视频解码方法，其特征在于，具体包括如下步骤： 解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位得出 当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流； 基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基本图 像的解码标志位对当前码流解码，直接得到基本层的基本图像； 高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差层的 第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前码流 为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前码流 解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流的情 况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得到基 本层的基本图像和残差层的第一残差图像，所述基本图像与所述第一残差图像的重建图像 求和，得到原始的高码率图像的第二重建图像，所述原始的高码率图像的第二重建图像与 解码得到的所述第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以此 类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重建 图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码流 依次解码，依次按照"解码得到的某一层残差图像的重建图像与基本层中的高码率图像的 本层重建图像求和得到高码率图像的下一层重建图像"的规律，直至得到高码率图像的该 某一层的下一层重建图像。
5. 根据权利要求1所述的高码率图像的视频编码方法，其特征在于，在一个码流中完 成多层码流的分层传输。
6. -种高码率图像的视频编码系统，其特征在于，具体包括如下模块： 残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原始的 高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原 始的高码率图像减去所述基本图像，得到第一残差图像； 高码率图像重建模块：用于对所述第一残差图像编码，得到第一残差图像的重建图像， 对所述第一残差图像进行编码的编码数值小于所述序列编码参数值；所述第一残差图像的 重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像； 图像分层模块：用于形成高码率图像的基本层和残差层，其中所述基本图像和所述原 始的高码率图像的第二重建图像形成高码率图像的基本层，所述第一残差图像形成高码率 图像的残差层； 编码标志位生成模块：用于生成所述基本层的基本图像的标志位，将标识当前图像为 所述基本层的基本图像的标志位写入码流；以及生成所述残差层的第一残差图像的标志 位，将标识当前图像为所述残差层的第一残差图像的标志位写入码流。
7. -种高码率图像的视频编码系统，其特征在于，具体包括如下模块： 残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原始的 高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原 始的高码率图像减去所述基本图像，得到第一残差图像； 高码率图像重建模块：用于对所述第一残差图像编码，得到第一残差图像的重建图像， 所述第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图 像；所述原始的高码率图像减去所述原始的高码率图像的第二重建图像，得到第二残差图 像；以及对所述第二残差图像编码，得到第二残差图像的重建图像，所述第二残差图像的重 建图像与所述原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第三重建 图像；以此类推，某一层残差图像为所述原始的高码率图像与原始的高码率图像的本层重 建图像之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和，得到的 原始的高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于所述序列 编码参数值；随着层数的增加所述编码参数递减，且残差的编码数据量和普通帧帧内编码 的数据量在同一数量级； 图像分层模块：用于形成高码率图像的基本层和残差层；其中原始的高码率图像的每 一层重建图像形成高码率图像的基本层，每一层残差图像形成高码率图像的残差层； 编码标志位生成模块：用于生成所述基本层的基本图像的标志位，将标识当前图像为 所述基本层的基本图像的标志位写入码流；以及生成所述残差层的每一层残差图像的标志 位，将标识当前图像为所述残差层的某一层残差图像的编码标志位写入码流。
8. -种高码率图像的视频解码系统，其特征在于，具体包括如下模块： 解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标志位 得出当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流； 基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的基本 图像的解码标志位对当前码流解码，直接得到基本层的基本图像； 高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，用于根据残差层 的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；所述基本 图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像。
9. 一种高码率图像的视频解码系统，其特征在于，具体包括如下模块： 解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标志位 得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流； 基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的基本 图像的解码标志位对当前码流解码，直接得到基本层的基本图像； 高码率图像重建模块：若当前码流为残差层的第一残差图像的码流，用于根据残差层 的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前码 流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前码 流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流的 情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得到 基本层的基本图像和残差层的第一残差图像，所述基本图像与所述第一残差图像的重建图 像求和，得到原始的高码率图像的第二重建图像，所述原始的高码率图像的第二重建图像 与解码得到的所述第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以 此类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重 建图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码 流依次解码，依次按照"解码得到的某一层残差图像的重建图像与基本层中的高码率图像 的本层重建图像求和得到高码率图像的下一层重建图像"的规律，直至得到高码率图像的 该某一层的下一层重建图像。
【文档编号】H04N19/146GK104363454SQ201410440632
【公开日】2015年2月18日 申请日期:2014年9月1日 优先权日:2014年9月1日
【发明者】田永鸿, 郭少歌, 邢培银, 王耀威, 黄铁军 申请人:北京大学