基于变换下采样的低码率视频编码方法及系统的制作方法
【专利摘要】一种基于变换下采样的低码率视频编码方法及系统，包括：视频信号的下采样，利用二维变换进行下采样，对低频系数和高频系数按照不同的方法进行编码；低频系数混合编码框架编码，将低频系数映射并且向下取整归一化后进行HEVC编码；高频系数的位平面编码以及帧分割处理，利用位平面编码扫描得到高频系数中的大系数，再利用帧分割处理以宏块为单位将其编码。低、高频系数编码码率分配，通过能量关系有效分配编码码率。本发明结合既保证了低频系数编码的重要性，同时结合高频系数中大系数对视频细节的影响，在编码上达到了类似于HEVC的编码效果。同时下采样的引入使得编码分辨率下降，整个编码过程的复杂度得到了很大的降低。
【专利说明】基于变换下采样的低码率视频编码方法及系统
【技术领域】
[0001] 本发明涉及的是一种视频编解码领域的技术，具体是一种通过利用变换来进行下 采样，结合低频系数的混合框架编码和高频系数的位平面编码及帧分割处理实现低码率信 道的编码方法及系统。
【背景技术】
[0002] 视频编解码技术，是一种将视频数据通过各种技术手段去除时间、空间、编码等各 环节可能存在的冗余信息，将数据量压缩到远小于原视频数据量的信号编码技术。通过视 频编解码技术，可以更有效地对视频数据进行存储、传输以及相关操作。传统的视频编解码 框架是基于预测（运动估计）、变换以及熵编码的混合编码框架，发展至今已形成了 MPEG -x系列和H. 26x系列两大系列标准。在最近几年，两大标准的制定组织联合发布了最新的高 效视频编解码标准HEVC(High Efficiency Video Coding)，在之前H. 264的基础之上实现 了相同编码效果下压缩效率提升50%的增长。然而由于HEVC通过增加预测模式，采用更精 细的步长等技术降低预测误差来实现压缩效率的提高，这大大增加了编码的复杂度。同时 由于HEVC是为高清晰视频而设计的，在一些低码率低分辨率情况下效果并不是很好。所以 设计一种在低码率信道下低复杂度的编码算法有很大的必要。
[0003] 视频信息主要包括低频的内容信息和高频的细节信息。在低码率情况下必须有效 保证低频内容信息的编码，这样才能在码率有限的情况下得到视频相关的信息。Dong，Jie 和 Yan Ye 等人在 IEEE International Conference on In Image Processing (ICIP), 2012 pp. 2925 -2928中提出了下采样的方法来获得低频内容信息，然后对低频内容信息利用传统 视频编解码技术进行编码，在解码端通过内插等技术再获得原分辨率大小的视频信号。然 而仅仅考虑低频信息是远远不够的，在高频细节中存在一些能量较大的系数包含大量视频 信息，对视频的解码效果会产生巨大的影响，所以在码率允许的情况下对一些能量较大的 高频信息进行编码是非常有必要的，可以在一定程度上提高编码的质量。
[0004] 经过对现有技术的检索发现，中国专利文献号CN103155561A公开（公告）日 2013. 06. 12,公开了一种用于HEVC的空间可缩放性的方法和设备，该技术在视频分发系统 中，提供了用来将输入视频流302分割成用于所述视频流的多个信道中的每一个的分块的 划分器105。信道分析器306被親合到所述划分器，其中，所述信道分析器分解所述分块。 编码器106被耦合到所述信道分析器以将经分解的分块编码成经编码的比特流208, 210， 其中，所述编码器从所述多个信道中的至少一个接收编译信息以在将所述经分解的分块编 码成所述经编码的比特流中使用。解码器124接收经编译的比特流以对所接收到的比特流 进行解码并且以重构所述输入视频流。所述解码器使用所述编译信息来对所述比特流进行 解码。但该现有技术没有针对不同频带划分之间的优先级关系，在低码率情况下的编码效 果难以满足工业需要。
【发明内容】
[0005] 本发明针对现有技术存在的上述不足，提出一种基于变换下采样的低码率视频编 码方法及系统，采用二维变换对原视频帧进行下采样，对获得的低频系数通过归一化使之 转化为适合混合编码框架的输入信号，并对其进行编码。对高频系数通过位平面编码逐层 扫描依次获得能量最为集中的大系数，然后通过帧分割处理对每次扫描获得的结果进行块 编码。由于下采样的关系，使得编码帧变小，从而大大降低编码时间，而结合高频系数的编 码，在编码效果上却能仍然和原混合编码框架有着相近的信噪比。
[0006] 本发明是通过以下技术方案实现的：
[0007] 本发明涉及一种基于变换下采样的低码率视频编码方法，包括以下步骤：
[0008] 第一步，采用小波变换对视频帧进行下采样，得到的变换系数分为一个低频子带 和三个高频自带，分别对低频子带利用混合编码框架进行编码、对高频子带利用位平面编 码以及帧分割处理进行编码组合生成整个一帧的编码码流。
[0009] 所述的小波变换的采样率为2。
[0010] 对于视频帧的下采样，最为简单的方式就是对视频信号进行低通滤波后直接对像 素进行采样，这种方法虽然简单，但是没有考虑到各个像素之间的想关性，使得内插的结果 往往会带来很大误差。考虑利用变换来对信号进行下采样，由于变换系数是通过各像素之 间的关系计算得到的，能够很好地保留像素之间的相关性。小波变换是基于整个视频帧进 行的变换，和其他类似于DCT等基于宏块的变换相比更好地考虑了整个视频帧像素之间的 关系。同时小波逆变换也能很好的减少甚至消除内插带来的块效应，所以选取小波变换来 对视频帧进行下采样。考虑到变换的一般性，本发明可以根据具体应用场景选取不同的二 维变换对视频帧进行下采样，比如可以选取离散余弦变换等。
[0011] 对于采样率的选择需要同时考虑到码率以及编码效果的影响。若增大采样率，可 以大大降低码率，但是反变换带来的误差就会增大，影响到编码效果；相反减小采样率虽然 可以减小内插带来的误差，提升编码效果，但是码率会有一定的提升。所以平衡好码率以及 编码效果之间的关系是采样率选择的重要因素。通过文献查阅，对之前工作的学习以及相 关实验效果显示，选取采样率为2可以利用尽可能少的码率得到最好的编码效果。考虑到 实用性，本发明给出采样率的不同选择，若给定编码码率比较低，可以适当提高采样率到4 或8来减少低频信息所需要编码的内容。
[0012] 第二步，对小波变换后的视频帧进行二维变换得到原始大小四分之一的低频系 数，然后将低频系数经过映射和向下取整处理，归一化后进行ffivc编码；
[0013] 所述的归一化的量化阶为8bit或lObit。
[0014] 低频系数的编码较为简单，由于混合编码标准的高效，对包含大量视频信息的低 频系数采用最新编码标准HEVC编码来保证整体的编码质量。对原视频帧进行二维变换 可以很容易就得到大小为原来四分之一的低频系数。由于变换系数多为小数，而且会有负 数的存在，在对其进行ffiVC编码之前需要将变换系数归一化成0?255 (8比特）或0? 1023(10比特）之间的整数，这样才能被HEVC进行编码。通过实验发现将低频系数映射到 0?255比较有效，和10比特相比可以节省2比特数据，而引入的误差只有0.02dB，这误差 在随后的HEVC编码中和低码率下的量化误差相比几乎可以忽略不计，所以选择8比特作为 量化标准来对低频系数进行归一化。
[0015] 如在码率较高的环境下，本发明可以选择10比特作为量化标准来提高编码的效 果。
[0016] 第三步，利用位平面编码扫描得到高频系数中的大系数，然后对得到的0 - 1位平 面进行帧分割并进行编码；
[0017] 小波变换之后大量信息被保存在低频系数之中，高频系数只有少数绝对值较大。 需要对这些包含较多信息的大系数进行选择并编码，来弥补仅仅利用低频信号编码带来的 不足。
[0018] 首先利用位平面编码对绝对值较大的系数进行选择。基本思想是逐层通过对给定 阈值进行比较来确定是否为重要系数。每一次扫描和给定阈值进行比较，如果绝对值大于 该阈值则位平面置一，否则置零。这样就可以把大于该阈值的系数全部找出。在下一次扫 描中将阈值变为原来的一半，类似地可以找出次大的一些系数，这样不断减小阈值就可以 依次找出相关的高频系数。由于扫描是分层进行的，后续得到的高频码流也将是可任意截 断的。
[0019] 然后对得到的0 -1位平面利用帧分割处理进行编码。由于高频系数存在大量绝 对值很小的系数，在每次扫描后的位平面都会有大量的0出现。如果对这些0按比特进行 编码的话会降低压缩效率。考虑将这些0按宏块结合起来，如果当前位平面只包含0或者 1则用一个比特就能进行编码。如果同时包含0和1，那么对该位平面进行分割，平均分成 四块，对每一块再进行类似的位平面分割，直到其只包含有一种信号为止，这样就可以对大 量的0按一定分块原则进行有效地编码。
[0020] 第四步，对不同频带的系数进行能量统计，按照不同的能量比例对给定的编码码 率进行对应分配。
[0021] 由于对低、高频系数分配不同的码率会造成不同的编码效果，平衡好不同频带编 码引入的误差可以使整个编码过程获得最优的编码效果。主要根据系数能量关系进行码率 分配。对能量大的频带分配多的码率，这样可以保证主要的视频帧信息得以编码传输。在 对原始视频帧进行变换之后对不同频带的系数进行能量统计，按照不同的能量比例对给定 的编码码率进行分配。由于一般情况下变换低频系数包含视频帧绝大多数的信息能量，所 以码率分配的结果一般以低频为主，对高频系数只编码少数几个绝对值较大的系数。
[0022] 本发明涉及一种实现上述方法的系统，包括：二维变换模块、归一化模块、位平面 编码模块、帧分割模块和码率分配模块，其中：二维变换模块与视频输入帧相连并传输变换 系数信息，归一化模块与变换低频信息相连并传输待编码低频信息，位平面编码模块与变 换高频信息相连并传输位平面信息，帧分割模块与位平面信息相连并传输高频编码信息， 码率分配模块与通过统计输入视频信号对地高频码率分配进行控制。 技术效果
[0023] 与现有技术相比，本发明将原视频帧进行下采样，然后将低频系数和高频系数按 不同的编码方法进行编码。综合考虑整个编码过程，可以选择小波变换作为下采样工具，同 时采样率选取2。由于低频信号包含大量视频信息，选取HEVC编码方法来保证低频信号的 编码质量。考虑到系数归一化引入的误差，将系数归一化到8比特。对于高频信号，由于 码率有限仅对包含大量信息的大系数进行编码。通过位平面编码技术依次对系数从大到小 进行选择，然后在每一次扫描之后通过帧分割来对位平面进行高效编码。最后根据能量关 系对低、高频系数进行码率分配。本发明算法由于降低了混合编码框架编码的分辨率可以 大大减少编码的复杂度，同时保证低频信号的编码可以在低码率信道下得到优异的编码效 果。
【专利附图】
【附图说明】
[0024] 图1是本发明方法位平面编码流程图。
[0025] 图2是本发明方法帧分割处理流程图。
[0026] 图3是本发明系统示意图。
【具体实施方式】
[0027] 下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行 实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施 例。 实施例1
[0028] 如图1所示，本实施例包括以下步骤：
[0029] -、视频信号的下采样
[0030] 由于在低码率信道下码率有限，需要利用有限码率编码比较重要的内容。将视频 信号下采样可以得到包含大量视频信息的低频信号，对下采样后的低频信号进行编码可以 保证在给定的低码率之下编码这些重要信息。具体编码框架流程如下：
[0031] 1. 1对输入的视频信号以帧为单位进行小波变换，变换后的系数进行重新排列，可 以得到一个低频子带和三个高频子带；
[0032] 1. 2对一个低频子带按步骤二所述的方法利用HEVC进行编码得到输出码流；
[0033] 1. 3对三个高频子带分别按步骤三所述的方法利用位平面编码以及帧分割处理进 行编码得到输出码流；
[0034] 1. 4将步骤1. 2和步骤1. 3中得到的码流按照低频优先的原则组合生成整个一帧 的编码码流。
[0035] 从上述的下采样编码框架来看，整个过程由变换下采样和子带分别编码组成，下 采样的引入可以有效保证在低码率信道下低频信号的优先编码，同时加上适当的高频系数 编码，可以得到类似于ffiVC编码的效果。在下采样的帮助下，占运算复杂度主体的HEVC所 要编码的视频帧分辨率变为原来的四分之一，这样在运算复杂度上得到的很大的改善。
[0036] 二，低频系数的混合编码框架编码
[0037] 对低频信号进行混合编码框架编码比较简单，只需要将变换下采样后的低频系数 形成新的一个视频帧即可运用混合编码框架进行编码。其中最为主要的是将低频系数映射 成为适合混合编码框架编码的8bit整形数据。具体编码流程如下：
[0038] 2. 1将小波变换后的视频帧左上角四分之一取出作为低频信号进行后续的编码；
[0039] 2. 2分别找出低频系数中的最大值Max和最小值Min ;
[0040] 2. 3利用公式 将每一个低频系数coe映射成0?255之间 C〇enew
[0041] 2.4对(：〇6_进行向下取整
【权利要求】
1. 一种基于变换下采样的低码率视频编码方法，其特征在于，包括以下步骤： 第一步，采用小波变换对视频帧进行下采样，得到的变换系数分为一个低频子带和三 个高频自带，分别对低频子带利用混合编码框架进行编码、对高频子带利用位平面编码以 及帧分割处理进行编码组合生成整个一帧的编码码流； 第二步，对小波变换后的视频帧进行二维变换得到原始大小四分之一的低频系数，然 后将低频系数经过映射和向下取整处理，归一化后进行HEVC编码； 第三步，利用位平面编码扫描得到高频系数中的大系数，然后对得到的〇 - 1位平面进 行帧分割并进行编码； 第四步，对不同频带的系数进行能量统计，按照不同的能量比例对给定的编码码率进 行对应分配。
2. 根据权利要求1所述的方法，其特征是，第一步中所述的小波变换的采样率为2。
3. 根据权利要求1所述的方法，其特征是，第二步中所述的归一化的量化阶为Sbit或 IObit0
4. 根据权利要求1或2所述的方法，其特征是，所述的第一步具体包括： 1. 1对输入的视频信号以帧为单位进行小波变换，变换后的系数进行重新排列，可以得 到一个低频子带和三个高频子带； 1. 2对一个低频子带按步骤二所述的方法利用HEVC进行编码得到输出码流； 1. 3对三个高频子带分别按步骤三所述的方法利用位平面编码以及帧分割处理进行编 码得到输出码流； 1. 4将步骤1. 2和步骤1. 3中得到的码流按照低频优先的原则组合生成整个一帧的编 码码流。
5. 根据权利要求1或3所述的方法，其特征是，所述的第二步具体包括： 2. 1将小波变换后的视频帧左上角四分之一取出作为低频信号进行后续的编码； 2. 2分别找出低频系数中的最大值Max和最小值Min; 2. 3利用公式Coenew = X255:将每一个低频系数coe映射成〇?255之间 c〇enew; 2. 4对Coenew进行向下取整coenor =LcoenevJ得到归一化后〇?255之间的整数coenOT; 2. 5对归一化后的系数进行混合编码框架编码得到低频信号编码码流。
6. 根据权利要求1所述的方法，其特征是，第三步中所述的位平面编码，具体包括： 3. I. 1对于给定阈值Thr对高频系数进行扫描，如果系数绝对值大于Thr则位平面置 一，否则位平面置零； 3. 1. 2根据位平面得到解码系数，对于位平面为1的系数用Thr近似，位平面为0的系 数用〇近似； 3. 1. 3将高频系数与步骤3. 1. 2得到的解码系数相减得到第二层待扫描的系数矩阵； 3. 1. 4选取原阈值的一半Thr/2作为新的阈值； 3. 1. 5重复步骤3.I. 1?3. 1. 4直至用于高频系数编码的码流用完。
7. 根据权利要求1所述的方法，其特征是，第三步中所述的帧分割处理，具体包括： 3. 2. 1对于待编码位平面检测是否全0或全1，若全0或全1，则用一个比特将此位平面 进行编码，否则转入步骤3. 2. 2 ; 3. 2. 2将位平面等分成四份，得到分辨率为原来一半的四个新的位平面； 3. 2. 3对得到的新的四个位平面重复步骤3. 2. 1?3. 2. 2直至每个分割后的位平面中 只包含一种数据。
8. 根据权利要求1所述的方法，其特征是，所述的第四步具体包括： 4. 1分别计算低、高频系数所包含的的信号能量； 4. 2得到低、高频系数能量之间的比例关系； 4. 3按照低、高频系数能量比例分配编码码率。
9. 一种实现上述权利要求所述方法的系统，其特征在于，包括：二维变换模块、归一化 模块、位平面编码模块、帧分割模块和码率分配模块，其中：二维变换模块与视频输入帧相 连并传输变换系数信息，归一化模块与变换低频信息相连并传输待编码低频信息，位平面 编码模块与变换高频信息相连并传输位平面信息，帧分割模块与位平面信息相连并传输高 频编码信息，码率分配模块与通过统计输入视频信号对地高频码率分配进行控制。
【文档编号】H04N19/86GK104469389SQ201410748130
【公开日】2015年3月25日 申请日期:2014年12月9日 优先权日:2014年12月9日
【发明者】解蓉, 郑侃侃, 张良 申请人:上海交通大学