一种低传输带宽的视频编码方法
【专利摘要】本发明提供一种低传输带宽的视频编码方法，包括以下步骤：步骤S1，获取原始视频的图像；步骤S2，对原始视频进行预处理，得到关键帧；步骤S3，对相邻两个关键帧之间的多帧图像进行帧间预测编码的预处理；步骤S4，采用自适应隔帧编码的方式对原始视频进行编码；步骤S5，输出生成的码流。本发明采用自适应的主动隔帧编码方式，在视频编码端能够大幅减少了需要编码的视频图像数量，而在解码端通过时域内插补帧的方式利用已解码的图像作为参考帧就可以还原出未经编码的图像，有效地提高视频的压缩率，很大程度上减少了视频的码流；节省下来的码流还可以用于提高关键帧的编码效果，提高重构图像的质量和还原出来的图像的准确性。
【专利说明】
-种低传输带宽的视频编码方法
技术领域
[0001] 本发明设及一种视频编码方法，尤其设及一种低传输带宽的视频编码方法。
【背景技术】
[0002] 视频传输的数据量巨大，如果不经过处理就进行传输，对传输带宽和存储空间的 要求都很高，由于实际传输带宽是有限的，所W在保证一定的视频编码重构图像质量的同 时，使其占用极少的带宽，从而对视频进行有效传输，必须对原始视频进行压缩编码，所W 视频编码应该朝着更高的压缩比方向发展，并且还要保证失真可控。
【发明内容】
[0003] 本发明所要解决的技术问题是需要提供一种能够有效地提高视频的压缩率，在很 大程度上减少了视频的码流的低传输带宽的视频编码方法。
[0004] 对此，本发明提供一种低传输带宽的视频编码方法，包括W下步骤：
[0005] 步骤S1，获取原始视频的图像；
[0006] 步骤S2，对原始视频进行预处理，得到关键帖；
[0007] 步骤S3,对相邻两个关键帖之间的多帖图像进行帖间预测编码的预处理；
[0008] 步骤S4,采用自适应隔帖编码的方式对原始视频进行编码；
[0009] 步骤S5,输出生成的码流。
[0010] 本发明的进一步改进在于，所述步骤S2中的关键帖为每一个场景的首帖。
[0011] 本发明的进一步改进在于，将第一个关键帖作为参考帖，然后依次计算该第一个 关键帖与后续待编码的每一帖图像的相似度，将所述相似度与预设阔值进行比较，直到相 似度低于预设阔值，则确定该帖为下一个关键帖。
[001^ 本发明的进一步改进在于，所述相识度的计算公式为S(Zi，Zj)=Wv*Sv(Zi，Zj)+Wm* Sm(Zi，Zj);其中，S(Zi，Zj)代表i帖和j帖的总相似度，Sv(Zi，Zj)和Sm(Zi，Zj)分别表示视觉特 征相似度和运动特征相似度，Wv和Wm分别表示视觉和运动分量的权重。
[0013] 本发明的进一步改进在于，所述步骤S3中帖间预测编码的预处理为对相邻两个关 键帖之间的多帖图像进行双向差别帖和差别帖交叉排序的处理。
[0014] 本发明的进一步改进在于，所述步骤S4中，自适应隔帖编码的方式为对关键帖进 行帖内压缩编码，略过双向差别帖，对差别帖进行与前一关键帖的差别编码。
[0015] 本发明的进一步改进在于，所述自适应隔帖编码的方式中，对关键帖进行编码时， 遍历所有关键帖进行帖内的预测编码方式，进而选择数据量小的预测编码方式;对差别帖 进行差别编码时，对于当前宏块，首先读取前一帖相应宏块的预测编码方式，选择与前一帖 的预测编码方式相关的预测编码方式作为候选范围，然后对候选范围内的方式分别进行运 动估计和率失真代价的计算，选择率失真代价最小的作为差别帖的预测编码方式。
[0016] 本发明的进一步改进在于，所述预测编码方式的选择方法如下:首先，对输入的原 始像素进行2:1的亚采样，对采样后的像素进行边缘方向向量计算，生成宏块的边缘方向直 方图，并由边缘方向直方图求出候选预测模式;然后，判断求出的边缘方向直方图是否就有 单峰性，如果具有单峰性则选择边缘方向直方图中幅值最大的一个预测编码方式W及相邻 的两个预测编码模式为候选预测编码模式;如果不具备单峰性则采用DC编码模式;最后，对 各个候选预测编码模式计算失真代价值，选择失真代价值最小的一种作为最终的预测编码 模式。
[0017] 本发明的进一步改进在于，确定略过双向差别帖个数的方法为：比较通过隔帖压 缩和通过标准H.264压缩m帖视频图像后，重构m帖图像的总失真，η初始为0,依次增加；当满 足
耐，则略过i帖最 佳，其中Bc(n)和Bs(n)分别表示隔帖压缩和标准H.264压缩下的失真。
[0018] 本发明的进一步改进在于，所述步骤S4中，当输入的视频序列是双向差别帖时，计 算双向差别帖的前后关键帖之间的帖差;比较帖差与帖差阔值，如果帖差小于帖差阔值，贝U 省去对该双向差别帖的编码;如果帖差大于帖差阔值，则对该双向差别帖所在区域进行补 偿，再将补偿信息进行编码;所述帖差的计算公式为C=Σlu|A(i，j)-B(i，j)|シn，其中，C 代表帖差，A(i，j)和B(i，j)分别代表前后两个关键帖的像素点，η为图像所包含的像素点总 数。
[0019] 与现有技术相比，本发明的有益效果在于:采用自适应的主动隔帖编码方式，在视 频编码端能够大幅减少了需要编码的视频图像数量，而在解码端通过时域内插补帖的方式 利用已解码的图像作为参考帖就可W还原出未经编码的图像，有效地提高视频的压缩率， 很大程度上减少了视频的码流;节省下来的比特码流不仅可W节省传输带宽，而且还可W 用于提高关键帖的编码效果，提高重构图像的质量和还原出来的图像的准确性。
【附图说明】
[0020] 图1是本发明一种实施例的工作流程示意图。
【具体实施方式】
[0021] 下面结合附图，对本发明的较优的实施例作进一步的详细说明。
[0022] 如图1所示，本例提供一种低传输带宽的视频编码方法，包括W下步骤：
[0023] 步骤S1，获取原始视频的图像；
[0024] 步骤S2，对原始视频进行预处理，得到关键帖；
[0025] 步骤S3,对相邻两个关键帖之间的多帖图像进行帖间预测编码的预处理；
[0026] 步骤S4,采用自适应隔帖编码的方式对原始视频进行编码；
[0027] 步骤S5,输出生成的码流。
[0028] 本例仍属于标准Η. 264压缩的混合编码框架，原始视频经过帖内预测或帖间预测， 变换编码后生成码流;本例所述步骤S2中的关键帖为每一个场景的首帖。
[0029] 本例获取原始视频的图像后，首先需要对原始视频进行预处理，找到所有关键帖， 即每一场景的首帖。将第一个关键帖作为参考帖，然后依次计算该第一个关键帖与后续待 编码的每一帖图像的相似度，将所述相似度与预设阔值进行比较，如果相似度高于阔值，贝U 不存在场景切换;直到相似度低于预设阔值，所述预设阔值为预设的预设阔值，该预设阔值 一般会根据视频比特数变化量占比为依据来确定，如设定为0.7~0.9左右，也可W根据实 际要求进行限定和修改。则代表图像场景变化，确定该帖为下一个关键帖。每个场景的首帖 都为关键帖，所述关键帖也称I帖，在本例中进行帖内预测编码。所述预设阔值可W根据视 频还原要求进行自定义的设置，预设阔值设置得越小，则还原出来的视频失真越小，生成的 码流也相应变大;反之亦然。
[0030] 相识度阔值设置方法为利用图像的全局颜色特征和运动特征来分割场景，同一场 景不仅视觉特征相似，而且运动特征也具有一致性。所述相识度的计算公式为S(Zi，Zj) = Wv*Sv(Zi，Zj)+Wm*Sm(Zi，Zj);其中，S(Zi，Zj)代表i帖和 j帖的总相似度，S^Zi，Zj)和Sm(Zi，Zj) 分别表示视觉特征相似度和运动特征相似度，Sv(Zi，Zj)采用HSV颜色直方图计算，因为HSV 颜色空间与人的感知颜色方式接近，而Sm(Zi，Zj)取决于镜头个数和捜索范围。Wv和Wm分别表 示视觉和运动分量的权重，即分别表示视觉特征相似度和运动特征相似度的权重。视觉特 征相似度和运动特征相似度的取值范围为0~1，但是视觉特征相似度的权重要小于运动特 征相似度的权重，一般视觉相似度的权重为0.2~0.4，运动特征相似度的权重为0.6~0.8。
[0031] 权重的计算方法为:Wm的取值为运动特征相似度的方差与该运动特征相似度和视 觉特征相似度的方差之和的比值;Wv的取值为视觉特征相似度的方差与运动特征相似度和 视觉特征相似度的方差之和的比值。
[0032] 所有的关键帖确定后，两个关键帖之间的多帖图像属于同一场景的图像。统一场 景内的图像，除了首帖图像用帖内预测编码外，对该同一场景中的剩余图像，采用帖间预测 编码进行处理。现有的帖间预测编码的方式多达几十种，可W根据相邻帖的预测方式相关 性高的特点，缩小预测模式的可选范围，降低了算法的复杂度。无论是帖内预测编码还是帖 间预测编码都会产生残差，即预测图像和原始图像的差值。将残差经变换、量化和赌编码后 与预测信息一起传输到解码端，就形成码流。
[0033] 本例所述预测编码方式的选择方法如下:首先，对输入的原始像素进行2:1的亚采 样，对采样后的像素进行边缘方向向量计算，生成宏块的边缘方向直方图，并由边缘方向直 方图求出候选预测模式;然后，判断求出的边缘方向直方图是否就有单峰性，如果具有单峰 性则选择边缘方向直方图中幅值最大的一个预测编码方式W及相邻的两个预测编码模式 为候选预测编码模式;如果不具备单峰性则采用DC编码模式;最后，对各个候选预测编码模 式计算失真代价值，选择失真代价值最小的一种作为最终的预测编码模式。
[0034] 本例所述步骤S3中帖间预测编码的预处理为对相邻两个关键帖之间的多帖图像 进行双向差别帖和差别帖交叉排序的处理。
[0035] 也就是说，原始视频采用IB…ΒΡΒ···ΒΡ的帖结构，每一新场景的首帖就是I帖，即关 键帖;然后Β帖和Ρ帖交叉排序，所述Β帖为双向差别帖，也就是Β帖记录的是本帖与前后帖的 差别;所述Ρ帖为差别帖，也就是Ρ帖表示的是运一帖跟之前的一个关键帖或与之前一个Ρ帖 之间的差别。所述步骤S4中的自适应隔帖编码的方式就是主动略过其中的Β帖不进行编码， 只对I帖和Ρ帖进行编码，对应地在解码端对I帖和Ρ帖进行解码，还原出略过的Β帖。每一对I 帖与Ρ帖或者Ρ帖与Ρ帖之间的Β帖数量是在满足图像质量即保证每一帖Β帖图像的失真率都 在允许范围内的要求下，自适应决定的。Β帖的数量越多，压缩的效果也越明显。
[0036] 本例确定略过双向差别帖个数的最佳方法为：比较通过隔帖压缩和通过标准 Η. 264压缩m帖视频图像后，重构m帖图像的总失真，η初始为0,依次增加；当满足 邹爱(诞< Σ!紛耐;Β碱）0冷且我為接,始> BsO'Ch. 0,9，则略过i帖最佳， 其中Bc(n)和Bs(n)分别表示隔帖压缩和标准Η. 264压缩下的失真。
[0037] 本例所述步骤S4中，自适应隔帖编码的方式为对关键帖进行帖内压缩编码，略过 双向差别帖，对差别帖进行与前一关键帖的差别编码。
[0038] 所述自适应隔帖编码的方式中，对关键帖进行编码时，遍历所有关键帖进行帖内 的预测编码方式，进而选择数据量最小的预测编码方式作为最佳编码方式;对差别帖进行 差别编码时，对于当前宏块，首先读取前一帖相应宏块的预测编码方式，选择与前一帖的预 测编码方式相关的预测编码方式作为候选范围，然后对候选范围内的方式分别进行运动估 计和率失真代价的计算，选择率失真代价最小的作为差别帖的预测编码方式。
[0039] 输入的视频图像W宏块为单位被划分成不同区域，根据在不同的过程中被分别称 为编码单元、预测单元和变换单元。本例对关键帖的编码要求较高，因此可W在对关键帖进 行帖内预测时，将预测单元划分得更小，提高预测精度。
[0040] 如图1所示，所述步骤S4中，当输入的视频序列是双向差别帖时，计算双向差别帖 的前后关键帖之间的帖差；比较帖差与帖差阔值，该帖差阔值一般会根据视频比特数变化 量占比为依据来确定，如设定为0.4左右，也可W根据实际要求进行限定和修改。如果帖差 小于帖差阔值，则省去对该双向差别帖的编码;如果帖差大于帖差阔值，则对该双向差别帖 所在区域进行补偿，再将补偿信息进行编码;所述帖差的计算公式为C=Ei,j|A(i，j)-B(i， j)P/n，其中，C代表帖差，A(i，j)和B(i，j)分别代表前后两个关键帖的像素点，η为图像所 包含的像素点总数。
[0041] 由于物体运动的非线性和还原图像线性估计的矛盾性导致局部区域失真严重，但 是范围不大，只要对该区域进行改进就能很大程度提高视频图像质量，因此对于此类图像 只需对运些局部区域编码，而图像的其他部分依然可W省去编码。采用局部编码的方式，需 要确定失真率大的图像区域。可W利用编码图像缓冲区的参考帖还原出中间的帖，将该帖 与重构帖图像进行比较，如果该帖的失真代价小，则不需要局部补偿，在解码端就能进行还 原。如果重构帖的失真代价比较小，则对图像中失真代价大于阔值的块进行编码，所有Β帖 都要进行判断。
[0042] 由于视频中有的序列变化较大，有的则相对运动缓慢。其中对于视频序列帖间变 化较大时，运动估计不够准确，还原的图像质量明显下降；而对于视频序列帖间变化缓慢 时，图像质量下降的不明显，能够满足视觉需求。由于存在此局限性，会影响图像重构的质 量，所W需要对还原后失真严重的图像进行局部处理。编码端将运类图像信息标记并传输 到解码端。
[0043] 对于无补偿的图像帖的还原方法是，利用前后相邻的I帖或Ρ帖对应位置像素点的 像素值加权和得到还原帖的像素点。对于带补偿的图像帖的还原方法是，根据前后相邻的I 帖或Ρ帖找到该Β帖的运动矢量，再根据局部编码信息，检测出一个补偿范围，在运个范围内 采用矢量调整和双向运动估计补偿该局部图像，最终得到满足要求的还原帖。
[0044] 本例中，Β帖由其相邻的I帖或Ρ帖计算得到，所帖与Ρ帖影响Β帖的还原效果，而 Ρ帖又是根据帖间预测得到，所W有必要提高帖间预测的准确度，对此可W采用更小尺寸的 统一大小的宏块来提高预测精度，提高压缩比。视频图像经过自适应的隔帖编码后，与编码 所需头信息形成的码流，根据RTSP协议经网络适应层进行封包传输和存储，满足较低的传 输带宽要求。
[0045] 本例采用自适应的主动隔帖编码方式，在视频编码端能够大幅减少了需要编码的 视频图像数量，而在解码端通过时域内插补帖的方式利用已解码的图像作为参考帖就可W 还原出未经编码的图像，有效地提高视频的压缩率，很大程度上减少了视频的码流;节省下 来的比特数码流不仅可W节省传输带宽，而且还可W用于提高关键帖的编码效果，提高重 构图像的质量和还原出来的图像的准确性。
[0046] W上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于运些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下，还可W做出若干简单推演或替换，都应当视为属于本发明的 保护犯i围。
【主权项】
1. 一种低传输带宽的视频编码方法，其特征在于，包括以下步骤： 步骤S1，获取原始视频的图像； 步骤S2，对原始视频进行预处理，得到关键帧； 步骤S3,对相邻两个关键帧之间的多帧图像进行帧间预测编码的预处理； 步骤S4,采用自适应隔帧编码的方式对原始视频进行编码； 步骤S5,输出生成的码流。2. 根据权利要求1所述的低传输带宽的视频编码方法，其特征在于，所述步骤S2中的关 键帧为每一个场景的首帧。3. 根据权利要求2所述的低传输带宽的视频编码方法，其特征在于，将第一个关键帧作 为参考帧，然后依次计算该第一个关键帧与后续待编码的每一帧图像的相似度，将所述相 似度与预设阈值进行比较，直到相似度低于预设阈值，则确定该帧为下一个关键帧。4. 根据权利要求3所述的低传输带宽的视频编码方法，其特征在于，所述相识度的计算 公式为S(Zi，Zj) = Wv*Sv(Zi，Zj)+Wm*Sm(Zi，Zj);其中，S(Zi，Zj)代表i帧和 j帧的总相似度，Sv (21，^)和3?(21，^)分别表示视觉特征相似度和运动特征相似度，1和1分别表示视觉和运 动分量的权重。5. 根据权利要求1至4任意一项所述的低传输带宽的视频编码方法，其特征在于，所述 步骤S3中帧间预测编码的预处理为对相邻两个关键帧之间的多帧图像进行双向差别帧和 差别帧交叉排序的处理。6. 根据权利要求5所述的低传输带宽的视频编码方法，其特征在于，所述步骤S4中，自 适应隔帧编码的方式为对关键帧进行帧内压缩编码，略过双向差别帧，对差别帧进行与前 一关键帧的差别编码。7. 根据权利要求6所述的低传输带宽的视频编码方法，其特征在于，所述自适应隔帧编 码的方式中，对关键帧进行编码时，遍历所有关键帧进行帧内的预测编码方式，进而选择数 据量小的预测编码方式;对差别帧进行差别编码时，对于当前宏块，首先读取前一帧相应宏 块的预测编码方式，选择与前一帧的预测编码方式相关的预测编码方式作为候选范围，然 后对候选范围内的方式分别进行运动估计和率失真代价的计算，选择率失真代价最小的作 为差别帧的预测编码方式。8. 根据权利要求7所述的低传输带宽的视频编码方法，其特征在于，所述预测编码方式 的选择方法如下：首先，对输入的原始像素进行2:1的亚采样，对采样后的像素进行边缘方 向向量计算，生成宏块的边缘方向直方图，并由边缘方向直方图求出候选预测模式;然后， 判断求出的边缘方向直方图是否就有单峰性，如果具有单峰性则选择边缘方向直方图中幅 值最大的一个预测编码方式以及相邻的两个预测编码模式为候选预测编码模式;如果不具 备单峰性则采用DC编码模式;最后，对各个候选预测编码模式计算失真代价值，选择失真代 价值最小的一种作为最终的预测编码模式。9. 根据权利要求6所述的低传输带宽的视频编码方法，其特征在于，确定略过双向差别 帧个数的方法为：比较通过隔帧压缩和通过标准H. 264压缩m帧视频图像后，重构m帧图像的 总失真，η初始为0，依次增加；当满足且 时，则略过1帧最佳，其中^(1〇和队(11)分别表示隔帧压缩和标准!1.264压缩下的失真。10. 根据权利要求1至4任意一项所述的低传输带宽的视频编码方法，其特征在于，所述 步骤S4中，当输入的视频序列是双向差别帧时，计算双向差别帧的前后关键帧之间的帧差； 比较帧差与帧差阈值，如果帧差小于帧差阈值，则省去对该双向差别帧的编码;如果帧差大 于帧差阈值，则对该双向差别帧所在区域进行补偿，再将补偿信息进行编码;所述帧差的计 算公式为〇=乙^以(^-8(1，」）| 2/11，其中，(：代表帧差4(1」)和以^分别代表前后两 个关键帧的像素点，η为图像所包含的像素点总数。
【文档编号】H04N19/573GK106060539SQ201610428792
【公开日】2016年10月26日
【申请日】2016年6月16日
【发明人】李永旭, 马自强, 肖子玉, 唐大钫, 田言金, 毕鹏飞, 徐圣凯, 王建鹏
【申请人】深圳风景网络科技有限公司, 李永旭