基于卷积神经网络的帧内编码优化方法及装置的制造方法
【技术领域】
[0001] 本发明设及视频压缩技术领域，具体设及一种基于卷积神经网络的帖内编码优化 方法及装置。
【背景技术】
[0002] 高效率视频编码（肥VC，Hi曲EfficiencyVideoCoding)是联合视频组在2013 年发布的新一代视频编码标准。与上一代视频编码标准H. 264相比较，在相同的视频质量 情况下，其压缩效率提高了一倍左右，也就是比特率降低一半左右。肥VC定义了 3种类型的 单元；编码单元（CU，CodingUnit)、预测单元（PU，PredictionUnit)W及变换单元（TU， Transform化it)。对于编码的一帖图像，首先被分割成多个最大编码单元（LCU，Largest Coding化it),LCU又分割为四个子的CU，每个子的CU可W继续分割直到最大深度为止。 肥VC标准定义了四种尺寸类型的CU;64X64 (LCU)，32X32,16X16,8X8,其中，对于尺寸 为8X8的CU，其PU的尺寸可W为8X8或4X4的预测模型由H. 264的9种扩大至35种， 包括直流值C)和planar模式。TU是针对正交变换和量化。
[000引肥VC采用的递归的方式对LCU进行四叉树结构的划分。一个LCU会递归遍历所有 深度的CU。肥VC的帖内预测模式的捜寻过程：先利用基于绝对差的和的代价函数遍历全部 的35中预测模式，从中寻出n中候选模式，再提取上边块和左边块的最佳预测模式并构成 最有可能的候选模式，最后把n种和最有可能的候选模式构成预测模式集合，利用率失真 代价选取最佳的预测模式。TU是在CU/PU模式确定后所得到的残差进行的变换单元，找到 残差矩阵最佳的分割模式，最大的减少信息冗余，使得最终的编码信息最少。
[0004] 整个帖内编码模式捜索的过程，就是从肥VC标准定义的所有CU/PU/TU模式组合 中寻找到最优的=者组合模式，该过程按照率失真代价最优的原则进行。然而整个帖内编 码模式捜索过程所带来的计算复杂度是十分巨大的，因而需要一系列的快速编码算法，来 减少编码器的编码负担。目前，减少编码器计算复杂度的算法主要可W分成S类；一是利 用提前终止的算法，减少不太可能的CU模式捜索；二是滤除帖内预测时不太可能的预测模 式；=是简化率失真的计算复杂度。
[0005] 采用W上方法后，在平均意义上确实可W大幅度的降低编码器的计算复杂度，然 而在实际的编码过程中存在着不确定性和不稳定性，很难完成实时编码的实现。
【发明内容】
[0006] 针对现有技术在实际的编码过程中存在着不确定性和不稳定性，很难完成实时编 码的实现的缺陷，本发明提供了一种基于卷积神经网络的帖内编码优化方法及装置。
[0007] 本发明提供的一种基于卷积神经网络的帖内编码优化方法，包括：
[000引将当前编码单元压缩成尺寸为8X8的数据块，并获取所述8X8的数据块的边缘 强度，所述当前编码单元的尺寸为NXN，其中NG{8，16,32,64};
[0009] 根据所述8X8的数据块的边缘强度确定所述当前编码单元的类型，所述类型包 括平坦的编码单元、强边缘强度的编码单元和模式不确定的编码单元；
[0010] 若所述当前编码单元为模式不确定的编码单元，并且所述当前编码单元的尺寸为 64X64或者16X16,则对所述当前编码单元进行最优编码模式捜索，并且进行分割；
[0011] 若所述当前编码单元为模式不确定的编码单元，并且所述当前编码单元的尺寸为 32X32或者8X8,则将所述8X8的数据块输入卷积神经网络中，确定所述当前编码单元为 平坦的编码单元或者强边缘强度的编码单元；
[0012] 若所述当前编码单元为平坦的编码单元，则只对所述当前编码单元进行最优编码 模式的捜索，并不对所述当前编码单元进行分割；
[0013] 若所述当前编码单元为强边缘强度的编码单元，则不对所述当前编码单元进行最 优编码模式的捜索，直接进行分割。
[0014] 进一步地，所述将当前编码单元压缩成尺寸为8X8的数据块的步骤，包括：
[0015] 采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8X8的数据块。
[0016] 进一步地，所述采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8X8 的数据块的步骤，具体为：
[0017] 采用W下公式将当前编码单元压缩成尺寸为8X8的数据块，
[001 引
【主权项】
1. 一种基于卷积神经网络的帧内编码优化方法，其特征在于，所述方法包括： 将当前编码单元压缩成尺寸为8 X 8的数据块，并获取所述8 X 8的数据块的边缘强度， 所述当前编码单元的尺寸为NXN，其中Ne {8, 16, 32, 64}; 根据所述8X8的数据块的边缘强度确定所述当前编码单元的类型，所述类型包括平 坦的编码单元、强边缘强度的编码单元和模式不确定的编码单元； 若所述当前编码单元为模式不确定的编码单元，并且所述当前编码单元的尺寸为 64X64或者16X16,则对所述当前编码单元进行最优编码模式搜索，并且进行分割； 若所述当前编码单元为模式不确定的编码单元，并且所述当前编码单元的尺寸为 32 X 32或者8 X 8,则将所述8 X 8的数据块输入卷积神经网络中，确定所述当前编码单元为 平坦的编码单元或者强边缘强度的编码单元； 若所述当前编码单元为平坦的编码单元，则只对所述当前编码单元进行最优编码模式 的搜索，并不对所述当前编码单元进行分割； 若所述当前编码单元为强边缘强度的编码单元，则不对所述当前编码单元进行最优编 码模式的搜索，直接进行分割。
2. 根据权利要求1所述的方法，其特征在于，所述将当前编码单元压缩成尺寸为8X8 的数据块的步骤，包括： 采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8X8的数据块。
3. 根据权利要求2所述的方法，其特征在于，所述采用局部平均和下采样的方式将当 前编码单元压缩成尺寸为8X8的数据块的步骤，具体为： 采用公式（1)将当前编码单元压缩成尺寸为8X8的数据块，
其中，Pu为压缩后尺寸为8X8的数据块中在（i，j)处的像素值， i，j e {〇, 1，2, ·7}，C1;k为当前编码单元在（1，k)处的像素值。
4. 根据权利要求1所述的方法，其特征在于，所述获取所述8X8的数据块的边缘强度 的步骤，具体包括： 采用公式（2)计算所述8X8的数据块在（i，j)位置的边缘强度值δ u，
其中，S Xu为边缘强度值得水平分量，δ y u为边缘强度值的竖直分量， i，j e {〇, 1，2, · · ·，6} 〇
5. 根据权利要求1所述的方法，其特征在于，所述根据所述8X8的数据块的边缘强度 确定所述当前编码单元的类型的步骤，包括： 判断所述8X8的数据块中边缘强度的最大值δ _以及边缘强度之和
是否满 足以下公式（3):
公式（3) 其中，dQ = u(Qp-Qs) XQp2+u(Qs-Qp) XQs2，Qp是量化参数，Qs是量化步长，u(x)是单 位阶跃函数； 若满足，则所述当前编码单元为平坦的编码单元； 若不满足，则判断所述8X8的数据块中水平和竖直边缘强度绝对值都大于量化参数 Qp的点的个数α是否大于预设阀值，若大于则所述当前编码单元为强边缘强度的编码单 元，否则为模式不确定的编码单元。
6. -种基于卷积神经网络的帧内编码优化装置，其特征在于，所述装置，包括： 压缩单元，用于将当前编码单元压缩成尺寸为8 X 8的数据块，并获取所述8 X 8的数据 块的边缘强度，所述当前编码单元的尺寸为ΝΧΝ，其中Ne {8, 16, 32,64}; 第一分类单元，用于根据所述8X8的数据块的边缘强度确定所述当前编码单元的类 型，所述类型包括平坦的编码单元、强边缘强度的编码单元和模式不确定的编码单元； 第一编码单元，用于若所述当前编码单元为模式不确定的编码单元，并且所述当前编 码单元的尺寸为64 X 64或者16 X 16,则对所述当前编码单元进行最优编码模式搜索，并且 进行分割； 第二分类单元，用于若所述当前编码单元为模式不确定的编码单元，并且所述当前编 码单元的尺寸为32 X 32或者8 X 8,则将所述8 X 8的数据块输入卷积神经网络中，确定所述 当前编码单元为平坦的编码单元或者强边缘强度的编码单元； 第二编码单元，用于若所述当前编码单元为平坦的编码单元，则只对所述当前编码单 元进行最优编码模式的搜索，并不对所述当前编码单元进行分割； 第三编码单元，用于若所述当前编码单元为强边缘强度的编码单元，则不对所述当前 编码单元进行最优编码模式的搜索，直接进行分割。
7. 根据权利要求6所述的装置，其特征在于，所述压缩单元，具体用于： 采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8X8的数据块。
8. 根据权利要求7所述的装置，其特征在于，所述压缩单元进一步用于： 采用公式（1)将当前编码单元压缩成尺寸为8X8的数据块，
其中，Pu为压缩后尺寸为8X8的数据块中在（i，j)处的像素值， i，j e {〇, 1，2, ·7}，C1;k为当前编码单元在（1，k)处的像素值。
9. 根据权利要求6所述的装置，其特征在于，所述压缩单元，还用于： 采用公式（2)计算所述8X8的数据块在（i，j)位置的边缘强度值δ u，
其中，S Xu为边缘强度值得水平分量，δ y U为边缘强度值的竖直分量， i，j e {〇, 1，2, · · ·，6} 〇
10.根据权利要求6所述的装置，其特征在于，所述第一分类单元，具体用于： 判断所述8X8的数据块中边缘强度的最大值δ _以及边缘强度之和
是否满 足以下公式（3):
其中，dQ = u(Qp-Qs) XQp2+u(Qs-Qp) XQs2，Qp是量化参数，Qs是量化步长，u(x)是单 位阶跃函数； 若满足，则所述当前编码单元为平坦的编码单元； 若不满足，则判断所述8X8的数据块中水平和竖直边缘强度绝对值都大于量化参数 Qp的点的个数α是否大于预设阀值，若大于则所述当前编码单元为强边缘强度的编码单 元，否则为模式不确定的编码单元。
【专利摘要】本发明涉及视频压缩技术领域，具体涉及一种基于卷积神经网络的帧内编码优化方法及装置。首先将当前编码单元压缩成尺寸为8×8的数据块，并计算所述8×8的数据块的边缘强度，然后根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型为平坦的编码单元、强边缘强度的编码单元或者模式不确定的编码单元，对于尺寸为32×32或者8×8的模式不确定的编码单元，进一步利用卷积神经网络确定编码单元的类型。通过对当前的编码单元不同的分类结果进行不同的编码模式处理，可以有效降低搜索编码单元CU的数量，从而减少编码的复杂度，实现实时编码。
【IPC分类】H04N19-11, H04N19-14, H04N19-593
【公开号】CN104754357
【申请号】CN201510130890
【发明人】刘振宇, 余先宇, 汪东升
【申请人】清华大学
【公开日】2015年7月1日
【申请日】2015年3月24日