基于帧内块复制的自适应图像预处理方法、装置及介质

1.本发明涉及视频编码领域，尤其是一种基于帧内块复制的自适应图像预处理方法、装置及介质。


背景技术：

2.近年来，随着计算机技术的不断发展，屏幕内容视频在视频编码领域受到了越来越广泛的关注。帧内块复制(ibc)是屏幕内容编码中性能最好，效率最高的工具，帧内块复制方法用于帧内编码，属于帧内预测的环节，帧内块复制方法在编码当前块时搜索参考区域，如果参考区域中有与当前编码块像素值相同(或相似)的块，就会使用帧内块复制方法，将参考块作为当前块的预测，因此，参考块的图像质量直接决定了当前编码块的质量。传统的帧内块复制方法中重建图像未经过任何滤波处理，存在严重的块效应，振铃效应等压缩伪影，极大的影响了参考区域图像块的质量，导致帧内块复制在搜索匹配块时参考块与当前编码块之间的匹配不够准确，增大了块向量补偿的传递数据量，影响了帧内块复制方法的效果，还可能出现ibc工具无法匹配，只能使用编码效率很低的传统帧内预测工具，从而导致编码所需的码率大大增加的问题，因此需要寻求解决方案。


技术实现要素：

3.有鉴于此，为了解决上述技术问题的至少之一，本发明的目的是提供提高编码效率的一种基于帧内块复制的自适应图像预处理方法、装置及介质。
4.本发明实施例采用的技术方案是：
5.基于帧内块复制的自适应图像预处理方法，包括：
6.获取已编码区域的重建图像；
7.将所述重建图像输入分类器进行判断处理，得到判断处理结果；
8.当所述判断处理结果表征需要进行预处理，对所述重建图像进行图像增强处理，得到增强图像；
9.获取所述重建图像对应的第一真实概率以及获取所述增强图像的第二真实概率，根据所述第一真实概率以及所述第二真实概率确定最终图像以替换所述重建图像，或者，获取所述重建图像的第一像素均值以及所述增强图像的第二像素均值，根据所述第一像素均值以及所述第二像素均值确定最终图像以替换所述重建图像。
10.进一步，所述将所述重建图像输入分类器进行判断处理，得到判断处理结果，包括：
11.将所述重建图像输入所述分类器以对所述重建图像进行分割，得到若干个重建子块，分别计算每一所述重建子块的像素值方差，并确定所述像素值方差为0的重建子块的数量，当所述数量小于预设数量阈值，得到表征需要进行预处理的判断处理结果，否则得到不需要进行预处理的判断处理结果；
12.或者，
13.将所述重建图像输入所述分类器以识别所述重建图像是否包含待处理区域，若包含所述待处理区域得到表征需要进行预处理的判断处理结果，否则得到不需要进行预处理的判断处理结果。
14.进一步，所述对所述重建图像进行图像增强处理，得到增强图像，包括：
15.对所述重建图像进行第一卷积并对第一卷积结果进行下采样处理；
16.通过残差网络对下采样处理结果进行处理并进行上采样处理；
17.对上采样处理结果进行第二卷积，得到增强图像。
18.进一步，所述获取所述重建图像对应的第一真实概率以及获取所述增强图像的第二真实概率，包括：
19.将所述重建图像输入对抗网络模型，得到第一真实概率；
20.将所述增强图像输入所述对抗网络模型，得到第二真实概率；
21.所述第一真实概率表征所述重建图像与原始图像的接近程度，所述第二真实概率表征所述增强图像与原始图像的接近程度，所述原始图像为编码处理前的重建图像。
22.进一步，所述根据所述第一真实概率以及所述第二真实概率确定最终图像，包括：
23.当所述第二真实概率大于所述第一真实概率，将所述增强图像确定为最终图像；
24.或者，
25.当所述第二真实概率小于所述第一真实概率，将所述重建图像确定为最终图像。
26.进一步，所述根据所述第一像素均值以及所述第二像素均值确定最终图像，包括：
27.计算所述第二像素均值与所述第一像素均值的比值；
28.当所述比值位于预设比值范围，将所述增强图像确定为最终图像，否则将所述重建图像确定为最终图像。
29.进一步，所述方法还包括：
30.当所述判断处理结果表征不需要进行预处理，将所述重建图像作为最终图像。
31.本发明实施例还提供一种基于帧内块复制的自适应图像预处理装置，包括：
32.获取模块，用于获取已编码区域的重建图像；
33.判断模块，用于将所述重建图像输入分类器进行判断处理，得到判断处理结果；
34.增强模块，用于当所述判断处理结果表征需要进行预处理，对所述重建图像进行图像增强处理，得到增强图像；
35.确定模块，用于获取所述重建图像对应的第一真实概率以及获取所述增强图像的第二真实概率，根据所述第一真实概率以及所述第二真实概率确定最终图像以替换所述重建图像，或者，获取所述重建图像的第一像素均值以及所述增强图像的第二像素均值，根据所述第一像素均值以及所述第二像素均值确定最终图像以替换所述重建图像。
36.本发明实施例还提供一种基于帧内块复制的自适应图像预处理装置，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述方法。
37.本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述方法。
38.本发明的有益效果是：通过获取已编码区域的重建图像，将所述重建图像输入分类器进行判断处理，得到判断处理结果，当所述判断处理结果表征需要进行预处理，对所述重建图像进行图像增强处理，得到增强图像，有利于改善重建图像的压缩伪影，修复失真的纹理及细节；获取所述重建图像对应的第一真实概率以及获取所述增强图像的第二真实概率，根据所述第一真实概率以及所述第二真实概率确定最终图像以替换所述重建图像，或者，获取所述重建图像的第一像素均值以及所述增强图像的第二像素均值，根据所述第一像素均值以及所述第二像素均值确定最终图像以替换所述重建图像，有利于使得更好图像质量的最终图像作为参考块，可以有效提升预测精度和编码效率，改善了传统帧内块复制方法由于参考块失真导致的帧内块复制匹配不准的问题。
附图说明
39.图1为本发明基于帧内块复制的自适应图像预处理方法的步骤流程示意图；
40.图2为本发明具体实施例视频编码流程图；
41.图3为本发明具体实施例步骤s210的示意图；
42.图4为本发明具体实施例生成器的示意图；
43.图5为本发明具体实施例对抗网络的训练示意图。
具体实施方式
44.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
45.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
46.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
47.如图1所示，本发明实施例提供一种基于帧内块复制的自适应图像预处理方法，包括步骤s100-s400：
48.s100、获取已编码区域的重建图像。
49.可选地，在编码当前块时会搜索已编码区域(参考区域)，如果参考区域中有与当前编码块像素值相同(或相似)的参考块，就会使用帧内块复制方法,将参考块作为当前块的预测，计算由当前块指向参考块的块向量(bv)用于后续处理，而参考块即为重建图像(或者说重建图像为参考块的一部分)。需要说明的是，参考块(重建图像)通过对原始图像进行
编码处理得到，即原始图像为编码处理前的重建图像。可选地，如图2所示，编码处理可以包括编码树单元、变换、量化、反量化和反变换等步骤，本发明实施例的基于帧内块复制的自适应图像预处理方法用于在帧内块复制为核心的帧内预测环节之前，对可能利用到的参考块(重建图像)加入预处理的步骤以得到最终图像以增强图像质量，而将预处理后得到的最终图像用作当前编码块的参考，可以有效提升预测精度和编码效率，改善了由于参考块失真导致的帧内块复制匹配不准的问题，传递的残差值更小，降低了视频编码的码率(bd-rate)，提升整体图像的峰值信噪比(psnr)。
50.s200、将重建图像输入分类器进行判断处理，得到判断处理结果。
51.本发明实施例中，对于文字较多、纹理复杂的重建图像进行后续预处理，而纯色背景或是纹理简单的区域则跳过预处理，避免了对背景区域不必要的额外处理，可以有效减少处理环节所消耗的时间，从而提高处理效率。可选地，分类器包括但不限于神经网络二分类器或者分类算法构成的模块单元等。
52.可选地，步骤s200包括步骤s210或s220：
53.s210、将重建图像输入分类器以对重建图像进行分割，得到若干个重建子块，分别计算每一重建子块的像素值方差，并确定像素值方差为0的重建子块的数量，当数量小于预设数量阈值，得到表征需要进行预处理的判断处理结果，否则得到不需要进行预处理的判断处理结果。
54.如图3所示，具体地，将将重建图像输入分类器以对重建图像进行分割，将重建图像输入分类器以对重建图像进行分割，其中分割的数量根据重建图像和实际情况决定，例如假设重建图像为将一个64
×
64的图像块，分为四个32
×
32的重建子块(即图3中的字块)，然后分别计算每一重建子块的像素值方差(仅计算亮度)，并确定像素值方差为0的重建子块的数量。本发明实施例中，预设数量阈值以2为例，其他实施例中可以为其他数量；当数量小于2，即像素值方差为0的重建子块的数量小于2，则认定该重建图像为纹理复杂区域，得到表征需要进行预处理的判断处理结果，而当数量大于等于2，即像素值方差为0的重建子块的数量大于等于2，则认定该重建图像为纹理简单区域，得到表征不需要进行预处理的判断处理结果，此时将重建图像作为最终图像，不需要进行后续的预处理步骤。
55.s220、将重建图像输入分类器以识别重建图像是否包含待处理区域，若包含待处理区域得到表征需要进行预处理的判断处理结果，否则得到不需要进行预处理的判断处理结果。
56.可选地，可以事先收集大量的包含纹理简单区域以及纹理复杂区域的图像，然后利用该些图像结合人为添加标签的方法训练神经网络二分类器作为分类器，利用训练后的神经网络二分类器判断重建图像是否需要预处理。具体地，当将重建图像输入分类器，神经网络二分类器识别重建图像是否包含待处理区域，例如纹理复杂区域，若包含待处理区域得到表征需要进行预处理的判断处理结果，否则得到不需要进行预处理的判断处理结果，不需要进行后续的预处理步骤。
57.s300、当判断处理结果表征需要进行预处理，对重建图像进行图像增强处理，得到增强图像。
58.可选地，本发明实施例通过生成器进行重建图像的图像增强处理，重建图像经过生成器将输出同等尺寸的增强图像，图像增强处理1)、用于改善重建图像的压缩伪影，修复
失真的纹理及细节，能有效去除由于编码带来的振铃效应、块效应等压缩伪影；2)、能缓解图像失真，修复图像受损的纹理信息，提升视频的峰值信噪比(psnr)；3)、有利于使得最终图像更接近于原始图像，因此使帧内块复制的搜索、预测过程更为精确，从而增加ibc模式的选取率，降低ibc预测补偿过程中国传递的残差值，以此降低编码原视频所消耗的比特数，达到降低视频码率(bd-rate)，提升屏幕内容编码的编码效率的作用。
59.可选地，生成器包括但不限于基于生成式对抗网络(gan)的生成器模型，卷积神经网络(cnn)模型，滤波插值算法等。如图4所示，本发明实施例中，以生成式对抗网络的神经网络模型为例，包括第一卷积层、残差网络(包括9个残差连接块(rb),每一残差连接块包括两个卷积层的处理以及两个卷积层之间的激活函数处理)以及第二卷积层。具体地，第一卷积层对重建图像进行第一卷积并对第一卷积结果进行下采样处理，通过残差网络对下采样处理结果进行处理并进行上采样处理，对上采样处理结果进行第二卷积，得到增强图像。
60.s400、获取重建图像对应的第一真实概率以及获取增强图像的第二真实概率，根据第一真实概率以及第二真实概率确定最终图像以替换重建图像，或者，获取重建图像的第一像素均值以及增强图像的第二像素均值，根据第一像素均值以及第二像素均值确定最终图像以替换重建图像。
61.需要说明的是，步骤s400中确定最终图像的过程由判别器执行，判别器包括但不限于卷积神经网络(cnn)模型、图像质量评估算法，判别网络及判别算法等，本发明实施例中以对抗网络模型以及利用像素均值的判别算法为例。
62.可选地，步骤s400中获取重建图像对应的第一真实概率以及获取增强图像的第二真实概率包括步骤s410：
63.s410、将重建图像输入对抗网络模型，得到第一真实概率，将增强图像输入对抗网络模型，得到第二真实概率。
64.需要说明的是，第一真实概率表征重建图像与原始图像的接近程度，第二真实概率表征增强图像与原始图像的接近程度，第一真实概率越大表明重建图像的图像质量越高，第二真实概率越大表明增强图像的图像质量越高。
65.可选地，步骤s400中根据第一真实概率以及第二真实概率确定最终图像以替换重建图像包括步骤s420：
66.当第二真实概率大于第一真实概率，将增强图像确定为最终图像；
67.或者，
68.当第二真实概率小于第一真实概率，将重建图像确定为最终图像。
69.本发明实施例中，当第二真实概率大于第一真实概率，则认为增强图像的图像质量比重建图像更高，更加接近原始图像，此时将增强图像确定为最终图像以替换重建图像作为新的参考块用于帧内块复制过程中当前编码块的参考，提升预测精度和编码效率。另外，当第二真实概率小于第一真实概率，则认为重建图像的图像质量比增强图像更高，更加接近原始图像，此时将重建图像确定为最终图像以替换重建图像，即利用原来的重建图像用于帧内块复制过程中当前编码块的参考，同样使得图像质量更高的图像用于当前编码块的参考，有利于提升预测精度和编码效率。
70.可选地，步骤s400中根据第一像素均值以及第二像素均值确定最终图像包括步骤s430-s440：
71.s430、计算第二像素均值与第一像素均值的比值。
72.s440、当比值位于预设比值范围，将增强图像确定为最终图像，否则将重建图像确定为最终图像。
73.可选地，预设比值范围包括但并不限于0.85～1.15，当第二像素均值与第一像素均值的比值在0.85～1.15的范围内，此时认为增强图像的图像质量比重建图像更高，此时将增强图像确定为最终图像以替换重建图像作为新的参考块用于帧内块复制过程中当前编码块的参考。而当第二像素均值与第一像素均值的比值不在0.85～1.15的范围内，则认为重建图像的图像质量比增强图像更高，此时将重建图像确定为最终图像以替换重建图像，即利用原来的重建图像用于帧内块复制过程中当前编码块的参考，同样使得图像质量更高的图像用于当前编码块的参考。
74.需要说明的是，将图像质量更高的图像作为最终图像，有利于提升预处理的稳定性和整个模型的鲁棒性，并防止负优化。
75.可选地，在确定最终图像后，继续结束预处理流程，将最终图像输出用于帧内块预测参考与补偿，继续常规的编码流程直至下一块的编码单元(cu)重建完成，确定新的当前块，返回步骤s100。
76.如图5所示，可选地，上述对抗网络模型的可以通过以下步骤进行训练得到：
77.s101：编码处理输出未经滤波处理的训练重建图像，关闭滤波模块以输出帧内预测环节实际的训练原始图像(真实图像)；
78.s102：将上一步的图像分别切分为64*64的小块，并将yuv格式转换为rgb格式图片以适应神经网络，作为训练集输入网络训练；
79.s103：生成对抗网络(gan)模型的训练与调参，对抗网络模型包括彼此对抗的第一生成器和第一判别器，第一生成器只能看到训练数据集中的训练重建图像，以训练重建图像为蓝本生成增强后的图像，而第一判别器则能看到生成器生成的图像以及训练原始图像，但第一判别器不知道哪张是由生成器生成的，第一判别器通过识别两张图像，分别给出它们为真实图像的概率，该概率值会反馈给生成器，以激励第一生成器生成更高质量的图像。当对抗训练收敛时，gan网络处于纳什均衡状态，即第一生成器生成的图像足以以假乱真(对应结果是增强后的图像(记为训练增强图像)的质量接近训练原始图像)，而第一判别器因无法判断哪幅图为真实图像，哪副为生成图像，输出结果趋近于0.5，得到理想的生成器；调整训练策略，使得训练向判别器倾斜(通常做法是调高判别器的学习率)，得到一个收敛的第一判别器，此第一判别器与第一次训练的生成器并不对应，对比第一个第一判别器，此第一判别器性能更强，可以较好的给出图像为真实图像的概率(最终表现就是图像质量越高，得到的输出的真实概率值越接近1。最终能得到性能足够优越的第一生成器和第一判别器，训练完成。
80.本发明实施例还提供一种基于帧内块复制的自适应图像预处理装置，包括：
81.获取模块，用于获取已编码区域的重建图像；
82.判断模块，用于将重建图像输入分类器进行判断处理，得到判断处理结果；
83.增强模块，用于当判断处理结果表征需要进行预处理，对重建图像进行图像增强处理，得到增强图像；
84.确定模块，用于获取重建图像对应的第一真实概率以及获取增强图像的第二真实
概率，根据第一真实概率以及第二真实概率确定最终图像以替换重建图像，或者，获取重建图像的第一像素均值以及增强图像的第二像素均值，根据第一像素均值以及第二像素均值确定最终图像以替换重建图像。
85.上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
86.本发明实施例还提供了另一种基于帧内块复制的自适应图像预处理装置，包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的基于帧内块复制的自适应图像预处理方法。
87.上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
88.本发明实施例还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的基于帧内块复制的自适应图像预处理方法。
89.本发明实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述实施例的基于帧内块复制的自适应图像预处理方法。
90.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
91.应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
92.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连
接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
93.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
94.以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。