一种图像处理的方法与流程

1.本发明涉及电子信息技术领域，特别涉及一种图像处理的方法。


背景技术：

2.ycbcr是dvd、摄像机、数字电视等消费类视频产品中常用的色彩编码方案,其中y为颜色的亮度(luma)成分、而cb和cr则为蓝色和红色的浓度偏移量成份。人眼通常对y分量更为敏感，故多数图像压缩方法通常将cb、cr分量进行压缩处理，以达到在保证图像质量的前提下压缩图像的目的。
3.ycbcr主要的采样格式有ycbcr 4:2:0和 ycbcr 4:4:4。其中，ycbcr 4:4:4采样格式的三个信道采样率相同，在生成的图像中，每个像素的三个信道分量信息完整，图像质量很好；而ycbcr 4:2:0采样格式指每四个像素采样四个亮度信道信息和两个色度信道信息，图像质量较差。
4.应用于图像编解码器时， ycbcr 4:2:0采样格式的图像传输时占用带宽低，因此具有较高的性价比，但其在采样过程中丢失了部分图像信息，造成图像质量下降等问题，尤其在红色、蓝色纯色以及红蓝相间的背景图中质量下降更明显。而ycbcr 4:4:4采样格式的图像质量虽然很高，但是所需带宽较高，且用于此采样格式的编解码器所需的硬件平台价格高昂。


技术实现要素：

5.为解决前述的至少一个技术问题，本公开在第一方面提出了一种图像处理的方法，包括：获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；将第二图像发送给显示设备。
6.优选的，目的神经网络模型的获取方法包括：构建图像的训练样本，图像的训练样本包括原始4:4:4色度格式图像集和对应的4:2:0色度格式图像集， 原始4:4:4色度格式图像集中各图像的分辨率和4:2:0色度格式图像集中对应的图像的分辨率相同，4:2:0色度格式图像集是通过编解码器对原始4:4:4色度格式图像集的每一个图像经过编码、通信信道传输、解码后获得的；将图像的训练样本输入至深度学习网络模型中进行训练，获得目的神经网络模型。
7.优选的，图像的训练样本包括训练数据集和测试数据集，“将图像的训练样本输入至深度学习网络模型中进行训练，获得目的神经网络模型”包括:将训练数据集输入至深度学习网络模型中进行训练，获得训练后的深度学习网络模型；将测试数据集输入至训练后的深度学习网络模型进行验证，获得验证后的深度学习网络模型；对验证后的深度学习网络模型进行压缩，获得目的神经网络模型。
8.优选的，“将训练数据集输入至深度学习网络模型中进行训练，获得训练后的深度学习网络模型”包括：将训练数据集中的4:2:0色度格式图像输入至深度学习网络模型中，经过两分支处理，其中一分支进行特征提取，获取特征图，另一分支进行卷积运算获得卷积结果；将特征图与卷积结果进行串联运算，并经过1x1卷积运算获得输出图像；计算输出图像与训练数据集中配对的原始4:4:4色度格式图像的差异值，根据差异值更新深度学习网络模型的参数，直到差异值小于给定阈值时，获得训练后的深度学习网络模型。
9.优选的，“将测试数据集输入至训练后的深度学习网络模型进行验证，获得验证后的深度学习网络模型”包括：将测试数据集中的4:2:0色度格式图像输入至训练后的深度学习网络模型中，输出参考图像； 计算参考图像与配对的原始4:4:4色度格式图像的平均指标，验证训练后的深度学习网络模型。
10.优选的，“对验证后的深度学习网络模型进行压缩，获得目的神经网络模型”包括：通过结构重参数化将分支的卷积层压缩为单个3x3的卷积运算；加载验证后的深度学习网络模型，并利用qat量化感知训练进行模型量化，获得量化压缩后的深度学习网络模型；将量化压缩后的深度学习网络模型转换为rknn模型，获得目的神经网络模型。
11.优选的，原始4:4:4色度格式图像集的获取方式包括：成像设备捕获、视频截取帧、合成图像；原始4:4:4色度格式图像集包括：风景图像、人物图像、人脸图像、动物图像、文本图像、工业图像，其中文本图像和工业图像通过数据扩充方法进行数据增广，数据扩充方法包括图像合成、拼接、色彩反转、图像尺寸调整。
12.本公开在第二方面提出了一种图像处理的装置，包括：获取模块，用于获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；解码模块，用于将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；发送模块，用于将第二图像发送给显示设备。
13.本公开在第三方面提出了 一种图像解码设备，包括处理电路，用于执行如上述中任一所述的方法。
14.本公开在第四方面提出了一种图像解码设备，包括存储器和处理器；存储器，用于存储计算机程序；处理器，用于当执行计算机程序时，实现如权利要求1至7中任一项所述的方法。
15.本公开的一些技术效果在于：通过获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；将第二图像发送给显示设备。这样既保证了在传输图像的过程中占用的带宽较少，又同时提升了采样图像经过编解码器后在显示输出设备上的呈现效果，提升图像通过显示设备进行显示时的显示画面质量以及清晰度。
附图说明
16.为更好地理解本公开的技术方案，可参考下列的、用于对现有技术或实施例进行
辅助说明的附图。这些附图将对现有技术或本公开部分实施例中，涉及到的产品或方法有选择地进行展示。这些附图的基本信息如下：图1为本技术实施例可以应用于其中的示例性设备架构图；图2为本技术的图像处理的方法的一个实施例的流程图。
具体实施方式
17.下文将对本公开涉及的技术手段或技术效果作进一步的展开描述，显然，所提供的实施例(或实施方式)仅是本公开意旨涵盖的部分实施方式，而并非全部。基于本公开中的实施例以及图文的明示或暗示，本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例，都将在本公开请求保护的范围之内。
18.编码器是压缩图像数据等的设备或程序，解码器是解压缩图像数据等的设备或程序。编解码器是由编解码器对组成的。编解码器都有自己固定的编解码格式，编码器压缩的码流能够被与之对应的解码器解码。
19.把图像从一端传输到另一端时，需要用编码器对图像进行编码，再通过传输系统将压缩的图像码流从编码端传输到解码端，最后由解码端进行解码。未经压缩的图像的数据量巨大，空间冗余，对传输系统的带宽要求很高。图像相邻像素之间有较强的相关性，例如时间冗余：视频序列的相邻图像之间内容相似，编码冗余：不同像素值出现的概率不同，视觉冗余：人的视觉系统对某些细节不敏感，知识冗余：规律性的结构可由先验知识和背景知识得到。对图像数据的编码过程可以利用上述相关性，将一些不重要或重复等的图像信息省略，减少了编码时的数据，降低传输数据时对带宽的要求。
20.ycbcr是常用的色彩编码方案，其中y为颜色的亮度成分，cb和cr分别为蓝色和红色的浓度偏移量成分。人眼通常对y分量更为敏感，所以多数图像压缩方法通常将cb、cr分量进行压缩处理，以达到压缩图像的目的。
21.ycbcr主要的采样格式有ycbcr 4:2:0和 ycbcr 4:4:4。其中ycbcr 4:4:4采样格式的三个信道采样率相同，在生成的图像中，每个像素的三个信道分量信息完整，图像质量完好。ycbcr 4:4:4采样格式的采样信息完整，所以需要很高的带宽来传输，且用于此采样格式的编解码器所需的硬件平台价格高昂。而 ycbcr 4:2:0采样格式指每四个像素采样四个亮度信道信息和两个色度信道信息，其在采样过程中丢失了部分图像信息，所以图像质量会下降，尤其在红色、蓝色纯色以及红蓝相间的背景图中质量下降的更大。
22.本技术在以下实施例中，如图1示出了一种图像处理设备，包括第一端设备100、第二端设备200以及通信信道，通信信道用于在第一端设备与第二端设备之间传输信息。其中，第一端设备包括图像源、预处理器、编码器、第一通信模块。第二端设备包括第二通信模块、解码器，后处理器，显示设备。
23.图像源用于获取各种类型的原始图像或者其自身存储有各种类型的原始图像，例如风景图像、人物图像、人脸图像、动物图像、文本图像、工业图像等等。图像源获取图像的方式可以包括成像设备捕获、视频截取帧、合成图像等。
24.预处理器用于接收原始图像并对原始图像做预处理，提供预处理后的图像数据。例如经过修剪、颜色格式转换等。可选的，预处理器可以省略。
25.编码器用于接收经预处理的图像数据，并对图像数据按照一定的编码格式进行编
码，提供编码后的图像数据。
26.第一通信模块用于接收编码后的图像数据，并通过通信信道将编码后的图像数据传输给第二端设备。第一通信模块接收的编码后的图像数据时，可以是接收由编码器提供的编码后的图像数据，也可以是接收由某存储设备提供的编码后的图像数据，该存储设备存储有编码后的图像数据。
27.第二通信模块用于接收编码后的图像数据，并提供给解码器。第二通信模块接收编码后的图像数据时，可以是接收其他任何设备发送的编码后的图像数据。
28.解码器用于接收编码后的图像数据，并对编码后的图像数据进行解码和提供解码后的图像数据。
29.后处理器用于接收解码后的图像数据，并对解码后的图像数据进行后处理及提供后处理的图像数据。后处理包括对图像进行颜色格式转换等，以便于提供后处理的数据给显示设备进行显示图像。
30.显示设备用于接收解码后的图像数据，并显示解码后的图像。
31.在以下实施例中，如图2示出了一种图像处理方法，包括：s10：获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；s20：将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；s30：将第二图像发送给显示设备。
32.其中，s10：获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；一实施例中，步骤“获取4:2:0色度格式图像”的执行主体可以是第二端设备，第二端设备通过接收经通信信道传输来的编码后的4:2:0色度格式图像，从而获取到4:2:0色度格式图像。获取4:2:0色度格式图像可以是接收由第一端设备发送的编码后的4:2:0色度格式图像，也可以是接收由某存储设备发送的编码后的4:2:0色度格式图像，该存储设备存储有经编码后的4:2:0色度格式图像。
33.具体的，获取4:2:0色度格式图像可以是通过接收由第一端设备发送的编码后的4:2:0色度格式图像。首先，第一端设备的编码器接收原始4:4:4色度格式图像，并将其采样为4:2:0色度格式图像，再经过通信信道传输给第二端设备，以便于第二端设备获取4:2:0色度格式图像。
34.获取4:2:0色度格式图像也可以是接收某存储设备通过通信信道传输来的编码后的4:2:0色度格式图像。4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码后获得的。具体的，将原始4:4:4色度格式图像输入编码器端，采样为4:2:0色度格式图像。然后经过通信信道传输给第二端设备，以便于第二端设备获取4:2:0色度格式图像。这样就保证了图像在传输过程中占用宽带较小，传输速度也较快，保证了图像的传输速率。
35.通信信道(channels of communicationl)是数据传输的通路，在计算机网络中信道分为物理信道和逻辑信道。物理信道指用于传输数据信号的物理通路，它由传输介质与有关通信设备组成；逻辑信道指在物理信道的基础上，发送与接收数据信号的双方通过中间结点所实现的逻辑通路，由此为传输数据信号形成的逻辑通路。逻辑信道可以是有连接
的，也可以是无连接的。 物理信道还可根据传输介质的不同而分为有线信道和无线信道，也可按传输数据类型的不同分为数字信道和模拟信道。
36.这样，通过通信信道传输的图像格式均为4:2:0色度格式图像，可以最大程度的降低对带宽的需求。保证图像传输时的效率以及性价比，以及传输时对硬件的需求较低。带宽是指数字系统中数据的传输速率，其表示单位为比特/秒。带宽越大，表示单位时间内的数字信息流量也越大；反之，则越小。
37.s20：将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；一实施例中，第二端设备可以通过第二通信模块接收通信信道传输来的4:2:0色度格式图像。第二端设备的解码器将接收到的4:2:0色度格式图像解码为第一图像。然后将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的优化后的第二图像。目的神经网络模型置于第二端设备中。第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度。这里图像的色度指的就是图像的色度值。色度，表示像素的颜色。如果色度值为0，那么就是黑白的画面。
38.其中，目的神经网络模型的获取方法包括：构建图像的训练样本，图像的训练样本包括原始4:4:4色度格式图像集和对应的4:2:0色度格式图像集， 原始4:4:4色度格式图像集中各图像的分辨率和4:2:0色度格式图像集中对应的图像的分辨率相同，4:2:0色度格式图像集是通过编解码器对原始4:4:4色度格式图像集的每一个图像经过编码、通信信道传输、解码后获得的；将图像的训练样本输入至深度学习网络模型中进行训练，获得目的神经网络模型。
39.图像的训练样本由多种类型风格的图像构成。可选的，通过图像源获取到图像的训练样本。图像的训练样本的图像种类包括：风景图像、人物图像、人脸图像、动物图像、文本图像、工业图像。可选的，采用数据扩充方法对获得的文本图像和工业图像进行数据增广，以克服文本图像和工业图像难收集的问题，该数据扩充方法包括：图像合成、拼接、色彩反转、图像尺寸调整，裁剪、缩放。
40.图像的训练样本包括原始4:4:4色度格式图像集和对应的4:2:0色度格式图像集，4:2:0色度格式图像集是通过编解码器对原始4:4:4色度格式图像集的每一个图像经过编码、通信信道传输、解码后获得的。原始4:4:4色度格式图像集是上述各类图像的ycbcr4:4:4采样格式图像，对应的4:2:0色度格式图像集是上述各类图像经过编解码、信道传输后的ycbcr4:2:0采样格式图像。ycbcr4:2:0采样格式图像的获取方法包括利用模糊核、双线性插值上下采样、添加各类噪声等。原始4:4:4色度格式图像和对应的4:2:0色度格式图像是通过对同一图像经过不同的采样方式获得的，所以原始4:4:4色度格式图像和对应的4:2:0色度格式图像的分辨率相同，原始4:4:4色度格式图像和对应的4:2:0色度格式图像具有一一对应的配对关系。众多原始4:4:4色度格式图像构成了原始4:4:4色度格式图像集，众多4:2:0色度格式图像构成了4:2:0色度格式图像集。
41.获得上述图像的训练样本的图像后,将配对的4:4:4色度格式图像和4:2:0色度格式图像，也就是原始4:4:4色度格式图像集和对应的4:2:0色度格式图像集输入预处理器，预处理器对这些图像做预处理包括: 将不同类型的各图像分为若干个128*128尺寸的图像
块，并对图像块做水平翻转、镜像、旋转等操作，然后，将所述所有图像块数据转化为rgb格式数据，并做归一化处理以及提升数据维度，数据预处理方式也可包括垂直翻转、pca白化。将不同类型的图像数据按9:1比例随机划分为训练数据集和测试数据集，并制作成固定数据存储格式文件，如h5等，此处不对具体数据存储格式文件作限定，存储于存储设备中，不对具体存储设备进行界定。
42.图像的训练样本包括训练数据集和测试数据集，“将图像的训练样本输入至深度学习网络模型中进行训练，获得目的神经网络模型”包括:将训练数据集输入至深度学习网络模型中进行训练，获得训练后的深度学习网络模型；将测试数据集输入至训练后的深度学习网络模型进行验证，获得验证后的深度学习网络模型；对验证后的深度学习网络模型进行压缩，获得目的神经网络模型。训练数据集和测试数据集中各个图像的分辨率相同。
43.将上述步骤得到的训练图像样本输入网络模型中，经过通道分离、分组卷积、3x3卷积、concat以及1x1卷积降维等操作后得到处理后的目标图像样本；计算所述目标图像样本与对应的原ycbcr 4:4:4格式图像样本间的损失值，根据所述损失值更新网络模型中的参数，以减小所述损失值为目的，并优化目标图像样本的质量。“将训练数据集输入至深度学习网络模型中进行训练，获得训练后的深度学习网络模型”包括：将训练数据集中的4:2:0色度格式图像输入至深度学习网络模型中，经过两分支处理，其中一分支进行特征提取，获取特征图，另一分支进行卷积运算获得卷积结果；将特征图与卷积结果进行串联运算，并经过1x1卷积运算获得输出图像；计算输出图像与训练数据集中配对的原始4:4:4色度格式图像的差异值，根据差异值更新深度学习网络模型的参数，直到差异值小于给定阈值时，获得训练后的深度学习网络模型。
44.ꢀ“
将测试数据集输入训练后的深度学习网络模型进行验证，获得验证后的深度学习网络模型”包括：将测试数据集中的4:2:0色度格式图像输入至训练后的深度学习网络模型中，输出参考图像； 计算参考图像与配对的原始4:4:4色度格式图像的平均指标，验证训练后的深度学习网络模型。“对验证后的深度学习网络模型进行压缩，获得目的神经网络模型”包括：通过结构重参数化将分支的卷积层压缩为单个3x3的卷积运算；加载验证后的深度学习网络模型，并利用qat量化感知训练进行模型量化，获得量化压缩后的深度学习网络模型；将量化压缩后的深度学习网络模型转换为rknn模型，获得目的神经网络模型。
45.通过上述目的神经网络模型获取到第二图像，该第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度。实际上，第二图像的色度几乎等同于原始4:4:4色度格式图像的色度，第一图像的色度与原始4:4:4色度格式图像的色度相差巨大。这样就保证了解码端输出的第二图像的色度很好。从而第二图像的画面质量基本与原始图像相同。
46.s30：将第二图像发送给显示设备。
47.解码端将第二图像发送给显示设备，从而显示设备能够显示第二图像。此时，第二图像的色度接近于原始图像的色度，提升了图像的观感。
48.本技术实施例将目的神经网络模型部署于解码器端，并将解码后的图像进行图像质量提升操作，再直接输出至显示设备中供显示设备进行显示。显示设备可以是电视屏幕等，在此不作限制。显示设备与第二端设备电性连接。
49.本技术实施例还提供了一种图像处理的装置，包括：获取模块，用于获取4:2:0色
度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；解码模块，用于将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；发送模块，用于将第二图像发送给显示设备。
50.本技术实施例提供了一种图像解码设备，包括处理电路，用于执行如上述中任一所述的方法。
51.本技术实施例提供了一种图像解码设备，包括存储器和处理器；存储器，用于存储计算机程序；处理器，用于当执行计算机程序时，实现如上述所述的任一方法。
52.本技术实施例提供了一种计算机可读介质，所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现所述的获取方法的步骤。本领域技术人员可以理解的是，实施例中的全部或部分步骤，可以通过计算机程序来指令相关的硬件实现，该程序可以存储于计算机可读介质中，可读介质可以包括闪存盘、移动硬盘、只读存储器、随机存取器、磁盘或光盘等各种可以存储程序代码的介质。
53.在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本公开揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。
54.另外，多数实施例的描述是基于不同的重点而展开的，如需进一步理解未详述之处，可参照现有技术的相关内容、本文的其他相关描述或发明意旨进行合理地推理。
55.再次强调，上文所列举的实施例，为本公开较为典型的、较佳实施例，仅用于详细说明、解释本公开的技术方案，以便于读者理解，并不用以限制本公开请求保护的范围或者应用。在本公开的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本公开请求保护的范围之内。