图像处理方法和装置与流程

本发明涉及图像处理领域，具体而言，涉及一种图像处理方法和装置。

背景技术：

在图像传输时，带宽的限制使得不能兼顾图像的大小与图像的传输时间，通常需要对图像进行压缩。传统的图片压缩方法局限于从数学的角度对图像数据去除冗余，算法设计框架基本固定，压缩效率很难再有大幅度的提升，系统无学习功能，生成图像质量固定，当带宽限制严重时，对成像质量影响巨大。现有技术中，可以采用小波变换的方式来对图像进行压缩，在图像压缩之后对压缩的低分辨率图像进行超分辨率重建。小波变换是近年来被广泛应用的一种数学分析工具，它克服了短时傅立叶变换在单分辨率上的缺陷，在时域和频域都有表征信号细节信息的能力，且时间和频率的窗口大小可动态调整，适应范围广泛。近年来，基于小波变换的图像压缩及传输算法被广泛应用在图像压缩技术中。在jpeg2000的压缩算法中即使用了无损的5/3小波变换和有损的9/7小波变换来实现图片压缩，基于5/3小波的图像压缩算法应用较为广泛。

针对相关技术中的图像压缩方法无法同时满足较高的压缩效率和较高的图像还原质量的技术问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种图像处理方法和装置，以至少解决相关技术中的图像压缩方法无法同时满足较高的压缩效率和较高的图像还原质量的技术问题。

根据本发明实施例的一个方面，提供了一种图像处理方法，该方法包括：接收发送端发送的数据，并根据接收的数据确定小波系数，其中，发送端发送的数据中包括对原始图像经过小波分解后得到的小波系数；根据小波系数生成低分辨率图像；根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像。

进一步地，根据神经网络对低分辨率图像进行超分辨率重建包括：确定当前的神经网络；接收更新参数，其中，更新参数为发送端发送的根据原始图像对当前的神经网络进行优化得到的神经网络的参数；根据更新参数对当前的神经网络进行更新，得到更新的神经网络；根据更新的神经网络对低分辨率图像进行超分辨率重建。

进一步地，该方法还包括：对多个样本图像进行小波分解，得到对应的多个低分辨率样本图像；根据多个样本图像和对应的多个低分辨率样本图像训练神经网络；将训练后的神经网络作为初始的神经网络存储在发送端和接收端，其中，在根据发送端第一次发送的数据进行超分辨率重建时确定当前的神经网络为初始的神经网络。

进一步地，根据神经网络对低分辨率图像进行超分辨率重建包括：根据低分辨率图像的内容选择神经网络的类别；根据选择的神经网络对低分辨率图像进行超分辨率重建。

根据本发明实施例的另一方面，还提供了一种图像处理方法，该方法包括：发送端对原始图像进行小波分解，得到小波系数；发送端向接收端发送小波系数；接收端根据小波系数生成低分辨率图像；接收端根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像。

进一步地，在发送端对原始图像进行小波分解，得到小波系数之后，该方法还包括：发送端根据小波系数生成低分辨率图像；发送端根据原始图像和低分辨率图像对发送端当前的神经网络进行优化；在发送端对神经网络经过预设次数的优化之后，发送端向接收端发送更新参数，其中，更新参数为在发送端经过预设次数优化之后的神经网络的参数；接收端在接收到更新参数之后，根据更新参数对接收端的神经网络进行更新以得到更新的神经网络，并基于更新的神经网络对后续接收到的小波系数对应的低分辨率图像进行超分辨率重建。

进一步地，在发送端对原始图像进行小波分解，得到小波系数之前，该方法还包括：发送端或接收端对多个样本图像进行小波分解，得到对应的多个低分辨率样本图像；发送端或接收端根据多个样本图像和对应的多个低分辨率样本图像训练神经网络；将训练后的神经网络作为初始的神经网络存储在发送端和接收端。

进一步地，发送端或接收端根据多个样本图像和对应的多个低分辨率样本图像训练神经网络包括：发送端或接收端根据低分辨率样本图像的内容对低分辨率样本图像进行分类；对每个类别的低分辨率样本图像采用对应的神经网络进行训练，得到多个类别的神经网络。

进一步地，发送端向接收端发送小波系数包括：发送端对小波系数按照预设压缩算法进行编码，得到码流；发送端将得到的码流发送至接收端，其中，接收端在接收到码流之后按照预设压缩算法进行解码，得到小波系数。

根据本发明实施例的另一方面，还提供了一种图像处理装置，该装置包括：接收单元，用于接收发送端发送的数据，并根据接收的数据确定小波系数，其中，发送端发送的数据中包括对原始图像经过小波分解后得到的小波系数；生成单元，用于根据小波系数生成低分辨率图像；重建单元，用于根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像。

进一步地，重建单元包括：确定模块，用于确定当前的神经网络；第一接收模块，用于接收更新参数，其中，更新参数为发送端发送的根据原始图像对当前的神经网络进行优化得到的神经网络的参数；更新模块，用于根据更新参数对当前的神经网络进行更新，得到更新的神经网络；第一重建模块，用于根据更新的神经网络对低分辨率图像进行超分辨率重建。

进一步地，重建单元包括：选择模块，用于根据低分辨率图像的内容选择神经网络的类别；第二重建模块，用于根据选择的神经网络对低分辨率图像进行超分辨率重建。

根据本发明实施例的另一方面，还提供了一种图像处理装置，该装置包括：分解单元，用于通过发送端对原始图像进行小波分解，得到小波系数；发送单元，用于通过发送端向接收端发送小波系数；生成单元，用于通过接收端根据小波系数生成低分辨率图像；重建单元，用于接收端根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像。

在本发明实施例中，通过接收发送端发送的数据，并根据接收的数据确定小波系数，其中，发送端发送的数据中包括对原始图像经过小波分解后得到的小波系数；根据小波系数生成低分辨率图像；根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像，解决了相关技术中的图像压缩方法无法同时满足较高的压缩效率和较高的图像还原质量的技术问题，进而实现了能够同时兼顾较高的压缩效率和较高的图像还原质量的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像处理方法的流程图；

图2是根据本发明实施例的另一种可选的图像处理方法的流程图；

图3是根据本发明实施例的一种可选的小波分解的流程图；

图4是根据本发明实施例的一种可选的训练神经网络的流程图；

图5是根据本发明实施例的一种可选的发送端进行图像处理方法的流程图；

图6是根据本发明实施例的一种可选的接收端进行图像处理方法的流程图；

图7是根据本发明实施例的一种可选的图像处理装置的示意图；

图8是根据本发明实施例的另一种可选的图像处理装置的示意图；

图9是根据本发明实施例的另一种可选的图像处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请提供了一种图像处理方法的实施例。

图1是根据本发明实施例的一种可选的图像处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤s101，接收发送端发送的数据，并根据接收的数据确定小波系数：

可选的，该实施例提供的图像处理方法可以是在接收端或解码端执行的。在接收发送端发送的数据之后，根据接受的数据确定小波系数，其中，发送端发送的数据中包括对原始图像经过小波分解后得到的小波系数，发送端在对原始图像(待传输的图像)通过小波分解的方式压缩文件的大小之后，得到小波系数，可选的，可以对原始图像采用一级的5/3无损小波分解方法，原始图像经过无损的5/3小波作为小波基的小波分解方法分解之后，得到四个子带小波系数：ll子带小波系数、lh子带小波系数、hl子带小波系数、hh子带小波系数，可以在四个子带小波系数中选取ll子带小波系数进行传输。

可选的，发送端在发送之前，可以对小波系数进行压缩编码，例如，发送端通过预设压缩算法将对经过小波分解后得到的小波系数进行压缩，得到码流，相应地，在接收发送端发送的码流之后，可以根据预设压缩算法对码流进行解码，得到小波系数。验证可得，仅对一级小波分解得到的ll子带小波系数进行压缩时，其码流大小仅为原始图像对应的码流的40％-50％，压缩效率与现有技术相比提升2倍以上。

步骤s102，根据小波系数生成低分辨率图像：

在根据接收的发送端发送的数据确定小波系数之后，可以根据小波系数生成低分辨率图像。小波系数是不带量纲的系数，该步骤可以采用与发送端进行小波分解时构造相同的小波对小波系数进行重构，重构之后得到与小波系数对应的低分辨率图像，该低分辨率图像是小波系数所确定的图像。

步骤s103，根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像：

在根据小波系数生成低分辨率图像之后，根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像。神经网络是预先训练好的神经网络。

可选地，该实施例中的神经网络可以具有学习的功能，每次使用都可以进行更新，其中，更新方法可以是发送端在根据发送的原始图像和低分辨率图像作为样本对继续优化训练神经网络达到预设次数之后，将更新后的神经网络的更新参数发送至接收端，其中，预设次数可以是多次，也可以是一次，在预设次数为一次的情况下，每次发送原始图像对应的小波系数时均发送经过原始图像训练后的神经网络的更新参数。接收端在接收到神经网络的更新参数之后，对当前的神经网络按照更新参数进行更新，得到更新的神经网络并根据更新的神经网络对当前的低分辨率图像进行超分辨率重建。

具体的，根据神经网络对低分辨率图像进行超分辨率重建包括：确定当前的神经网络，当前的神经网络是在执行该实施例的图像处理方法的装置或设备等中存储的神经网络，在第一次进行图像重建时，当前的神经网络是初始的神经网络，初始的神经网络存储在发送端和接收端，在接收更新参数之后，其中，更新参数为发送端发送的根据原始图像对当前的神经网络进行优化得到的神经网络的参数，根据更新参数对当前的神经网络进行更新，得到更新的神经网络，根据更新的神经网络对低分辨率图像进行超分辨率重建，在每次接收到原始图像对应的小波系数以及根据原始图像进行优化的神经网络的更新参数之后，根据更新参数对当前的神经网络进行更新，更新之后的神经网络作为下一次进行重建时的当前神经网络。

可选的，初始的神经网络可以是在发送端生成的，也可以是在接收端生成的，在生成初始的神经网络之后，将初始的神经网络存储在发送端和接收端。在初始的神经网络是在接收端生成的情况下，该方法还包括：对多个样本图像进行小波分解，得到对应的多个低分辨率样本图像，其中，多个样本图像和对应的多个低分辨率样本图像构成训练样本库，训练样本库中包括多个样本对，每个样本对包括一个样本图像和对应的低分辨率样本图像，在对神经网络进行训练时，可以将每个样本对逐次输入神经网络，训练神经网络使得将低分辨率样本图像输入神经网络重建之后的高分辨率图像与样本图像尽可能相同，误差小于预设条件。在根据多个样本图像和对应的多个低分辨率样本图像训练神经网络之后，将训练后的神经网络作为初始的神经网络存储在发送端和接收端，其中，在根据发送端第一次发送的数据进行超分辨率重建时确定当前的神经网络为初始的神经网络。

可选的，根据图像中的内容的不同，可以将神经网络分为多个类别，通过不同的神经网络来重建低分辨率图像。具体的，在确定初始的神经网络时，可以按照预设的分类器对样本图像中的内容进行分类，例如，分为文字类图像和图片类图像，进一步的，图片图像还可以分类为肖像、动画、动物等类别，根据不同类别的图像样本对训练对应的神经网络，使得每个神经网络能够针对该类别的图像达到更好的重建效果。在发送端和接收端均存储分别对应于多个类别的图像的多个神经网络之后，接收端在确定低分辨率图像之后可以根据低分辨率图像的内容选择神经网络的类别，然后根据选择的神经网络对低分辨率图像进行超分辨率重建。

该实施例通过接收发送端发送的数据，并根据接收的数据确定小波系数，其中，发送端发送的数据中包括对原始图像经过小波分解后得到的小波系数；根据小波系数生成低分辨率图像；根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像，解决了相关技术中的图像压缩方法无法同时满足较高的压缩效率和较高的图像还原质量的技术问题，进而实现了能够同时兼顾较高的压缩效率和较高的图像还原质量的技术效果。

可选的，在上述步骤中，执行接收数据的模块和执行对接收到的数据进行处理(例如，重建等)的执行主体可以是相同的模块，也可以是不同的模块，不同的模块可以设置在相同的设备上，也可以设置在不同的设备上，根据具体情况而定，本发明对此不作具体限定。

本申请还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明上述实施例提供的图像处理方法。

本申请还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行本发明上述实施例提供的图像处理方法。

本申请还提供了另一种图像处理方法的实施例。需要说明的是，该实施例提供的图像处理方法可以是由需要发送原始图像的发送端执行的，该方法包括如下步骤：

步骤一，对原始图像进行小波分解，得到小波系数：

对原始图像按照预设小波基的小波进行小波分解，得到多个子带小波系数，可选的，可以选取其中一个小波系数作为待传输的数据。

步骤二，根据小波系数生成低分辨率图像：

该实施例提供的图像处理方法的接收端可以通过神经网络对接收到的小波系数确定的低分辨率图像进行重建。

除了将小波系数传输至接收端，该实施例提供的图像处理方法的执行端还可以将根据原始图像训练优化后的神经网络的参数发送至接收端。

在执行步骤一确定小波系数之后，执行步骤二，根据小波系数生成低分辨率图像。在执行步骤二之后，执行步骤三。

步骤三，根据原始图像和低分辨率图像对当前的神经网络进行优化得到神经网络的更新参数：

在根据小波系数生成低分辨率图像之后，将原始图像和对应的低分辨率图像作为训练样本对，对当前的神经网络进行优化，得到训练优化后的神经网络的更新参数。

当前的神经网络的定义与上述实施例中的定义相同，在此不再赘述。

相应地，该方法还可以包括：对多个样本图像进行小波分解，得到对应的多个低分辨率样本图像；根据多个样本图像和对应的多个低分辨率样本图像训练神经网络；将训练后的神经网络作为初始的神经网络存储在发送端和接收端，其中，在对第一个待发送的原始图像进行优化时确定当前的神经网络为初始的神经网络。

可选的，根据多个样本图像和对应的多个低分辨率样本图像训练神经网络包括：根据低分辨率样本图像的内容对低分辨率样本图像进行分类；对每个类别的低分辨率样本图像采用不同的神经网络进行训练，得到多个类别的神经网络。

步骤四，将小波系数和更新参数发送至接收端：

在确定出神经网络的更新参数和小波系数之后，将小波系数和更新参数发送至接收端。

需要说明的是，小波系数和更新参数的发送时间可以是不同步的，具体而言，可以在确定小波系数之后先将小波系数发送至接收端，同时根据小波系数生成低分辨率图像和训练样本的步骤，然后在确定出更新参数之后将更新参数发送至接收端，其中，更新参数可以是在每次优化训练之后均发送至接收端，也可以是在优化训练达到预设次数之后将更新参数发送至接收端。

可选的，在将小波系数和更新参数发送至接收端之前，可以根据预设压缩算法对要发送的数据进行压缩，具体而言，将小波系数和更新参数发送至接收端包括：对小波系数和更新参数按照预设压缩算法进行编码，得到码流；将得到的码流发送至接收端。

该实施例提供的图像处理方法从图像编解码的框架结构上进行改进，融入神经网络系统，使整个算法框架更加灵活，且对网络带宽适应性更强，该图像处理方法中的神经网络具有无监督自学习功能，随着使用，在不影响性能的前提下生成图像的效果会越来越好，在解码端引入神经网络，可以将图像进行更细的分类，提高生成图像的效果。

可选的，在上述步骤中，执行接收数据的模块和执行对接收到的数据进行处理(例如，重建等)的执行主体可以是相同的模块，也可以是不同的模块，不同的模块可以设置在相同的设备上，也可以设置在不同的设备上，根据具体情况而定，本发明对此不作具体限定。

本申请还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明上述实施例提供的图像处理方法。

本申请还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行本发明上述实施例提供的图像处理方法。

图2是根据本发明实施例的另一种可选的图像处理方法的流程图，该实施例提供的图像处理方法可以是由一种图像处理系统执行的，该图像处理系统包括本发明实施例提供的发送端和接收端，如图2所示，该方法包括如下步骤：

步骤s201，发送端对原始图像进行小波分解，得到小波系数：

发送端对待发送的原始图像按照预设小波基的小波进行小波分解，得到多个子带小波系数，可选的，可以选取其中一个小波系数作为待传输的数据。

步骤s202，发送端向接收端发送小波系数：

在发送端得到小波系数之后，向接收端发送小波系数，可选的，发送端可以在发送数据之前先对数据进行压缩，将压缩之后的数据发送至接收端。

步骤s203，接收端根据小波系数生成低分辨率图像：

接收端在获取小波系数之后，接收端根据小波系数生成低分辨率图像。小波系数是不带量纲的系数，该步骤可以采用与发送端进行小波分解时构造相同的小波对小波系数进行重构，重构之后得到与小波系数对应的低分辨率图像，该低分辨率图像是小波系数所确定的图像。

步骤s204，接收端根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像：

在根据小波系数生成低分辨率图像之后，根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像。

可选地，发送端和接收端的神经网络可以优化更新，发送端可以根据每次发送的原始图像和原始图像对应的低分辨率图像作为样本对继续对发送端的神经网络进行训练，将再训练预设次数之后得到的优化神经网络的参数发送至接收端，接收端可以根据获取的参数对接收端的神经网络进行更新。

具体而言，在发送端对原始图像进行小波分解，得到小波系数之后，该方法还可以包括：发送端根据小波系数生成低分辨率图像；发送端根据原始图像和低分辨率图像对发送端当前的神经网络进行优化；在发送端对神经网络经过预设次数的优化之后，发送端向接收端发送更新参数，其中，更新参数为在发送端经过预设次数优化之后的神经网络的参数；接收端在接收到更新参数之后，根据更新参数对接收端的神经网络进行更新以得到更新的神经网络，并基于更新的神经网络对后续接收到的小波系数对应的低分辨率图像进行超分辨率重建。

可选地，在发送端对原始图像进行小波分解，得到小波系数之前，该方法还可以包括：发送端或接收端对多个样本图像进行小波分解，得到对应的多个低分辨率样本图像；发送端或接收端根据多个样本图像和对应的多个低分辨率样本图像训练神经网络；将训练后的神经网络作为初始的神经网络存储在发送端和接收端。

可选地，发送端或接收端根据多个样本图像和对应的多个低分辨率样本图像训练神经网络可以包括：发送端或接收端根据低分辨率样本图像的内容对低分辨率样本图像进行分类；对每个类别的低分辨率样本图像采用对应的神经网络进行训练，得到多个类别的神经网络。

可选地，发送端向接收端发送小波系数可以包括：发送端对小波系数按照预设压缩算法进行编码，得到码流；发送端将得到的码流发送至接收端，其中，接收端在接收到码流之后按照预设压缩算法进行解码，得到小波系数。

本申请还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明上述实施例提供的图像处理方法。

本申请还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行本发明上述实施例提供的图像处理方法。

作为上述实施例的一种可选实施例，本发明将一种具体应用场景下的图像处理方法的步骤描述如下：

如图3所示，该实施例中的图像处理方法对原始图像进行小波分解的过程为：首先将整张原始图像x(n1，n2)利用提升的5/3小波进行分解，通过5/3提升算法对行数据获取低频信号并通过5/3提升算法对行数据获取高频信号，对行数据低频信号采用列数据2倍下采样得到x1(n1，n2/2)，对行数据高频信号采用列数据2倍下采样得到x2(n1，n2/2)，对x1(n1，n2/2)采用5/3提升算法对列数据获取低频信号，得到ll子带小波系数xll{n1/2，n2/2}，对x1(n1，n2/2)采用5/3提升算法对列数据获取高频信号，得到lh子带小波系数xlh{n1/2，n2/2}，对x2(n1，n2/2)采用5/3提升算法对列数据获取低频信号，得到hl子带小波系数xhl{n1/2，n2/2}，对x2(n1，n2/2)采用5/3提升算法对列数据获取高频信号，得到hh子带小波系数xhh{n1/2，n2/2}，也即，在小波分解后可以得到ll、lh、hl和hh四个子带信息，其中，l表示低通滤波后获得的低频信号，h表示高通滤波后的高频信号。通过这种分解方式把一副图像划分为了多个较小的图像信息。然后对小波变换后的图像进行压缩编码和传输。利用这种图像压缩方法一方面可以实现图片的无损压缩，一方面可以适应不同的网络环境实现分层传输。

如图4所示，该实施例中的图像处理方法通过人工神经网络实现图像的超分辨率重建的过程如下：(1)选取数量较大的清晰的高分辨率样本图像作为训练样本，对每个样本图像利用5/3小波分解、进行下采样和低通滤波，获得低分辨率图像，得到样本对，每个样本对包括一个原始图像和对应的低分辨率图像，样本对用于训练神经网络参数；(2)利用样本对在无监督条件下训练神经网络，神经网络为深度卷积神经网络，其中，训练神经网络时的约束条件是：保证低分辨率图像输入深度卷积神经网络后可以得到相应的高分辨率图像，且该高分辨率图像与原始的样本图像相似程度满足误差约束条件，具体的，低分辨率图像进入深度卷积神经网络之后通过反卷积输出图像，输出的图像为高分辨率图像，将输出的高分辨率图像与原始的高分辨率样本图像进行对比，计算误差，修正网络，然后将下一个样本对输入深度卷积神经网络进行下一次的训练；可选的，可以根据样本图像的内容不同分别训练多个神经网络，每个神经网络对应一个类别的图像内容，例如，对样本图像进行分类，判断是文字图像或图片图像，不同类别的图像采用不同的神经网络进行训练；(3)通过大量的样本训练后，可以得到训练好的文字神经网络和图片神经网络，在训练完成之后，可以选取与样本同类型的低分辨率图片，测试神经网络是否可以利用该图片生成相应的高分辨率图片。通过以上步骤，即完成了用于图像超分辨率重建的神经网络的训练，对网络参数保存，在编码端(发送端)和解码端(接收端)均以数据的形式保存两个训练好的神经网络。在后续使用中，可以将该训练好的神经网络当作“黑盒子”使用，来实现低分辨率图像的超分辨率重建。

如图5所示，编码端(发送端)的图像处理方法的过程如下：

将要发送的原始图像利用5/3小波做一级分解，获得低分辨率图像，将低分辨率图像利用现有的图像压缩算法对ll低频子带进行压缩编码，并传输码流。

在利用5/3小波做一级分解，获得低分辨率图像之后，还根据原始图像与低分辨率图像对编码端的神经网络进行更新，具体的，将低分辨率图像输入分类器进行鉴别，判断类型，确定是文字图像或图片图像，如果是文字图像，则调用文字图像的神经网络对文字图像进行图像超分辨率重建并根据重建结果优化文字神经网络，如果是图片图像，则调用图片图像的神经网络对图片图像进行图像超分辨率重建并根据重建结果优化图片神经网络，在优化达到预设次数之后，将优化后的神经网络的参数发送至解码端，解码端在接收到更新参数之后可以更新解码端存储的神经网络。

如图6所示，发送端在确定5/3小波分解低分辨率图像之后，进行压缩编码传输至接收端，解码端(接收端)的图像处理方法的过程如下：

接收端对数据进行解码，得到低分辨率图像，输入分类器进行鉴别，该分类器可以是与发送端的分类器相同的分类器，判断出是文字图像或图片图像之后，调用相应的神经网络进行图像超分辨率重建，生成高分辨率图像，输出图像。其中，解码端的神经网络可以更新，具体的，发送端在发送更新参数之后，解码端将当前的神经网络进行更新。

可选的，在该实施例提供的图像处理方法中，采用5/3小波作为小波基构造网络，在实际应用中，也可采用其它的小波基来构造网络，例如，haar小波或9/7小波等。

本发明实施例提供的图像处理方法可以采用c语言或c++语言编写程序，其中，c语言程序的性能较好，c++的代码组织比较好但运行效率低于c语言程序，优选的采用c语言进行编程。

该实施例提供的图像处理方法将小波分解的特点和深度神经网络图像超分辨率相结合，提出了一种新的图像压缩传输的技术方案，利用5/3小波分解的方法生成样本库，样本库初步分类为文字图像和图片图像两大类别，利用样本库训练深度神经网络，得到应用于文字图像和图片图像的两个神经网络；然后，在发送端对图像利用5/3小波分解，将原图的ll子带小波系数进行编码传输；最后，在接收端按照图像类别，分别利用文字或图片的神经网络对图片进行超分辨率重建，得到高分辨率图像并输出。

传统的图片压缩方法在现有的算法基础上已经很难有大幅度的提升，该实施例提供的图像处理方法提出的这种基于神经网络图像超分辨率的图像压缩方法，从本质上给出了新的图像压缩思路，可以大幅度提升压缩效率。采用一级小波分解的低分辨率图像来传输时，可将原有的图片压缩效率提升2倍以上。该方案可以利用神经网络无监督自学习的特点，在图像编码过程中无形的完成神经网络的优化，不断提升网络性能，使生成图像质量不断提升。

验证可得，仅对一级小波分解得到的ll子带小波系数进行压缩时，其码流大小仅为原码流的40％～50％，压缩效率较现有技术提升2倍以上，且解码生成的高分辨率图像与原图像差别不大，能够满足视觉需要，此外，该方案利用了神经网络的无监督学习特点，使图像质量在使用的过程中可以得到不断的提升，使得解码端的神经网络自学习优化，系统的性能随使用时间变长而不断变好。

该实施例提供的图像处理方法可以应用在电脑屏幕画面传输中，屏幕画面传输可应用于视频会议、远程桌面等场景。这些应用场景对网络带宽要求较高，带宽的大小将直接影响图像的质量和画面的流畅程度。因此，该方案的图像处理方法利用小波变换和深度神经网络的特点提出了一种新的图像压缩编解码传输方法，利用该方法可以在将原有的压缩效率提高2倍以上。

需要说明的是，在附图的流程图虽然示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请还提供了一种图像处理装置的实施例。该装置可以是设置于对图像进行还原的一端的装置，可以用于执行本发明实施例提供的用于对图像进行还原的图像处理方法。

图7是根据本发明实施例的一种可选的图像处理装置的示意图，如图7所示，该装置包括接收单元10，生成单元20和重建单元30，其中，接收单元用于接收发送端发送的数据，并根据接收的数据确定小波系数，其中，发送端发送的数据中包括对原始图像经过小波分解后得到的小波系数；生成单元用于根据小波系数生成低分辨率图像；重建单元用于根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像。

该实施例通过接收单元，用于接收发送端发送的数据，并根据接收的数据确定小波系数，其中，发送端发送的数据中包括对原始图像经过小波分解后得到的小波系数；生成单元，用于根据小波系数生成低分辨率图像；重建单元，用于根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像，解决了相关技术中的图像压缩方法无法同时满足较高的压缩效率和较高的图像还原质量的技术问题，进而实现了能够同时兼顾较高的压缩效率和较高的图像还原质量的技术效果。

进一步地，重建单元包括：确定模块，用于确定当前的神经网络；第一接收模块，用于接收更新参数，其中，更新参数为发送端发送的根据原始图像对当前的神经网络进行优化得到的神经网络的参数；更新模块，用于根据更新参数对当前的神经网络进行更新，得到更新的神经网络；第一重建模块，用于根据更新的神经网络对低分辨率图像进行超分辨率重建。

进一步地，该装置还包括：分解单元，用于对多个样本图像进行小波分解，得到对应的多个低分辨率样本图像；训练单元，用于根据多个样本图像和对应的多个低分辨率样本图像训练神经网络；存储单元，用于将训练后的神经网络作为初始的神经网络存储在发送端和接收端，其中，在根据发送端第一次发送的数据进行超分辨率重建时确定当前的神经网络为初始的神经网络。

进一步地，重建单元包括：选择模块，用于根据低分辨率图像的内容选择神经网络的类别；第二重建模块，用于根据选择的神经网络对低分辨率图像进行超分辨率重建。

进一步地，接收单元包括：第二接收模块，用于接收发送端发送的码流；解码模块，用于根据预设压缩算法对码流进行解码，得到小波系数，其中，预设压缩算法为发送端对经过小波分解后得到的小波系数进行压缩时使用的压缩算法。

图8是根据本发明实施例的另一种可选的图像处理装置的示意图，该装置可以是设置于对图像进行压缩的一端的装置，可以用于执行本发明实施例提供的用于对图像进行压缩的图像处理方法，如图8所示，该装置包括分解单元11，生成单元21，优化单元31和发送单元41，其中，分解单元用于对原始图像进行小波分解，得到小波系数；生成单元用于根据小波系数生成低分辨率图像；优化单元用于根据原始图像和低分辨率图像对当前的神经网络进行优化得到神经网络的更新参数；发送单元用于将小波系数和更新参数发送至接收端。

进一步地，分解单元还用于对多个样本图像进行小波分解，得到对应的多个低分辨率样本图像，该装置还包括：训练单元，用于根据多个样本图像和对应的多个低分辨率样本图像训练神经网络；存储单元，用于将训练后的神经网络作为初始的神经网络存储在发送端和接收端，其中，在对第一个待发送的原始图像进行优化时确定当前的神经网络为初始的神经网络。

进一步地，训练单元包括：分类模块，用于根据低分辨率样本图像的内容对低分辨率样本图像进行分类；训练模块，用于对每个类别的低分辨率样本图像采用不同的神经网络进行训练，得到多个类别的神经网络。

进一步地，发送单元包括：解码模块，用于对小波系数和更新参数按照预设压缩算法进行编码，得到码流；发送模块，用于将得到的码流发送至接收端。

图9是根据本发明实施例的另一种可选的图像处理装置的示意图，该装置可以用于执行本发明图2对应的实施例提供的图像处理方法，如图9所示，该装置包括分解单元12，发送单元22，生成单元32和重建单元42，其中，分解单元用于通过发送端对原始图像进行小波分解，得到小波系数；发送单元用于通过发送端向接收端发送小波系数；生成单元用于通过接收端根据小波系数生成低分辨率图像；重建单元用于接收端根据神经网络对低分辨率图像进行超分辨率重建，得到高分辨率图像。

上述的装置可以包括处理器和存储器，上述单元均可以作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。

上述本申请实施例的顺序不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。

其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。