本发明涉及图片处理领域，特别是涉及一种高分辨率图片生成方法、生成装置及存储介质。
背景技术：
随着科技的发展，人们对多媒体信息的要求越来越高，如提升多媒体信息对用户感观的刺激，因此高分辨率多媒体信息(图片信息或视频信息等)成为了主流的多媒体文件。
当交互双方需要进行高分辨率多媒体信息交互时，交互终端往往需要大量的存储介质对高分辨率多媒体进行存储操作，同时交互终端也往往需要高速宽带进行高分辨多媒体传输操作，这样会大大提高交互终端双方的信息交互成本，同时上述存储介质以及带宽的要求也造成了交互终端双方的信息交互效率的降低。
因此急需一种可以将压缩后的低分辨率(lowresolution,lr)图像转换为原来的高分辨率(highresolution,hr)图像的图像超分辨率技术(superresolution,sr)。
技术实现要素：
本发明实施例提供一种可降低交互终端双方的信息交互成本，提高交互终端双方的信息交互效率的高分辨率图片生成方法以及高分辨率图片生成装置；以解决现有的高分辨率图片生成方法以及高分辨率图片生成装置的信息交互成本较高且信息交互效率较低的技术问题。
本发明实施例提供一种高分辨率图片生成方法，其包括：
获取至少一个深度神经网络模型，其中所述深度神经网络模型由模型生成设备根据对应的高分辨率图片、图片转换算法以及深度神经网络框架生成；
获取低分辨率图片，所述低分辨率图片由图片生成设备根据对应的高分辨率图片以及图片转换算法生成；
根据所述低分辨率图片，确定对应的深度神经网络模型；以及
通过所述深度神经网络模型，将所述低分辨率图片转换为高分辨率图片；
其中所述深度神经网络模型包括交替使用不同参数矩阵作为卷积模板参数的多个非线性转换卷积层。
本发明实施例还提供一种高分辨率图片生成装置，其包括：
深度神经网络模型获取模块，用于获取至少一个深度神经网络模型，其中所述深度神经网络模型由其他终端根据对应的高分辨率图片、图片转换算法以及深度神经网络框架生成；
低分辨率图片获取模块，用于获取低分辨率图片，所述低分辨率图片由其他终端根据对应的高分辨率图片以及图片转换算法生成；
深度神经网络模型确定模块，用于根据所述低分辨率图片，确定对应的深度神经网络模型；以及
图片转换模块，用于通过所述深度神经网络模型，将所述低分辨率图片转换为高分辨率图片；
其中所述深度神经网络模型包括交替使用不同参数矩阵作为卷积模板参数的多个非线性转换卷积层。
本发明实施例还提供一种存储介质，其内存储有处理器可执行指令，该处理器通过执行上述指令提供上述的高分辨率图片生成方法。
相较于现有技术，本发明的高分辨率图片生成方法、生成装置及存储介质通过创建具有非线性转换卷积层的深度神经网络模型，提高了将压缩后的低分辨率图片还原为高分辨率图片的准确性，从而降低了交互终端双方的多媒体图片信息的交互成本，提高了交互终端双方的多媒体图片信息的交互效率；有效的解决了现有的高分辨率图片生成方法以及高分辨率图片生成装置的信息交互成本较高且信息交互效率较低的技术问题。
附图说明
图1为本发明的高分辨率图片生成方法的一实施例的流程图；
图2为本发明的高分辨率图片生成方法的一实施例的步骤s104的流程图；
图3为本发明的高分辨率图片生成方法的一实施例中的深度神经网络模型的创建流程图；
图4为本发明的高分辨率图片生成方法的一实施例中的深度神经网络模型的创建细化流程图；
图5为本发明的高分辨率图片生成装置的一实施例的结构示意图；
图6为本发明的高分辨率图片生成装置的一实施例的图片转换模块的结构示意图；
图7为本发明的高分辨率图片生成装置的一实施例中对应的模型生成设备的结构示意图；
图8为本发明的高分辨率图片生成装置的一实施例中对应的模型生成设备的子图片转换模块的结构示意图；
图9为本发明的高分辨率图片生成装置的一实施例中对应的模型生成设备的模型生成模块的结构示意图；
图10为本发明的高分辨率图片生成装置的一实施例中对应的模型生成设备的模型生成模块的低分辨率子图片特征点提取单元的结构示意图；
图11a为本发明的高分辨率图片生成方法及高分辨率图片生成装置的具体实施例的工作原理示意图；
图11b为本发明的高分辨率图片生成方法及高分辨率图片生成装置的具体实施例的工作时序图；
图12为本发明的高分辨率图片生成方法及高分辨率图片生成装置的具体实施例的深度神经网络模型的结构示意图；
图13为本发明的高分辨率图片生成装置所在的电子设备的工作环境结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本发明的高分辨率图片生成方法及图片生成装置可设置在任何的电子设备中，用于对接收到的低分辨率图片进行高分辨率图片转换操作。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(pda)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为用于进行信息交互的移动终端或固定终端。
本发明的高分辨率图片生成方法及图片生成装置通过创建具有非线性转换卷积层的深度神经网络模型，提高了压缩后的低分辨率图片还原为高分辨率图片的转换准确度，由于部分交互终端可只存储以及传输低分辨率图片，因此可有效的降低交互终端双方的多媒体图片信息的交互成本，提高了交互终端双方的多媒体图片信息的交互效率；解决了现有的高分辨率图片生成方法以及高分辨率图片生成装置的信息交互成本较高且信息交互效率较低的技术问题。
请参照图1，图1为本发明的高分辨率图片生成方法的一实施例的流程图。本实施例的高分辨率图片生成方法可使用上述的电子设备进行实施，本实施例的高分辨率图片生成方法包括：
步骤s101，获取至少一个深度神经网络模型，其中深度神经网络模型由模型生成设备根据对应的高分辨率图片、图片转换算法以及深度神经网络框架生成；
步骤s102，获取低分辨率图片，其中低分辨率图片由图片生成设备根据对应的高分辨率图片以及图片转换算法生成；
步骤s103，根据低分辨率图片，确定对应的深度神经网络模型；
步骤s104，通过深度神经网络模型，将低分辨率图片转换为高分辨率图片。
下面详细说明本实施例的高分辨率图片生成方法的高分辨率图片的生成过程。
在步骤s101中，高分辨率图片生成装置(电子设备)从模型生成设备上获取至少一个深度神经网络模型。
这里的模型生成设备可为用于生成深度神经网络模型的后台服务器或用户终端。
这里的深度神经网络模型是用来快速将对应的低分辨率图片转换为高分辨率图片的机器学习模型。该机器学习模型通过对大量低分辨率图片和高分辨率图片的转换数据进行学习，生成低分辨率图片转换为高分辨率图片的通用算法。
该深度神经网络模型可根据对应的高分辨率图片、图片转换算法以及深度神经网络框架。其中高分辨率图片可设定该深度神经网络可适应的图片类型，如人物近景图片或远景图片等；图片转换算法是指高分辨率图片转换为低分辨率图片的转换算法，如图片压缩算法以及图片分割算法等；深度神经网络框架是指该深度神经网络模型的预设结构，如输入卷积层、输出卷积层等结构，该深度神经网络框架和对应的深度神经网络模型的参数构成对应的深度神经网络模型。
由于深度神经网络模型与高分辨率图片、图片转换算法以及深度神经网络框架均相关，因此高分辨率图片生成装置可同时获取多个不同的深度神经网络模型，以便对不同参数的高分辨率图片进行生成操作。
上述深度神经网络模型可由模型生成设备预先生成，从而可有效的提高高分辨率图片生成装置实时转换高分辨率图片的转换效率。高分辨率图片生成装置可设置在该模型生成设备中，也可设置在其他的移动或固定设备上，后续高分辨率图片生成装置可从模型生成设备上获取深度神经网络模型。
在步骤s102中，高分辨率图片生成装置从图片生成设备上获取低分辨率图片。
这里的图片生成设备可为用于生成低分辨率图片的后台服务器或用户终端。
这里的低分辨率图片由图片生成设备根据对应的高分辨率图片以及图片转换算法生成。为了降低图片生成设备的图片信息储存量以及图片信息传输量，图片生成设备会将需要传输的高分辨率图片按图片转换算法进行处理，以生成相应的低分辨率图片。
这里的高分辨率图片与步骤s101中生成深度神经网络模型的高分辨图片相同，这里的图片转换算法也与步骤s101中生成深度神经网络模型的图片转换算法相同。这样高分辨率图片生成装置可根据步骤s101获取的深度神经网络对本步骤获取的低分辨率图片进行图片高分辨率转换。
上述低分辨率图片由图片生成设备生成，该高分辨率图片生成装置可设置在该图片生成设备中，以通过该低分辨率图片降低图片生成设备的图片信息储存量。该高分辨率图片生成装置也可设置在其他的移动或固定设备上，以通过该低分辨率图片降低图片生成设备向高分辨率图片生成装置所在设备的图片信息传输量。
在步骤s103中，高分辨率图片生成装置根据步骤s102获取的低分辨率图片，从步骤s101中获取的多个深度神经网络模型中确定与低分辨率图片对应的深度神经网络模型。
具体的，深度神经网络模型在生成多个深度神经网络模型时，可使用高分辨率图片或图片转换算法对每个深度神经网络模型适用的图片进行分类。同时图片生成设备在生成低分辨率图片时，可也使用对应的高分辨率图片或图片转换算法对相应的低分辨率图片进行分类。因此如某个低分辨率图片对应的高分辨率图片和某个深度神经网络模型对应的高分辨率图片的类型相同，则可认为该低分辨率图片与该深度神经网络模型相对应。
在步骤s104中，高分辨率图片生成装置通过步骤s103获取的深度神经网络模型，将步骤s102获取的低分辨率图片转换为对应的高分辨率图片。具体请参照图2，图2为本发明的高分辨率图片生成方法的一实施例的步骤s104的流程图。该步骤s104包括：
步骤s201，高分辨率图片生成装置对低分辨率图片进行双立方插值放大操作，以得到放大操作后的低分辨率图片；这样使得低分辨率图片具有与高分辨率图片相同数量的图片特征点。
步骤s202，高分辨率图片生成装置基于放大操作后的低分辨率图片中图片像素的像素亮度值，获取低分辨率图片的图片特征点。
由于人眼对像素亮度值敏感度较大，对色彩的容错性较大，因此这里仅以低分辨率子图片的图片像素的像素亮度值，作为低分辨率子图片的图片特征点，以简化深度神经网络模型。
步骤s203，高分辨率图片生成装置通过深度神经网络模型，将低分辨率图片的图片特征点转换为高分辨率图片的图片特征点。这里的高分辨率图片的图片特征点也是高分辨率图片中图片像素的像素亮度值。
步骤s204，高分辨率图片生成装置根据步骤s203获取的高分辨率图片的图片特征点以及低分辨率图片的蓝色红色浓度偏移量，合成高分辨率图片的图片像素，从而获取该低分辨率图片对应的高分辨率图片。
这样高分辨率图片生成装置可仅仅通过查找深度神经网络模型以及使用深度神经网络模型对分辨率图片进行转换两个步骤实现了高分辨率图片的转换还原，大大提高了高分辨率图片生成装置的高分辨率图片的转换效率以及高分辨率图片生成装置的信息交互效率。
这样即完成了实施例的高分辨率图片生成方法的高分辨率图片的生成过程。
本实施例的高分辨率图片生成方法通过创建具有非线性转换卷积层的深度神经网络模型，提高了将压缩后的低分辨率图片转换还原为高分辨率图片的准确性，从而降低了交互终端双方的多媒体图片信息的交互成本，提高了交互终端双方的多媒体图片信息的交互效率。
图3为本发明的高分辨率图片生成方法的一实施例中的深度神经网络模型的创建流程图。本实施例的高分辨率图片生成方法中模型生成设备根据高分辨率图片、图片转换算法以及深度神经网络框架生成深度神经网络模型。具体包括：
步骤s301，将高分辨率图片分割为多个高分辨率子图片；
步骤s302，使用图片转换算法对高分辨率子图片进行图片转换，以得到高分辨率子图片对应的低分辨率子图片；
步骤s303，以低分辨率子图片作为深度神经网络框架的输入样本，高分辨率子图片作为深度神经网络框架的输出对比样本，生成对应的深度神经网络模型。
下面详细说明上述深度神经网络模型生成的各步骤的具体流程。
在步骤s301中，模型生成设备对用来进行机器学习的高分辨率图片进行分割操作，如平均分割为4等分或9等分等，以获取多个高分辨率子图片。
在步骤s302中，模型生成设备使用预设的图片转换算法对高分辨率子图片进行图片转换，以得到高分辨率子图片对应的低分辨率子图片。具体可为：
模型生成设备按设定缩放比例，对步骤s301获取的高分辨率子图片进行图片缩小操作，如将每张高分辨率子图片缩小为原来尺寸的四分之一等。
随后模型生成设备使用设定压缩算法对图片缩小操作后的高分辨率子图片进行图片压缩操作，如将图片的品质由100％降低到85％等。
这样即可得到高分辨率子图片对应的低分辨率子图片。
在步骤s303中，模型生成设备以步骤s302获取的低分辨率子图片作为深度神经网络框架的输入样本，步骤s301获取的高分辨率子图片作为深度神经网络框架的输出对比样本，生成对应的深度神经网络模型。具体请参照图4，图4为本发明的高分辨率图片生成方法的一实施例中的深度神经网络模型的创建细化流程图。该步骤s303包括：
步骤s401，模型生成设备提取低分辨率子图片的图片特征点。具体的，模型生成设备可首先对低分辨率子图片进行双立方插值放大操作，以得到放大操作后的低分辨率子图片。这样可保证低分辨率子图片的图片特征点的数量与高分辨率子图片的图片特征点的数量一致。
随后模型生成设备将放大操作后的低分辨率子图片从rgb彩色空间转换到ycbcr彩色空间，并获取ycbcr彩色空间中低分辨率子图片的图片像素的像素亮度值，作为低分辨率子图片的图片特征点。
其中ycbcr彩色空间中的低分辨率子图片通过图片像素的像素亮度值(y)、蓝色浓度偏移值(cb)以及红色浓度偏移值(cr)来定义图片。由于人眼对像素亮度值敏感度较大，对色彩的容错性较大，因此这里仅以低分辨率子图片的图片像素的像素亮度值，作为低分辨率子图片的图片特征点，以在不影响图片转换结果的情况下减小深度神经网络模型的计算量。
同样模型生成设备可获取ycbcr彩色空间中高分辨率子图片中图片像素的像素亮度值，作为高分辨率子图片的图片特征点。
步骤s402，模型生成设备根据步骤s401获取的低分辨率子图片的图片特征点、输入卷积层的卷积核数量以及输入卷积层的特征图尺寸，创建深度神经网络模型的输入卷积层以及对应的输入激活层。
这里的低分辨率子图片的图片特征点为该输入卷积层的输入，输入卷积层的卷积核数量用于表示从低分辨率子图片的图片特征点上进行特征提取的特征提取模式的数量，输入卷积层的特征图尺寸用于调整深度神经网络模型的复杂度。其中输入卷积层的卷积核数量越大，输入卷积层的特征图尺寸越大，深度神经网络模型的复杂度越高，图片转换结果也就越准确。
这里为了提高图片转换结果的准确性，可设置较多的特征提取模式，因此输入卷积层的卷积核数量设置的较大，如设置为14-18等。
如输入的低分辨率子图片的图片特征点为32*32的特征点矩阵，则可使用红色的像素亮度值、蓝色的像素亮度值以及绿色的像素亮度值进行图片特征点的特征提取(即输入卷积层的卷积核数量为3)。如设定该输入卷积层的卷积模板参数为5*5，则该输入卷积层的特征图尺寸为28*28，即使用5*5的参数矩阵依次遍历32*32的特征点矩阵可得到28*28尺寸的特征图。因此得到的输入卷积层的输出为28*28*3。
此外这里还需要使用输入激活层对输入卷积层的输出进行非线性处理，以保证输入卷积层的输出是可微的，进而保证后续深度神经网络模型的参数训练的正常运行。
步骤s403，模型生成设备根据步骤s402获取的深度神经网络模型的输入激活层的输出数据、非线性转换卷积层的卷积核数量、非线性转换卷积层的特征图尺寸以及非线性转换卷积层的卷积模板参数，创建深度神经网络模型的多个非线性转换卷积层以及对应的非线性转换激活层。如设置5个非线性转换卷积层以及对应的非线性转换激活层，多个非线性转换卷积层以及对应的非线性转换激活层依次连接，如非线性转换卷积层a1的输出与非线性转换激活层b1的输入连接，非线性转换激活层b1的输出与非线性转换卷积层a2的输入连接，非线性转换卷积层a2的输出与非线性转换激活层b2的输入连接……。
这里的深度神经网络模型的输入激活层的输出数据为第一个非线性转换卷积层的输入。非线性转换卷积层的卷积核数量用于表示从输入激活层的输出数据上进行特征提取的特征提取模式的数量，非线性转换卷积层的特征图尺寸和非线性转换卷积层的卷积模板参数用于调整深度神经网络模型的复杂度。
这里为了减小深度神经网络模型的运算量，可设置较少的特征提取模式，因此非线性转换卷积层的卷积核数量设置的较小，如设置为4-6等。即输入卷积层的卷积核数量大于非线性转换卷积层的卷积核数量。
具体的，模型生成设备交替使用第一参数矩阵和第二参数矩阵，设置所有非线性转换卷积层的卷积模板参数。这里优选第一参数矩阵为1*1，德日参数矩阵为3*3。如非线性转换卷积层a1的卷积模板参数为1*1，非线性转换卷积层a2的卷积模板参数为3*3，非线性转换卷积层a3的卷积模板参数为1*1……。这样可以有效的提高深度神经网络模型的非线性特性，减小非线性转换卷积层的特征图尺寸的变化量，从而进一步减小深度神经网络模型的运算量，保证了后续深度神经网络模型的参数训练时的深度神经网络模型的收敛性，也不容易发生过拟合的现象。
此外这里还需要使用非线性转换激活层对相应的非线性转换卷积层的输出进行非线性处理，以保证输入卷积层的输出是可微的，进而保证后续深度神经网络模型的参数训练的正常运行。
步骤s404，模型生成设备根据步骤s403获取的深度神经网络模型的最后一个非线性转换激活层的输出数据、预输出卷积层的卷积核数量以及预输出卷积层的特征图尺寸，创建深度神经网络模型的预输出卷积层以及预输出激活层；
这里的深度神经网络模型的最后一个非线性转换激活层的输出数据为该输入卷积层的输入，预输出卷积层的卷积核数量用于表示从最后一个非线性转换激活层的输出数据上进行特征提取的特征提取模式的数量，输入卷积层的特征图尺寸用于调整深度神经网络模型的复杂度。
这里为了提高图片转换结果的准确性，预输出卷积层的卷积核数量应该与输入卷积层的卷积核数量相等，如均设置为14-18等。这样经过非线性转换激活层的非线性转换后，可使用同样的特征提取模式来生成高分辨率子图片。
此外这里还需要使用预输出激活层对相应的预输出卷积层的输出进行非线性处理，以保证预输出卷积层的输出是可微的，进而保证后续深度神经网络模型的参数训练的正常运行。
步骤s405，模型生成设备根据步骤s404获取的深度神经网络模型的预输出激活层的数据、输出卷积层的卷积核数量以及输出卷积层的特征图尺寸，创建深度神经网络模型的输出卷积层。
这里的深度神经网络模型的预输出激活层的输出数据为该输出卷积层的输入，输出卷积层的卷积核数量用于表示从预输出激活层的输出数据上进行特征提取的特征提取模式的数量，预输出激活层的特征图尺寸用于调整深度神经网络模型的复杂度。
为了保证图片转换结果的准确性，输出卷积层的特征图尺寸应与输入卷积层的特征图尺寸相同，这样可以输出相同数量的图片特征点，与输出对比样本(高分辨率子图片的图片特征点)进行对比操作。
步骤s406，模型生成设备基于步骤s405获取的深度神经网络模型的输出卷积层的数据以及高分辨率子图片的图片特征点，生成对应的深度神经网络模型。
使用高分辨率子图片的图片特征点对深度神经网络模型的输出卷积层的输出数据进行比较，并根据比较结果对深度神经网络模型的参数进行修正，使得最后深度神经网络模型的输出卷积层的输出数据与高分辨率子图片的图片特征点的差异小于设定值，这样即可确定对应的深度神经网络模型。
具体的，这里为了加快深度神经网络模型的机器训练速度，这里模型生成设备可以预先使用prelu算法(parametricrectifiedlinearunit，参数化修正线性单元)对深度神经网络模型进行参数(如卷积模板参数w以及偏置参数b)初始化操作，这样可使得深度神经网络模型的收敛速度更快。
同时模型生成设备还可使用adam(adaptivemomentestimation，适应性矩估计)算法对深度神经网络模型进行迭代运算，从而可快速准确的获取该深度神经网络模型中的参数。
这样即完成了本实施例的深度神经网络模型的生成过程。
本实施例的深度神经网络模型通过多个卷积核数量较小的非线性转换卷积层的设置，有效的减少了深度神经网络模型的运算量。同时预输出卷积层的卷积核数量与输入卷积层的卷积核数量相等，输出卷积层的特征图尺寸与输入卷积层的特征图尺寸相同，进一步提高了深度神经网络模型的运算准确性。
本发明还提供一种高分辨率图片生成装置，请参照图5，图5为本发明的高分辨率图片生成装置的一实施例的结构示意图。本实施例的高分辨率图片生成装置可使用上述的高分辨率图片生成方法进行实施，本实施例的高分辨率图片生成装置50包括深度神经网络模型获取模块51、低分辨率图片获取模块52、深度神经网络模型确定模块53以及图片转换模块54。
深度神经网络模型获取模块51用于获取至少一个深度神经网络模型，其中深度神经网络模型由其他终端根据对应的高分辨率图片、图片转换算法以及深度神经网络框架生成；低分辨率图片获取模块52用于获取低分辨率图片，其中低分辨率图片由其他终端根据对应的高分辨率图片以及图片转换算法生成；深度神经网络模型确定模块53用于根据低分辨率图片，确定对应的深度神经网络模型；图片转换模块54用于通过深度神经网络模型，将低分辨率图片转换为高分辨率图片。
请参照图6，图6为本发明的高分辨率图片生成装置的一实施例的图片转换模块的结构示意图。该图片转换模块54包括低分辨率图片放大操作单元61、低分辨率图片特征点获取单元62、图片特征点转换单元63以及高分辨率图片获取单元64。
低分辨率图片放大操作单元61用于对低分辨率图片进行双立方插值放大操作，以得到放大操作后的低分辨率图片；低分辨率图片特征点获取单元62用于基于放大操作后的低分辨率图片中图片像素的像素亮度值，获取低分辨率图片的图片特征点；图片特征点转换单元63用于通过深度神经网络模型，将低分辨率图片的图片特征点转换为高分辨率图片的图片特征点；高分辨率图片获取单元64用于根据高分辨率图片的图片特征点以及低分辨率图片的蓝色红色浓度偏移量，获取高分辨率图片。
本实施例的高分辨率图片生成装置50使用时，首先深度神经网络模型获取模块51从模型生成设备上获取至少一个深度神经网络模型。
这里的模型生成设备可为用于生成深度神经网络模型的后台服务器或用户终端。
这里的深度神经网络模型是用来快速将对应的低分辨率图片转换为高分辨率图片的机器学习模型。该机器学习模型通过对大量低分辨率图片和高分辨率图片的转换数据进行学习，生成低分辨率图片转换为高分辨率图片的通用算法。
该深度神经网络模型可根据对应的高分辨率图片、图片转换算法以及深度神经网络框架。其中高分辨率图片可设定该深度神经网络可适应的图片类型，如人物近景图片或远景图片等；图片转换算法是指高分辨率图片转换为低分辨率图片的转换算法，如图片压缩算法以及图片分割算法等；深度神经网络框架是指该深度神经网络模型的预设结构，如输入卷积层、输出卷积层等结构，该深度神经网络框架和对应的深度神经网络模型的参数构成对应的深度神经网络模型。
由于深度神经网络模型与高分辨率图片、图片转换算法以及深度神经网络框架均相关，因此高分辨率图片生成装置可同时获取多个不同的深度神经网络模型，以便对不同参数的高分辨率图片进行生成操作。
上述深度神经网络模型可由模型生成设备预先生成，从而可有效的提高高分辨率图片生成装置实时转换高分辨率图片的转换效率。高分辨率图片生成装置可设置在该模型生成设备中，也可设置在其他的移动或固定设备上，后续高分辨率图片生成装置可从模型生成设备上获取深度神经网络模型。
随后低分辨率图片获取模块52从图片生成设备上获取低分辨率图片。
这里的图片生成设备可为用于生成低分辨率图片的后台服务器或用户终端。
这里的低分辨率图片由图片生成设备根据对应的高分辨率图片以及图片转换算法生成。为了降低图片生成设备的图片信息储存量以及图片信息传输量，图片生成设备会将需要传输的高分辨率图片按图片转换算法进行处理，以生成相应的低分辨率图片。
这里的高分辨率图片与生成深度神经网络模型的高分辨图片相同，这里的图片转换算法也与生成深度神经网络模型的图片转换算法相同。这样高分辨率图片生成装置可根据深度神经网络模型获取模块获取的深度神经网络对低分辨率图片进行图片高分辨率转换。
上述低分辨率图片由图片生成设备生成，该高分辨率图片生成装置可设置在该图片生成设备中，以通过该低分辨率图片降低图片生成设备的图片信息储存量。该高分辨率图片生成装置也可设置在其他的移动或固定设备上，以通过该低分辨率图片降低图片生成设备向高分辨率图片生成装置所在设备的图片信息传输量。
然后深度神经网络模型确定模块53根据低分辨率图片获取模块52获取的低分辨率图片，从深度神经网络模型获取模块获取的多个深度神经网络模型中确定与低分辨率图片对应的深度神经网络模型。
具体的，深度神经网络模型在生成多个深度神经网络模型时，可使用高分辨率图片或图片转换算法对每个深度神经网络模型适用的图片进行分类。同时图片生成设备在生成低分辨率图片时，可也使用对应的高分辨率图片或图片转换算法对相应的低分辨率图片进行分类。因此如某个低分辨率图片对应的高分辨率图片和某个深度神经网络模型对应的高分辨率图片的类型相同，则可认为该低分辨率图片与该深度神经网络模型相对应。
最后图片转换模块54通过深度神经网络模型确定模块53获取的深度神经网络模型，将低分辨率图片获取模块52获取的低分辨率图片转换为对应的高分辨率图片。具体流程包括：
图片转换模块54的低分辨率图片放大操作单元61对低分辨率图片进行双立方插值放大操作，以得到放大操作后的低分辨率图片；这样使得低分辨率图片具有与高分辨率图片相同数量的图片特征点。
图片转换模块54的低分辨率图片特征点获取单元62基于放大操作后的低分辨率图片中图片像素的像素亮度值，获取低分辨率图片的图片特征点。
由于人眼对像素亮度值敏感度较大，对色彩的容错性较大，因此这里仅以低分辨率子图片的图片像素的像素亮度值，作为低分辨率子图片的图片特征点，以简化深度神经网络模型。
图片转换模块54的图片特征点转换单元63通过深度神经网络模型，将低分辨率图片的图片特征点转换为高分辨率图片的图片特征点。这里的高分辨率图片的图片特征点也是高分辨率图片中图片像素的像素亮度值。
图片转换模块54的高分辨率图片获取单元64根据图片特征点转换单元63获取的高分辨率图片的图片特征点以及低分辨率图片的蓝色红色浓度偏移量，合成高分辨率图片的图片像素，从而获取该低分辨率图片对应的高分辨率图片。
这样高分辨率图片生成装置50可仅仅通过查找深度神经网络模型以及使用深度神经网络模型对分辨率图片进行转换两个步骤实现了高分辨率图片的转换还原，大大提高了高分辨率图片生成装置的高分辨率图片的转换效率以及高分辨率图片生成装置的信息交互效率。
这样即完成了实施例的高分辨率图片生成装置50的高分辨率图片的生成过程。
本实施例的高分辨率图片生成装置通过创建具有非线性转换卷积层的深度神经网络模型，提高了将压缩后的低分辨率图片转换还原为高分辨率图片的准确性，从而降低了交互终端双方的多媒体图片信息的交互成本，提高了交互终端双方的多媒体图片信息的交互效率。
请参照图7，图7为本发明的高分辨率图片生成装置的一实施例中对应的模型生成设备的结构示意图。该模型生成设备70包括图片分割模块71、子图片转换模块72以及模型生成模块73。
图片分割模块71用于将高分辨率图片分割为多个高分辨率子图片；子图片转换模块72用于使用图片转换算法对高分辨率子图片进行图片转换，以得到高分辨率子图片对应的低分辨率子图片；模型生成模块73用于以低分辨率子图片作为深度神经网络框架的输入样本，高分辨率子图片作为深度神经网络框架的输出对比样本，生成对应的深度神经网络模型。
请参照图8，图8为本发明的高分辨率图片生成装置的一实施例中对应的模型生成设备的子图片转换模块的结构示意图。该子图片转换模块72包括图片缩小操作单元81以及图片压缩单元82。
图片缩小操作单元81用于按设定缩放比例，对高分辨率子图片进行图片缩小操作；图片压缩单元82用于使用设定压缩算法对图片缩小操作后的高分辨率子图片进行图片压缩操作，以得到高分辨率子图片对应的低分辨率子图片。
请参照图9，图9为本发明的高分辨率图片生成装置的一实施例中对应的模型生成设备的模型生成模块的结构示意图。
该模型生成模块73包括高分辨率子图片特征点提取单元91、特征图尺寸设置单元92、卷积核数量设置单元93、卷积模板参数设置单元94、模型参数初始化单元95、模型参数运算单元96、低分辨率子图片特征点提取单元97、输入卷积层及激活层创建单元98、非线性转换卷积层及激活层创建单元99、预输出卷积层及激活层创建单元9a、输出卷积层创建单元9b以及模型生成单元9c。
高分辨率子图片特征点提取单元91用于基于高分辨率子图片中图片像素的像素亮度值，获取高分辨率子图片的图片特征点。特征图尺寸设置单元92用于设置输入卷积层的特征图尺寸与输出卷积层的特征图尺寸。卷积核数量设置单元93用于设置输入卷积层的卷积核数量、预输出卷积层的卷积核数量以及非线性转换卷积层的卷积核数量。卷积模板参数设置单元94用于交替使用1*1和3*3的参数矩阵，设置所有非线性转换卷积层的卷积模板参数。模型参数初始化单元95用于采用prelu算法对深度神经网络模型进行参数初始化操作。模型参数运算单元96用于使用adam算法对深度神经网络模型进行迭代运算，以获取深度神经网络模型中的参数。低分辨率子图片特征点提取单元97用于提取低分辨率子图片的图片特征点。输入卷积层及激活层创建单元98用于根据低分辨率子图片的图片特征点、输入卷积层的卷积核数量以及输入卷积层的特征图尺寸，创建深度神经网络模型的输入卷积层以及对应的输入激活层。非线性转换卷积层及激活层创建单元99用于根据深度神经网络模型的输入激活层的数据、非线性转换卷积层的卷积核数量、非线性转换卷积层的特征图尺寸以及非线性转换卷积层的卷积模板参数，创建深度神经网络模型的多个非线性转换卷积层以及对应的非线性转换激活层。预输出卷积层及激活层创建单元9a用于根据深度神经网络模型的多个非线性转换激活层的数据、预输出卷积层的卷积核数量以及预输出卷积层的特征图尺寸，创建深度神经网络模型的预输出卷积层以及预输出激活层。输出卷积层创建单元9b用于根据深度神经网络模型的预输出激活层的数据、输出卷积层的卷积核数量以及输出卷积层的特征图尺寸，创建深度神经网络模型的输出卷积层。模型生成单元9c用于基于深度神经网络模型的输出卷积层的数据以及高分辨率子图片的图片特征点，生成对应的深度神经网络模型。
请参照图10，图10为本发明的高分辨率图片生成装置的一实施例中对应的模型生成设备的模型生成模块的低分辨率子图片特征点提取单元的结构示意图。该低分辨率子图片特征点提取单元97包括子图片插值放大操作子单元101以及低分辨率子图片特征点提取子单元102。
子图片插值放大操作子单元101用于对低分辨率子图片进行双立方插值放大操作，以得到放大操作后的低分辨率子图片；低分辨率子图片特征点提取子单元102用于基于放大操作后的低分辨率子图片中图片像素的像素亮度值，获取低分辨率子图片的图片特征点。
本实施例的模型生成设备70生成对应的深度神经网络模型的流程包括：
首先图片分割模块71对用来进行机器学习的高分辨率图片进行分割操作，如平均分割为4等分或9等分等，以获取多个高分辨率子图片。
随后子图片转换模块72使用预设的图片转换算法对高分辨率子图片进行图片转换，以得到高分辨率子图片对应的低分辨率子图片。具体可为：
子图片转换模块72的图片缩小操作单元81按设定缩放比例，对图片分割模块获取的高分辨率子图片进行图片缩小操作，如将每张高分辨率子图片缩小为原来尺寸的四分之一等。
子图片转换模块72的图片压缩单元82使用设定压缩算法对图片缩小操作后的高分辨率子图片进行图片压缩操作，如将图片的品质由100％降低到85％等。这样即可得到高分辨率子图片对应的低分辨率子图片。
随后模型生成模块73以子图片转换模块72获取的低分辨率子图片作为深度神经网络框架的输入样本，图片分割模块71获取的高分辨率子图片作为深度神经网络框架的输出对比样本，生成对应的深度神经网络模型。具体深度神经网络模型的创建流程包括：
一、模型生成模块73的低分辨率子图片特征点提取单元97提取低分辨率子图片的图片特征点。具体的，低分辨率子图片特征点提取单元97的子图片插值放大操作子单元101对低分辨率子图片进行双立方插值放大操作，以得到放大操作后的低分辨率子图片。这样可保证低分辨率子图片的图片特征点的数量与高分辨率子图片的图片特征点的数量一致。
低分辨率子图片特征点提取单元97的低分辨率子图片特征点提取子单元102将放大操作后的低分辨率子图片从rgb彩色空间转换到ycbcr彩色空间，并获取ycbcr彩色空间中低分辨率子图片的图片像素的像素亮度值，作为低分辨率子图片的图片特征点。
其中ycbcr彩色空间中的低分辨率子图片通过图片像素的像素亮度值(y)、蓝色浓度偏移值(cb)以及红色浓度偏移值(cr)来定义图片。由于人眼对像素亮度值敏感度较大，对色彩的容错性较大，因此这里仅以低分辨率子图片的图片像素的像素亮度值，作为低分辨率子图片的图片特征点，以在不影响图片转换结果的情况下减小深度神经网络模型的计算量。
同样高分辨率子图片特征点提取单元91可获取ycbcr彩色空间中高分辨率子图片中图片像素的像素亮度值，作为高分辨率子图片的图片特征点。
二、模型生成模块73的输入卷积层及激活层创建单元98根据低分辨率子图片特征点提取单元97获取的低分辨率子图片的图片特征点、输入卷积层的卷积核数量以及输入卷积层的特征图尺寸，创建深度神经网络模型的输入卷积层以及对应的输入激活层。
这里的低分辨率子图片的图片特征点为该输入卷积层的输入，输入卷积层的卷积核数量用于表示从低分辨率子图片的图片特征点上进行特征提取的特征提取模式的数量，输入卷积层的特征图尺寸用于调整深度神经网络模型的复杂度。其中输入卷积层的卷积核数量越大，输入卷积层的特征图尺寸越大，深度神经网络模型的复杂度越高，图片转换结果也就越准确。
这里为了提高图片转换结果的准确性，卷积核数量设置单元93可设置较多的特征提取模式，因此输入卷积层的卷积核数量设置的较大，如设置为14-18等。
如输入的低分辨率子图片的图片特征点为32*32的特征点矩阵，则可使用红色的像素亮度值、蓝色的像素亮度值以及绿色的像素亮度值进行图片特征点的特征提取(即输入卷积层的卷积核数量为3)。如设定该输入卷积层的卷积模板参数为5*5，则该输入卷积层的特征图尺寸为28*28，即使用5*5的参数矩阵依次遍历32*32的特征点矩阵可得到28*28尺寸的特征图。因此得到的输入卷积层的输出为28*28*3。
此外这里还需要使用输入激活层对输入卷积层的输出进行非线性处理，以保证输入卷积层的输出是可微的，进而保证后续深度神经网络模型的参数训练的正常运行。
三、模型生成模块73的非线性转换卷积层及激活层创建单元99根据输入卷积层及激活层创建单元98获取的深度神经网络模型的输入激活层的输出数据、非线性转换卷积层的卷积核数量、非线性转换卷积层的特征图尺寸以及非线性转换卷积层的卷积模板参数，创建深度神经网络模型的多个非线性转换卷积层以及对应的非线性转换激活层。如设置5个非线性转换卷积层以及对应的非线性转换激活层，多个非线性转换卷积层以及对应的非线性转换激活层依次连接，如非线性转换卷积层a1的输出与非线性转换激活层b1的输入连接，非线性转换激活层b1的输出与非线性转换卷积层a2的输入连接，非线性转换卷积层a2的输出与非线性转换激活层b2的输入连接……。
这里的深度神经网络模型的输入激活层的输出数据为第一个非线性转换卷积层的输入。非线性转换卷积层的卷积核数量用于表示从输入激活层的输出数据上进行特征提取的特征提取模式的数量，非线性转换卷积层的特征图尺寸和非线性转换卷积层的卷积模板参数用于调整深度神经网络模型的复杂度。
这里为了减小深度神经网络模型的运算量，卷积核数量设置单元93可设置较少的特征提取模式，因此非线性转换卷积层的卷积核数量设置的较小，如设置为4-6等。即输入卷积层的卷积核数量大于非线性转换卷积层的卷积核数量。
具体的，卷积模板参数设置单元94第一参数矩阵和第二参数矩阵，设置所有非线性转换卷积层的卷积模板参数。这里优选第一参数矩阵为1*1，德日参数矩阵为3*3。如非线性转换卷积层a1的卷积模板参数为1*1，非线性转换卷积层a2的卷积模板参数为3*3，非线性转换卷积层a3的卷积模板参数为1*1……。这样可以有效的提高深度神经网络模型的非线性特性，减小非线性转换卷积层的特征图尺寸的变化量，从而进一步减小深度神经网络模型的运算量，保证了后续深度神经网络模型的参数训练时的深度神经网络模型的收敛性，也不容易发生过拟合的现象。
此外这里还需要使用非线性转换激活层对相应的非线性转换卷积层的输出进行非线性处理，以保证输入卷积层的输出是可微的，进而保证后续深度神经网络模型的参数训练的正常运行。
四、模型生成模块73的预输出卷积层及激活层创建单元9a根据非线性转换卷积层及激活层创建单元99获取的深度神经网络模型的最后一个非线性转换激活层的输出数据、预输出卷积层的卷积核数量以及预输出卷积层的特征图尺寸，创建深度神经网络模型的预输出卷积层以及预输出激活层；
这里的深度神经网络模型的最后一个非线性转换激活层的输出数据为该输入卷积层的输入，预输出卷积层的卷积核数量用于表示从最后一个非线性转换激活层的输出数据上进行特征提取的特征提取模式的数量，输入卷积层的特征图尺寸用于调整深度神经网络模型的复杂度。
这里为了提高图片转换结果的准确性，卷积核数量设置单元93设置的预输出卷积层的卷积核数量应该与输入卷积层的卷积核数量相等，如均设置为14-18等。这样经过非线性转换激活层的非线性转换后，可使用同样的特征提取模式来生成高分辨率子图片。
此外这里还需要使用预输出激活层对相应的预输出卷积层的输出进行非线性处理，以保证预输出卷积层的输出是可微的，进而保证后续深度神经网络模型的参数训练的正常运行。
五、模型生成模块73的输出卷积层创建单元9b根据预输出卷积层及激活层创建单元9a获取的深度神经网络模型的预输出激活层的数据、输出卷积层的卷积核数量以及输出卷积层的特征图尺寸，创建深度神经网络模型的输出卷积层。
这里的深度神经网络模型的预输出激活层的输出数据为该输出卷积层的输入，输出卷积层的卷积核数量用于表示从预输出激活层的输出数据上进行特征提取的特征提取模式的数量，预输出激活层的特征图尺寸用于调整深度神经网络模型的复杂度。
为了保证图片转换结果的准确性，特征图尺寸设置单元92设置的输出卷积层的特征图尺寸应与输入卷积层的特征图尺寸相同，这样可以输出相同数量的图片特征点，与输出对比样本(高分辨率子图片的图片特征点)进行对比操作。
六、模型生成模块73的模型生成单元9c基于输出卷积层创建单元9b获取的深度神经网络模型的输出卷积层的数据以及高分辨率子图片的图片特征点，生成对应的深度神经网络模型。
模型生成单元9c使用高分辨率子图片的图片特征点对深度神经网络模型的输出卷积层的输出数据进行比较，并根据比较结果对深度神经网络模型的参数进行修正，使得最后深度神经网络模型的输出卷积层的输出数据与高分辨率子图片的图片特征点的差异小于设定值，这样即可确定对应的深度神经网络模型。
具体的，这里为了加快深度神经网络模型的机器训练速度，这里模型参数初始化单元95可以预先使用prelu算法(parametricrectifiedlinearunit，参数化修正线性单元)对深度神经网络模型进行参数(如卷积模板参数w以及偏置参数b)初始化操作，这样可使得深度神经网络模型的收敛速度更快。
同时模型参数运算单元96还可使用adam(adaptivemomentestimation，适应性矩估计)算法对深度神经网络模型进行迭代运算，从而可快速准确的获取该深度神经网络模型中的参数。
这样即完成了本实施例的模型生成设备70的深度神经网络模型的生成过程。
本实施例的深度神经网络模型通过多个卷积核数量较小的非线性转换卷积层的设置，有效的减少了深度神经网络模型的运算量。同时预输出卷积层的卷积核数量与输入卷积层的卷积核数量相等，输出卷积层的特征图尺寸与输入卷积层的特征图尺寸相同，进一步提高了深度神经网络模型的运算准确性。
下面通过一具体实施例说明本发明的高分辨率图片生成方法及高分辨率图片生成装置的工作原理。请参照图11a和图11b，图11a为本发明的高分辨率图片生成方法及高分辨率图片生成装置的具体实施例的工作原理示意图；图11b为本发明的高分辨率图片生成方法及高分辨率图片生成装置的具体实施例的工作时序图。
其中模型生成设备为后台服务器c，后台服务器c分别与后台服务器d、用户终端c以及用户终端d连接。其中后台服务器c用于生成深度神经网络模型，后台服务器d用于提供训练用高分辨率图片，用户终端c和用户终端d为进行信息交互的两个用户终端。本具体实施例中的高分辨率图片生成步骤包括：
步骤s1101，后台服务器c从后台服务器d处接收多个训练用高分辨率图片。
步骤s1102，后台服务器c采用预设的图片转换算法对接收的训练用高分辨率图片进行分割以及图片转换，生成多个高分辨率子图片以及对应的多个低分辨率子图片。
步骤s1103，后台服务器c以低分辨率子图片作为深度神经网络框架的输入样本，高分辨率子图片作为深度神经网络框架的输出对比样本，生成对应的深度神经网络模型。
其中以低分辨率子图片中图片像素的像素亮度值作为低分辨率子图片的图片特征点，高分辨率子图片中图片像素的像素亮度值作为高分辨率子图片的图片特征点。
该深度神经网络模型如图12所示，其包括一个输入卷积层(a0)和对应的输入激活层(b0)、五个非线性转换卷积层(a1、a2、a3、a4、a5)以及对应的非线性转换激活层(b1、b2、b3、b4、b5)、一个预输出卷积层(a6)以及预输出激活层(b6)以及一个输出卷积层(a7)。
其中输入卷积层和预输出卷积层的卷积核数量均为16，非线性转换卷积层的卷积核数量均为5，输出卷积层的卷积核数量为1。输入卷积层的特征图尺寸和输出卷积层的特征图尺寸相同。五个非线性转换卷积层以及预输出卷积层的卷积模板参数依次为1*1、3*3、1*1、3*3、1*1、3*3。输入卷积层的特征图尺寸与输出卷积层的特征图尺寸相同。
步骤s1104，后台服务器c采用prelu算法对深度神经网络模型进行参数初始化操作；随后使用adam算法对深度神经网络模型进行迭代运算，以获取深度神经网络模型中的参数(如卷积模板参数w等)。
步骤s1105，后台服务器c将训练获得的深度神经网络模型发送至用户终端c以及用户终端d。
步骤s1106，当用户终端c需要向用户终端d发送某个高分辨率图片时，用户终端c可采用对应的图片转换算法将高分辨率图片转换为对应的低分辨率图片，随后将该低分辨率图片发送至用户终端d。
步骤s1107，用户终端d接收到该低分辨率图片时，在本地找到对应的深度神经网络模型。
步骤s1108，用户终端d通过该深度神经网络模型，将该低分辨率图片转换为对应的高分辨率图片。
这样即完成了本具体实施例的高分辨率图片的转换过程。
用户终端c不需要使用大量的存储空间对高分辨率图片进行存储操作，也不需要耗费较高的带宽对高分辨率图片进行传输操作；同时用户终端d也不需要对低分辨率图片进行复杂的图片转换操作，只需要按照预先设置的深度神经网络模型即可实现低分辨率图片到高分辨率图片的准确转换。
同时整个深度神经网络模型结构简单，具有较高的收敛性也不易发生过拟合，因此整个深度神经网络模型的运算量较小，训练时间较短，准确性较高。
本发明的高分辨率图片生成方法、生成装置及存储介质通过创建具有非线性转换卷积层的深度神经网络模型，提高了将低分辨率图片转换为高分辨率图片的准确性，从而降低了交互终端双方的多媒体图片信息的交互成本，提高了交互终端双方的多媒体图片信息的交互效率；有效的解决了现有的高分辨率图片生成方法以及高分辨率图片生成装置的信息交互成本较高且信息交互效率较低的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
图13和随后的讨论提供了对实现本发明所述的高分辨率图片生成装置所在的电子设备的工作环境的简短、概括的描述。图13的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1312包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(pda)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。
尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(api)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。
图13图示了包括本发明的高分辨率图片生成装置中的一个或多个实施例的电子设备1312的实例。在一种配置中，电子设备1312包括至少一个处理单元1316和存储器1318。根据电子设备的确切配置和类型，存储器1318可以是易失性的(比如ram)、非易失性的(比如rom、闪存等)或二者的某种组合。该配置在图13中由虚线1314图示。
在其他实施例中，电子设备1312可以包括附加特征和/或功能。例如，设备1312还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图13中由存储装置1320图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1320中。存储装置1320还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1318中由例如处理单元1316执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1318和存储装置1320是计算机存储介质的实例。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字通用盘(dvd)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1312访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1312的一部分。
电子设备1312还可以包括允许电子设备1312与其他设备通信的通信连接1326。通信连接1326可以包括但不限于调制解调器、网络接口卡(nic)、集成网络接口、射频发射器/接收器、红外端口、usb连接或用于将电子设备1312连接到其他电子设备的其他接口。通信连接1326可以包括有线连接或无线连接。通信连接1326可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备1312可以包括输入设备1324，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1312中也可以包括输出设备1322，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1324和输出设备1322可以经由有线连接、无线连接或其任意组合连接到电子设备1312。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1312的输入设备1324或输出设备1322。
电子设备1312的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(pci)(比如快速pci)、通用串行总线(usb)、火线(ieee1394)、光学总线结构等等。在另一个实施例中，电子设备1312的组件可以通过网络互连。例如，存储器1318可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1328访问的电子设备1330可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1312可以访问电子设备1330并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1312可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1312处执行并且一些指令可以在电子设备1330处执行。
本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。
综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。