一种基于云端自主学习的图像缩放方法及系统与流程

本发明涉及图像处理技术领域，尤其涉及一种基于云端自主学习的图像缩放方法及系统。

背景技术：

当前的终端显示器，从超大的户外巨幕显示屏，8K电视等，到智能手机显示屏，其屏幕大小的不同，对显示清晰度的要求也不同；而当屏幕硬件能够显示各种分辨率的同时，如果图像本身的清晰度不够高，那么在大屏幕上的显示效果依然是非常差劲的，容易出现模糊，色斑等情况。

现有的不同分辨率的终端显示器显示图片采用设计师手工的给出常见场景的目标分辨率的图片或是采用传统的插值方法进行图像缩放。采用设计师手工的给出常见场景的目标分辨率的图片的方法能够保证考虑到了的图片的质量，但人工成本高，而且屏幕的适配远远不够。

传统的图像缩放其原理大多都采用插值的方法来做，例如根据虚拟像素点坐标的四个实际像素点来进行加权平均而得到目标像素点的值，本质上该方法依然是插值法，只是权重因子有所差异。或是根据彩色图片的压缩率进行图像锐化处理，然后进行缩放的方法，然而锐化处理会使得图像的噪点也得到增强，而当再进行缩放的时候，该方案依然采用的插值法缩放，进而会增大图像噪点。因此传统的图像缩放方法，都是以插值法作为基础模型然后进行改进，都不可避免的会导致色斑、模糊、变形等问题，影响用户观看。

因此，现有技术还有待于改进和发展。

技术实现要素：

鉴于现有技术的不足，本发明目的在于提供一种基于云端自主学习的图像缩放方法及系统，旨在解决现有技术中传统的图像缩放方法，都是以插值法作为基础模型然后进行改进，都不可避免的会导致色斑、模糊、变形等问题，影响用户观看的技术问题。

本发明的技术方案如下：

一种基于云端自主学习的图像缩放方法，其中，方法包括步骤：

预先在云端服务器通过样本学习生成不同分辨率对应的分级残差图块库；

云端服务器检测到客户端发送的浏览请求时，云端服务器对图片进行标定、分块处理后，再根据分级残差图块库对图块进行分级缩放处理；

获取分级缩放处理后的图块，根据图块进行优化拟合，优化拟合完成后生成目标图片，将目标图片发送至客户端进行显示。

所述的基于云端自主学习的图像缩放方法，其中，所述预先在云端服务器通过样本学习生成不同分辨率对应的分级残差图块库具体包括步骤：

预先在云端服务器构建基于纹理类型分类的初始样本集；

根据初始样本集的类型进行分类采集学习以及对图片进行分级残差学习；

对图片分类进行不断训练后构建出不同图片的分级残差图块库。

所述的基于云端自主学习的图像缩放方法，其中，所述云端服务器检测到客户端发送的浏览请求时，云端服务器对图片进行标定、分块处理后，再根据分级残差图块库对图块进行分级缩放处理具体包括步骤：

云端服务器检测到客户端上传图片，对上传图片进行标定对齐处理；

对标定对齐处理后的图片进行分块处理生成图块；

云端服务器根据客户端的目标分辨率通过分级残差图块库来匹配填充和重建缩放后的细节，对分块后的图块进行缩放处理。

所述的基于云端自主学习的图像缩放方法，其中，所述获取分级缩放处理后的图块，根据图块进行优化拟合，优化拟合完成后生成目标图片，将目标图片发送至客户端进行显示具体包括步骤：

获取分级缩放处理后的图块进行拟合合并，获取拟合衔接处与插值缩放算法的相同位置比较锯齿效应，根据锯齿效应判断拟合衔接处对应的拟合算法是否优于插值缩放算法；

若拟合算法优于插值缩放算法，则优化拟合完成生成目标图片，将目标图片发送至客户端进行显示；

若拟合算法未优于插值缩放算法，则计算出调整因子，重新选择残差图块进行缩放处理，并重新进行拟合合并，直到检测到拟合算法优于插值缩放算法，则优化拟合完成并生成目标图片，将目标图片发送至客户端进行显示。

所述的基于云端自主学习的图像缩放方法，其中，所述获取拟合衔接处与插值缩放算法的相同位置比较锯齿效应，根据锯齿效应判断拟合衔接处对应的拟合算法是否优于插值缩放算法具体包括：

获取拟合拟合衔接处与插值缩放算法的相同位置比较锯齿效应，根据锯齿效应判断拟合衔接处对应的拟合算法是否优于插值缩放算法；

若拟合衔接处的锯齿边缘比插值缩放算法的相同位置的锯齿边缘小，则拟合算法优于插值缩放算法；

若拟合衔接处的锯齿边缘比插值缩放算法的相同位置的锯齿边缘大或相同，则拟合算法不优于插值缩放算法。

一种基于云端自主学习的图像缩放系统，其中，系统包括：

预先学习模块，用于预先在云端服务器通过样本学习生成不同分辨率对应的分级残差图块库；

图像缩放模块，用于云端服务器检测到客户端发送的浏览请求时，云端服务器对图片进行标定、分块处理后，再根据分级残差图块库对图块进行分级缩放处理；

优化拟合模块，用于获取分级缩放处理后的图块，根据图块进行优化拟合，优化拟合完成后生成目标图片，将目标图片发送至客户端进行显示。

所述的基于云端自主学习的图像缩放系统，其中，所述预先学习模块具体包括：

样本集构建单元，用于预先在云端服务器构建基于纹理类型分类的初始样本集；

学习单元，用于根据初始样本集的类型进行分类采集学习以及对图片进行分级残差学习；

图块库构建单元，用于对图片分类进行不断训练后构建出不同图片的分级残差图块库。

所述的基于云端自主学习的图像缩放系统，其中，所述图像缩放模块具体包括：

标定对齐单元，用于云端服务器检测到客户端上传图片，对上传图片进行标定对齐处理；

分块处理单元，用于对标定对齐处理后的图片进行分块处理生成图块；

缩放处理单元，用于云端服务器根据客户端的目标分辨率通过分级残差图块库来匹配填充和重建缩放后的细节，对分块后的图块进行缩放处理。

所述的基于云端自主学习的图像缩放系统，其中，所述优化拟合模块具体包括：

拟合与判断单元，用于获取分级缩放处理后的图块进行拟合合并，获取拟合衔接处与插值缩放算法的相同位置比较锯齿效应，根据锯齿效应判断拟合衔接处对应的拟合算法是否优于插值缩放算法；

第一控制单元，用于若拟合算法优于插值缩放算法，则优化拟合完成生成目标图片，将目标图片发送至客户端进行显示；

第二控制单元，用于若拟合算法未优于插值缩放算法，则计算出调整因子，重新选择残差图块进行缩放处理，并重新进行拟合合并，直到检测到拟合算法优于插值缩放算法，则优化拟合完成并生成目标图片，将目标图片发送至客户端进行显示。

所述的基于云端自主学习的图像缩放系统，其中，所述拟合与判断单元具体包括：

获取拟合拟合衔接处与插值缩放算法的相同位置比较锯齿效应，根据锯齿效应判断拟合衔接处对应的拟合算法是否优于插值缩放算法；

若拟合衔接处的锯齿边缘比插值缩放算法的相同位置的锯齿边缘小，则拟合算法优于插值缩放算法；

若拟合衔接处的锯齿边缘比插值缩放算法的相同位置的锯齿边缘大或相同，则拟合算法不优于插值缩放算法。

本发明提供了一种基于云端自主学习的图像缩放方法及系统，本发明可通过云端自主学习的方式，对图像实现在多分辨率需求的场景下的缩放，并且保证缩放后图片质量，为用户在不同分辨率的终端上都可看到清晰的图像。

附图说明

图1为本发明的一种基于云端自主学习的图像缩放方法的较佳实施例的流程图。

图2为本发明的一种基于云端自主学习的图像缩放方法的较佳实施例的系统架构示意图。

图3为本发明的一种基于云端自主学习的图像缩放方法的具体应用实施例的残差图块的优化拟合流程图。

图4为本发明的一种基于云端自主学习的图像缩放系统的较佳实施例的功能原理框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明还提供一种基于云端自主学习的图像缩放方法的较佳实施例的流程图，如图1所示，其中，方法包括步骤：

S100、预先在云端服务器通过样本学习生成不同分辨率对应的分级残差图块库。

具体实施时，如图2所示，为本实施例的系统构架图。系统由服务器和各类终端组成。云端服务器具体分为图像学习服务器和图像CDN（Content Distribute Network，内容分发网络）服务器；其中图像学习服务器主要包含接受图片上传，然后对上传的图片进行学习和重建两个大步骤，图片的样本学习方法可以采用机器学习；图片的重建采用分块分级重建方法。图像CDN服务器则是为了响应客户端的请求而分布式布置的内容服务器，用于加快图片传输速率，缩短客户端图片加载等待的时间。

各类终端按照对屏幕的大小、清晰度来分类，在这里我们把8K/4K TV、投影仪等超大屏幕归为一类，它们对图像清晰度的要求极高，图像CDN对其传输极清图；个人电脑显示终端为普通显示设备，图像CDN为其传输超清图；Pad、手机等小屏幕终端则可以传输普通图；所以图像CDN服务器，根据客户端的需求而分级派发。当然，客户端也可以自行指定需要何种级别的图像。不同的分辨率对应不同的级别。

预先在云端服务器的图像学习服务器通过初始样本学习和重建，图像学习服务器将重建后的图片上传到图像CDN服务器，并根据不同分辨率进行分级布置的内容服务器。

客户端上传图片到图像学习服务器。这个过程采用Http协议的Post方法即可；图像学习服务器进行分类学习。分类学习包括图片的分块、分类、以及残差图块的学习；图像学习服务器对图像进行分级缩放。针对具体的应用，所需的分辨率可以提前进行分级缩放，例如针对8K电视准备极清图像，为个人电脑终端准备高清图，为智能手机等移动屏幕生成普通分辨率的图像；部署不同分辨率的图像到图片CDN服务器上。图片CDN服务器是一种分布式的内容分发网络，它是为了适应当前快速响应用户请求的一种服务器技术。用户的请求会被引导到最近的服务器进行响应下载。

进一步的实施例中，步骤S100具体包括步骤：

S101、预先在云端服务器构建基于纹理类型分类的初始样本集；

S102、根据初始样本集的类型进行分类采集学习以及对图片进行分级残差学习；

S103、对图片分类进行不断训练后构建出不同图片的分级残差图块库。

具体实施时，构建初始样本集，初始样本集是机器学习算法的启动数据，虽然后续的采集会随着我们采集的数据进行自我学习调整，但高品质的初始样本会极大的加快学习速度和结果的准确性。我们可以通过机器学习业内共享的初始样本加系统应用历史图片数据作为初始样本，这样既有良好的分类基础，又能够根据应用的实际用途而加快学习和提高学习准确性；初始样本是基于纹理类型分类的小图块，而非大图，基于纹理类型的小图块学习能够降低学习的复杂度和提高精度，以及降低后续的模式匹配的计算复杂度。

分类采集学习具体为：在初始数据的基础上，为了完善各个类别图片的精度和范围，后台爬虫需要去全网搜集分类图片，定期的进行学习；

分级残差学习具体为：首先对图片进行分级，然后通过残差学习，来构建出残差图像库。其中，学习方法可以采用神经网络技术进行学习；

训练图片分类及分级残差库具体采用：使用爬虫技术到全网检索下载分类图片，对图片分类进行不断自主学习的进化，使得我们的图像分类不断精确；同时进行残差库的反复学习和更新。最后构建出不同图片的残差图块库。

S200、云端服务器检测到客户端发送的浏览请求时，云端服务器对图片进行标定、分块处理后，再根据分级残差图块库对图块进行分级缩放处理。

具体实施时，用户通过客户端发起浏览图片的请求。请求中带有目标分辨率参数，所以图片CDN服务器收到请求后，对图片进行标定分场处理后，再根据分级残差图库对图块进行分级缩放处理。则返回对应清晰度的图片。

进一步的实施例中，步骤S200具体包括步骤：

S201、云端服务器检测到客户端上传图片，对上传图片进行标定对齐处理；

S202、对标定对齐处理后的图片进行分块处理生成图块；

S203、云端服务器根据客户端的目标分辨率通过分级残差图块库来匹配填充和重建缩放后的细节，对分块后的图块进行缩放处理。

具体实施时，上传图像。上传图像最常用直接采用http协议即可。用户上传的图像是进入到图像学习服务器中；

标定对齐。用户上传的照片拍摄角度参差不齐，即便同一场景，亮度也会有区别，为了提高后续的学习准确度，首先要对上传的照片进行标定对齐。标定是标定图片摄像头视角的一个过程，然后进行坐标系的调整和对齐。在对齐的过程中还可能涉及到图像的一个畸变矫正过程；

图片分块。为了提升学习精度，我们的图片学习是基于图片块进行分块学习的；一张大的图相似的图匹配度很低，但一张大图都是由一些图块构成，而小图块的匹配则效率快，精度高；图片分块的粒度根据需要而定，其参数本身也可以自主学习；分块根据纹理类型进行分块，进而提高分类学习的精度和后续模式匹配检索的准确性；采用分块学习是本方案提升质量很重要的一环。图片标定、分块后然后对图片进行编号，即每个图块都有自己的位置编号。

分级缩放。根据不同客户端对分辨率的需求，进行分级缩放。我们通过分级残差图块库来匹配填充和重建缩放后的细节。传统的图像缩放是采用插值的方法，例如线性插值，但传统的插值法使用的是相邻像素进行填充，在放大的过程中容易形成马赛克块斑，在缩小的过程中也容易导致细节丢失或者边缘畸变。而采用我们的分级残差重建方法，则有效的避免这些问题。从学习中获得缩放后的最佳效果。

S300、获取分级缩放处理后的图块，根据图块进行优化拟合，优化拟合完成后生成目标图片，将目标图片发送至客户端进行显示。

具体实施时，对于采用分级残差进行分级缩放，需要在目标分辨率下进行残差拟合处理。学习分级残差图块的目标就是用其在缩放中对目标分辨率的一个矫正，填充，避免传统插值法的缺点。并将残差拟合处理后的图块进行优化拟合生成目标图片，并将目标图片发送至客户端进行显示。

进一步的实施例中，步骤S300具体包括步骤：

S301、获取分级缩放处理后的图块进行拟合合并，获取拟合衔接处与插值缩放算法的相同位置比较锯齿效应，根据锯齿效应判断拟合衔接处对应的拟合算法是否优于插值缩放算法；

S302、若拟合算法优于插值缩放算法，则优化拟合完成生成目标图片，将目标图片发送至客户端进行显示；

S303、若拟合算法未优于插值缩放算法，则计算出调整因子，重新选择残差图块进行缩放处理，并重新进行拟合合并，直到检测到拟合算法优于插值缩放算法，则优化拟合完成并生成目标图片，将目标图片发送至客户端进行显示。

具体实施时，一个大图进行切块处理，所以最终需要合并回去，而合并回去需要使用到前面描述的图片标定，及每个图块都是有编号的，残差块也是根据编号进行填充到目标图中，由于残差块是分块匹配的，所以块与块之间需要拟合，而拟合算法可以采用常见的线性拟合方法。

拟合衔接处与插值缩放的相同位置比较。通过对比锯齿效应来判断优劣。拟合的纹理是否自然，方案采用纹理的锯齿效应来进行评定，如果锯齿效应优于插值法，那么说明该处拟合是自然的，可以通过的，如果比插值法劣则说明该块残差图块和周围的图块没有很好的融合，所以需要更换。

拟合法是否优于插值法，如果是则所有图块拟合成功后，图像缩放完成，

否则拟合处没有自然拟合，根据和插值法的对比，计算出调整因子，例如是向左还是向右进行调整等。根据调整因子重新刷选出残差图块，直到检测拟合算法优于插值法，通过这样的调整方法，我们可以不仅可以保证每个图块的缩放效果是基于残差图块最优的，也保证了整张图的拟合效果是不断优化的，一定是优于插值法的，即局部最优并且全局最优。

进一步的实施例中，步骤S301具体包括步骤：

S311、获取拟合拟合衔接处与插值缩放算法的相同位置比较锯齿效应，根据锯齿效应判断拟合衔接处对应的拟合算法是否优于插值缩放算法；

S312、若拟合衔接处的锯齿边缘比插值缩放算法的相同位置的锯齿边缘小，则拟合算法优于插值缩放算法；

S313、若拟合衔接处的锯齿边缘比插值缩放算法的相同位置的锯齿边缘大或相同，则拟合算法不优于插值缩放算法。

具体实施时，可通过锯齿边缘的大小对比拟合算法与插值缩放算法的优劣。锯齿边缘越小，效果则越好，说明纹理细节保留的越好；若本算法的锯齿边缘大小小于插值缩放算法，则优于插值缩放算法，否则则不如插值缩放算法；其中本算法即为拟合算法。

进一步的实施例中，可通过色块大小的对比拟合算法与插值缩放算法的优劣。色块越小，效果越好，说明颜色细节保留的越好，若本算法的色块大小小于插值缩放算法，则优于插值缩放算法，否则则不如插值缩放算法。其中本算法即为拟合算法。

本发明还提供了一种基于云端自主学习的图像缩放方法的具体应用实施例的残差图块的优化拟合流程图，如图3所示，方法包括步骤：

S10、开始；

S20、使用模式匹配查找最近残差图块列表；由于图片已经是分块的，分块有利于进行模式匹配，我们使用模式匹配进行查找最近似的残差图块，然后返回该列表；

S30、根据目标分辨率选中残差图块；

S40、图块间拟合合并；

S50、拟合衔接处与插值缩放的相同位置进行比较；

S60、通过对比锯齿效应判断优劣；

S70、判断该处拟合是否优于插值法，若是，则执行步骤S80，若否，则执行步骤S90；

S80、所有块拟合完成后缩放完成；

S90、根据调整因子重新刷选残差图块；

S91、结束。

本发明还提供了一种基于云端自主学习的图像缩放系统的较佳实施例的功能原理框图，如图4所示，其中，系统包括：

预先学习模块100，用于预先在云端服务器通过样本学习生成不同分辨率对应的分级残差图块库；具体如方法实施例所述。

图像缩放模块200，用于云端服务器检测到客户端发送的浏览请求时，云端服务器对图片进行标定、分块处理后，再根据分级残差图块库对图块进行分级缩放处理；具体如方法实施例所述。

优化拟合模块300，用于获取分级缩放处理后的图块，根据图块进行优化拟合，优化拟合完成后生成目标图片，将目标图片发送至客户端进行显示；具体如方法实施例所述。

所述的基于云端自主学习的图像缩放系统，其中，所述预先学习模块具体包括：

样本集构建单元，用于预先在云端服务器构建基于纹理类型分类的初始样本集；具体如方法实施例所述。

学习单元，用于根据初始样本集的类型进行分类采集学习以及对图片进行分级残差学习；具体如方法实施例所述。

图块库构建单元，用于对图片分类进行不断训练后构建出不同图片的分级残差图块库；具体如方法实施例所述。

所述的基于云端自主学习的图像缩放系统，其中，所述图像缩放模块具体包括：

标定对齐单元，用于云端服务器检测到客户端上传图片，对上传图片进行标定对齐处理；具体如方法实施例所述。

分块处理单元，用于对标定对齐处理后的图片进行分块处理生成图块；具体如方法实施例所述。

缩放处理单元，用于云端服务器根据客户端的目标分辨率通过分级残差图块库来匹配填充和重建缩放后的细节，对分块后的图块进行缩放处理；具体如方法实施例所述。

所述的基于云端自主学习的图像缩放系统，其中，所述优化拟合模块具体包括：

拟合与判断单元，用于获取分级缩放处理后的图块进行拟合合并，获取拟合衔接处与插值缩放算法的相同位置比较锯齿效应，根据锯齿效应判断拟合衔接处对应的拟合算法是否优于插值缩放算法；具体如方法实施例所述。

第一控制单元，用于若拟合算法优于插值缩放算法，则优化拟合完成生成目标图片，将目标图片发送至客户端进行显示；具体如方法实施例所述。

第二控制单元，用于若拟合算法未优于插值缩放算法，则计算出调整因子，重新选择残差图块进行缩放处理，并重新进行拟合合并，直到检测到拟合算法优于插值缩放算法，则优化拟合完成并生成目标图片，将目标图片发送至客户端进行显示；具体如方法实施例所述。

所述的基于云端自主学习的图像缩放系统，其中，所述拟合与判断单元具体包括：

获取拟合拟合衔接处与插值缩放算法的相同位置比较锯齿效应，根据锯齿效应判断拟合衔接处对应的拟合算法是否优于插值缩放算法；具体如方法实施例所述。

若拟合衔接处的锯齿边缘比插值缩放算法的相同位置的锯齿边缘小，则拟合算法优于插值缩放算法；具体如方法实施例所述。

若拟合衔接处的锯齿边缘比插值缩放算法的相同位置的锯齿边缘大或相同，则拟合算法不优于插值缩放算法；具体如方法实施例所述。

综上所述，本发明提供了一种基于云端自主学习的图像缩放方法及系统，方法包括步骤：预先在云端服务器通过样本学习生成不同分辨率对应的分级残差图块库；云端服务器检测到客户端发送的浏览请求时，云端服务器对图片进行标定、分块处理后，再根据分级残差图块库对图块进行分级缩放处理；获取分级缩放处理后的图块，根据图块进行优化拟合，优化拟合完成后生成目标图片，将目标图片发送至客户端进行显示。本发明可通过云端自主学习的方式，对图像实现在多分辨率需求的场景下的缩放，并且保证缩放后图片质量，为用户在不同分辨率的终端上都可看到清晰的图像。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。