超解像方法和系统、服务器、用户设备及其方法
【技术领域】
[0001] 本发明涉及图像处理技术领域。
【背景技术】
[0002] 图像的高分辨率是指着图像含有的像素密度高，能提供丰富的细节信息，对客观 场景的描述更准确细致。高分辨率图像在信息时代的需求非常广泛，诸如卫星遥感图像、视 频安全监控、军事侦查航拍领域、医学数字影像和视频标准转换等领域都具有十分重要的 应用。
[0003] 目前的图像超解像技术主要分为两类：基于重建的超解像技术和基于学习的超解 像技术。在基于重建的超解像技术中，所有信息都只能全部从输入图像数据中获得，没有任 何附加的背景知识，整个解决过程相当于信息提取和信息融合的过程。随着分辨放大系数 的增加，需要提供的输入图像样本数量急剧增加，但是在达到放大系数的上限后，无论增加 多少输入图像样本，都无法再改善重建效果。
[0004] 针对重建算法的局限性，基于学习的超解像技术作为一个前沿的研究领域应运而 生。该方法使用图像训练集来产生学习模型，并运用这个模型创建图像的高频细节。基于 学习的超解像方法让画质有了很大的提升，但是它也存在一定的缺陷，即本地的图像数据 库是采集目前现有的视频图像作为训练样本，其是已经被固化的和不可更改的，因此对画 质的提升效果具有一定程度的局限性。
[0005] 因此，需要一种能够进一步提高画质的超解像技术。
【发明内容】
[0006] 本发明实施例提供一种超解像方法、超解像系统、用户设备和服务器，能够进一步 提尚画质。
[0007] 根据本发明实施例，提供一种超解像方法，包括：在服务器对图像样本进行训练； 获得服务器端图像数据库；利用服务器端图像数据库来更新用户设备中的本地图像数据 库；以及将输入的低分辨率图像显示为高分辨率图像。
[0008] 在一个例子中，在服务器对图像样本进行训练包括：接收上传到服务器或下载到 服务器的图像样本，并进行选择；将所选择的图像样本进行分类；根据图像样本的类别进 行训练，获得该类别的新参数。
[0009] 在一个例子中，获得服务器端图像数据库包括：利用图像样本及该图像样本的类 别的新参数来更新服务器端图像数据库中的模版向量和低分辨率-高分辨率字典块。
[0010] 在一个例子中，利用服务器端图像数据库来更新用户设备中的本地图像数据库包 括：更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
[0011] 在一个例子中，模版向量具有不同的层级。
[0012] 在一个例子中，图像样本是图片或视频。
[0013] 根据本发明另一实施例，提供一种在用户设备中执行超解像的方法，包括：从服务 器接收更新数据来更新用户设备中的本地图像数据库；以及在用户设备中基于本地图像数 据库将输入的低分辨率图像显示为高分辨率图像。
[0014] 在一个例子中，从服务器接收更新数据来更新用户设备中的本地图像数据库包 括：更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
[0015] 在一个例子中，在用户设备中基于本地图像数据库将输入的低分辨率图像显示为 高分辨率图像包括：对输入的低分辨率图像执行预处理；对预处理后的低分辨率图像执行 分类和特征提取；基于本地图像数据库对低分辨率图像进行匹配；对匹配后的低分辨率图 像执行图像融合，以显示高分辨率图像。
[0016] 在一个例子中，模版向量具有不同的层级，并且更新本地图像数据中的模版向量 包括通过选择模版向量的层级来执行更新。
[0017] 根据本发明再一个实施例，提供一种在服务器上执行超解像的方法，包括：在服务 器对图像样本进行训练；获得服务器端图像数据库；以及基于服务器端数据库将输入的低 分辨率图像显示为高分辨率图像，其中，向用户设备发送更新数据以更新用户设备中的本 地图像数据库。
[0018] 在一个例子中，在服务器对图像样本进行训练包括：接收上传到服务器或下载到 服务器的图像样本，并进行选择；将所选择的图像样本进行分类；根据图像样本的类别进 行训练，获得该类别的新参数。
[0019] 在一个例子中，得服务器端图像数据库包括：利用图像样本及该图像样本的类别 的新参数来更新服务器端图像数据库中的模版向量和低分辨率-高分辨率字典块。
[0020] 在一个例子中，向用户设备发送更新数据以更新用户设备中的本地图像数据库包 括：更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
[0021] 在一个例子中，模版向量具有不同的层级。
[0022] 在一个例子中，图像样本是图片或视频。
[0023] 根据本发明另一个实施例，提供一种包括服务器和用户设备的超解像系统，被配 置为执行前述任一个超解像方法。
[0024] 根据本发明另一个实施例，提供一种用户设备，被配置为执行前述在用户设备上 执行的任一个方法。
[0025] 根据本发明另一个实施例，提供一种服务器，被配置为执行前述在服务器上执行 的任一个方法。
[0026] 根据本公开实施例，用户设备中的本地图像数据库不是固化的，可以利用服务器 端图像数据库来更新该本地图像数据库，因此能够确保本地图像数据库是最新的，从而进 一步提升了画质，并且画质的提升是动态的。
【附图说明】
[0027] 通过以下借助附图的详细描述，将会更容易地理解本发明，其中相同的标号指定 相同结构的单元，并且在其中：
[0028] 图1示出基于学习的超解像技术的概念性视图；
[0029] 图2示出根据本公开实施例的超解像方法的示意性流程图；
[0030] 图3示出根据本公开实施例的超解像过程的概念性视图；
[0031] 图4示出根据本公开实施例的在服务器中对图像样本进行训练的具体过程的示 范性视图；
[0032] 图5示出根据本公开实施例的用于在用户设备中执行超解像的方法的示范性流 程图；
[0033] 图6示出根据本公开实施例的在用户设备中将低分辨率图像显示为高分辨率图 像的具体过程的示范性流程图；以及
[0034] 图7示出根据本公开实施例的在服务器上执行超解像的方法的示范性流程图。
【具体实施方式】
[0035] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。
[0036] 图1示出基于学习的超解像技术的概念性视图。
[0037] 如图1中所示，在本地（一般，是用户设备处）接收低分辨率图像，通过基于学习 的模板对低分辨率图像进行匹配，并利用图像数据库执行图像融合等处理，最后输出与低 分辨率图像对应的高分辨率图像。
[0038] 图2示出根据本公开实施例的超解像方法200的示意性流程图。
[0039] 如图2中所示，在超解像方法200的S210中，在服务器对图像样本进行训练，在 S220,获得服务器端图像数据库，在S230,利用服务器端图像数据库来更新用户设备中的本 地图像数据库，并且在S240,将输入的低分辨率图像显示为高分辨率图像。
[0040] 根据本公开实施例，用户设备中的本地图像数据库不是固化的，可以利用服务器 端图像数据库来更新该本地图像数据库，因此能够确保本地图像数据库是最新的，从而进 一步提升了画质，并且画质的提升是动态的。
[0041] 图3示出根据本公开实施例的超解像过程的概念性视图。
[0042] 如图3中所示，可以在服务器上通过样本训练系统对用户上传到该服务器或下载 到该服务器的图像样本进行训练。随着互联网的发展，用户群体会越发庞大，由用户上传到 服务器端或下载到服务器端的可供采集的样本会更加丰富，甚至出现一些原本未采集到的 特征模块，样本的丰富使得训练过程能够得到更精细的结果，从而改进匹配精确地，并进而 提高最后输出的高分辨率图像的画质。这里，服务器可以为云服务器，并且可供采集的图像 样本可以是图片或视频。
[0043] 可以应用户设备侧的本地用户的请求或者由服务器定期对本地图像数据库进行 更新，并且因为用户设备也可