基于多层次邻域嵌入的图像超分辨率重建方法及系统与流程
本发明涉及计算机图像处理技术领域，具体而言，涉及一种基于多层次邻域嵌入的图像超分辨率重建方法和一种基于多层次邻域嵌入的图像超分辨率重建系统。
背景技术：
图像超分辨率重建是为了克服成像过程设备或技术的限制，从单帧低分辨率图像或低分辨率图像序列中重建一个高分辨率图像。目前，图像超分辨率重建算法可以分为三类：基于插值的算法，基于重建的算法和基于学习的算法。
具体地：(1)基于插值的算法是采用线性或非线性的算法，利用已知像素点估计出未知的像素值，例如nedi(插值算法的简称，newedge-directedinterpolation)，sai(插值算法的简称，soft-decisionadaptiveinterpolation)。(2)基于重建的算法是采用最大后验可能性模型使用各种正则项作为约束来描述自然图像的特征。(3)基于学习的算法是依赖于外部的数据集建立低分辨率图像块和高分辨率图像块之间的关系，本领域的研究人员提出了不同的模型来描述这种关系，包括利用马尔科夫随机场模型来描述，每一个低分辨率图像块对应几个高分辨率候选图像块，这一特点符合马尔科夫随机场模型的结构构造且可以通过图割或者置信传播的方法解决，然而这种算法计算复杂度很高。
另外，yang等人(jianchaoyang等人，2010tipimagesuper-resolutionviasparserepresentation的作者)提出基于稀疏表示的图像超分辨率算法，通过分别训练高低分辨率图像的字典，将输入的低分辨率图像用低分辨率字典稀疏表示，然后将该稀疏系数与对应的高分辨率字典相乘即可得高分辨率的图像。以及，基于高低分辨率图像块共享相似线性几何流形的假设，chang等人(hongchang等人，2004cvprsuper-resolutionthroughneighborembedding的作者)提出了邻域嵌入算法。
但是，现有的图像超分辨率算法均直接重建图像的空间差异部分，也就是图像的高频成分，然而，图像的结构特征可能体现在不同方向的频率域中，特别是在图像纹理比较丰富的情况下，直接重建图像的所有高频成分会导致图像的纹理细节直接被平滑。
因此，如何解决上述问题，提高图像超分辨率重建的精确度成为亟待解决的技术问题。
技术实现要素：
本发明正是基于上述技术问题，提出了一种新的技术方案，可以有效地解决因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
有鉴于此，本发明的第一方面，提出了一种基于多层次邻域嵌入的图像超分辨率重建方法，包括：对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
在该技术方案中，通过对将待处理图像(比如，单帧低分辨率图像或低分辨率图像序列)经可控金字塔分解操作得到的高通图像、低通剩余图像和多个方向上的带通子带图像均使用邻域嵌入算法进行重建，进而经可控金字塔分解操作的逆变换生成高分辨率图像，如此，有效地解决了现有的图像超分辨率重建方法中因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
在上述技术方案中，优选地，所述对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像，具体包括：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：
在该技术方案中，具体地通过一组多方向的可控带通滤波器对待处理图像进行滤波得到高通图像、低通剩余图像和多个方向上的带通子带图像，以确保得到多个图像层次，进而对每个图像层次的图像均进行相应的邻域嵌入处理。
在上述任一技术方案中，优选地，根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像，具体包括：将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；对于每个所述图像块利用k-nn算法在对应图像层次的字典数据库中查找k个近邻的邻域图像块，以得到k个重建系数；根据所述k个重建系数和所述k个近邻的领域图像块得到所述对应的高分辨率子带图像。
在该技术方案中，当根据邻域嵌入算法对分解得到的每个图像层次的图像进行重建处理时，首先需要将相应的图像分解为多个图像块，并针对每个图像块利用k-nn算法(k-nearestneighbor，一种寻找最近邻的算法)获取其最近邻的k个邻域图像块(即相似度高的图像块)，进而估计出相应的k个重建系数，然后经将每个邻域图像块与对应的重建系数相乘、将相乘结果合并，从而得到分辨率显著提高的高分辨率子带图像，其中，对应图像层次的字典数据库是指将待处理图像分解后形成的所有的高频图像集合、低频图像集合以及各个方向对应的图像集合。
在上述任一技术方案中，优选地，对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述k个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述k个近邻的邻域图像块。
在该技术方案中，每个图像块的重建质量很大程度上取决于查找到的最近邻的邻域图像块的精确性，则用于选择相似块的标准显得至关重要，那么为了确保不同图像层次的图像块的重建效果，对于高通图像和多个方向上的带通子带图像，引入待处理图像的图像块特征信息作为全局特征信息，将高通图像和多个方向上的带通子带图像的图像块表现出的特征信息作为局部特征信息；而对于低通剩余图像，由于其低频性更加平滑，导致其梯度特征不能有效地被提取，但其是连续的且已包含了足够的图像结构信息，因此引入联合局部特征信息作为其相似性的度量。另外，特征信息指图像的纹理特征信息等，以确保图像超分辨率重建的精确度。
在上述任一技术方案中，优选地，还包括：利用非局部均值算法对所述高分辨率图像进行优化处理。
在该技术方案中，为了得到更好的重建效果，使用非局部均值算法将经可控金字塔分解操作的逆变换处理得到高分辨率图像进行优化处理，以减小高分辨率图像的各个相似图像块之间的重建误差。
本发明的第二方面，提出了一种基于多层次邻域嵌入的图像超分辨率重建系统，包括：分解模块，用于对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；重建模块，用于根据邻域嵌入算法对所述分解模块分解得到的所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；处理模块，用于对所述重建模块处理得到的多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
在该技术方案中，通过对将待处理图像(比如，单帧低分辨率图像或低分辨率图像序列)经可控金字塔分解操作得到的高通图像、低通剩余图像和多个方向上的带通子带图像均使用邻域嵌入算法进行重建，进而经可控金字塔分解操作的逆变换生成高分辨率图像，如此，有效地解决了现有的图像超分辨率重建方法中因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
在上述技术方案中，优选地，所述分解模块具体用于：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：
在该技术方案中，具体地通过一组多方向的可控带通滤波器对待处理图像进行滤波得到高通图像、低通剩余图像和多个方向上的带通子带图像，以确保得到多个图像层次，进而对每个图像层次的图像均进行相应的邻域嵌入处理。
在上述任一技术方案中，优选地，所述重建模块具体包括：分解子模块，用于将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；查找子模块，用于对所述分解子模块分解得到的每个所述图像块利用k-nn算法在对应图像层次的字典数据库中查找k个近邻的邻域图像块，以得到k个重建系数；处理子模块，用于根据所述查找子模块处理得到的所述k个重建系数和所述k个近邻的领域图像块得到所述对应的高分辨率子带图像。
在该技术方案中，当根据邻域嵌入算法对分解得到的每个图像层次的图像进行重建处理时，首先需要将相应的图像分解为多个图像块，并针对每个图像块利用k-nn算法(k-nearestneighbor，一种寻找最近邻的算法)获取其最近邻的k个邻域图像块(即相似度高的图像块)，进而估计出相应的k个重建系数，然后经将每个邻域图像块与对应的重建系数相乘、将相乘结果合并，从而得到分辨率显著提高的高分辨率子带图像，其中，对应图像层次的字典数据库是指将待处理图像分解后形成的所有的高频图像集合、低频图像集合以及各个方向对应的图像集合。
在上述任一技术方案中，优选地，所述查找子模块具体用于：对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述k个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述k个近邻的邻域图像块。
在该技术方案中，每个图像块的重建质量很大程度上取决于查找到的最近邻的邻域图像块的精确性，则用于选择相似块的标准显得至关重要，那么为了确保不同图像层次的图像块的重建效果，对于高通图像和多个方向上的带通子带图像，引入待处理图像的图像块特征信息作为全局特征信息，将高通图像和多个方向上的带通子带图像的图像块表现出的特征信息作为局部特征信息；而对于低通剩余图像，由于其低频性更加平滑，导致其梯度特征不能有效地被提取，但其是连续的且已包含了足够的图像结构信息，因此引入联合局部特征信息作为其相似性的度量。另外，特征信息指图像的纹理特征信息等，以确保图像超分辨率重建的精确度。
在上述任一技术方案中，优选地，还包括：优化模块，用于利用非局部均值算法对所述处理模块处理得到的所述高分辨率图像进行优化处理。
在该技术方案中，为了得到更好的重建效果，使用非局部均值算法将经可控金字塔分解操作的逆变换处理得到高分辨率图像进行优化处理，以减小高分辨率图像的各个相似图像块之间的重建误差。
通过以上技术方案，可以有效地解决因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
附图说明
图1示出了根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法的流程示意图；
图2示出了根据本发明的一个实施例的低分辨率图像的分解结果示意图；
图3示出了根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建系统的框图；
图4示出了根据本发明的另一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法的流程示意图；
图5示出了根据本发明的一个实施例的图像各层次相似块标准和重建示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面结合图1至图2对本发明的具体实施例进行详细说明。
图1示出了根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法的流程示意图。
图2示出了根据本发明的一个实施例的低分辨率图像的分解结果示意图。
如图1所示，根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法，包括：步骤102，对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；步骤104，根据邻域嵌入算法对所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；步骤106，对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
在该技术方案中，通过对将待处理图像(比如，单帧低分辨率图像或低分辨率图像序列)经可控金字塔分解操作得到的高通图像、低通剩余图像和多个方向上的带通子带图像均使用邻域嵌入算法进行重建，进而经可控金字塔分解操作的逆变换生成高分辨率图像，如此，有效地解决了现有的图像超分辨率重建方法中因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
具体地，如图2所示，使用规模为1的自可逆、方向为2的可控金字塔变换从输入的待处理图像提取不同的频率成分的分解结果，从左至右分别为：高通图像，两个方向上的带通子带图像(0°,90°)，低通剩余图像。
在上述技术方案中，优选地，所述步骤102具体包括：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：
在该技术方案中，具体地通过一组多方向的可控带通滤波器对待处理图像进行滤波得到高通图像、低通剩余图像和多个方向上的带通子带图像，以确保得到多个图像层次，进而对每个图像层次的图像均进行相应的邻域嵌入处理。
在上述任一技术方案中，优选地，所述步骤104具体包括：将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；对于每个所述图像块利用k-nn算法在对应图像层次的字典数据库中查找k个近邻的邻域图像块，以得到k个重建系数；根据所述k个重建系数和所述k个近邻的领域图像块得到所述对应的高分辨率子带图像。
在该技术方案中，当根据邻域嵌入算法对分解得到的每个图像层次的图像进行重建处理时，首先需要将相应的图像分解为多个图像块，并针对每个图像块利用k-nn算法(k-nearestneighbor，一种寻找最近邻的算法)获取其最近邻的k个邻域图像块(即相似度高的图像块)，进而估计出相应的k个重建系数，然后经将每个邻域图像块与对应的重建系数相乘、将相乘结果合并，从而得到分辨率显著提高的高分辨率子带图像，其中，对应图像层次的字典数据库是指将待处理图像分解后形成的所有的高频图像集合、低频图像集合以及各个方向对应的图像集合。
为了更加高效地估计出更精确的重建系数，采用邻域嵌入算法使用l2范数
在上述任一技术方案中，优选地，对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述k个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述k个近邻的邻域图像块。
在该技术方案中，每个图像块的重建质量很大程度上取决于查找到的最近邻的邻域图像块的精确性，则用于选择相似块的标准显得至关重要，那么为了确保不同图像层次的图像块的重建效果，对于高通图像和多个方向上的带通子带图像，引入待处理图像的图像块特征信息作为全局特征信息，将高通图像和多个方向上的带通子带图像的图像块表现出的特征信息作为局部特征信息；而对于低通剩余图像，由于其低频性更加平滑，导致其梯度特征不能有效地被提取，但其是连续的且已包含了足够的图像结构信息，因此引入联合局部特征信息作为其相似性的度量。另外，特征信息指图像的纹理特征信息等，以确保图像超分辨率重建的精确度。
具体地，对于多个方向上的带通子带图像和高通图像，图像块
而对于低通剩余图像，图像块xtn+1在k-nn中搜寻最近邻的图像块距离可以定义为下式：
在上述任一技术方案中，优选地，对多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，生成最终的高分辨率图像yt，可用下式表示：
在上述任一技术方案中，优选地，还包括：利用非局部均值算法对所述高分辨率图像进行优化处理。
在该技术方案中，为了得到更好的重建效果，使用非局部均值算法将经可控金字塔分解操作的逆变换处理得到高分辨率图像进行优化处理，以减小高分辨率图像的各个相似图像块之间的重建误差。
具体地对于高分辨率图像yt中的任一图像块yt，首先在全图中寻找其相似块ytl并限制最小重建误差，可用下式表示：
图3示出了根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建系统的框图。
如图3所示，根据本发明的一个实施例的基于多层次邻域嵌入的图像超分辨率重建系统300，包括：分解模块302、重建模块304和处理模块306。
其中，分解模块302，用于对待处理图像进行可控金字塔分解操作，得到高通图像、低通剩余图像和多个方向上的带通子带图像；重建模块304，用于根据邻域嵌入算法对所述分解模块302分解得到的所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别进行重建处理，得到对应的高分辨率子带图像；处理模块306，用于对所述重建模块304处理得到的多个所述高分辨率子带图像进行所述可控金字塔分解操作的逆变换处理，以生成高分辨率图像。
在该技术方案中，通过对将待处理图像(比如，单帧低分辨率图像或低分辨率图像序列)经可控金字塔分解操作得到的高通图像、低通剩余图像和多个方向上的带通子带图像均使用邻域嵌入算法进行重建，进而经可控金字塔分解操作的逆变换生成高分辨率图像，如此，有效地解决了现有的图像超分辨率重建方法中因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
在上述技术方案中，优选地，所述分解模块302具体用于：根据预设分解公式计算所述待处理图像对一组多方向的可控带通滤波器的响应，以得到所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像，所述预设分解公式为：
在该技术方案中，具体地通过一组多方向的可控带通滤波器对待处理图像进行滤波得到高通图像、低通剩余图像和多个方向上的带通子带图像，以确保得到多个图像层次，进而对每个图像层次的图像均进行相应的邻域嵌入处理。
在上述任一技术方案中，优选地，所述重建模块304具体包括：分解子模块3042、查找子模块3044和处理子模块3046。
其中，分解子模块3042，用于将所述多个方向上的带通子带图像、所述高通图像和所述低通剩余图像分别分解为对应的图像块；查找子模块3044，用于对所述分解子模块3042分解得到的每个所述图像块利用k-nn算法在对应图像层次的字典数据库中查找k个近邻的邻域图像块，以得到k个重建系数；处理子模块3046，用于根据所述查找子模块3044处理得到的所述k个重建系数和所述k个近邻的领域图像块得到所述对应的高分辨率子带图像。
在该技术方案中，当根据邻域嵌入算法对分解得到的每个图像层次的图像进行重建处理时，首先需要将相应的图像分解为多个图像块，并针对每个图像块利用k-nn算法(k-nearestneighbor，一种寻找最近邻的算法)获取其最近邻的k个邻域图像块(即相似度高的图像块)，进而估计出相应的k个重建系数，然后经将每个邻域图像块与对应的重建系数相乘、将相乘结果合并，从而得到分辨率显著提高的高分辨率子带图像，其中，对应图像层次的字典数据库是指将待处理图像分解后形成的所有的高频图像集合、低频图像集合以及各个方向对应的图像集合。
在上述任一技术方案中，优选地，所述查找子模块3044具体用于：对于所述多个方向上的带通子带图像和所述高通图像，根据全局特征信息和局部特征信息在对应图像层次的字典数据库中查找所述k个近邻的邻域图像块；对于所述低通剩余图像，根据联合局部特征信息在对应图像层次的字典数据库中查找所述k个近邻的邻域图像块。
在该技术方案中，每个图像块的重建质量很大程度上取决于查找到的最近邻的邻域图像块的精确性，则用于选择相似块的标准显得至关重要，那么为了确保不同图像层次的图像块的重建效果，对于高通图像和多个方向上的带通子带图像，引入待处理图像的图像块特征信息作为全局特征信息，将高通图像和多个方向上的带通子带图像的图像块表现出的特征信息作为局部特征信息；而对于低通剩余图像，由于其低频性更加平滑，导致其梯度特征不能有效地被提取，但其是连续的且已包含了足够的图像结构信息，因此引入联合局部特征信息作为其相似性的度量。另外，特征信息指图像的纹理特征信息等，以确保图像超分辨率重建的精确度。
在上述任一技术方案中，优选地，还包括：优化模块308，用于利用非局部均值算法对所述处理模块306处理得到的所述高分辨率图像进行优化处理。
在该技术方案中，为了得到更好的重建效果，使用非局部均值算法将经可控金字塔分解操作的逆变换处理得到高分辨率图像进行优化处理，以减小高分辨率图像的各个相似图像块之间的重建误差。
下面结合图4和图5对本发明的另一个具体实施例进行说明。
图4示出了根据本发明的一个实施例的低分辨率图像的分解结果示意图。
图5示出了根据本发明的一个实施例的图像各层次相似块标准和重建示意图。
如图4所示，根据本发明的另一个实施例的基于多层次邻域嵌入的图像超分辨率重建方法，具体包括：
步骤402，输入低分辨率图像或训练集图片序列；
步骤404，利用可控滤波器将低分辨率图像或训练集图片序列分解；
步骤406，每个图像层次建立高低分辨率字典数据库；
步骤408，根据全局和局部图像特征利用邻域嵌入重建高通图像和带通子带图像，以及根据联合局部图像特征利用邻域嵌入重建低通图像；
步骤410，采用可控金字塔分解逆变换合成高分辨率图像；
步骤412，输出高分辨率图像。
具体地，图5示出了使用规模为1的自可逆、多方向的可控金字塔变换从输入的低分辨率图片和训练集图片中提取不同的频率成分的图像各层次相似块标准和重建过程。
本发明的技术方案，在邻域嵌入的框架基础上，考虑到图像的纹理等细节特征信息可能体现在不同的频率成分中，通过图像分解，针对性地恢复不同频率上的图像特征，并利用图像分解的逆变换得到重建图像，其高分辨率重建结果在主观和客观性能上都优于相关技术中的方案，而且，由于其实用性可灵活应用于视频监控、医疗图像、卫星图像或其他高端多媒体信息系统中感兴趣区域放大与清晰化等领域。
以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，可以有效地解决因直接重建图像的所有高频成分导致图像的纹理细节被平滑的问题，从而提高图像超分辨率重建的精确度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！