用于放大图像的方法和装置与流程

本原理涉及用于放大(up-scale)图像的方法和装置。更具体地，描述用于放大图像的方法和装置，其利用超像素和辅助图像以用于提高放大质量。

背景技术：

超分辨率技术目前被多个应用推动。例如，HDTV图像格式后继者，诸如具有其2k和4k变体的UHDTV，可以从超分辨率中受益，因为已经存在的视频内容必须被放大以适合更大的显示器。拍摄各自具有相对小的分辨率的多个视图图像的光场相机同样需要智能放大以提供可以与最新水平的系统相机和DSLR相机(DSLR：数码单镜反光)竞争的图片质量。第三个应用是视频压缩，其中低分辨率图像或视频流可以被附加的超分辨率增强层解码和增强。该增强层附加地嵌入在压缩数据内，并用于经由超分辨率放大的图像或视频来补充先前的。

在此描述的构思基于利用图像固有自相似性的技术，如G.Freedman等人在“Image and video upscaling from local self-examples”，ACM图形学报，第30卷(2011)，第12:1-12:11页中提出的。虽然该基础论文限于静止图像，但是随后的工作结合了多个图像来处理视频放大，如在J.M.Salvador等人的论文“Patch-based spatio-temporal super-resolution for video with non-rigid motion”，图像通信杂志，第28卷(2013)，第483-493页中讨论的。

遗憾的是，放大图像的任何方法伴随着令人苦恼的质量损失。

在过去十年，超像素算法已经成为用于图像分割的广泛接受和应用的方法，为后续处理任务提供复杂性的降低。超像素分割提供从图像的像素网格的刚性结构切换到定义图像中的对象的语义描述的优点，这解释其在图像处理和计算机视觉算法中的普及。

超像素算法的研究开始于X.Ren等人在“Learning a classification model for segmentation”，IEEE国际计算机视觉会议(ICCV)2003，第10-17页中提出的处理密集特征分组方法。随后，提出了用于超像素生成的更有效的解决方案，诸如R.Achanta等人在“SLIC superpixels compared to state-of-the-art superpixel methods”，IEEE模式分析与机器智能汇刊，第34卷(2012)，第2274-2282页中介绍的简单线性迭代聚类(SLIC)方法。虽然早期的解决方案聚焦于静止图像，但是后来的发展针对超像素对视频的应用，这需要它们的时间一致性。在M.Reso等人的“Temporally Consistent Superpixels”，国际计算机视觉会议(ICCV)，2013，第385-392页中描述了一种实现该需求的方法，其提供视频序列内的可追踪的超像素。

技术实现要素：

目的是描述一种用于放大图像的改进的解决方案，其允许实现减少的质量损失。

根据一个实施例，一种放大输入图像的方法，其中采用使用超像素的跨尺度自相似性匹配来获得放大的图像中的缺失细节的替代，包括：

-针对输入图像和一个或多个辅助输入图像生成一致的超像素；

-基于一致的超像素生成超像素测试矢量；

-使用超像素测试矢量在输入图像和一个或多个辅助输入图像上进行跨尺度自相似性匹配；以及

-使用跨尺度自相似性匹配的结果来生成放大的输出图像。

相应地，一种计算机可读存储介质具有其中存储的使得能够放大输入图像的指令，其中采用使用超像素的跨尺度自相似性匹配来获得放大的图像中的缺失细节的替代。该指令当由计算机执行时使得计算机：

-针对输入图像和一个或多个辅助输入图像生成一致的超像素；

-基于一致的超像素生成超像素测试矢量；

-使用超像素测试矢量在输入图像和一个或多个辅助输入图像上进行跨尺度自相似性匹配；以及

-使用跨尺度自相似性匹配的结果来生成放大的输出图像。

此外，在一个实施例中，一种被配置为放大输入图像的装置，其中采用使用超像素的跨尺度自相似性匹配来获得放大的图像中的缺失细节的替代，包括：

-超像素矢量生成器，被配置为针对输入图像和一个或多个辅助输入图像生成一致的超像素并且基于一致的超像素生成超像素测试矢量；

-匹配块，被配置为使用超像素测试矢量在输入图像和一个或多个辅助输入图像上进行跨尺度自相似性匹配；以及

-输出图像生成器，被配置为使用跨尺度自相似性匹配的结果来生成放大的输出图像。

在另一实施例中，一种被配置为放大输入图像的装置，其中采用使用超像素的跨尺度自相似性匹配来获得放大的图像中的缺失细节的替代，包括处理设备和存储设备，该存储设备中存储有指令，该指令当由该处理设备执行时使得该装置：

-针对输入图像和一个或多个辅助输入图像生成一致的超像素；

-基于一致的超像素生成超像素测试矢量；

-使用超像素测试矢量在输入图像和一个或多个辅助输入图像上进行跨尺度自相似性匹配；以及

-使用跨尺度自相似性匹配的结果来生成放大的输出图像。

所提出的超分辨率方法通过分析所生成的时间或多视图一致超像素来追踪所捕获的对象。将对图像资料中的对象及其在时间或不同视图中的所在之处的认知转移到高级搜索策略中以用于找到相关多图像跨尺度自相似性。通过结合针对不同时间相位或不同视图找到的多个重要的自相似性，生成更好的适合的超分辨率增强信号，得到改进的图片质量。所提出的超分辨率方法提供改进的图像质量，其可以经由与地面实况数据的比较在峰值信噪比中测量。此外，主观测试巩固所得到的图片质量的视觉改进，这是有用的，因为峰值信噪比测量不一定与人类视觉感知一致。

超分辨率方法对多个图像起作用，多个图像可以表示时间上的图像序列(例如视频)，多视图拍摄(例如保持多个角度的光场相机图像)，或者甚至多视图拍摄的时间序列。这些应用是可互换的，这意味着多视图图像和时间图像可以被视为等同物。

在一个实施例中，解决方案包括：

-对输入图像进行上采样以获得高分辨率低频图像；

-确定输入图像与高分辨率低频图像之间的匹配位置以及一个或多个辅助输入图像与高分辨率低频图像之间的匹配位置；

-使用匹配位置从输入图像和一个或多个辅助输入图像合成高分辨率高频合成图像；以及

-将高分辨率低频图像和高分辨率高频合成图像组合成高分辨率的放大的输出图像。

通常，上采样的图像由于缺失细节而具有令人苦恼的质量损失。然而，使用来自输入图像和一个或多个辅助输入图像的图像块来替代这些缺失细节。虽然这些图像将仅包含有限数量的合适的图像块，但是这些块通常更相关，即更好地适应。

在一个实施例中，输入图像被频带分裂成低分辨率低频图像和低分辨率高频图像，其中低分辨率低频图像用于跨尺度自相似性匹配，而低分辨率高频图像用于生成放大的输出图像。以该方式，确保自相似性的有效分析，并且可以可靠地获得用于放大的输出图像的必要高频细节。

在一个实施例中，通过进行以下中的至少一个来生成用于生成放大的输出图像的图像块：选择由跨尺度自相似性匹配的最佳匹配所定义的单个图像块，生成由跨尺度自相似性匹配的匹配所定义的所有块或块的子集的线性组合，以及生成由跨尺度自相似性匹配的匹配所定义的所有图像块的平均值。虽然前两种解决方案需要较少的处理能力，但是后一种解决方案示出峰值信噪比的最佳结果。

为了更好地理解，现在将在以下描述中参考附图更详细地解释解决方案。应当理解，解决方案不限于该示范性实施例，并且也可以在不脱离所附权利要求中限定的本解决方案的范围的情况下，得当地组合和/或修改特定特征。

附图说明

图1示出了已知的超分辨率算法的框图；

图2示出了图1的框图的扩展的和更紧凑的版本；

图3描绘了使用超像素的超分辨率多图像自相似性匹配；

图4图示了图像块的线性组合，其中经由线性回归来确定组合权重；

图5示出了在分割成超像素之前的图像的示例；

图6示出了在分割成超像素之后的图5的图像；

图7示出了在三个图像的时段上追踪的单个时间一致的超像素的示例；

图8示出了针对不同的放大算法所获得的平均峰值信噪比；

图9示出了针对不同的放大算法所获得的平均结构相似性值；

图10描绘了根据实施例的放大图像的方法；

图11示意性地描绘了被配置为进行放大图像的方法的装置的第一实施例；以及

图12示意性地图示了被配置为进行放大图像的方法的装置的第二实施例。

具体实施方式

以下，聚焦于时间图像序列(例如视频序列的图像)来解释解决方案。然而，所描述的方法同样可应用于空间相关的图像，例如多视图图像。

以下描述的方法基于G.Freedman等人的超分辨率算法，如图1中的框图所示。当然，总体构思同样可应用于其他超分辨率算法。为了简单起见，框图描述仅针对单个图像工作的解决方案，而所提出的方法提供针对多个图像的解决方案。稍后在分别的框图中解释所有对应的必要扩展。

在图1中，低分辨率输入图像I1由以下三个不同的滤波器处理：生成低频高分辨率图像O1.1的上采样滤波器1，生成低频低分辨率图像I1.1的低通滤波器2，以及生成高频低分辨率图像I1.2的高通滤波器3。

通常，上采样的图像O1.1由于由双三次(bi-cubic)或者替选地更复杂的上采样导致的缺失细节而具有令人苦恼的质量损失。在以下步骤中，通过利用自然对象的固有跨尺度自相似性来生成这些缺失细节的替代。生成缺失细节的处理产生高频高分辨率图像O1.2，其可以在处理块4中与低频高分辨率图像O1.1组合以生成最终的高分辨率输出图像I2。

由匹配处理块5检测跨尺度自相似性。该匹配处理块5针对高分辨率图像O1.1中的所有像素在低分辨率图像I1.1内搜索适当的匹配。匹配处理的最新水平是在矩形搜索窗的固定扩展内搜索。匹配处理块5针对O1.1中的所有像素生成指向I1.1的最佳匹配位置。将这些最佳匹配位置转移到合成块6，合成块6将来自高频低分辨率图像I1.2的所指示的块复制到高频高分辨率图像O1.2中。

图2中的框图示出了图1的框图的更紧凑的版本，其通过高级匹配技术扩展。图2中的附加块为超像素矢量生成器7，其处理输入图像I1以用于计算超像素，并选择用于匹配块5的测试矢量。超像素测试矢量生成替代图1中使用的刚性矩形搜索窗。

图3中的框图解释了超像素矢量生成的另外的扩展，即使用超像素的超分辨率多图像自相似性匹配。如其在图2中的前身，图3的框图知道图像资料中的对象。构思是在多个图像上追踪对象，该多个图像用于在矢量生成器块7中生成用于多个输入图像的匹配的测试矢量。在图3中，输入图像的数量为三个，但是该数量不是强制性的，并且可以通过包括或排除位于未来或过去方向的图像来增加或减少该数量。类似地，多视图应用可以包括或排除另外的视图/角度，或者多视图图像的时间序列可以包括或排除另外的视图/角度和/或时间上在后或在前的图像。

图3中给出的示例示出了针对时间t_t的图像I2执行以用于创建也在时间t_t的输出图像O2的所提出的方法。在时间t_t-1和t_t+1的输入图像I1和I3是用于找到输出图像O2的相关跨尺度自相似性的附加源。

匹配块5接收所有输入图像的超像素测试矢量，其在该示例中为{v_t-1,v_t,v_t+1}，并且针对O2.1中的所有像素生成分别指向I1.1，I2.1和I3.1的最佳匹配位置。在图中，这由表示最佳匹配位置的三个完整集合的{p_t-1,p_t,p_t+1}指示。通常集合的维数等于输入图像的数量。合成块6组合来自I1.2、I2.2和I3.2的所指示的块，并将组合结果复制到高频高分辨率图像O2.2中。

以下给出矢量生成器块7和合成块6的更详细的描述。

多图像超像素矢量生成器块7通过进行以下步骤来生成超像素测试矢量集合{v_t-1,v_t,v_t+1}：

步骤1：生成一致的超像素{SP_t-1(m),SP_t(n),SP_t+1(r)}，其中索引{m,n,r}在图像中的所有超像素上运行。针对多视图应用可以用多视图一致来替代术语时间一致。在M.Reso等人的“Temporally Consistent Superpixels”，国际计算机视觉会议(ICCV)，2013，第385-392页中描述了一种生成时间一致的超像素的方法。图5示出了被分割成如图6中描绘的超像素区域的图像的示例，其中每个超像素使用不同的灰度值表示。图6被称为超像素标号映射。图7示出了在三个图像的时段上追踪的单个时间一致的超像素的示例，其中超像素跟随在时间t_t-1、t_t和t_t+1的图像中描绘的视频场景中的移动对象。

步骤2：针对所有超像素图像分别地生成搜索矢量{s_t-1(ζ),s_t(ζ),s_t-+1(ζ)}，其中索引ζ在所有图像位置运行。例如在共同待审的欧洲专利申请EP14306130中描述了一种生成这样的搜索矢量的方法。

步骤3：针对所有超像素生成对象相关像素分配

其中关系的数量取决于输入图像的数量。例如在共同待审的欧洲专利申请EP14306126中描述了一种生成这样的对象相关像素分配的方法。在图3的示例中仅使用第一行。

步骤4：通过应用在步骤3中得到的像素分配来确定最终的超像素测试矢量{v_t-1,v_t,v_t+1}。对于图3中的示例，在时间t_t的图像中的每个分别的超像素SP_t(n)≡SP_t,n具有单独分配给SP_t-1(m)≡SP_t-1,m的像素以及单独分配给SP_t+1(r)≡SP_t+1,r的像素，其可以通过p_t,n(i)→p_t-1,m(j)和p_t,n(i)→p_t+1,r(k)表示，其中i∈{1,…I}，j∈{1,…J}，并且k∈{1,…K}。换句话说，对于位于在时间t_t的图像中的原始超像素SP_t,n的每个像素p_t,n(i)，需要对应像素p_t-1,m(j)和p_t+1,r(k)，其位于在时间t_t-1的图像中的超像素SP_t-1,m和在时间t_t+1的图像中的超像素SP_t+1,r内。I是SP_t,n中包含的像素的数量，J是SP_t-1,m中包含的像素的数量，而K是SP_t+1,r中包含的像素的数量。通常像素I、J和K的数量不同。因此，所得像素映射可以是一对多、一对一、多对一、以及它们的组合。测试矢量v_t不需要分配，因为它们可以直接获得，即，v_t(ζ)＝s_t(ζ)。测试矢量v_t-1和v_t+1分别根据v_t-1(ζ)＝s_t-1(p_t,n(ζ)→p_t-1,m(ζ))和v_t+1(ζ)＝s_t+1(p_t,n(ζ)→p_t+1,r(ζ))来使用分配。相应地处理更大数量的输入图像。

由合成块6进行的块组合可以例如使用以下方法之一来实现：

a)选择仅由非常最佳匹配(即，在找到的所有最佳匹配中的最佳的匹配)定义的单个块。

b)所有块或块的子集的线性组合，其中经由线性回归来确定权重(线性因子)，如图4中所示。

c)生成所有找到的最佳匹配的平均值。该方法是优选的，因为它示出PSNR(峰值信噪比)的最佳结果。

图4示出了在合成块6内执行的用于合成高频高分辨率图像O2.2的线性回归方法。通过采用最佳匹配位置{p_t-1,p_t,p_t-+1}，通过形成以下回归方程取得最佳匹配块数据和目标块针对O2.1中的每个像素位置ζ单独地处理线性回归，该回归方程为

或者

其中q是匹配块中的像素的数量。如果输入图像的计数小于或等于匹配块中的像素的数量，则该方程可解。在输入图像的计数较高的情况下，提出通过仅选择最佳匹配块(即，具有最小距离测量的那些块)来减小矩阵D的水平维数。

图8和图9中的两个图表示出了通过将放大的图像与地面实况数据相比较而在64个图像的序列上分析的平均PSNR和SSIM(结构相似性)。所示为以下算法之间的比较：

双三次：经由双三次内插而放大。

SISR：单个图像超分辨率，匹配处理在矩形搜索窗的固定扩展内搜索。

SRm25：使用基于矢量的自相似性匹配的单个图像超分辨率。搜索矢量长度为25。

SRuSPt1：通过如以上在c)项中描述的平均值，使用三个图像{t_t-1,t_t,t_t+1}(即，一个先前图像和一个未来图像)的超像素的多图像自相似性匹配。

SRuSPt5：通过如以上在c)项中描述的平均值，使用十一个图像{t_t-5,…,t_t-1,t_t,t_t+1,…,t_t+5}(即，五个先前图像和五个未来图像)的超像素的多图像自相似性匹配。

SRuSPt1s：使用三个图像{t_t-1,t_t,t_t+1}(即，一个先前图像和一个未来图像)的超像素的多图像自相似性匹配，但是选择如以上在a)项中描述的最佳匹配块。

SRuSPt5s：使用十一个图像{t_t-5,…,t_t-1,t_t,t_t+1,…,t_t+5}(即，五个先前图像和五个未来图像)的超像素的多图像自相似性匹配，但是选择如以上在a)项中描述的最佳匹配块。

两个图表示出了使用超像素控制的自相似性匹配的所有方法优于固定搜索区域内的匹配。它们还揭示输入图像的增加创建PSNR和SSIM值的改进。最终，可以看出，分析十一个输入图像的SRuSPt5算法创建较好的PSNR和SSIM值。

图10示意性地示出了放大图像的方法的一个实施例，其中采用使用超像素的跨尺度自相似性匹配来获得放大的图像中的缺失细节的替代。在第一步骤中，针对输入图像I2和一个或多个辅助输入图像I1、I3生成10一致的超像素。

然后基于这些一致的超像素，生成11超像素测试矢量。使用超像素测试矢量，在输入图像I2和一个或多个辅助输入图像I1、I3上进行跨尺度自相似性匹配12。最终，使用跨尺度自相似性匹配12的结果来生成13放大的输出图像O2。

图11描绘了用于放大输入图像I2的装置20的一个实施例。装置20采用使用超像素的跨尺度自相似性匹配来获得放大的图像中的缺失细节的替代。为此，装置20包括用于接收要被放大的输入图像I2和一个或多个辅助输入图像I1、I3的输入端21。超像素矢量生成器7针对输入图像I2和一个或多个辅助输入图像I1、I3生成10一致的超像素，并且还基于一致的超像素生成11超像素测试矢量。当然，同样可以通过分别的处理块来进行这两个功能。匹配块5使用超像素测试矢量在输入图像I2和一个或多个辅助输入图像I1、I3上进行跨尺度自相似性匹配12。输出图像生成器22使用跨尺度自相似性匹配12的结果来生成13放大的输出图像O2。在一个实施例中，输出图像生成器22包括如上进一步描述的合成块6和处理块4。使得所得输出图像O2在输出端23处可用和/或存储在本地储存器上。超像素矢量生成器7、匹配块5和输出图像生成器22被实现为专用硬件或者实现为在处理器上运行的软件。它们也可以部分地或完全地组合在单个单元中。此外，输入端21和输出端23可以组合成单个双向接口。

在图12中示意性地示出了被配置为进行放大图像的方法的装置30的另一实施例。装置30包括处理设备31和存储指令的存储设备32，该指令当被执行时使得装置进行根据所描述的方法之一的步骤。

例如，处理设备31可以是适于进行根据所描述的方法之一的步骤的处理器。在一个实施例中，所述适配包括处理器被配置为例如被编程的，以进行根据所描述的方法之一的步骤。