一种超分辨率重建质量的评价方法及装置与流程

本申请涉及计算机技术领域，尤其涉及一种超分辨率重建质量的评价方法及装置。

背景技术：

如何获取高分辨率图像是航天和医疗等领域面临的关键问题之一。除了从硬件方面研制更高分辨率遥感器之外，从软件方面考虑如何提高已获取的图像的空间分辨率成为研究的重要问题，而超分辨率重建技术的提出为提高已获取的图像的空间分辨率提供了一种方式。

超分辨率重建技术多种多样，检验重建效果的常见方法是对其重建后的图像(即重建图像)的超分辨率重建质量进行有效评价。通常，超分辨率重建质量的评价是通过人工使用特殊靶标或标准分辨率测试卡的方式进行，即将得到的重建图像的空间分辨率与特殊靶标或标准分辨率测试卡中的标准空间分辨率进行对比判读，从而确定图像的超分辨率重建质量。

然而，对于通过上述使用特殊靶标或标准分辨率测试卡，并通过人工判读的方法对图像的超分辨率重建质量进行主观评价的方式，由于人眼的视觉灵敏度不同，以及检测条件的差异，通过人工判读的空间分辨率难免引入不同程度的主观误差，使得得到的图像的空间分辨率不准确，而且，不同的用户的评价结果也难以达成一致。

技术实现要素：

本申请实施例提供一种超分辨率重建质量的评价方法及装置，用以解决由于人眼的视觉灵敏度不同，以及检测条件的差异，通过人工判读的空间分辨率会引入不同程度的主观误差，从而使得得到的图像的空间分辨率不准确，而且，其评价结果难以达成一致的问题。

本申请实施例提供的一种超分辨率重建质量的评价方法，所述方法包括：

获取图像分辨率小于预定分辨率阈值的待处理图像；根据预定的超分辨率重建规则对所述待处理图像进行图像重建，得到重建图像；根据所述待处理图像和所述重建图像的图像频率，分别获取所述待处理图像和所述重建图像的空间分辨率，并基于所述待处理图像和所述重建图像的空间分辨率对所述重建图像的超分辨率重建质量进行评价。

可选地，所述获取图像分辨率小于预定分辨率阈值的待处理图像，包括：获取对比度高于预定对比度阈值的分级变频矩形光栅图；根据预定的图像退化规则对所述分级变频矩形光栅图进行图像退化处理，得到图像分辨率小于预定分辨率阈值的退化的矩形光栅图作为所述待处理图像。

可选地，所述根据预定的超分辨率重建规则对所述待处理图像进行图像重建，得到重建图像，包括：根据预定的第一超分辨率重建规则对所述待处理图像进行图像重建，得到单帧重建图像，和/或，对所述待处理图像进行下采样处理得到多帧采样图像，根据预定的第二超分辨率重建规则对所述多帧采样图像进行图像重建，得到采样重建图像。

可选地，所述分别获取所述待处理图像和所述重建图像的空间分辨率，包括：基于调制传递函数的截止频率规则分别获取待处理图像和重建图像在不同频率处的调制函数值；根据所述待处理图像和所述重建图像在不同频率处的调制函数值分别获取所述待处理图像和所述重建图像的空间分辨率。

可选地，所述根据所述待处理图像和所述重建图像在不同频率处的调制函数值分别获取所述待处理图像和所述重建图像的空间分辨率，包括：根据所述待处理图像和所述重建图像在不同频率处的调制函数值，确定所述待处理图像和所述重建图像的奈奎斯特频率；根据所述待处理图像和所述重建图像的奈奎斯特频率，分别确定所述待处理图像和所述重建图像的空间分辨率。

本申请实施例提供的一种超分辨率重建质量的评价装置，所述装置包括：待处理图像获取模块，用于获取图像分辨率小于预定分辨率阈值的待处理图像；图像重建模块，用于根据预定的超分辨率重建规则对所述待处理图像进行图像重建，得到重建图像；评价模块，用于根据所述待处理图像和所述重建图像的图像频率，分别获取所述待处理图像和所述重建图像的空间分辨率，并基于所述待处理图像和所述重建图像的空间分辨率对所述重建图像的超分辨率重建质量进行评价。

可选地，所述待处理图像获取模块，包括：矩形光栅图获取单元，用于获取对比度高于预定对比度阈值的分级变频矩形光栅图；图像退化单元，用于根据预定的图像退化规则对所述分级变频矩形光栅图进行图像退化处理，得到图像分辨率小于预定分辨率阈值的退化的矩形光栅图作为所述待处理图像。

可选地，所述图像重建模块，包括：单帧重建单元，用于根据预定的第一超分辨率重建规则对所述待处理图像进行图像重建，得到单帧重建图像，和/或，多帧重建单元，用于对所述待处理图像进行下采样处理得到多帧采样图像，根据预定的第二超分辨率重建规则对所述多帧采样图像进行图像重建，得到采样重建图像。

可选地，所述评价模块，包括：调制函数值获取单元，用于基于调制传递函数的截止频率规则分别获取待处理图像和重建图像在不同频率处的调制函数值；空间分辨率获取单元，用于根据所述待处理图像和所述重建图像在不同频率处的调制函数值分别获取所述待处理图像和所述重建图像的空间分辨率。

可选地，所述空间分辨率获取单元，用于根据所述待处理图像和所述重建图像在不同频率处的调制函数值，确定所述待处理图像和所述重建图像的奈奎斯特频率；根据所述待处理图像和所述重建图像的奈奎斯特频率，分别确定所述待处理图像和所述重建图像的空间分辨率。

本申请实施例提供一种超分辨率重建质量的评价方法及装置，通过预定的超分辨率重建规则对图像分辨率小于预定分辨率阈值的待处理图像进行图像重建，得到重建图像，并根据待处理图像和重建图像的图像频率，分别获取待处理图像和所述重建图像的空间分辨率，并基于待处理图像和重建图像的空间分辨率对重建图像的超分辨率重建质量进行评价，这样，避免了通过人工判读的主观方式获取空间分辨率造成的主观误差，从而提高了图像空间分辨率的准确性，评价方法统一，评价结果不会因为用户的不同而不同，评价结果客观准确。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种超分辨率重建质量的评价方法的一种流程图；

图2为本申请实施例提供的一种超分辨率重建质量的评价方法的另一种流程图；

图3为本申请实施例提供的一种分级变频矩形光栅图；

图4为本申请实施例提供的一种对单帧图像进行图像重建过程中得到的退化的矩形光栅图和重建图像的示意图；

图5为本申请实施例提供的一种对多帧采样图像进行图像重建过程中得到的退化的矩形光栅图和重建图像的示意图；

图6(a)为本申请实施例提供的一种对单帧图像进行图像重建得到的重建图像的调制函数值曲线图；

图6(b)为本申请实施例提供的一种对多帧采样图像进行图像重建得到的重建图像的调制函数值曲线图；

图7为本申请实施例提供的一种超分辨率重建质量的评价装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

如图1所示，本申请实施例提供一种超分辨率重建质量的评价方法，该方法的执行主体可以是终端设备，如电脑、手机等，也可以是服务器等。该方法具体可以包括以下步骤：

在步骤s101中，获取图像分辨率小于预定分辨率阈值的待处理图像。

其中，图像分辨率可以为单位英寸的图像中所包含的像素点数。分辨率阈值可以根据实际情况设定，具体如320x240或800x480等。待处理图像可以为遥感图像、视频图像或根据其用途而制作的图像(如分级变频矩形光栅图等)等。

在实施中，空间分辨率为图像中可以分辨的最小空间细节尺寸。其中，对于遥感图像而言，空间分辨率是对图像所能表示的景物的细节程度进行度量的一项重要指标，用于表征图像中目标景物与图像信息的细微程度。空间分辨率是衡量超分辨率重建质量的评价指标，重建后的图像的空间分辨率的大小通常采用人工判读对比的方法。为了克服此类方法存在的主观误差和评价结果不统一的缺点，本申请实施例提供了一种超分辨率重建质量的客观评价方法。通过该方法可以计算通过超分辨率重建后的重建图像相比原始图像的空间分辨率的提高倍数，从而可以推断出重建图像的超分辨率重建质量。为此，可以通过多种方式获取图像分辨率小于预定分辨率阈值的待处理图像，例如，当需要对某种超分辨率重建质量进行评价时，可以随意获取一张图像，然后，获取该图像的图像分辨率将其与预定的分辨率阈值进行比较，如果该图像的图像分辨率小于预定分辨率阈值，则可将该图像确定为待处理图像。在实际应用中，还可以使用指定的某图像作为待处理图像，例如，可以获取高对比度的分级变频矩形光栅图，然后，可以向该分级变频矩形光栅图中增加噪声使其图像分辨率降低，直到该分级变频矩形光栅图的图像分辨率小于预定分辨率阈值，此时，可以将加入噪声的分级变频矩形光栅图作为待处理图像。

需要说明的是，除了可以使用上述方式获取待处理图像外，还可以通过其它多种方式获取待处理图像，例如，向分级变频矩形光栅图中加入模糊，得到图像分辨率小于预定分辨率阈值的分级变频矩形光栅图作为待处理图像等。

在步骤s102中，根据预定的超分辨率重建规则对待处理图像进行图像重建，得到重建图像。

其中，超分辨率重建规则可以是基于一张或一系列空间分辨率较低的图像来重建空间分辨率较高的图像的规则或方法。超分辨率重建规则可以恢复已丢失的超过光学衍射极限的高频分量。超分辨率重建规则可以根据实际情况进行设定，而且超分辨率重建规则可以分为多种，例如，基于非均匀内插法、频域外推法、逆滤波、维纳滤波、凸集投影法、迭代后投影法、统计学方法、稀疏正则化法、偏微分方程法、机器学习方法或压缩感知方法等超分辨率重建规则。本申请实施例中预定的超分辨率重建规则可以只包括其中的一种，也可以包括其中的多种。

在实施中，不同的超分辨率重建规则在对待处理图像进行图像重建时的具体处理可以不同，例如，对于基于稀疏正则化法的超分辨率重建规则来说，具体地，该超分辨率重建规则首先对预定的图像库进行训练，通过训练可以学习得到成对的冗余字典，其中，可以根据图像分辨率将该冗余字典划分为低分辨冗余字典和高分辨冗余字典，这样可以将待处理图像根据图像分辨率划分为低分辨率图像小块和高分辨率图像小块，并且，可以认为低分辨率图像小块用低分辨冗余字典进行分解后的稀疏系数等于对应的高分辨率图像小块用高分辨冗余字典进行分解后的稀疏系数。在对低分辨率图像进行图像重建时，可以使用低分辨率冗余字典表示待处理图像中的低分辨率图像小块，从而可以得到相应的稀疏系数。然后，结合学习得到的高分辨率冗余字典，对待处理图像中的高分辨率图像进行计算，从而可以得到相应的稀疏系数，最后再通过预定的约束条件对待处理图像进行全局约束，从而得到重建图像。

再例如，对于基于机器学习方法的超分辨率重建规则来说，具体地，该超分辨率重建规则主要可以分为两个部分，即：一是训练图像库，建立低分辨率图像小块和高分辨率图像小块之间的特征匹配关系，二是利用特征匹配进行图像重建。图像特征通常可以包括多种，例如，可以直接提取图像的高频信息作为图像特征，或者采用高斯金子塔作为图像特征，又或者采用对光照因素具有一定鲁棒性的自商图像作为图像特征等。以直接提取图像的高频信息作为图像特征的超分辨率重建规则为例，首先可以从训练图像库选取图像，并从中提取高频信息，同时，可以对选取的图像进行模糊处理，并对模糊处理后的图像进行降采样，得到低分辨率图像。可以对该低分辨率图像进行插值放大处理得到模糊图像，可以从该模糊图像中提取高频信息。分别对上述提取的两部分高频信息的图像进行分块，得到选取的图像的图像特征和模糊图像的图像特征，从而建立特征匹配库。在对待处理图像进行图像重建时，首先可以对输入的待处理图像进行插值放大，得到初始估计图像，对得到的初始估计图像进行高频滤波得到高频图像，可以对该高频图像进行分块，得到低分辨率图像的图像特征。然后，在上述建立的特征匹配库中搜索与当前低分辨率图像的图像特征相同或相似的图像特征，并根据它们之间的相似程度分配相应的权值，将分配的权值与搜索到的低分辨率图像的图像特征所对应的高分辨率图像的图像特征进行加权求和，得到高频信息。最后，可以将高频信息与初始估计图像叠加得到高分辨率图像即为重建图像。

在步骤s103中，根据待处理图像和重建图像的图像频率，分别获取待处理图像和重建图像的空间分辨率，并基于待处理图像和重建图像的空间分辨率对重建图像的超分辨率重建质量进行评价。

在实施中，获取图像的空间分辨率的方法或规则可以包括多种，例如，基于分辨成排圆孔大小法、分辨线对数法和调制传递函数(modulationtransferfunction，mtf)的截止频率规则等。可以针对不同的空间分辨率的获取方法，从待处理图像和重建图像中提取相应的参数信息，例如，待处理图像和重建图像的图像频率等，可以将提取的相应的参数信息输入到相应的空间分辨率的获取方法中进行计算，分别得到待处理图像和重建图像的空间分辨率。可以将使用不同超分辨率重建规则得到的重建图像的空间分辨率与待处理图像的空间分辨率进行对比分析，可以得到重建图像的空间分辨率相对于待处理图像的空间分辨率的提高倍数，通过提高倍数的大小关系即可得到该重建图像的超分辨率重建质量的优良程度，其中，提高倍数越大，重建图像的超分辨率重建质量越好。另外，还可以对不同超分辨率重建规则得到的重建图像的提高倍数进行对比，从而可以确定在重建图像时使用的超分辨率重建规则的优良程度。

本申请实施例提供一种超分辨率重建质量的评价方法，通过预定的超分辨率重建规则对图像分辨率小于预定分辨率阈值的待处理图像进行图像重建，得到重建图像，并根据待处理图像和重建图像的图像频率，分别获取待处理图像和所述重建图像的空间分辨率，并基于待处理图像和重建图像的空间分辨率对重建图像的超分辨率重建质量进行评价，这样，避免了通过人工判读的主观方式获取空间分辨率造成的主观误差，从而提高了图像空间分辨率的准确性，评价方法统一，评价结果不会因为用户的不同而不同，评价结果客观准确。

实施例二

如图2所示，本申请实施例提供一种超分辨率重建质量的评价方法，该方法的执行主体可以是终端设备，也可以是服务器等。具体可以包括以下内容：

由于空间分辨率的获取方式可以包括多种，不同的获取方式下使用的待处理图像可以不同，本申请实施例以基于调制传递函数的截止频率规则获取空间分辨率为例进行详细说明，对于基于其它方式或方法获取空间分辨率的情况，可以参照本申请实施例执行，在此不再赘述。

在步骤s201中，获取对比度高于预定对比度阈值的分级变频矩形光栅图。

其中，对比度可以是图像中明暗区域的最亮的白色和最暗的黑色之间不同亮度层级的比值，如120:1或600:1等。对比度阈值可以根据实际情况进行设定，本申请实施例对此不做限定。

在实施中，基于调制传递函数的截止频率规则获取空间分辨率的处理过程，按照目标不同又可以分为固有频率目标法、特征目标分析法和类噪声目标分析法等。由于本申请实施例是为了评价超分辨率重建后的待处理图像的空间分辨率的改进情况，因此，可以选择使用其中的固有频率目标法获取空间分辨率。其中，固有频率目标法主要是通过选取高对比度的分级变频矩形光栅图作为测量图像，以此来获取图像的空间分辨率。

分级变频矩形光栅图可以如图3所示。分级变频矩形光栅图可以是黑白相间的光栅条纹图，其中的每一级光栅条纹的宽度是固定的，并且可以随着级数的不断增加，光栅条纹逐渐均匀变细，其中，光栅条纹越细说明该图像的灰度值变化越快，即该级光栅条纹的频率就越大。当人眼无法分辨其中的某一级或多级光栅条纹时，则该级光栅条纹的频率或多级光栅条纹中的最小频率即可以为极限频率，例如，图3中的第10级光栅条纹人眼已无法分辨，因此，第10级光栅条纹的频率即可为极限频率。

在步骤s202中，根据预定的图像退化规则对分级变频矩形光栅图进行图像退化处理，得到图像分辨率小于预定分辨率阈值的退化的矩形光栅图作为待处理图像。

其中，图像退化规则可以通过多种方式制定，例如，采用模糊处理方式制定(即向图像中添加模糊)，或者采用噪声处理方式制定(即向图像中添加噪声)，又或者采用模糊+噪声的处理方式制定(即向图像中添加模糊和噪声)，图像退化规则具体可以根据实际情况进行设定，本申请实施例对此不做限定。待处理图像可以是一帧图像，也可以是多帧图像。

在实施中，以图像退化规则为采用模糊+噪声的处理方式制定为例，可以预先设定加入的模糊的类型，如高斯模糊，并设定该模糊的大小和标准偏差等参数数据，例如，模糊的大小可以为13x13或25x25等，标准偏差可以为5或7等。同时，还可以预先设定加入的噪声的类型，如高斯加性噪声或白噪声等，并设定该噪声的均值和方差等参数数据，例如，噪声的均值可以为0，方差可以为10^-3等。

当获取到分级变频矩形光栅图后，可以向该分级变频矩形光栅图中加入预先设定的模糊，例如，可以向该分级变频矩形光栅图中加入大小为13x13、标准偏差为5的高斯模糊，从而得到模糊处理后的分级变频矩形光栅图。然后，可以向模糊处理后的分级变频矩形光栅图中加入预先设定的噪声，例如，可以向模糊处理后的分级变频矩形光栅图中加入均值为0、方差为10^-3的高斯加性噪声，从而得到退化的矩形光栅图。此时，可以获取退化的矩形光栅图的图像分辨率，并判断该图像分辨率是否小于预定分辨率阈值，如果小于，则可以将该退化的矩形光栅图作为待处理图像，如果不小于，则可以重复执行上述图像退化处理过程，或者再向退化的矩形光栅图中加入预先设定的模糊或噪声，直到得到图像分辨率小于预定分辨率阈值的待处理图像为止。

需要说明的是，在进行图像退化处理时，本申请实施例是通过依次向分级变频矩形光栅图中加入预先设定的模糊、预先设定的噪声的方式进行的，而在实际应用中，对加入预先设定的模糊和预先设定的噪声的顺序没有严格的限定，也可以向分级变频矩形光栅图中同时加入预先设定的模糊和预先设定的噪声，本申请实施例对此不做限定。

为了对重建图像的超分辨率重建质量进行充分而又全面的评价，可以通过不同的超分辨率重建规则得到不同的重建图像，其中，重建图像可以分为单帧重建图像和采样重建图像，具体可以参见下述步骤s203和步骤s204的处理。

在步骤s203中，根据预定的第一超分辨率重建规则对待处理图像进行图像重建，得到单帧重建图像。

其中，第一超分辨率重建规则可以是针对单帧重建图像的超分辨率重建规则。第一超分辨率重建规则可以是基于某一种算法而得到，也可以是基于多种算法而得到，例如，第一超分辨率重建规则可以基于约束最小二乘法和/或lucy-richardson方法和/或全变分tv(totalvariation)方法而得到，基于不同算法得到的单帧重建图像可以不同。

在实施中，以第一超分辨率重建规则是基于约束最小二乘法、lucy-richardson方法和全变分tv方法而得到为例，由于待处理图像为经过退化处理的图像，可以通过第一超分辨率重建规则对待处理图像进行复原(即图像重建)，具体地，可以分别使用约束最小二乘法、lucy-richardson方法和全变分tv方法对待处理图像进行图像重建，分别得到相应的单帧重建图像，其中，分别使用约束最小二乘法、lucy-richardson方法和全变分tv方法对待处理图像进行图像重建的处理可以依据现有方式处理，在此不再赘述。

在步骤s204中，对待处理图像进行下采样处理得到多帧采样图像，根据预定的第二超分辨率重建规则对多帧采样图像进行图像重建，得到采样重建图像。

其中，第二超分辨率重建规则可以是针对多帧图像的超分辨率重建规则。第二超分辨率重建规则可以是基于某一种算法而得到，也可以是基于多种算法而得到，例如，第二超分辨率重建规则可以基于线性插值算法和/或迭代反投影ibp(iterativeback-projection)算法和/或凸集投影pocs(projectiononconvexset)算法而得到，基于不同算法得到的采样重建图像可以不同。

在实施中，对于多帧图像(即多帧采样图像)的情况，上述步骤204的处理具体可以包括：可以使用最邻近插值方法将获取到的分级变频矩形光栅图放大预定倍数(例如放大2倍或3倍等)，得到放大的分级变频矩形光栅图。然后，可以向放大的分级变频矩形光栅图中加入预先设定的模糊和/或预先设定的噪声，例如，加入大小为25x25、标准偏差为5的高斯模糊和方差为10^-3的随机加性噪声，之后，可以再进行下采样处理(即每间隔预定数目的图像采集一帧图像的采样方式)获取多帧图像分辨率小于预定分辨率阈值的退化的矩形光栅图(即多帧采样图像)。其中，通过下采样获取的退化的矩形光栅图的帧数可以根据实际情况设定，例如4帧或5帧等。

通过上述方式得到多帧退化的矩形光栅图后，可以通过第二超分辨率重建规则对待处理图像(即多帧退化的矩形光栅图)进行图像重建，以第二超分辨率重建规则是基于线性插值算法、迭代反投影ibp算法和凸集投影pocs算法而得到为例，可以分别使用线性插值算法、迭代反投影ibp算法和凸集投影pocs算法对待处理图像进行图像重建，分别得到相应的采样重建图像，其中，分别使用线性插值算法、迭代反投影ibp算法和凸集投影pocs算法对待处理图像进行图像重建的处理可以依据现有方式处理，在此不再赘述。

在步骤s205中，根据待处理图像和重建图像的图像频率，基于调制传递函数的截止频率规则分别获取待处理图像和重建图像在不同频率处的调制函数值。

其中，调制传递函数可以是用于反映物体不同频率成分经光学系统传递后其对比度的降低情况的函数，其中，调制传递函数是一个关于频率的单调递减的实值函数。当图像的频率增加到预定阈值后，调制函数值将会下降到零，这就意味着光学系统不能传递高于该频率的调制信号，该频率即为截止频率，可以fcut表示，相应地，调制函数值为mtf(fcut)＝0。频率可以是指空间频率。

在实施中，根据调制传递函数原理，制传递函数mtf可表示为：

其中，ctf为对比度传递函数，min和mout分别为输入和输出的图像灰度值对比度，f为频率。设图像同一级光栅条纹中灰度值的极大平均值和极小平均值分别为和其灰度值对比度m为：

可以获取待处理图像中包含的多个不同频率成分，并将不同频率分别代入调制传递函数(即灰度值对比度m公式)中进行计算，得到待处理图像在不同频率处的调制函数值，同样的，还可以获取重建图像中包含的多个不同频率成分，并将不同频率分别代入调制传递函数中进行计算，得到重建图像在不同频率处的调制函数值。其中，需要说明的是，重建图像可以是上述单帧重建图像，也可以是上述采样重建图像。

在步骤s206中，根据待处理图像和重建图像在不同频率处的调制函数值分别获取待处理图像和重建图像的空间分辨率。

在实施中，空间分辨率与截止频率的调制传递函数和人眼极限频率的调制传递函数有关。其中，对于人眼极限频率，由于人眼能够分辨的最低对比度会随着图像的频率的增大而增大，是频率的单调递增函数。调制函数值的曲线与人眼能够分辨的最低对比度的函数曲线的交汇点所对应的频率通常称为人眼极限频率，可以fres表示。人眼极限频率的判断依据可以包括瑞利方法和道斯方法，不同的判断依据可以得到不同的人眼极限频率，本申请实施例中以5％作为实际可行的人眼极限频率的基准对比度，即mtf(fres)＝0.05。

根据空间分辨率的估算原理，空间分辨率sr≥λμmin{fcut,fres}，其中，λ和μ分别为比例系数，且λ＞0、μ＞0。可见，如果需要确定空间分辨率只需确定待处理图像和重建图像的截止频率和人眼极限频率，为此，可以分别求解方程mtf(fcut)＝0和mtf(fres)＝0.05，从而可以分别得到待处理图像和重建图像的截止频率和人眼极限频率，进而可以估算出待处理图像和重建图像的空间分辨率。

此外，上述步骤s206的处理还可以通过奈奎斯特频率确定待处理图像和所述重建图像的空间分辨率，具体可以包括以下步骤一和步骤二的处理。

步骤一，根据待处理图像和重建图像在不同频率处的调制函数值，确定待处理图像和重建图像的奈奎斯特频率。

在实施中，根据奈奎斯特(nyquist)采样定理，空间采样间距与奈奎斯特频率需满足以下关系

其中，d为空间采样间距，fnyquist为奈奎斯特频率。

又由于奈奎斯特频率为空间采样频率的一半，而空间采样频率的最大值取决于图像的截止频率和人眼的极限频率，因此可以有

其中，fsam为空间采样频率。

可以将方程mtf(fcut)＝0和mtf(fres)＝0.05的解，即待处理图像和重建图像的截止频率和人眼极限频率分别代入上述奈奎斯特频率方程中，可以计算得到待处理图像和重建图像的奈奎斯特频率。

步骤二，根据待处理图像和重建图像的奈奎斯特频率，分别确定待处理图像和重建图像的空间分辨率。

在实施中，由于空间采样间距取决于ccd像元尺寸a，即

d＝μa

综合上述各个方程，可以得到空间分辨率与奈奎斯特频率之间的关系如下

sr≥2λμfnyquist

可以将上述步骤一计算得到的待处理图像和重建图像的奈奎斯特频率代入上述不等式中，即可估算出待处理图像和重建图像的空间分辨率。

在步骤s207中，基于待处理图像和重建图像的空间分辨率对重建图像的超分辨率重建质量进行评价。

在实施中，对于单帧重建图像和采样重建图像，可以进行区别处理，即对于基于不同算法的超分辨率重建规则得到的单帧重建图像，可以分别将其空间分辨率与待处理图像的空间分辨率对比，确定基于不同算法的超分辨率重建规则得到的单帧重建图像超分辨率重建质量，同样的，对于基于不同算法的超分辨率重建规则得到的采样重建图像，可以分别将其空间分辨率与待处理图像的空间分辨率对比，确定基于不同算法的超分辨率重建规则得到的采样重建图像超分辨率重建质量，例如，分别将基于线性插值算法、迭代反投影ibp算法和凸集投影pocs算法的超分辨率重建规则得到的采样重建图像的空间分辨率与待处理图像的空间分辨率对比，确定基于线性插值算法、迭代反投影ibp算法和凸集投影pocs算法的超分辨率重建规则得到的采样重建图像超分辨率重建质量。

为了使得上述实施例二的处理过程更加清晰明了，以下通过具体实例对上述处理过程进行说明，具体如下：

以图3的分级变频矩形光栅图为例，可以向该分级变频矩形光栅图中加入大小为13x13、标准偏差为5的高斯模糊和均值为0、方差为10^-3的高斯加性噪声，获取单帧退化的矩形光栅图，如图4中(a)所示，该退化的矩形光栅图中的数字模糊严重，第7、8、9、10级光栅条纹已经无法分辨。

对单帧退化的矩形光栅图利用约束最小二乘法、lucy-richardson方法和全变分tv的方法进行超分辨率重建，得到单帧重建图像，如图4中(b)、(c)和(d)所示，其中，(b)为通过约束最小二乘法得到的单帧重建图像，(c)为通过lucy-richardson方法得到的单帧重建图像，(d)为通过全变分tv的方法得到的单帧重建图像。

通过人为观察，通过约束最小二乘法得到的单帧重建图像的超分辨率重建质量最差，与单帧退化的矩形光栅图(a)几乎没有区别，而且第7级以后的光栅条纹模糊更加严重。通过lucy-richardson方法得到的单帧重建图像和通过全变分tv的方法得到的单帧重建图像数字清晰度较好，第8级光栅条纹任然能够分辨。

可以使用最邻近插值将分级变频矩形光栅图放大两倍，然后，向放大的图像中加入大小为25x25、标准偏差为5的高斯模糊和方差为10^-3的随机加性噪声，再进行下采样获取4帧退化的矩形光栅图，如图5中的(a)所示。对上述4帧退化的矩形光栅图利用线性插值算法、迭代反投影ibp算法和凸集投影pocs算法进行超分辨率重建，结果如图5中(b)、(c)和(d)所示。

观察图5中(b)、(c)和(d)中的数字和光栅条纹，可以得到通过迭代反投影ibp算法得到的重建图像中数字最清晰，第8级光栅条纹仍然可以辨认，但第9级光栅条纹模糊严重；通过凸集投影pocs算法得到的重建图像中数字清晰度次之，第8级光栅条纹仍然可以辨认，但第9级光栅条纹已经模糊非常严重；通过线性插值算法得到的重建图像中数字最模糊，第7级光栅条纹可以辨认，第8级光栅条纹开始模糊。这也说明图像重建提高了图像的分辨率，同时利用多帧图像重建噪声抑制优于单帧图像重建。

可以分别计算退化的矩形光栅图(简记为im1)、通过约束最小二乘法得到的重建图像(简记为im2)、通过lucy-richardson方法得到的重建图像(简记im3)、通过全变分法得到的重建图像(简记im4)、退化的矩形光栅图(简记im5)、最邻近插值放大图像(简记im6)、通过凸集投影pocs算法得到的重建图像(简记im7)、通过迭代反投影ibp算法得到的重建图像(简记im8)在每一级，也就是每种频率下的调制函数值(即mtf值)，如表1所示。

表1

根据表1中各个重建图像在10个频率处的mtf值，利用高斯曲线近似拟合mtf曲线，如图6(a)和图6(b)所示。

根据待处理图像和重建图像在不同频率处的调制函数值，利用上述相关公式可以分别计算出对应的空间采样频率，如表2所示。

表2

通过约束最小二乘法、lucy-richardson方法和全变分tv的方法对单帧图像进行超分辨率重建，其空间分辨率分别提高了0.006倍，0.650倍和0.923倍。而通过线性插值算法、凸集投影pocs算法和迭代反投影ibp算法对多帧图像进行超分辨率重建，其空间分辨率分别提高了-0.112倍，0.035倍和0.372倍。这说明对单帧图像进行图像重建时，全变分tv的方法对应的空间分辨率提高倍数最多，通过多帧图像进行图像重建时，迭代反投影ibp算法对应的空间分辨率提高倍数最多。

此外，还可以通过其他方法(如基于归一化均方误差nmse(normalizedmeansquareerror)、和峰值信噪比psnr(peaksignaltonoiseratio)的方法等)对通过上述方式得到的结果进行验证，通过验证，通过其他方法得到的结果与通过上述方式得到的结果一致，在此不再赘述。

本申请实施例提供一种超分辨率重建质量的评价方法，通过预定的超分辨率重建规则对图像分辨率小于预定分辨率阈值的待处理图像进行图像重建，得到重建图像，并根据待处理图像和重建图像的图像频率，分别获取待处理图像和所述重建图像的空间分辨率，并基于待处理图像和重建图像的空间分辨率对重建图像的超分辨率重建质量进行评价，这样，避免了通过人工判读的主观方式获取空间分辨率造成的主观误差，从而提高了图像空间分辨率的准确性，评价方法统一，评价结果不会因为用户的不同而不同，评价结果客观准确。

而且，在调制传递函数、奈奎斯特采样定理和人眼极限频率三个理论基础上，利用不同的超分辨率重建规则对单帧和多帧退化的矩形光栅图进行图像重建，并基于此进行超分辨率重建质量的评价，其评价结果与主观观察评价和其它客观评价结果一致。

实施例三

以上为本申请实施例提供的一种超分辨率重建质量的评价方法，基于同样的思路，本申请实施例还提供一种超分辨率重建质量的评价装置，如图7所示。

所述超分辨率重建质量的评价装置可以为终端设备或者服务器等计算机设备，也可以设置在终端设备或服务器等计算机设备中，该装置包括：待处理图像获取模块701、图像重建模块702和评价模块703，其中，

待处理图像获取模块701，用于获取图像分辨率小于预定分辨率阈值的待处理图像。

图像重建模块702，用于根据预定的超分辨率重建规则对所述待处理图像进行图像重建，得到重建图像。

评价模块703，用于根据所述待处理图像和所述重建图像的图像频率，分别获取所述待处理图像和所述重建图像的空间分辨率，并基于所述待处理图像和所述重建图像的空间分辨率对所述重建图像的超分辨率重建质量进行评价。

在本申请实施例中，待处理图像获取模块701，包括：

矩形光栅图获取单元，用于获取对比度高于预定对比度阈值的分级变频矩形光栅图；

图像退化单元，用于根据预定的图像退化规则对所述分级变频矩形光栅图进行图像退化处理，得到图像分辨率小于预定分辨率阈值的退化的矩形光栅图作为所述待处理图像。

在本申请实施例中，图像重建模块702，包括：

单帧重建单元，用于根据预定的第一超分辨率重建规则对所述待处理图像进行图像重建，得到单帧重建图像，和/或，

多帧重建单元，用于对所述待处理图像进行下采样处理得到多帧采样图像，根据预定的第二超分辨率重建规则对所述多帧采样图像进行图像重建，得到采样重建图像。

在本申请实施例中，评价模块703，包括：

调制函数值获取单元，用于基于调制传递函数的截止频率规则分别获取待处理图像和重建图像在不同频率处的调制函数值；

空间分辨率获取单元，用于根据所述待处理图像和所述重建图像在不同频率处的调制函数值分别获取所述待处理图像和所述重建图像的空间分辨率。

在本申请实施例中，所述空间分辨率获取单元，用于根据所述待处理图像和所述重建图像在不同频率处的调制函数值，确定所述待处理图像和所述重建图像的奈奎斯特频率；根据所述待处理图像和所述重建图像的奈奎斯特频率，分别确定所述待处理图像和所述重建图像的空间分辨率。

本申请实施例提供一种超分辨率重建质量的评价装置，通过预定的超分辨率重建规则对图像分辨率小于预定分辨率阈值的待处理图像进行图像重建，得到重建图像，并根据待处理图像和重建图像的图像频率，分别获取待处理图像和所述重建图像的空间分辨率，并基于待处理图像和重建图像的空间分辨率对重建图像的超分辨率重建质量进行评价，这样，避免了通过人工判读的主观方式获取空间分辨率造成的主观误差，从而提高了图像空间分辨率的准确性，评价方法统一，评价结果不会因为用户的不同而不同，评价结果客观准确。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。