提高图像空间分辨率的方法及装置制造方法
【专利摘要】本发明公开了一种提高图像空间分辨率的方法及装置，涉及图像信息处理领域，为提高图像的空间分辨率而发明。所述方法包括：对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小；根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值；根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。本发明主要应用于超分辨重建技术中。
【专利说明】提高图像空间分辨率的方法及装置
【技术领域】
[0001]本发明涉及图像信息处理领域，尤其涉及一种提高图像空间分辨率的方法及装置。
【背景技术】
[0002]图像是人类获取信息的主要来源。据统计，在人类接受的信息中，有75%来自视觉。与其它诸如听觉、味觉、触觉、嗅觉等信息形式相比，视觉信息具有直观、具体、生动等优点，因此，图像/视频采集是数字图像处理系统中不可或缺的关键技术之一。目前应用最为广泛的图像传感器是电荷稱合器件(Charge-coupled Device,简称CCD)。成像系统通过其内部的CCD传感器阵列进行采样，产生数字图像。为了避免“混叠”现象，通常要求采样频率应该满足Nyquist采样准则。
[0003]然而在图像数字化采集过程中有很多因素会导致图像分辨率的下降，例如在用CCD等光电成像器件对图像进行采集和保存时，由于采样频率的影响会产生欠采样效应而造成图像的频谱交叠，使获取的图像因频谱混叠而发生降质；其次，大气扰动、CCD传感器的形状和尺寸、光学系统的像差、散焦以及相机和被拍摄物体之间的相对运动等因素也会造成图像的模糊；另外，在对图像信息进行成像、传输、存储过程中，会引入不同类型的噪声，如高斯噪声、椒盐噪声等，这些噪声会直接影响到图像的质量和分辨率。因此，如何对光学系统，光电成像器件，以及图像后期处理做出改进，以便提高图像的分辨率，使采集的图像尽可能的接近于目标原型，成为近年来研究的热点之一。
[0004]提高图像空间分辨率的最直接的措施是采用CXD传感器制造工艺减少像元尺寸，也就是增加CCD传感器单位面积内的像元数。但是当像元尺寸减小时，它所能接收到的真实信号的电磁波辐射能量也减小了，因此很容易受到噪声影响，降低图像质量。为了避免像素尺寸减小引起的图像质量下降，像元尺寸大小存在一个最低下限。据估算，0.35μπι规格的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,简称 CMOS)兀件，最小允许的像元尺寸为40 μ m2。目前的C⑶传感器制造工艺已经达到了这一极限水平。
[0005]提高图像空间分辨率的另一种措施是增加集成电路板的尺寸，但这会导致电容的增加。较大的电容会抑制电荷转移速率，因此这种措施也不被认为是一种有效措施。并且，在商业应用中制造高空间分辨率的光学CCD传感器的高成本也是要考虑的一个主要因素。
【发明内容】
[0006]本发明的实施例提供一种提高图像空间分辨率的方法及装置，能够提高图像的空间分辨率。
[0007]—方面，本发明实施例提供了一种提高图像空间分辨率的方法，包括:
[0008]对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小；
[0009]根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值；[0010]根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像；
[0011]所述根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值，具体包括:
[0012]根据第一预设算法获得自适应权重阈值；
[0013]保留所述至少一个权重值中属于所述自适应权重阈值范围内的权重值，将所述至少一个权重值中不属于所述自适应权重阈值范围内的权重值置为O ;
[0014]所述根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值，进一步具体包括:
[0015]将所述至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动；
[0016]根据第二预设算法以及所述主权重值，在所述至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动；
[0017]保留所述主权重值以及所述至少一个辅权重值，将所述至少一个权重值中除所述主权重值以及所述至少一个辅权重值以外的其他权重值置为O。
[0018]另一方面，本发明实施例提供了一种提高图像空间分辨率的装置，包括:
[0019]权重估计单元，用于对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小；
[0020]权重筛选单元，用于根据预设算法对所述权重估计单元估计的所述至少一个权重值进行筛选，剔除异常权重值；
[0021]图像融合单元，用于根据所述权重筛选单元筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像；
[0022]所述权重筛选单元具体包括:
[0023]阈值获取子单元，用于根据第一预设算法获得自适应权重阈值；
[0024]第一权重处理子单元，用于保留所述权重估计单元估计的至少一个权重值中属于所述阈值获取子单元获得的所述自适应权重阈值范围内的权重值，将所述权重估计单元估计的至少一个权重值中不属于所述阈值获取子单元获得的所述自适应权重阈值范围内的权重值置为O ;
[0025]所述权重筛选单元还包括:
[0026]权重确定子单元，用于将所述权重估计单元估计的至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动；根据第二预设算法以及所述主权重值，在所述权重估计单元估计的至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动；
[0027]第二权重处理子单元，用于保留所述权重确定子单元确定的所述主权重值以及所述至少一个辅权重值，将所述至少一个权重值中除所述主权重值以及所述至少一个辅权重值以外的其他权重值置为O。
[0028]本发明实施例提供的提高图像空间分辨率的方法及装置，能够估计预设算法对用于描述像素点在运动概率场中运动可能性的权重值进行筛选，剔除异常权重值，然后根据筛选后的权重值将多帧低分辨率图像融合成一幅超分辨率图像，由此提高图像的空间分辨率。
【专利附图】
【附图说明】
[0029]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为本发明实施例中像素点运动概率场的示意图；
[0031]图2为本发明实施例中提高图像空间分辨率的方法流程图；
[0032]图3为本发明实施例中另一个像素点运动概率场的示意图；
[0033]图4为本发明实施例中另一个提高图像空间分辨率的方法流程图；
[0034]图5为本发明实施例中再一个像素点运动概率场的示意图；
[0035]图6为本发明实施例中确定主辅权重值的示意图；
[0036]图7为本发明实施例中提高图像空间分辨率的装置的结构示意图；
[0037]图8为本发明实施例中另一个提高图像空间分辨率的装置的结构示意图；
[0038]图9为本发明实施例中再一个提高图像空间分辨率的装置的结构示意图；
[0039]图10为本发明实施例中又一个提高图像空间分辨率的装置的结构示意图；
[0040]图11为本发明实施例中二维高斯滤波的示意图。
【具体实施方式】
[0041]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]首先，对本发明实施例基于的超分辨重建技术作简要介绍。超分辨率(Super-Resolution,简称SR)重建技术是一种分辨率增强技术，它的主要优势是成本较低，无需对硬件进行改变，利用现有的低分辨率(Low-Resolution，简称LR)成像传感器，使用软件技术来提高图像的分辨率。超分辨重建技术的目标是要从多幅降质的低分辨率图像中，提取有用信息，重建具有丰富细节的高分辨率(High-Resolution，简称HR)图像。本质上，超分辨率重建技术是一种图像融合技术，其基本思想在于根据需要把相关性和互补性很强的多幅图像的有用信息综合在一起，以弥补原始单源观测图像承载信息的局限性。超分辨率重建技术的具体实现可分为“配准”和“融合”两个阶段，在第一个阶段，将多帧低分辨率图像配准后映射到待重建的高分辨率图像平面空间上。在第二阶段，将放置到高分辨率图像平面空间上的低分辨图像进行融合，得到所需要的超分辨率图像。
[0043]图像配准从本质上可以看作是根据运动模型进行参数估计的过程，属于运动估计问题。为了减小求解超分辨重建问题的难度，传统的超分辨率重建算法，需要假设各帧低分辨率图像之间只存在全局移动，例如在使用相机拍照时，CCD传感器获取的图像中所有的对象都按照相同的方向相同的位移量进行移动。而这样简单的假设对于自然图像来说很难成立，因为自然图像中往往存在多个具有不同运动形式的对象，例如CCD传感器获取的图像中汽车向左运动，人向右运动。也就是说自然图像中通常存在局部而非全局的运动形式，为了解决这个问题，Protter等人受到非局部平均(Non-Local Means,简称NLM)滤波算法的启发，提出了一种基于运动概率场的超分辨率重建算法。基于运动概率场的超分辨重建算法，首先把低分辨率图像中的每一个像素点看作是相互独立的对象，然后分别对这些像素点的运动形式做出估计，这样就使得超分辨率算法不再局限于全局运动的假设，而是每一个局部像素点都可以有自己不同的运动形式。此外，与传统的算法不同，考虑到运动估计可能不够精确，基于运动概率场的超分辨算法并不直接给出每一个像素的准确运动形式，而是给出该像素可能属于哪一种运动形式的概率，即运动概率场。所谓的运动概率场就是首先假设在原始高分辨率图像中，每一个像素点只能够在半径为D的范围内移动，因此每一个像素点最多只能具有M= (2D+1)2种可能的运动形式，Plotter等人将其称为该像素点的运动场。如图1所示，当D = 2时，图中的像素点只能够在以D为半边长的正方形区域中运动，所以该像素点具有25种可能的运动形式(5X5)，即像素点的运动概率场如图1中粗线围成的正方形区域所示。然后，对该像素点移动到运动场的中任一位置的可能性大小进行评估，给出相应的概率权重，该概率权重即为本发明实施例所述的权重值。下面结合图1所示的运动概率场对本发明实施例进行说明。
[0044]本发明实施例提供一种提高图像空间分辨率的方法，如图2所示，所述方法包括如下步骤:
[0045]201、对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值。
[0046]所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小。图1为低分辨率图像中像素点的运动概率场，在图1中，像素点具有25种运动形式(或者说像素点有25个可能移动到的位置)，则需要获得针对该像素点25种运动形式的25个权重值，所述权重值用于描述像素点移动到某个位置的概率大小，其中，每个权重值的取值范围为[0，1]。
[0047]图3给出了运动概率场中部分运动形式的权重值，可以看出像素点由原始位置运动到位置I的权重值(或者说概率)为0.2，运动到位置2的权重值为0.01，运动到位置3的权重值3为0.3。需要说明的是，图3中所示箭头仅表示像素点的运动形式，即箭头的方向代表像素点从原始位置移动到箭头指向的位置，而箭头的长度与权重值之间并不具有对应关系。
[0048]所述对低分辨率图像中像素点的运动形式进行权重估计为对低分辨率图像中所有像素点都进行权重估计，假设一帧低分辨率图像中的像素点个数为10000个，并且每个像素点的运动概率场都如图1所示，则一帧低分辨率图像需要估计的权重值数量为250000个。
[0049]由于超分辨重建技术是将多帧低分辨率图像配准、融合为一幅超分辨率图像的过程，所以步骤201中需要对所有低分辨率图像中的像素点进行权重估计。
[0050]202、根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值。
[0051]如前所述，超分辨重建技术需要对所有低分辨率图像中的所有像素点进行权重估计，为方便表述，后续以对一帧低分辨率图像中的某一个像素点进行权重估计为例进行说明，后续所述的至少一个权重值指用于描述一个像素点在一帧低分辨率图像中的至少一种运动形式的权重值。
[0052]由于低分辨率图像是由原始高分辨率图像经过下采样得到的，对原始高分辨率图像进行下采样会造成原始高分辨率图像中高频信息的损失和频谱混叠，因此由经过下采样得到的低分辨率图像插值得到的高分辨率图像与原始高分辨率图像相比会存在误差。这些误差引入到权重估计中会导致权重计算错误，进而导致重建质量的下降。根据预设算法对权重值进行筛选可以剔除至少一个权重值中的错误权重值，由此提高重建的质量。
[0053]203、根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。
[0054]低分辨率图像融合过程需要使用上述估计的权重值，由于已将异常权重值剔除，所以可以避免权重值估计错误所导致的误差在融合过程中的积累和传播。
[0055]本发明实施例提供的提高图像空间分辨率的方法，可以对估计的权重值进行筛选，将误差值较大的异常权重剔除，然后根据筛选后的权重值对低分辨率图像进行融合，由此提高超分辨率重建的质量。
[0056]作为对图2所示实施例的进一步扩展及说明，本发明实施例还提供了一种提高图像空间分辨率的方法，如图4所示，所述方法包括如下步骤:
[0057]401、对低分辨率图像进行低通滤波。
[0058]低通滤波的目的在于滤除低分辨率图像中高于预设频率门限值的频率成分。根据奈奎斯特(NYQUIST)采样定理，在进行模拟/数字信号的转换过程中，当采样频率(F)大于信号(本实施例中为低分辨率图像)中最高频率的2倍时，采样之后的数字信号可以完整地保留原始信号中的信息。当用采样频率(F)低于信号中最高频率的2倍时，信号中低于F/2的低频成分会对称映象到高于F/2的频带中，并且使F/2以上的原有频率成分和低频成分叠加起来，形成混叠现象(ALIASING)。
[0059]通常，消除混叠现象的方式有两种:1)提高采样频率，即缩小采样时间间隔.然而实际的信号处理系统无法提供很大的采样频率。另外，许多信号本身可能含有全频带的频率成分，不可能将采样频率提高到无穷大.所以，通过提高采样频率避免混叠现象是有所限制的。2)采用抗混叠滤波器，在采样频率一定的前提下，通过低通滤波器滤掉高于采样频率一半的频率成分，通过低通滤波器的信号则可避免出现频率混叠。
[0060]本发明实施例中，涉及权重估计的低分辨率图像包括已知低分辨率图像和经下采样获得的低分辨率图像，其中，下采样获得的低分辨率图像是由原始高分辨率图像经下采样得到的，而原始高分辨率图像中包含了部分高频成分，由于下采样频率往往不能满足奈奎斯特采样定理的要求(即下采样频率大于原始高分辨率图像中最高频率的2倍)，所以经下采样得到的低分辨率图像中会存在频谱混叠的现象。为了减小频谱混叠对权重估计的影响，在权重估计之前，需要对已知低分辨率图像和下采样获得的低分辨率图像进行低通滤波，低通滤波器的预设频率门限值设置为采样频率的一半，可以将低分辨率图像中高于采样频率一半的高频信息滤除掉，由此消除低分辨率图像中的混叠现象。以对已知低分辨率图像进行滤波为例，具体的操作方式如公式(I)所示:
【权利要求】
1.一种提高图像空间分辨率的方法，其特征在于，包括: 对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小； 根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值； 根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值，具体包括: 根据第一预设算法获得自适应权重阈值； 保留所述至少一个权重值中属于所述自适应权重阈值范围内的权重值，将所述至少一个权重值中不属于所述自适应权重阈值范围内的权重值置为O。
3.根据权利要求1或2所述的方法，其特征在于，所述根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值，进一步具体包括: 将所述至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动； 根据第二预设算法以及所述主权重值，在所述至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动； 保留所述主权重值以及所述至少一个辅权重值，将所述至少一个权重值中除所述主权重值以及所述至少一个辅权`重值以外的其他权重值置为O。
4.根据权利要求3所述的方法，其特征在于，所述根据第二预设算法以及所述主权重值，在所述至少一个权重值中确定至少一个辅权重值，具体包括: 将与所述主权重值差值小于预设权重差值的权重值确定为辅权重值；或者， 将与所述主权重值差值占自身权重值比例小于差异调节因子的权重值确定为辅权重值；或者， 将所述至少一个权重值中除所述主权重值以外最大的权重值确定为辅权重值。
5.根据权利要求4所述的方法，其特征在于，在所述对低分辨率图像中像素点的运动形式进行权重估计之前，所述方法进一步包括: 对所述低分辨率图像进行低通滤波，滤除所述低分辨率图像中高于预设频率门限值的频率成分，其中，所述低通滤波包括二维高斯滤波。
6.根据权利要求5所述的方法，其特征在于，在所述根据筛选后的权重值对至少一帧低分辨率图像进行融合之后，所述方法进一步包括: 根据预设去模糊算法对所述超分辨率图像进行去模糊处理，其中，所述去模糊算法包括盲去模糊算法以及非盲去模糊算法，在所述非盲去模糊算法中，预设的约束条件包括:吉洪诺夫TIKHONOV正则化算法、全变差TV正则化算法、双边全变差BTV正则化算法以及自然图像梯度先验正则化算法。
7.一种提高图像空间分辨率的装置，其特征在于，包括: 权重估计单元，用于对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小； 权重筛选单元，用于根据预设算法对所述权重估计单元估计的所述至少一个权重值进行筛选，剔除异常权重值； 图像融合单元，用于根据所述权重筛选单元筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。
8.根据权利要求7所述的装置，其特征在于，所述权重筛选单元具体包括: 阈值获取子单元，用于根据第一预设算法获得自适应权重阈值； 第一权重处理子单元，用于保留所述权重估计单元估计的至少一个权重值中属于所述阈值获取子单元获得的所述自适应权重阈值范围内的权重值，将所述权重估计单元估计的至少一个权重值中不属于所述阈值获取子单元获得的所述自适应权重阈值范围内的权重值置为O。
9.根据权利要求7或8所述的装置，其特征在于，所述权重筛选单元还包括: 权重确定子单元，用于将所述权重估计单元估计的至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动，根据第二预设算法以及所述主权重值，在所述权重估计单元估计的至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动； 第二权重处理子单元，用于保留所述权重确定子单元确定的所述主权重值以及所述至少一个辅权重值，将所述权重估计单元估计的所述至少一个权重值中除所述主权重值以及所述至少一个辅权重值以外的其他权重值置为O。
10.根据权利要求9所述的装置，其特征在于，所述权重确定子单元具体用于: 将与所述主权重值差值小于预设权重差值的权重值确定为辅权重值； 将与所述主权重值差值占自身权重值比例小于差异调节因子的权重值确定为辅权重值； 将除所述主权重值以外最大的权重值确定为辅权重值。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括: 图像滤波单元，用于在所述权重估计单元对低分辨率图像中像素点的运动形式进行权重估计之前，对所述低分辨率图像进行低通滤波，滤除所述低分辨率图像中高于预设频率门限值的频率成分，其中，所述低通滤波包括二维高斯滤波。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括: 图像去模糊单元，用于在所述图像融合单元根据筛选后的权重值对至少一帧低分辨率图像进行融合之后，根据预设去模糊算法对所述超分辨率图像进行去模糊处理，其中，所述去模糊算法包括盲去模糊算法以及非盲去模糊算法，在所述非盲去模糊算法中，预设的约束条件包括:吉洪诺夫TIKHONOV正则化算法、全变差TV正则化算法、双边全变差BTV正则化算法以及自然图像梯度先验正则化算法。
【文档编号】G06T5/50GK103632356SQ201210312851
【公开日】2014年3月12日 申请日期:2012年8月29日 优先权日:2012年8月29日
【发明者】卢健, 陈敏, 张丽萍 申请人:华为技术有限公司