较佳具体实施例。应当理解，本领域的普通技术无需创 造性劳动就可W根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员 依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可W得到的技术 方案，皆应在由权利要求书所确定的保护范围内。
【主权项】
1. 一种新的图像超分辨率放大的方法。此方法包括新的离线的建立训练样本库的方法 和新的在线对待放大的低分辨率图像进行超分辨率放大的得到高分辨率图像的方法。其离 线的训练数据库的建立过程如下所述。即对高分辨率的图像数据库中的每幅图像进行如下 处理： 输入：很多高分辨率的训练图像。 输出：由提取的样例三元组（pjihPaa) w ΗΕα))所组成的数据库。 步骤1)先对原始的训练的高分辨率的图像进行下采样得到低分辨率的图像。然后对 每一幅高分辨率的图像利用图像的卡通和纹理分解技术进行分解，同时对分解得到的卡通 部分进行下采样，再对低分辨率的卡通图像进行所提出的基于偏微分方程的插值方法以得 到高分辨率的预测图像。接下来，计算原始图像和预测图像之间的差值，得到预测差值图 像。这样，可以为提取样例三元组做准备。 步骤2)?= l，y 1，这里，（Xyh)是低分辨率样例在低分辨率的图像中采集的第一 个块的左上角的坐标。i = 1。 步骤3)令m = 2,提取下采样的低分辨的图像中从坐标匕，yj开始到（xpm+l， ^+2m+l)间的图像块⑴存储到数据库中。提取下采样的卡通图像中从坐标（^，yj开 始到（xpm+Ly^m+l)间的图像块P cl⑴存储到数据库中。（2m+l) X (2m+l)为低分辨率 块的大小。本发明中选择的块的大小为5X5。 步骤4)令&= l，yH= 1，（xH，yH)为高分辨率的样例在高分辨率图像中采集的第一个 块的左上角的坐标。 步骤5)提取高分辨率的预测差值图像中从坐标（xH，yH)开始到（xH+4m+2，y H+4m+2)间 的图像块P HE(i)，存储到数据库中。（4m+2)X(4m+2)为高分辨率预测差值块的大小。本 发明中选择的预测差值块的大小为IOX 10。这样，就存储了一个样例三元组（Mi)，Pa(i)， ji))，其中⑴和PJi)在步骤3)中存储， HE⑴在本步骤中存储。i = i+l。 步骤6)令XJ2,样例在低分辨率图像的左上角的横坐标右移两个像素单位，以提 取出下一个样例。Xh= Xh+4,样例在高分辨率图像的左上角的横坐标右移四个像素单位。 步骤7)若W f-2m(WfS低分辨率图像的宽度），则跳到步骤3)提取下一个样例三 元组并把它存储在数据库中；否则这一行的样例三元组已提取完毕。 步骤8)令&= 1，h= yf2,样例在低分辨率图像的左上角的纵坐标下移两个像素。 令知=1，yH= yH+4,样例在高分辨率图像的左上角的纵坐标下移四个像素。步骤9)若 H f-2m(HfS低分辨率图像的高度），则跳到步骤3)提取下一个样例三元组；否则对当 前训练图像的样例三元组的提取过程进行完毕，共存储了 I = i个样例三元组。 这样，对训练库中的每一个高分辨率图像经过此离线的处理方法，就得到了可用于超 分辨率处理的很多样例三元组，并且这些样例三元组都存储在数据库中。2. 如权利要求1的步骤1)中所述的对低分辨率的卡通图像进行基于偏微分方程的插 值方法。首先，基于偏微分方程的插值方法中的初始图像为下采样的低分辨率的卡通图像， 即，C 1 (i，j) = C (i，j)，然后定义如下偏导数的离散化计算方法，有利用这些偏导数可计算出第k次迭代应采取的修正量，即 / \利用这个修正量，可以得到第k次迭代产生的结果，给第k+Ι次迭代产生初始值，有 Ck+1(i，j) = Ck(i，j)+0.25*Qk(i，j) 然后，重复此迭代过程，直到d(Cm，Cnri) < WXHX I. 3, d(Cm，Cnrl)为块Cm和块Cnri之间 的欧氏距离，其中，W为块的长度，H为块的宽度。3.如权利要求1中所述的在线的超分辨率放大的新方法。此方法包括如下步骤： 输入：待放大的低分辨率的图像，和已经训练和保存好的由样例三元组所组成的数据 库。 输出：放大的高分辨率的图像。 步骤1)?= l，h= 1，这里，（Xy5〇是低分辨率的块在低分辨率的待放大图像中的第 一个块的左上角的坐标。令Xh= 1，yH= 1，（xH，yH)为高分辨率的块在高分辨率图像中第 一个块的左上角的坐标。 步骤2)令m = 2,提取待放大的低分辨的图像中从坐标匕，yj开始到（xpm+l， h+2m+l)间的图像块ΡΛ。对图像块匕进行卡通和纹理分解，得到低分辨率的卡通图像块 Pxcl。对图像块？1运用Sobel算子提取其中的边缘像素，并根据以上（4)中所述的方法对 边缘像素和非边缘像素赋权值。（2m+l) X (2m+l)为低分辨率块的大小。本发明中选择的块 的大小为5X5。 步骤3)根据提取到的图像块ΡΛ、Pxcl和各像素的权值，对训练数据库中的第i个样例 三元组（PL(i)，Pa⑴，P' ^⑴），计算其匹配差值SAD(PxL，Pji)，Pa(i))，l彡i彡I，其中 I为数据库中存储的样例三元组的个数。然后，选择匹配差值最小的K个样例三元组，和其 中的低分辨率块PJk i)和低分辨率的卡通块Pa(Ici)，其中Ici为第k个匹配准则最小的样例 对在训练库中的索引值（index)。接下来，运用以上（2)中所述的方法得到插值之后的块为 C m(Iii)，然后，根据SAD (ΡΛ，PJk1)，Pa(Iii))的值和式（10)来确定重构块P' 步骤4)从坐标（xH，yH)开始到（xH+4m+2，yH+4m+2)间的图像块设置为重构块P' ，若 在此区域中已有之前设置的块，则重叠区域的像素值由此区域中所有的设置块的像素值的 平均值来确定。（4m+2) X (4m+2)为高分辨率预测差值块的大小。本发明中选择的高分辨率 块的大小为10X10。 步骤5)令^+3,在低分辨率图像的左上角的横坐标右移三个像素单位，以提取出 下一个低分辨率块。Xh= xH+6,样例在高分辨率图像的左上角的横坐标右移六个像素单位。 步骤6)若Wf-2m(W fS低分辨率图像的宽度），则跳到步骤2)处理下一个块。 步骤7)令&= 1，h= yf3,样例在低分辨率图像的左上角的纵坐标下移三个像素。 令xH= 1，yH= yH+6,样例在高分辨率图像的左上角的纵坐标下移六个像素。 步骤8)若y# H f-2m(H#低分辨率图像的高度），则跳到步骤2)处理下一个块；否则 对所有的图像块的处理完毕，得到由各重构块P' &组成的高分辨率的图像。4. 如权利要求书3中所用到的待放大区域和样本库中的训练样例三元组的匹配差值 的确定方法。此方法先对图像块采用Sobel梯度计算各像素点的梯度，对于梯度值大于200 的像素点，确定其权值w(j) = 2 ;否则w(j) = 1。然后先对待放大块PjJi行卡通和纹理分 解，得到低分辨率的卡通图像块Ρχα。在此基础上，所提出的匹配准则为其中，w(j)为所确定的权值，Pxa(j)为低分辨率的卡通图像块中的第j个像素的像素 值，λ为一平衡因子。通过大量的实验和优化，在本发明中λ =0.4。5. 所提出的超分辨率的重构方法。此方法先根据当前待放大的低分辨的块ΡΛ，找到数 据库中的K个和当前待放大块Ρ Λ的匹配准则SAD(PfPJki), Pa(Iii))(由以上式（9)定义 的）最小的样例三元组中的低分辨率块Mk i)和低分辨率的卡通块Pa(Iii)，其中Iii为第k 个匹配准则最小的样例对在训练库中的索引值（index)。然后，按照以上权利要求2中所提 出的对卡通块插值的方法，对低分辨率的卡通块P a GO进行基于偏微分方程的插值，得到 插值之后的块SCmGO。然后，根据SAD(Pj^PJk i), Pa(IO)的值来确定重构块。其中，w' i反比于SAD(Px^PJki), Ρα(1〇)，且￡<=1，P' JffiGO块由数据库中的样 1=1 例三元组（PLGO，Pcl(Iii)，P' ΗΕ(1〇)中的 P' ΗΕ(1〇 而得来。
【专利摘要】本发明公开了一种利用图像分解和样例加权匹配的图像超分辨率的新方法。在离线训练过程中，先对图像进行卡通和纹理分解，然后提取下采样的低分辨的图像块、卡通块、和基于改进的方法所产生的基于偏微分方程插值后的高分辨率的预测差值块所组成的三元组。在线过程中，先对低分辨的图像进行卡通与纹理分解。接下来，进行所提出的基于权值的样例匹配的方法。最后，把放大后的卡通图像的块和数据库中的预测差值图像块进行优化的线性叠加。仿真实验表明，本方法的匹配准确度高，高分辨率的图像具有更丰富的细节，克服了传统超分辨率方法中的边缘模糊、块效应和一对多的问题。
【IPC分类】G06T3/40
【公开号】CN104881842
【申请号】CN201510266433
【发明人】端木春江, 李林伟
【申请人】浙江师范大学
【公开日】2015年9月2日
【申请日】2015年5月18日