专利名称：一种基于单张低分辨率图像的图像插值重构方法
技术领域：
本发明是涉及一种图像的构建方法，具体涉及一种基于单张低分辨率图像 的图像插值重构方法。
背景技术：
在大多数数字图像的应用中，都希望获得高分辨率的图像。较高的分辨率 可以提供更多更清晰的细节信息，这在很多领域都是非常关键的。例如，具有 较高分辨率的医学图像可以帮助医生更准确的判断病情；在卫星遥感成像过程 中，高分辨率图像常常成为辨别物体的关键。此外，在法医鉴定，车辆牌照识 别等领域高分辨率图像也起着重要作用。
正是由于高分辨率图像的广泛应用，近年来出现了各种方法来改善所得高 分辨率图像质量。总的来说，这些方法可以分做两个大类， 一类是基于多张有 一定联系的低分辨率图像或通过训练的方法获得高分辨率的图像，这类方法的 共同特点是需要用到较多的额外信息，虽然这类方法可以获得比较好的结果， 但是它们对额外信息的要求也是非常苛刻的。另一类方法是基于单张低分辨率 图像获得高分辨率图像，这类方法仅仅需要低分辨率图像本身，因此有着更广 泛的适应性。
常见的图像插值方法是寻找一个插值函数，这种方法可以在图像的低频分 量处获得不错的效果，但是在高频分量处经常产生一些错误，从而造成图像的 模糊效应，锯齿效应等。
为了改善上面方法的不足， 一种基于水平集的图像插值重构方法在2002 年被提出。这种方法可以有效的平滑掉图像中的锯齿从而较好的改善图像的视
5觉效果，可是它依然存在两个问题第一，这种方法采用的锚定点约束技术不 能使图像中所有的锯齿都得到充分的平滑，并会对图像中的细节纹理信息造成 破坏。第二，这种方法并不能很好的解决图像的模糊效应。
发明内容
本发明的目的在于提供一种能够去除锯齿效应使图像边缘更加平滑，提高 视觉效果，区分图像纹理细节和轮廓，使初始插值得到的高分辨率图像轮廓处 的锯齿得到充分的平滑而图像中的纹理不遭到破坏，降低初始插值后高分辨率 图像中模糊效应，使图像看起来更清晰的单张低分辨率图像的图像插值重构方 法。
为达到上述目的，本发明采用的技术方案是首先通过标准的函数插tt法 获得一幅初始的高分辨率图像；然后对插值后的图像进行边缘信息的提取和二 值化，使用边,接技术获得更全面的边缘响应，并通过引入一个边缘密度相 关的变量D将这些边缘信息分做纹理细节部分以及轮廓部分；其次对轮廓部分 进行水平集扩散以移除锯齿效应，在获得平滑的边缘效果的同时保护图像的细 节信息；最后对图像的轮廓进行双边滤波，从而降低由于初始的插值错误和水 平集扩散带来的模糊效应，在获得锐利轮廓的同时保护图像的细节信息。
本发明的具体步骤如下
1)使用差商法计算插值后图像的初始边缘信息，如下式所示 ^ (x，力=(/i (x — /2，力—/(x + /2,力)/ 2/2
,(x，力=" ;; — ;z) — 4 (X，;; + h)) / 2/2
其中4表示经过插{皿大后的初始高分辨率图像，A为空间步长取作1 ，
则初始边缘图像^M根据以上两式得到255
2) 采用保矩法得到自适应的阈值7V^对初始的边缘信息进行二值化；
3) 通过以下边缘连接技术获得更全面的边缘响应
首先，采用保矩法得到的阈值77^^ ，然后定义一个较低的阈值7V"， 通常令^,^=77^^ /2 ，对输入的边缘图像作如下处理
(1) 若4咖",力〉7V举，则/￡咖"力=255;
(2) 若/蹄e"力〈7Kw,则/￡咖(义,力=0;
(3) 若7^。w < 4扭"力< T^妙，检测二值化后的边缘图像的8邻 域内是否有非O的点，如果有，则/^^0,;;) = 255,并且继续检测其邻域
直到收敛，如果没有，则4咖(^,力=0;
4) 通过引入一个表征某一区域内密度的变量Z)(x,力，并通过对一个密度 相关的阈值7;的选择对边缘进行另一次划分，经过这次划分，图像中的细节部 分和轮廓部分将根据戶，的阈值被有效地区分出来；
将经过边缘连接后的二值图像记作/^。^，对其中的每一个亮点，统计以
它为中心的一个窗口内亮点个数co腐(U)，通常选择这个窗口大小为21*21， 若此点位于细节纹理丰富的区域，那么以它为中心的窗口中亮点个数就比较 多，反之则较少，则边缘密度为
5)对/^。7进行修正，加入角点阈值的选择，设修正后的二值图为/, 修正过程如下
其中Q为窗口的面积，根据D(x，力如果4— =0，则4—=0;
如果&，=255 ，贝U
0 cwrv(/(x,_y))>rc 255 ，v(/(>,>0)<7;
其中，c"vK/(义，力)为像素点/(x,力处的曲率，并根据初始插值后的图像计算；
6)对经过初始插值得到的高分辨率图像/〖，在&， =1的位置处使用水平
集扩散平滑锯齿效应，并使用双边滤波技术降低模糊效应，包括使用以下公式 j = J" c(x,x) s(/(;c),了(a:》血
c(x， x) = ￡ ctc ■
i(ii/w-/(;)ii2) s(/(x),/(i)) = e 2 CT'2
其中c(x,;)描述了图像中两个像素点的空间信息关系，而s(/(;c)，/(;))描述了两 个像素点之间的特征信息关系，^是归一化系数。
本发明在使用现有标准双三次插值方法插itj舌，通过采用边缘信息限制下 的水平集扩散技术，可以很好的改善现有标准插值方法得到的高分辨率图像中 的锯齿效应，并保证图像中的细节信息不受破坏。同时，本发明采用边缘信息 限制下的双边熗波技术可以有效的降低所得高分辨率图像中的模糊效应，使所 得高分辨率图像的视觉效果得到很大的改善。
图1是本发明基于单张低分辨率图像的插值重构算法的流程图； 图2是使用标准插值方法得到的高分辨率图像的效果图； 图3是经过初始插^，使用不加约束的水平集技术得到的高分辨率图像 的效果；图4(A)， 4(B)， 4(C)， 4(D)是本发明在图像边缘信息图取各个步骤的效果W思；
图5是通过双边滤波技术获得更锐利的边缘效果图；图6(a)， 6(b), 6(c)是本发明与标准插值技术以及现有改善锯齿技术的效果对比。
具体实施例方式
下面将根据附图对本发明进行详细说明。
由于传统的插值手段虽然可以在图像的低频分量处取得不错的效果，但在高频分量即图像的边缘处却会因为插f直错误带来一些人工痕迹，如锯齿效应、模糊效应等，这些人工痕迹极大的影响了图像的视觉效果。
最近出现的改善图像视觉效果的方法可以一定程度上降低图像中的锯齿效应，不过它依然不能是每条边缘得到充分的平滑并有可能对图像的细节纹理信息造成破坏，另外它也并不能改善因初始插值错误带来的模糊效应。为了克服上述技术的限制，本发明提出了一种边缘敏感的水平集扩散和双边滤波的图像插值重构方法。
本发明提出的方法主要基于以下两个假设第一，人类的视觉系统对图像的边缘是十分敏感的，因此改善图像的边缘效果就可以很好的改善其视觉效果。第二，初始插值后图像的错误主要集中在图像的轮廓处，因此，需要对图像的轮廓以及细节纹理作出区分。
图l是本发明的流程图。
如图一所示，本发明主要分为四个步骤1、使用标准方法对图像进行初始的插值放大。2、对经过初始放大的图像进行边缘提取，并对图像的轮廓和细节纹理作出区分。3、通过水平集扩散平滑图像的轮廓，从而移除锯齿效应。4、通过在轮廓出实施双边滤波技术从而改善初始插值技术带来的模糊效应。图2是一个效果图，它显示了经过标准方法进行插值放大后的图像效果。本发明的第一步是采用了双三次插值技术作为初始的插值放大，图中存在大量锯齿效应和模糊效应，如图2所示。现有的改善图像中锯齿效应的技术为
锚定点限制下的水平集扩散技术。水平集扩散技术如下式所示[式l]
,_ / 加_ 2Z^/w + ^"2/u
上式中/,为每一像素点的修正值,差商的办法实现，如式2所示
,为输入图像/的一阶梯度图像，通过
/x(/,/)=
術.)
式1的实现是依靠一个迭代过程完成的，这个迭代过程可以表示如下[式3]
其中k为迭代次数，一l^代5次左右平滑过程将会收敛。经过上面的迭代过程，锯齿效应可以被有效的平滑掉，但是如果不加限制，将会造成图像的过平滑，使其变得模糊，如图3所示。现有的锚定点限制正是针对这种现象的一种解决方案，它的实现过程具体说就是仅在插值点 行水平集扩散，而保持原像素点灰度值不变。这一技术可用数学式表达如下[式4]
"。w l —cww(/) IIV/II o&erw/sg
经过上面的锚定点限制技术，图像的过平滑现象得到了很好的抑制同时图像中
10的锯齿效应也得到了很好的改善。然而该技术依然存在两个问题第一，该技 术不能保证图像中的每一条边缘都得到充分平滑并且不能防止水平集扩散对 图像细节纹理的破坏。第二，该技术仅能改善放大图像中的锯齿效应，却无法 改善其模糊效应。
为了解决现有技术的不足，本发明提出了边缘敏感的水平集扩散技术来防 止图像中的细节被破坏，并通M边滤波技术有效地改善了放大图像中存在的 模糊效应。本发明的一个特征是，边缘信息指导下的水平集扩散。
在经过初始的插值放大后，本发明先对其进行初始边缘信息提取，采用差 商办法实现，如式5所示
— 255 、9 ,3/L
/=_nr_ ,("//)2 +("//)2
其中/二为经过初始放大后的高分辨率图像， ，，、为归一化系数。得到了
初始的边缘图像，需要进行二值化iiia从而使这种边缘信息能够用来指导水平
集扩散的进行。二值化逼近过程本发明采用保矩法实现，其基本思想是使阈 值分割前后，图像的矩保持不变。二维图像的第k阶矩^定义为 [式6]
附o =1
附*
=丄1^/^,力=丄§柳-層+十 層台 台
其中!'为灰度值，^为图像中灰度为!'的像素比例。对于图像分割来说，如果进
行二值分割，则分割后只有Z。和^两个灰度级，且Z。〈^。低于阈值的像素比 例和高于阈值的像素比例分别使用A和A表示，则分割后图像的前三阶矩 [式7]
ii对于划分目标和背景的最佳阈值，应当保持分割前后的图像的前三阶矩相等。 即有
% =
则可以得到如下方程组-
/^00 + /^0 =附0 /V^+M2 =附2
为了找到希望的阈值f ，需要先从上述方程组中解出A : [式9]
A = (Cl2-4C。)1/2
其中，
<formula>formula see original document page 12</formula>
求出A后再在原图像直方图上选择合适的H吏之满足 [式ll]
<formula>formula see original document page 12</formula>
则"就是所求的分割阈值。当找不到精确的灰度值做门限满足A时，选择最为 接近的灰度值作为分割阈值。
使用这种方法，就可以自适应的获取一个阈值"以第一步得到的边缘图 像4^作为输入，就可以得到经过二值化逼近后的图像。然而经过保矩法得到的阈值是过于苛亥啲因此不能获得很好的边缘响应，因此本发明通过边缘连接 技术来取得更完整的边缘信息。边缘连接过程可描述如下首先，仍然采用保 矩法得到一个较严格的阈值，记做7V一，然后定义一个较低的阈值7V^， 通常令I^^ = 77^妙/ 2 ，下面对输入的边缘图像作如下处理
(1) 若4咖"力> ，则4咖"力=255;
(2) 若4如"力〈77^，则/蹄e(X,力二0;
(3) 若7^。w < ^扭(x，力< 7K妙，计算它的8邻域内是否有非0的点， 如果有，则/蹄e(x，力255，并且继续检测其邻域直到收敛。如果没 有，则4咖0,力=0;
经过这样的边,接，就可以在边缘处得到更好的响应，从而使提取信息 會巨够覆盖整个锯齿区域。通过上面的步骤就可以获得二值化的边缘图像，然而 不管水平集扩散还是基于双边滤波的重建都会对图像中的细节造成破坏，因此 用所有的边缘来约束水平集扩散或者双边滤波还不够强。另外，上面的工作是 仅从边缘对比强弱方面对所有边缘进行的一次区分，本技术另外弓l入了一个表 征某一区域内密度的变量"Oc,力，并通过对一个密度相关的阈值K的选择对边
缘进行另一次划分。经过这次划分，图像中的细节部分和轮廓部分将根据不同 的阈值被有效地区分出来。
考虑经过二值化逼近的图像，记做A—，对其中的每一个亮点，统计以 它为中心的一个窗口内亮点个数co腐(x,力，通常可以选择这个窗口大小为 21*21，也可因图的不同而变化。若此点位于细节纹理丰富的区域，那么以它 为中心的窗口中亮点个数就比较多，反之比较少，则边缘密度为其中Q为窗口的面积，根据Z)(x，力，我们有
<formula>formula see original document page 14</formula>
通过对上式中阈值K的确定，就可以有选择的对图像的轮廓部分和细节部 分进行区分，从而实现了对细节信息的保护。经过上面的步骤，边缘信息的提
取过程就完成了。图4是一个示意图，它给出了边缘提取中不同步骤的效果。 图4 (A)为初始边缘图像，图4 (B)为通过保矩法(Moment-Preserving)得 到的边缘二值图，图4(C)为经边,接技术后响应更加丰富的边缘图像，图 4 (D)为经过细节纹理保护后的轮廓边缘图像。
在通过边缘提取技术得到边缘信息后，就可以用它指导水平集扩散的进 行，在这个过程中为了确保图像中一些真正的角点不会被水平集扩散平滑掉， 我们可以对上一个过程获得的二值图进行一个修正，加入角点阈值的选择。设 修正后的二值图为乙，，修正过程可表示如下 如果^—=0，贝廿&, 。7=0; 如果4,=255 ，贝IJ
其中，c證(/(x，力)为像素点/(x,力的曲率，并根据初始插it^的图像计算。
得到了修正后的4, 。7后，我们仅在图像中的轮廓点(也就是亮点)处进 行水平集扩散从而避免了对图像中细节的破坏。通过上述过程，就可以很好的 去除由初始插^^f得高分辨率图像中的锯齿效应，并保证图像中的细节信息不 被破坏。
本发明的另一个待征是采用双边滤波技术对初始插值放大后的图像中的模
<formula>formula see original document page 14</formula>糊效应做出了改善。双边滤波技术可以用数学表达式表示如下 [式15]
1 I* ~ ~
爿J
其中描述了图像中两个像素点的空间信息关系，而4/(;c),/(S)描述了两 个像素点之间的特征信息关系，」是归一化系数，表示如下 [式16]
通常情况下，劍门可以按下式选择c(x，；)与s(/(x),/(;))
l(l"l卩) c(x，x) = e 2
i (ii/w-/(;) i卩)
#),/(;))= 《
经过双边滤波可以使图像的边缘变得更加锐利，图5是一个效果图，它给出了 通过双边滤波获得的更锐利边缘效果。然而，双边滤波技术会平滑掉图像中的 细节，造成图像信息的丢失，因此它并不能直接用于对放大后图像的模糊效应 的改善。本发明中，通过将双边滤波的作用域限制在图像的轮廓处，就既改善 图像中的模糊效应，又避免了细节纹理的破坏。而轮廓的提取工作则是由上述 第一个过程完成的。
如上所述，本发明提供了一种基于单张低分辨率图像的图像插值后重构方 法，可以改善现有插值方法带来的锯齿效应，模糊效应等人工痕迹，使放大后 高分辨率图像的视觉效果得到明显改善，同时可以保证放大后高分辨率图像中 的细节纹理信息不会受到破坏。图六的效果图比较明显的给出了本发明所示的 方法和标准插值方法以及现有改善锯齿方法的对比。图6 (a)是采用标准插值算法双三次插值得到的结果，图6(b)是锚定点限制下的水平集扩散方法，图 6(c)是本发明提出的方法。
尽管已经参考附图对本发明进行了解释和描述，专业技术人员应该理解， 在不脱离本发明精神和范围的情况下，可以在其中或对其进行各种其他改变， 增删。
权利要求
1、一种基于单张低分辨率图像的图像插值重构方法，包括以下步骤1)首先通过标准的函数插值法获得一幅初始的高分辨率图像；2)然后对插值后的图像进行边缘信息的提取和二值化，使用边缘连接技术获得更全面的边缘响应，并通过引入一个边缘密度相关的变量D将这些边缘信息分做纹理细节部分以及轮廓部分；3)其次对轮廓部分进行水平集扩散以移除锯齿效应，在获得平滑的边缘效果的同时保护图像的细节信息；4)最后对图像的轮廓进行双边滤波，从而降低由于初始的插值错误和水平集扩散带来的模糊效应，在获得锐利轮廓的同时保护图像的细节信息。
2、 如权利要求1所述的基于单张低分辨率图像的图像插值重构方法，其 具体步骤如下- 使用差商法计算插值后图像的初始边缘信息，如下式所示 <formula>formula see original document page 2</formula>其中表示经过插值放大后的初始高分辨率图像，A为空间步长取作1 ，则初始边缘图像4^根据以上两式得到 采用保矩法得到自适应的阈值77zr,对初始的边缘信息进行二值化； 首先，采用保矩法得到的阈值7^)^ ，然后定义一个较低的阈值7V^， 通常令7K^7V^/2，对输入的边缘图像作如下处理(1) 若4咖",力>7^妙，则4咖"，力=255;(2) 若/鄉"力〈r/^。w,则4咖(^力=0;(3) 若巧"w < 4扭"，力< T^妙，检测二值化后的边缘图像的8邻 域内是否有非0的点，如果有，则/￡咖"力=255，并且继续检测其邻域直到收敛，如果没有，则4咖(^力=0; 通过弓l入一个表征某一区域内密度的变量D(x，力，并通过对一个密度 相关的阈值7^的选择对边缘进行另一 然盼，经过这次划分，图像中的细节部分和轮廓部分将根据所选的阈值被有效地区分出来；将经过边缘连接后的二值图像记作/^。7，对其中的每一个亮点，统计以 它为中心的一个窗口内亮点个数co爐(x，力，通常选择这个窗口大小为21*21， 若此点位于细节纹理丰富的区域，那么以它为中心的窗口中亮点个数就比较 多，反之则较少，则边缘密度为Q其中Q为窗口的面积，根据Z)(x,力，有历呵"，"—丄255 ￡>"，力<^ 对/&>^进行修正，加入角点阈值的选择，设修正后的二值图为4，， 修正过程如下如果&，=0，则乙，=0;如果4，=255 ，贝lj cwrv(/(x，力)> rc其中，c醇(/(x,力)为像素点/(;c，力处的曲率，并根据初始插{!^的图像计算； 对经过初始插值得到的高分辨率图像/纟，在/~8,，=1的位置处使用水平 —力=集扩散平滑锯齿效应，并使用双边滤波技术降低模糊效应，包括使用以下公式:卵, )=A f/o) co,;) wo), /(;))血J = J" c(x, x) s(/(x),/0))血i (ii/")-/(;) i卩) ),/ 其中描述了图像中两个像素点的空间信息关系，而^(/(x),/(;))描述了两个像素点之间的特征信息关系，X是归一化系数。
全文摘要
一种基于单张低分辨率图像的图像插值重构方法，在使用现有标准双三次插值方法插值后，通过采用边缘信息限制下的水平集扩散技术，可以很好的改善现有标准插值方法得到的高分辨率图像中的锯齿效应，并保证图像中的细节信息不受破坏。同时，本发明采用边缘信息限制下的双边滤波技术可以有效的降低所得高分辨率图像中的模糊效应，使所得高分辨率图像的视觉效果得到很大的改善。
文档编号G06T5/00GK101499164SQ200910021310
公开日2009年8月5日 申请日期2009年2月27日 优先权日2009年2月27日
发明者彧 臧, 华 黄, 春 齐 申请人:西安交通大学