一种多帧图像超分辨率重建方法及其重建系统的制作方法_2

文档序号:9751644阅读:来源:国知局
>,为调节前后两项比例的因子,Θ为阈值。
[0055] 子步骤302,根据式(6)获得的能量函数满足图割算法要求的正则性条件,可以直 接使用图割算法对其极小化,得到最终的高分辨率图像f。
[0056] 实施例一
[0057]如图7所示,其中图7a、7b和7c分别为湖、桥和Lena的高分辨率源图,将以上三个高 分辨率源图分别按照公式(7)所示的图像退化模型进行退化:
[0058] gk = DHTkf+nk (7),
[0059] 式(7)中,gk为第k帧的低分辨率图像,D为降采样算子,Η为图像退化模型的系统传 递函数,Tk为几何变换,f为如图7所示的高分辨率图像,%为加在第k帧低分辨率图像上的噪 声。
[0060] 退化获得的低分辨率图像宽、高都为源图的1/4,随机产生32个几何变换Tk,从而 随机产生32帧低分辨率图像,在灰度值归一到0~1的情况下,加入标准差为0.001的高斯白 噪声。退化过程中选用高斯函数模拟成像设备的模糊核,其标准差为0.4。分别将每组低分 辨率图像(每组32帧)作为输入,最后得到相应的高分辨率图像,重建过程中的模糊核为标 准差为0.4的高斯模糊核。
[0061] 为了考察公式(2)中幂指数m对该技术的影响,在重建时将m取为1,2,...,25,然后 对重建结果进行评价。目前,得到广泛认可的两种图像质量评价方法为SSIM(Structural Similarity Index Measurement,结构相似性指标测量)指数和PSNR(Peak Signal to Noise Ratio,峰值信噪比)指标,这两个指标越大说明重建效果越好。这里同时使用这两种 方法进行评价。
[0062]这两种指标的结果图如图8所示。从结果来看,对于这三种图像来说,不管是SSIM 指数还是PSNR指标,它们几乎都在m取10的时候达到最大(Lena图的结果稍有偏差,但是m为 10的结果与最大值差别不大),也就是说,公式(2)中幂指数m取为10的时候重建效果最理 想。
[0063] 实施例二
[0064] 所选高分辨率源图以及退化过程和重建过程与实施例一相同。为了考察对模糊核 错误估计的鲁棒性,在重建时将高斯模糊核的标准差设置为〇. 05,0.1,...,0.95,1。
[0065] 重建结果的ssna平价指标如图9所示。从结果来看,对于这三种图像来说,它们都 在标准差是〇. 4的时候达到最大,也就是说,重建过程中的高斯模糊核与退化时的模糊核完 全一致时,重建效果最好,这一点反映出本重建方法的可靠性。此外,从图9中每幅子图都较 平缓可以看出,本技术对高斯模糊核的标准差的错误估计具有较好的鲁棒性。
[0066] 实施例三
[0067] 如图10所示,其中,图101a、101b、101c、和101d分别为数字图的高分辨率源图、多 帧低分辨率图像、参考帧插值图和重建后的高分辨率图像。图l〇2a、102b、102c、和102d分别 为轮船图的高分辨率源图、多帧低分辨率图像、参考帧插值图和重建后的高分辨率图像。图 103a、103b、103c、和103d分别为飞机图的高分辨率源图、多帧低分辨率图像、参考帧插值图 和重建后的高分辨率图像。
[0068] 将图101a、102a和103a所示的高分辨率源图分别按照实施例一的方式进行退化, 得到三组低分辨率图像。每组含有32帧低分辨率图像,部分帧分别如图101b、102b和103b所 示。分别将每组低分辨率图像(每组32帧)作为输入,得到的高分辨率图像分别如图101d、 102d和103d所示。为了说明本重建方法确实可以重建出低分辨率图像中原本丢失的细节信 息,将低分辨率图像序列的第一帧(即参考帧)进行插值,放大到与重建结果相同的尺寸,结 果分别如图l〇lc、102c和103c所示。
[0069]从参考帧插值图来看,低分辨率图像基本无法分辨细节信息,比如飞机中的编号 和标志完全看不清楚,另外两幅图中的数字和字母也无法辨认。从重建后的高分辨率图像 来看,该技术可以重建出很多低分辨率图像中原本丢失的细节信息,而且与高分辨率源图 比较,也会发现重建结果基本与源图接近。
[0070]使用图像质量评价指标PSNR和SSIM对本技术的重建结果进行评价,如表1所示。从 表1可以看出SSIM指标均大于0.9,轮船图和飞机图的PSNR指标均大于31,这说明重建效果 比较理想。此外,在数字图的PSNR指标方面,出现了异常,这主要是有PSNR评价指标的局限 性导致。
[0071] 表1图10中重建结果的评价指标
[0072] LUU/3」 买施例四
[0074] 如图11所示,其中图111a、111b和111c分别为辣椒的高分辨率源图、参考帧插值图 和重建后的高分辨率图像,图112a、112b和112c分别为山魈的高分辨率源图、参考帧插值图 和重建后的高分辨率图像。分别对图111a和112a所示的高分辨率彩色源图的RGB三通道分 别进行退化和重建,其过程与实施例三相同。参考帧的插值结果如图111b和112b所示,彩椒 和山魈的视觉效果都很差,说明低分辨率图像丢失了很多细节信息。
[0075] 使用本重建方法的结果分别如图111c和112c所示,辣椒和山魈的视觉效果都非常 好,基本接近如图111a和112a所示的源图。如位于最前面的辣椒上的白色颗粒和山魈的胡 须等细节信息都可清楚地分辨出来。
[0076] 基于同一发明构思,本发明实施例提供一种多帧图像超分辨率重建系统,如图12 所示。由于该系统解决技术问题的原理和一种多帧图像超分辨率重建方法相似,因此该系 统的实施可以参照方法的实施,重复之处不再赘述。
[0077] 临时结果计算模块400,用于根据几何变换计算临时结果;
[0078] 传递函数计算模块500,用于根据模糊核h计算用于构建能量函数的滤波器的传递 函数Λ ;
[0079] 高分辨率图像获取模块600,用于使用所得滤波器的传递函数石和临时结果 构建用于超分辨率重建的能量函数,并采用图割算法进行极小化求解,即可得到最终的高 分辨率图像。
[0080]较佳地,所述临时结果计算模块400包括:
[0081] 投影计算子模块401,用于计算每个高分辨率像素 ρ在每帧低分辨率图像(例如第k 帧低分辨率图像gk)中的投影p〃k;
[0082] 权重计算子模块402,用于选择距离p〃k最近的低分辨率像素 p'k,并计算低分辨率 像素在重建中的权重;
[0083]临时结果计算子模块403,用于按照确定的权重,将挑选出来的低分辨率像素的灰 度值加权求和,获得所述临时结果。
[0084]较佳地,所述传递函数计算模块500包括:
[0085] 模糊核获取子模块501,用于根据3X3邻域系统,获取成像系统的模糊核h;
[0086] 中间模糊核计算子模块502,用于根据模糊核h计算hMt、hexp和hzp,其中,h Mt为将模 糊核h旋转180°得到的结果;hexp为将模糊核h进行扩展后得到的扩展模糊核;h zp为将模糊核 h进行零填充得到的结果;
[0087] ^计算子模块503,用于利用hexp和hzp计算石;
[0088] 传递函数计算子模块504,用于利用h?lPi^计算滤波器的传递函数A。
[0089] 较佳地,所述高分辨率图像获取模块600包括:
[0090] 能量函数构造子模块601,用于使用所得滤波器的传递函数石和临时结果构 建用于超分辨率重建的能量函数;
[0091] 图像获取子模块602,用于使用图割算法对所述能量函数极小化,得到最终的高分 辨率图像f。
[0092] 应当理解,以上一种多帧图像超分辨率重建系统包括的模块仅为根据该系统实现 的功能进行的逻辑划分,实际应用中,可以进行上述模块的叠加或拆分。并且该实施例提供 的一种多帧图像超分辨率重建系统所实现的功能与上述实施例提供的一种多帧图像超分 辨率重建方法一一对应,对于该系统所实现的更为详细的处理流程,在上述方法实施例一 中已做详细描述,此处不再详细描述。
[0093
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1