基于图割算法的图像超分辨率重建方法及系统的制作方法
【技术领域】
[0001] 本发明设及图像处理领域，尤其设及一种基于图割算法的图像超分辨率重建方法 及系统。
【背景技术】
[0002] 图像的超分辨率重建是在现有硬件条件下，利用软件的方法提升图像分辨率的一 种技术。运一技术旨在利用低分辨率图像之间的冗余信息或者图像内的自相似信息，重建 一帖或多帖高分辨率图像。在诸如车牌识别、嫌疑人跟踪等领域，使人们通过所重建的高分 辨率图像能够辨识某些在低分辨率图像中原本无法辨识的细节信息；在诸如影视、娱乐等 领域，使人们能够感受到更加逼真、细腻的画面，提升视觉效果。
[0003]图像的分辨率是指成像系统对图像细节的分辨能力，它是衡量图像质量的重要指 标之一。高分辨率图像能够提供丰富的细节信息，随着经济、科技、文明的不断进步，高分辨 率图像的需求在医学、安全、娱乐等各个领域越来越大。如何提升图像的分辨率便成为各视 频和图像采集设备的生产和研发厂商关屯、的问题。提高分辨率最直接的方法是增加数字 图像采集系统的硬件分辨率，主要从提升图像传感器分辨率和镜头分辨率两个方面着手考 虑。但是，硬件方法存在技术上的瓶颈，而且成本昂贵，难W普及应用。于是如何从软件角 度提升图像的分辨率便成为各研发厂商W及学术领域关屯、的热点话题。用软件方法提升图 像分辨率的方法称为超分辨率重建技术，其利用低分辨图像之间可能存在的互补信息，重 建一副或多幅高分辨率图像。
[0004] 超分辨率重建技术最早出现于20世纪60年代，但是受限于相关理论和方法的不 完善，其初期发展较为缓慢，运一时期的研究工作主要集中在将一些经典方法，如插值、正 则化、最小二乘法等用于该技术的尝试和探索，运些重建效果往往不是很理想。近期随着图 割算法、稀疏表示、深度学习等理论、方法的提出和发展，超分辨率重建技术在运些新理论 和新方法的影响下，取得了极大的进步，运些新方法和新理论与超分辨率重建技术的结合 显著地提升了重建效果和重建速度。但大多数现有重建方法只在重建倍数较小时才能取得 良好的效果，当重建倍数提升到4X4,即所重建的高分辨率图像的高度和宽度均是低分辨 率图像的4倍或更高的时候，重建效果和重建速度明显降低。
【发明内容】
[0005] 本发明所要解决的技术问题是：解决高倍数重建时，效果和速度下降明显的问题
[0006] 为了解决上述技术问题，本发明采用的技术方案为：一种基于图割算法的图像超 分辨率重建方法，包括如下步骤：
[0007]S1、输入低分辨率图像序列g，确定几何变换T，确定点扩散函数Η;
[000引S2、预估高分辨率图像/;具体包括：
[0009] S21、根据公式化"=DTkP计算每个高分辨率像素Ρ在每帖低分辨率图像中的投 影，其中D为降采样算子，Tk为第k帖低分辨率图像的几何变换；
[0010] S22、根据投影计算每帖低分辨率图像中低分辨率像素的贡献度，对于投影区外的 低分辨率像素，贡献度为0,对于投影区内的低分辨率像素，离高分辨率像素的投影Pk"越 近，贡献越高；所述贡献度根据函1
计算，其中W的为高斯函 数，P/为第k帖低分辨率图像中的低分辨率像素，P为投影区半径；
[0011] S23、根据公式
对低分辨率像素的灰度值加权求和，得到预 估的高分辨率图像。
[0012]S3、模拟高分辨率源图像的退化过程，根据预估的高分辨率图像，构造似然函数；
[0013]S4、根据似然函数确定能量函数，通过图割算法对其进行极小化求解，得到高分辨 率图像。
[0014] 本发明还设及一种图像超分辨率重建系统，包括：
[0015] 获取模块，用于输入低分辨率图像序列g，确定几何变换T，确定点扩散函数Η;
[0016] 预估模块，用于预估高分辨率图像巧具体用于：
[0017] 根据公式Pk" =DTkP计算每个高分辨率像素Ρ在每帖低分辨率图像中的投影，其 中D为降采样算子，Tk为第k帖低分辨率图像的几何变换；
[0018] 根据投影计算每帖低分辨率图像中低分辨率像素的贡献度，对于投影区外的低分 辨率像素，贡献度为0,对于投影区内的低分辨率像素，离高分辨率像素的投影Pk"越近，贡 献越高；所述贡献度根据函数
计算，其中为高斯函数， Ρ/为第k帖低分辨率图像中的低分辨率像素，Ρ为投影区半径；
[0019] 根据公式
对低分辨率像素的灰度值加权求和，得到预估的 高分辨率图像。
[0020] 构造模块，用于模拟高分辨率源图像的退化过程，根据预估的高分辨率图像，构造 似然函数；
[0021] 求解模块，用于根据似然函数确定能量函数，通过图割算法对其进行极小化求解， 得到高分辨率图像。
[0022] 本发明的有益效果在于：通过预估高分辨率图像，然后对其进行反卷积，提高了重 建效果和重建速度；在预估高分辨率图像过程中，考虑了低分辨率像素对重建贡献的差异 性，引入高斯函数确定贡献度；同时W逐像素的方式进行重建，便于并行化处理，易于推广 到在GPU上实现并行运算。
【附图说明】
[0023] 图1为本发明实施例一的方法流程图；
[0024] 图2为本发明实施例一预估高分辨率图像示意图；
[00巧]图3为本发明实施例一贡献度函数在不同高斯函数标准差下的Ξ维图形；
[0026] 图4为本发明实施例一的领域关系及模糊核；
[0027]图5为本发明实施例二的系统结构图；
[002引图6为莉娜图；
[002引图7为轮船图；
[0030] 图8为摄影师图；
[0031] 图9为莉娜图的SSIM指数图；
[003引图10为莉娜图的PSNR指标图；
[0033] 图11为轮船图的SSIM指数图；
[0034] 图12为轮船图的PSNR指标图；
[0035] 图13为摄影师图的SSIM指数图；
[0036] 图14为摄影师图的PSNR指标图；
[0037] 图15为本发明实施例四的示意图一；
[0038] 图16为本发明实施例四的示意图二；
[0039] 图17为本发明实施例四的示意图Ξ;
[0040] 图18为本发明实施例五的拍摄场景；
[0041]图19为本发明实施例五的自拍低分辨图像；
[0042] 图20为本发明实施例五重建结果示意图。
【具体实施方式】
[0043] 为详细说明本发明的技术内容、所实现目的及效果，W下结合实施方式并配合附 图详予说明。
[0044] 本发明最关键的构思在于：先预估高分辨率图像，在反卷积过程中，充分利用预估 的高分辨率图像，对邻域像素的灰度值做了合理的近似，使能量函数变为图割算法要求的 标准形式；在预估高分辨率图像过程中，考虑了低分辨率像素对重建贡献的差异性，引入高 斯函数确定贡献度。
[0045] 请参阅图1，一种基于图割算法的图像超分辨率重建方法，包括如下步骤：
[0046]S1、输入低分辨率图像序列g，确定几何变换T，确定点扩散函数Η;
[0047]S2、预估高分辨率图像f;具体包括：
[0048]S21、根据公式化"=DTkP计算每个高分辨率像素P在每帖低分辨率图像中的投 影，其中D为降采样算子，Tk为第k帖低分辨率图像的几何变换；
[0049]S22、根据投影计算每帖低分辨率图像中低分辨率像素的贡献度，对于投影区外的 低分辨率像素，贡献度为0,对于投影区内的低分辨率像素，离高分辨率像素的投影Pk"越 近，贡献越高；所述贡献度根据函数
计算，其中常锭)为高斯 函数，P/为第k帖低分辨率图像中的低分辨率像素，P为投影区半径；
[0050]S23、根据公式
对低分辨率像素的灰度值加权求和，得到预 估的高分辨率图像。
[0051]S3、模拟高分辨率源图像的退化过程，根据预估的高分辨率图像，构造似然函数；
[0052]S4、根据似然函数确定能量函数，通过图割算法对其进行极小化求解，得到高分辨 率图像。
[0053] 从上述描述可知，本发明的有益效果在于：通过预估高分辨率图像，提高了重建效 果和重建速度；且考虑了低分辨率像素对重建贡献的差异性，引入高斯函数确定贡献度。
[0054] 进一步地，所述步骤S3,具体包括：
[00财 S31、模拟成像过程，根据图像退化模型gk=DHTf+ηk构造似然函数 (h* /'(妨-/(的)2，其中D为降采样算子，f为高分辨率源图像，p为高分辨率像素，ηk为成 像过程中的噪声；
[0056] S32、根据点扩散函数H，确定模糊核h;
[0057] S33、根据模糊核更新似然函数：
其中ωρρ为模 糊核的中屯、权重，Wpq为模糊核的边缘权重，Νρ为高分辨率像素Ρ的领域。
[0058] 进一步地，所述步骤S4,具体包括：
[0059] S41、根据预估高分辨率图像/，对f(q)近似，即/如)-/的)，得到满足图割算法要 求的数据项
[0060] S42、在数据项中引入先验项λΣ。,。5八。,。江(口)，^9))，得到能量函数(扭砕巧口