一种多帧超分辨率成像的装置及方法
【技术领域】
[0001] 本发明设及数字图像处理领域，尤其设一种多帖超分辨率成像的装置及方法。
【背景技术】
[0002] 数字图像处理技术是一种通过计算机对图像进行去噪声、增强、复原、分割等处理 的技术，作为数字图像处理技术的一个基本技术，多帖超分辨率成像技术是指通过针对同 一场景的一组低分辨率图像恢复出该场景的一张高分辨率图像，一组低分辨率图像中包括 多张帖不同的低分辨率图像。图像分辨率的提高意味着图像上像素密度的增大，该使得图 像细节更加清晰，从而避免图像放大技术中插值算法所带来的图像模糊问题。
[0003] 由于图像拍摄过程中相机的抖动或者被拍摄物体的运动等原因导致的图像运动 模糊问题，会导致图像质量的降低。当关注的图像细节区域很小时，即使是轻微的相机抖动 也会产生非常显著的图像运动模糊问题。
[0004] 目前，现有的多帖超分辨率成像技术，例如基于贝叶斯方法的适应性视频超分辨 率成像技术、基于去卷积点扩散函数（pointspread化nction，PS巧方法的多帖图像去模 糊技术、W及基于概率的超分辨率成像技术，仅仅假设低通模糊核已知或者是求解简单的 参数形式，使得现有的多帖超分辨率成像技术无法正确处理真实情况下拍摄出来的多帖低 分辨率图像中的运动模糊问题。当多帖低分辨率图像中的运动模糊未被正确处理时，超分 辨率成像技术利用多帖低分辨率图像所恢复的高分辨率图像也不可避免地存在运动模糊 问题。
【发明内容】
[0005] 本发明实施例提供了一种多帖超分辨率成像的装置及方法，W处理同一场景下多 帖低分辨率图像中存在的运动模糊问题，进而利用多帖低分辨率图像恢复出该场景的高分 辨率图像。
[0006] 第一方面，本发明实施例提供一种多帖超分辨率成像的装置，包括：
[0007] 位置确定模块，用于根据待获得的高分辨率图像上的像素的第一像素位置，分别 确定用于获得高分辨率图像的每帖低分辨率图像上与第一像素位置对应的第二像素位 置；
[000引像素清晰度确定模块，用于分别确定在每帖低分辨率图像上位置确定模块确定的 第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；
[0009] 像素值确定模块，用于根据像素清晰度确定模块获得的像素清晰度集，确定高分 辨率图像上第一像素位置上的像素的像素值，从而获得高分辨率图像。
[0010] 结合第一方面，在第一种可能的实现方式中，像素清晰度确定模块用于：
[0011] 分别根据每帖低分辨率图像上第二像素位置上的像素值、和第二像素位置的邻域 内像素的值，确定在每帖低分辨率图像上第二像素位置上的像素的像素清晰度。
[0012] 结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式 中，像素清晰度确定模块用于：
[0013] 根据W下公式分别确定每帖低分辨率图像上第二像素位置上的像素的像素清晰 度：
[0014]
[0015] 其中，i表示低分辨率图像的帖序号，iG[-N，闲，N为正整数，P表示第二像素位 置，表示第i帖低分辨率图像上第二像素位置P上的像素的像素清晰度，wxp)表示第 二像素位置P的邻域内所有像素的集合，Vltq表示第i帖低分辨率图像上第二像素位置的 邻域内像素位置q上的像素的梯度向量，e表示防止分母为零的计算项。
[0016] 结合第一方面、第一方面的第一种或第二种任一可能的实现方式，在第一方面的 第=种可能的实现方式中，像素值确定模块用于：
[0017] 根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效 性参数；
[0018] 根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置 的像素的像素值。
[0019] 结合第一方面的第=种可能的实现方式，在第一方面的第四种可能的实现方式 中，像素值确定模块根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应 的像素有效性参数，包括：
[0020] 像素值确定模块根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自 对应的累积概表示第i帖低分辨率图像上第二像素位置P上的像素的像素清晰 度对应的累积概率；
[0021] 利用累积概率\。和^下公式分别确定清晰度各自对应的像素有效性参数E口 P]:
[0022]
[0023] 其中，i表示低分辨率图像的帖序号，iG[-N，闲，N为正整数，P表示第二像素位 置，E[Zw]表示第i帖低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素 有效性参数，表示第一像素值与第二像素值之间的差值，第一像素值为高分辨率图像上 的第一像素位置上的像素的像素值，第二像素值为第i帖低分辨率图像上的第二像素位置 P上的像素的像素值，^、丫和0均为控制权重参数。
[0024] 结合第一方面的第=种可能的实现方式，在第一方面的第五种可能的实现方式 中，像素值确定模块根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应 的像素有效性参数，包括：
[0025] 对于大于或等于预设阔值的像素清晰度集中的像素清晰度，确定像素清晰度对应 的像素有效性参数为1 ;
[0026] 对于小于预设阔值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素 有效性参数为0。
[0027] 结合第一方面的第=种至第五种任一可能的实现方式，在第一方面的第六种可能 的实现方式中，像素值确定模块根据像素清晰度各自对应的像素有效性参数，确定高分辨 率图像上第一像素位置的像素的像素值，包括：
[002引根据W下公式确定高分辨率图像上第一像素位置的像素的像素值：
[0029]
[0030] 其中，1°表示高分辨率图像上第一像素位置上的像素的像素值，E[Zi，p]表示第i 帖低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表 示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，中(▽〇隶示对I的平滑约 束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F。^表示运动变换矩阵，运动变换矩阵用于将高分辨率图像运动变换到第i帖低分辨率图 像，表示第i帖低分辨率图像上第二像素位置上的像素的像素值，A和n均表示控制权 重参数。
[0031] 结合第一方面、第一方面的第一种至第五种任一可能的实现方式，在第一方面的 第^；：种可能的实现方式中，像素清晰度确定模块还用于：
[0032] 在分别确定在每帖低分辨率图像上第二像素位置上的像素的像素清晰度之前，采 用光流法对不同帖的低分辨率图像之间进行运动估计，得到运动变换矩阵，运动变换矩阵 用于像素值确定模块确定高分辨率图像上的像素的像素值；
[0033] 相应的，像素值确定模块在根据像素清晰度确定模块获得的像素清晰度集，确定 高分辨率图像上第一像素位置上的像素的像素值时用于；
[0034] 根据像素清晰度确定模块获得的像素清晰度集和运动变换矩阵，确定高分辨率图 像上第一像素位置的像素的像素值。
[0035] 第二方面，本发明实施例提供一种多帖超分辨率成像的装置，包括：
[0036] 处理器，用于根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用 于获得高分辨率图像的每帖低分辨率图像上与第一像素位置对应的第二像素位置；分别确 定在每帖低分辨率图像上第二像素位置上的像素的像素清晰度，从而获得像素清晰度集； 根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，从而获得高分 辨率图像；
[0037] 显示器，用于显示处理器获得的高分辨率图像。
[003引结合第二方面，在第一种可能的实现方式中，处理器分别确定在每帖低分辨率图 像上第二像素位置上的像素的像素清晰度，包括：
[0039] 分别根据每帖低分辨率图像上第二像素位置上的像素值、和第二像素位置的邻域 内像素的值，确定在每帖低分辨率图像上第二像素位置上的像素的像素清晰度。
[0040] 结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式 中，处理器分别根据每帖低分辨率图像上第二像素位置上的像素、和第二像素位置的邻域 内所有像素的集合，确定在每帖低分辨率图像上第二像素位置上的像素的像素清晰度，包 括：
[0041] 根据W下公式分别确定每帖低分辨率图像上第二像素位置上的像素的像素清晰 度：
[0042]
[0043] 其中，i表示低分辨率图像的帖序号，iG[-N，闲，N为正整数，P表示第二像素位 置，表示第i帖低分辨率图像上第二像素位置P上的像素的像素清晰度，：AT(p)表示第 二像素位置P的邻域内所有像素的集合，Wiiq表示第i帖低分辨率图像上第二像素位置的 邻域内像素位置q上的像素的梯度向量，e表示防止分母为零的计算项。
[0044] 结合第二方面、第二方面的第一种或第二种任一可能的实现方式，在第二方面的 第=种可能的实现方式中，处理器根据像素清晰度集，确定高分辨率图像上的第一像素位 置的像素的像素值，包括：
[0045] 根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效 性参数；
[0046] 根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置 的像素的像素值。
[0047] 结合第二方面的第=种可能的实现方式，在第二方面的第四种可能的实现方式 中，处理器根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有 效性参数，包括：
[0048] 根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的累积概率 表示第i帖低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概 率.
[0049] 利用累积概率\。和^下公式分别确定清晰度各自对应的像素有效性参数E口 P]:
[00 加]
[CK)5U其中，i表示低分辨率图像的帖序号，iG[-N，闲，N为正整数，P表示第二像素位 置，E[Zw]表示第i帖低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素 有效性参数，表示第一像素值与第二像素值之间的差值，第一像素值为高分辨率图像上 的第一像素位置上的像素的像素值，第二像素值为第i帖低分辨率图像上的第二像素位置 P上的像素的像素值，A、丫和P均为控制权重参数。
[0052] 结合第二方面的第=种可能的实现方式，在第二方面的第五种可能的实现方式 中，处理器根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有 效性参数，包括：
[0053] 对于大于或等于预设阔值的像素清晰度集中的像素清晰度，确定像素清晰度对应 的