一种模糊图像恢复方法及系统的制作方法
【专利摘要】本发明提供一种模糊图像恢复方法及系统。包括以下步骤：在选定帧图像中确定模糊图像块；在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块,其中,所述多帧参考图像与所述选定帧图像构成连续多帧图像；根据多个所述候选块和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。通过本发明的技术方案，能够将模糊图像进行恢复和还原,得到清晰的图像。
【专利说明】一种模糊图像恢复方法及系统
【技术领域】
[0001]本发明属于图像处理领域，尤其涉及一种模糊图像恢复方法及系统。
【背景技术】
[0002]在监控视频当中，由于摄像头本身质量问题或者受到环境光照的影响，图像中的目标往往不够清晰，若该目标是运动物体，则还可能会有运动模糊，即使将图像一帧一帧提取出来查看，也难以得到清晰的目标。在图像恢复技术中形成了一些经典的常用图像恢复算法，例如无约束最小二乘法、有约束最小二乘法，逆滤波、维纳滤波、最大熵复原法等。需要一种新的模糊图像恢复技术，同样可以获取清晰的图像，丰富图像恢复手段。
【发明内容】
[0003]本发明提供一种模糊图像恢复方法及系统，以解决上述问题。
[0004]本发明提供一种模糊图像恢复方法。上述方法包括以下步骤:
[0005]在选定帧图像中确定模糊图像块；
[0006]在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块，其中，所述多帧参考图像与所述选定帧图像构成连续多帧图像；
[0007]根据多个所述候选块和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。
[0008]本明还提供一种模糊图像恢复系统，包括:模糊图像块确定单元、候选块获取单元、图像恢复单元；其中，所述图像恢复单元分别与所述模糊图像块确定单元、候选块获取单元相连；
[0009]模糊图像块确定单元，用于在选定帧图像中确定模糊图像块并将所述模糊图像块发送至所述图像恢复单元；
[0010]候选块获取单元，用于在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块，将所述候选块的数据发送至图像恢复单元，其中，所述多帧参考图像与所述选定帧图像构成连续多帧图像；
[0011]所述图像恢复单元，用于根据多个所述候选块的数据和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。
[0012]本发明将确定的模糊图像块进行划分并针对每一待处理子图像块在相邻的图像中获取最匹配的图像块，根据最匹配的图像块和相应的待处理子图像块得到相应的清晰子图像块，每一待处理子图像块均可以找到相应的清晰子图像块，用这些清晰子图像块替换相应的待处理子图像块就能得到整个模糊图像块的清晰图像块，相比于以往算法，可以获得更高精确度的结果，算法简单有效。
[0013]此外，为了更精确的估算物体的运动方向，在相邻帧图像中选取候选块时，增加了扰动值，即以预设的步长移动，从而在预定范围内可以获得最优的匹配结果。
【专利附图】
【附图说明】
[0014]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0015]图1所示为根据本发明的较佳实施例提供的模糊图像恢复方法的流程图；
[0016]图2所示为根据本发明的较佳实施例提供的将模糊图像进行划分的示意图；
[0017]图3所示为根据本发明的较佳实施例提供的确定第一目标图像块的示意图；
[0018]图4所示为根据本发明的一较佳实施例提供的获取子候选块的示意图；
[0019]图5所示为根据本发明的一较佳实施例提供的模糊图像恢复系统的示意图；
[0020]图6所示为根据本发明的又一较佳实施例提供的模糊图像恢复系统的示意图。
【具体实施方式】
[0021]下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0022]图1所示为根据本发明的较佳实施例提供的模糊图像恢复方法的流程图，包括以下步骤:
[0023]在步骤102，在选定帧图像中确定模糊图像块；
[0024]在步骤104，在多帧参考图像中分别获取与模糊图像块相匹配的候选块，其中，多帧参考图像与选定帧图像构成连续多帧图像；
[0025]在步骤106，根据多个候选块和模糊图像块生成对应于模糊图像块的清晰图像块。
[0026]例如，若获取到连续的5帧图像，该连续图像可以描述为4，4&，4，4，其中，1，2，3，4，5代表了图像在该图像序列中的位置。
[0027]假设选定帧图像是f\，那么在该中确定模糊图像块，例如该模糊图像块是车牌号。此时，对于，其他帧图像f2，f3，f4，f5即参考图像。在确定模糊图像块之后，需要对该模糊图像块进行还原。在本实施例中，采用的处理方法是在参考图像中分别获取与模糊图像块相匹配的候选块。然后根据从f2，f3, f4, f5中获取的候选块和模糊图像块生成清晰图像块，完成模糊图像的还原。
[0028]在一优选实施例中，可以将模糊图像块划分成多个待处理子图像块；
[0029]对于任一待处理子图像块，在多帧参考图像中的每一帧参考图像中确定与待处理子图像块具有相同位置和相同大小的第一目标图像块，在每一帧参考图像中，以第一目标图像块为基准的预定区域范围内按照预设选择策略搜索出与待处理子图像块匹配度最高的子候选块，其中，各待处理子图像块在各帧参考图像中匹配度最高的子候选块构成所述候选块，将从各帧参考图像中获取的多个子候选块和待处理子图像块，按照恢复策略得到对应于待处理子图像块的清晰子图像块；
[0030]采用获取的清晰子图像块替换相应的待处理子图像，得到对应于所述模糊图像块的清晰图像块。
[0031]具体来说，参考图2，将图像中的模糊图像块划分成4个待处理子图像块。针对每一个待处理子图像块按照如下方法处理:
[0032]在第二帧图像f2中确定与模糊图像块具有相同位置和大小的第一目标图像块，参考图3。将该第一目标图像块在其周边按照特定的步长移动，从而得到一系列的子候选块，参考图4。最后从该一系列子候选块中找出最匹配的子候选块。
[0033]同样地，在第三帧图像、第四帧图像以及第五帧图像中获取最匹配的子候选块，从而得到4个最匹配的子候选块。最后，根据这4个子候选块和待处理子图像块按照恢复策略得到与该待处理子图像块对应的清晰子图像块。
[0034]其他三个待处理子图像块也按照上述过程进行处理，每个待处理子图像块均可以得到对应的清晰子图像块。
[0035]最后用清晰的子图像块替换相应的待处理子图像块，便完成对模糊图像块的恢复处理，即将4个最终得到的清晰子图像块替换4个待处理子图像块，得到清晰图像块。这样，解决了因图像模糊而不能识别目标物的问题，在应用在交通系统上时，可以方便交警快速识别车辆的车牌号。
[0036]为了更精确的估算物体的运动方向，在相邻帧图像中选取候选块时，增加了扰动值，即以预设的步长移动，需说明的是，将第一目标图像块在其周边按照特定的步长移动，从而确定一系列子候选块的过程具体为:
[0037]该特定的步长可以是模糊图像块的边长的1/4倍，1/2倍，I倍，2倍等，假设以第一目标图像块的中心为坐标原点，则可以将第一目标图形块沿X轴的移动，也可以沿y轴移动，也可以在坐标系的各象限内移动。这样，就可以得到在第一目标图像块周边的多个子候选块。
[0038]在步长是模糊图像块的边长的1/4倍的情况下，若模糊图像块的边长为1，则步长为1/4，根据多个步长倍数(例如:1倍、2倍、4倍、8倍)为基准，获得对应于多个步长倍数的多个经验值(例如:1/4、1/2、1、2);结合上述多个经验值，并以X轴、Y轴四个方向为基准，获得以下17个子候选块范围:
[0039]{(0,0), (1,0), (0,1), (-1,0), (O, -1), (1/2,0), (0,1/2), (-1/2,0), (O, -1/2),(1/4，O)，(0,1/4), (-1/4，O)，(O, -1/4), (2,0), (0,2), (-2,0), (0，_2)}。
[0040]在该17个子候选块中找出与待处理子图像块中最匹配的候选块。
[0041]其中，可采用多种选择策略从一系列子候选块中获取最匹配的子候选块，在本实施例中采用如下方法来获取最匹配(匹配度最高)的子候选块:
[0042]将待处理子图像块与每一子候选块相减，计算相应的所有像素值差的绝对值之和；
[0043]对应于所有像素值差的绝对值之和最小的子候选块即匹配度最高的子候选块。差值最小说明待处理子图像块与该子候选块的差异最小，最相似。
[0044]应理解，可以按照预设的规则将模糊图像划分成多个待处理子图像块。例如可以将模糊图像块进行均分，分成6子块、8子块、9子块、10子块等等，基本原则是划分的块数越多，最终还原出的图像越精确。
[0045]在选择出匹配度最高的子候选块之后，按照恢复策略对模糊图像块进行恢复处理，优选地，恢复策略可以包括:
[0046]对待处理子图像块和匹配度最高的多个子候选块进行滤波处理并求平均，将平均结果作为清晰子图像块；或者
[0047]对待处理子图像块和匹配度最高的多个子候选块进行滤波处理以及获取每一子候选块和所述待处理子图像块的信噪比，根据待处理子图像块和每一子候选块的信噪比确定待处理子图像块和每一子候选块的权值，依据待处理子图像块和各子候选块相应的权值对待处理子图像块和多个子候选块进行加权平均，将平均结果作为清晰子图像块。
[0048]将模糊图像块进行划分适用于模糊图像块的尺寸较大或者是图像较为模糊的场景，可提闻还原精度。
[0049]以上详细说明了将模糊图像块进行划分并还原的过程，在下面的实施例中详细说明不对模糊图像块进行划分来进行图像还原的过程。
[0050]同样地，在多帧参考图像(f2，f3，f4，f5)中的每一帧参考图像中确定与模糊图像块具有相同位置和相同大小的第二目标图像块；
[0051]在每一帧参考图像中，以第二目标图像块为基准的预定区域范围内搜索出与模糊图像块匹配度最闻的候选块；
[0052]将从各帧参考图像中获取的匹配度最高的多个候选块和模糊图像块，按照恢复策略得到对应于所述模糊图像块的清晰图像块。
[0053]其中，该恢复策略可以包括:
[0054]对多个候选块和模糊图像块进行滤波处理并求平均，将平均结果作为清晰图像块；或者
[0055]对多个候选块和模糊图像块进行滤波处理，以及获取每一候选块的信噪比和模糊图像块的信噪比，每一候选块的信噪比和模糊图像块的信噪比确定每一候选块和模糊图像块的权值；
[0056]依据模糊图像块和各候选块相应的权值对模糊图像块和多个候选块进行加权平均，将平均结果作为清晰图像块。
[0057]其中，以第二目标图像块为基准的预定区域范围内搜索出与模糊图像块匹配度最高的候选块的处理过程与将模糊图像块进行划分的实施例中的处理过程相同，即将第二目标图像块以特定的步长移动，在此不再赘述。
[0058]不管是对模糊图像进行划分的方法还是不划分的方法，对于比较模糊的图像在进行子候选的选择时可以扩大搜索范围，并减小步长，从而得到较优的结果。
[0059]根据本发明的技术方案采用了相邻图像上的匹配图像块，因此可以最大程度的恢复出清晰图像，相比于以往算法，可以获得更高精确度的结果，算法简单有效。
[0060]图5所示为根据本发明的一较佳实施例提供的模糊图像恢复系统的示意图，本实施例中的模糊图像恢复系统可以包括:模糊图像块确定单元502、候选块获取单元504、图像恢复单元506 ;其中，所述图像恢复单元506分别与所述模糊图像块确定单元502、候选块获取单元504相连；
[0061]模糊图像块确定单元502，用于在选定帧图像中确定模糊图像块并将所述模糊图像块发送至所述图像恢复单元；
[0062]候选块获取单元504，用于在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块，将所述候选块的数据发送至图像恢复单元406，其中，所述多帧参考图像与所述选定帧图像构成连续多帧图像；
[0063]所述图像恢复单元506，用于根据多个所述候选块的数据和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。
[0064]在另一实施例中，参考图6，上述模糊图像恢复系统还可以包括:恢复策略控制单元602,其中，所述恢复策略控制单元602与所述图像恢复单元506相连；
[0065]恢复策略控制单元602，在接收到来自所述图像恢复单元506的通知时，向所述图像恢复单元506提供恢复策略，所述图像恢复单元506按照所述恢复策略处理得到所述清晰图像块。
[0066]本发明将确定的模糊图像块进行划分并针对每一待处理子图像块在相邻的图像中获取最匹配的图像块，根据最匹配的图像块和相应的待处理子图像块得到相应的清晰子图像块，每一待处理子图像块均可以找到相应的清晰子图像块，用这些清晰子图像块替换相应的待处理子图像块就能得到整个模糊图像块的清晰图像块，相比于以往算法，可以获得更高精确度的结果，算法简单有效。
[0067]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种模糊图像恢复方法，其特征在于，包括以下步骤: 在选定巾贞图像中确定|吴糊图像块； 在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块，其中，所述多帧参考图像与所述选定帧图像构成连续多帧图像； 根据多个所述候选块和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。
2.根据权利要求1所述的方法，其特征在于，将所述模糊图像块划分成多个待处理子图像块； 对于任一待处理子图像块，在所述多帧参考图像中的每一帧参考图像中确定与所述待处理子图像块具有相同位置和相同大小的第一目标图像块， 在每一帧参考图像中，以所述第一目标图像块为基准的预定区域范围内按照预设选择策略搜索出与所述待处理子图像块匹配度最高的子候选块，其中，各待处理子图像块在各帧参考图像中匹配度最高的子候选块构成所述候选块， 将从各帧参考图像中获取的多个子候选块和所述待处理子图像块，按照恢复策略得到对应于所述待处理子图像块的清晰子图像块； 采用获取的清晰子图像块替换相应的待处理子图像，得到对应于所述模糊图像块的清晰图像块。
3.根据权利要求2所述的方法，其特征在于，所述预设选择策略，包括: 将所述第一目标图像块以一个或多个预设步长沿不同方向移动，得到多个子候选块；将所述待处理子图像块与每一所述子候选块相减，计算相应的所有像素值差的绝对值之和； 对应于所有像素值差的绝对值之和最小的子候选块是所述匹配度最高的子候选块。
4.根据权利要求2所述的方法，其特征在于，所述恢复策略包括: 对所述待处理子图像块和匹配度最高的多个子候选块进行滤波处理并求平均，将平均结果作为所述清晰子图像块；或者 对所述待处理子图像块和匹配度最高的多个子候选块进行滤波处理以及获取每一子候选块和所述待处理子图像块的信噪比， 根据所述待处理子图像块和每一子候选块的信噪比确定所述待处理子图像块和每一子候选块的权值， 依据所述待处理子图像块和各子候选块相应的权值对所述待处理子图像块和多个所述子候选块进行加权平均，将平均结果作为所述清晰子图像块。
5.根据权利要求1所述的方法，其特征在于，在所述多帧参考图像中的每一帧参考图像中确定与所述模糊图像块具有相同位置和相同大小的第二目标图像块； 在每一帧参考图像中，以所述第二目标图像块为基准的预定区域范围内搜索出与所述丰旲糊图像块匹配度最闻的候选块； 将从各帧参考图像中获取的匹配度最高的多个候选块和所述模糊图像块，按照恢复策略得到对应于所述模糊图像块的清晰图像块。
6.根据权利要求5所述的方法，其特征在于，所述恢复策略包括: 对所述多个候选块和所述模糊图像块进行滤波处理并求平均，将平均结果作为所述清晰图像块；或者 对所述多个候选块和所述模糊图像块进行滤波处理，以及获取每一候选块的信噪比和所述模糊图像块的信噪比； 每一候选块的信噪比和所述模糊图像块的信噪比确定每一候选块和所述模糊图像块的权值； 依据所述模糊图像块和各候选块相应的权值对所述模糊图像块和多个所述候选块进行加权平均，将平均结果作为所述清晰图像块。
7.一种模糊图像恢复系统，其特征在于，包括:模糊图像块确定单元、候选块获取单元、图像恢复单元；其中，所述图像恢复单元分别与所述模糊图像块确定单元、候选块获取单元相连； 模糊图像块确定单元，用于在选定帧图像中确定模糊图像块并将所述模糊图像块发送至所述图像恢复单元； 候选块获取单元，用于在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块，将所述候选块的数据发送至图像恢复单元，其中，所述多帧参考图像与所述选定帧图像构成连续多帧图像； 所述图像恢复单元，用于根据多个所述候选块的数据和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。
8.根据权利要求7所述的系统，其特征在于，还包括:恢复策略控制单元，其中，所述恢复策略控制单元与所述图像恢复单元相连； 恢复策略控制单元，在接收到来自所述图像恢复单元的通知时，向所述图像恢复单元提供恢复策略，所述图像恢复单元按照所述恢复策略处理得到所述清晰图像块。
【文档编号】G06T5/00GK104182940SQ201410410081
【公开日】2014年12月3日 申请日期:2014年8月20日 优先权日:2014年8月20日
【发明者】沈玉将, 刘东升 申请人:苏州阔地网络科技有限公司